最新

AI 怎么让模型标出图片里元素的位置

让模型说图里有什么容易,说出按钮在哪难。讲坐标怎么要、归一化和像素怎么换算、为什么定位结果不能直接拿去做点击。

让模型说图里有什么很容易,让它说出按钮在哪个位置就难一截。做界面理解、截图标注、辅助点击时,需要的不是描述而是坐标。这篇讲坐标怎么要、怎么换算,以及哪些场景不能信它。

入口在哪

  • 支持视觉定位的模型,在提示词里明确要求返回坐标字段,返回一般是四个数,或者一个中心点加宽高。
  • 部分产品的调试页面能把返回的框直接画在图上,肉眼核对最快,适合前期调提示词。
  • 接口层面通常仍是纯文本返回,坐标要自己解析,别指望它把图画好给你。
  • 一些桌面自动化工具内置了截图加定位的封装,入口在工具自己的设置里,不直接暴露给模型。

具体步骤

  1. 先把图片尺寸定下来。缩放过的图和原图坐标系不同,后面对不上多半是这一步出的错。
  2. 在提示词里写清坐标含义:像素还是比例、原点在左上角还是中心、四个数还是两个点加宽高。
  3. 给一两个示例。视觉定位对示例很敏感,一个正确的示例能明显提升格式稳定性。
  4. 要求同时返回元素名称和坐标,方便核对是不是框错了对象。
  5. 拿到结果先做范围校验,超出图宽图高的直接判为无效,不要硬画上去。
  6. 把框画回原图看贴合度,肉眼一眼能看出偏差是整体偏移还是尺寸不对。

几个坑

  • 归一化和像素混用。比例坐标乘以宽高才是像素,反了会得到一个很小的框,或者完全跑到图外。
  • 模型给的是近似位置,不是精确边界。密集排列的小图标、细线条按钮经常偏十几像素,做精细点击不可靠。
  • 截图缩放和系统缩放会改变实际像素。高分屏截图和逻辑分辨率不一致时,点击会整体偏。
  • 小目标密集时会漏。列表项、工具栏图标这类,一次问太多容易漏几个,拆成小块分别问更稳。
  • 涉及自动点击就有风险。点错位置可能触发删除、提交这类不可逆操作,先只读验证坐标,再加保护。

怎么验证

  • 按原图尺寸把框画回去,看四个边是否贴合目标元素,这是最直接的一关。
  • 用交并比做量化,通用起点可以取 0.5,低于这个值说明这次定位不可用。
  • 换一次分辨率重测,坐标应该等比缩放,不一致说明中间有环节没换算。

常见问题

返回的坐标是相对还是绝对

取决于提示词和模型,没有统一约定。必须在提示里写死,解析时按写死的规则换算,不要靠猜。

能直接用来做自动化点击吗

可以辅助,但要加保护:点击前二次确认元素、避开删除类按钮、先在只读界面验证。定位偏差导致的误点往往不可逆。

定位不准怎么改善

先缩小提问范围,一次只问一小块区域;再补示例和坐标系说明;仍然不准就改成先切图再定位的两步法。

一句话总结:坐标系先写死,比例和像素别混,框要画回原图验,别拿近似坐标直接点。