AI 怎么让模型标出图片里元素的位置
让模型说图里有什么容易,说出按钮在哪难。讲坐标怎么要、归一化和像素怎么换算、为什么定位结果不能直接拿去做点击。
让模型说图里有什么很容易,让它说出按钮在哪个位置就难一截。做界面理解、截图标注、辅助点击时,需要的不是描述而是坐标。这篇讲坐标怎么要、怎么换算,以及哪些场景不能信它。
入口在哪
- 支持视觉定位的模型,在提示词里明确要求返回坐标字段,返回一般是四个数,或者一个中心点加宽高。
- 部分产品的调试页面能把返回的框直接画在图上,肉眼核对最快,适合前期调提示词。
- 接口层面通常仍是纯文本返回,坐标要自己解析,别指望它把图画好给你。
- 一些桌面自动化工具内置了截图加定位的封装,入口在工具自己的设置里,不直接暴露给模型。
具体步骤
- 先把图片尺寸定下来。缩放过的图和原图坐标系不同,后面对不上多半是这一步出的错。
- 在提示词里写清坐标含义:像素还是比例、原点在左上角还是中心、四个数还是两个点加宽高。
- 给一两个示例。视觉定位对示例很敏感,一个正确的示例能明显提升格式稳定性。
- 要求同时返回元素名称和坐标,方便核对是不是框错了对象。
- 拿到结果先做范围校验,超出图宽图高的直接判为无效,不要硬画上去。
- 把框画回原图看贴合度,肉眼一眼能看出偏差是整体偏移还是尺寸不对。
几个坑
- 归一化和像素混用。比例坐标乘以宽高才是像素,反了会得到一个很小的框,或者完全跑到图外。
- 模型给的是近似位置,不是精确边界。密集排列的小图标、细线条按钮经常偏十几像素,做精细点击不可靠。
- 截图缩放和系统缩放会改变实际像素。高分屏截图和逻辑分辨率不一致时,点击会整体偏。
- 小目标密集时会漏。列表项、工具栏图标这类,一次问太多容易漏几个,拆成小块分别问更稳。
- 涉及自动点击就有风险。点错位置可能触发删除、提交这类不可逆操作,先只读验证坐标,再加保护。
怎么验证
- 按原图尺寸把框画回去,看四个边是否贴合目标元素,这是最直接的一关。
- 用交并比做量化,通用起点可以取 0.5,低于这个值说明这次定位不可用。
- 换一次分辨率重测,坐标应该等比缩放,不一致说明中间有环节没换算。
常见问题
返回的坐标是相对还是绝对
取决于提示词和模型,没有统一约定。必须在提示里写死,解析时按写死的规则换算,不要靠猜。
能直接用来做自动化点击吗
可以辅助,但要加保护:点击前二次确认元素、避开删除类按钮、先在只读界面验证。定位偏差导致的误点往往不可逆。
定位不准怎么改善
先缩小提问范围,一次只问一小块区域;再补示例和坐标系说明;仍然不准就改成先切图再定位的两步法。
一句话总结:坐标系先写死,比例和像素别混,框要画回原图验,别拿近似坐标直接点。