AI 怎么用温度参数控制回答的发散程度
同一个问题问两遍答案完全不一样,或者反过来死板得像在抄,多半是采样参数在作怪。这篇讲温度在哪调、调到多少合适、怎么验证调对了。
同一个提示词,有时候每次答得都不一样,有时候又死板得只会说同一句话。这中间的差别,很大一部分来自一个叫温度的采样参数。它不改模型懂什么,只改模型在几个候选词里挑得多大胆。这篇讲它在哪调、调到多少合适、以及怎么确认自己调对了。
入口在哪
- 接口调用时,它是请求体里的一个字段,名字就是 temperature。不写就用服务端的默认值,所以同一个模型换一种调用方式,手感会变。
- 本地跑模型的工具一般在模型配置里留了同名参数。不同版本入口名称略有差别,有的写在配置文件里,有的做成运行时下拉框。
- 网页版对话大多不开放这个参数,只能靠提示词间接约束。要精确控制,得走接口或者本地部署。
- 紧挨着通常还有一个 top_p,管的是从多少个候选里挑。两者都在改发散程度,同时大改会互相拉扯。
具体步骤
- 先固定输入。拿一条你真实会用的提示词,别用「你好」这种测试句,把它存下来反复用。
- 把温度设到 0,连跑五次。这一步看的是下限:格式、结论、用词是否稳定。多数服务允许的范围是 0 到 2,也有的只到 1,以文档为准。
- 换成 0.3 到 0.7 再跑五次。这个区间是大多数任务的默认落点,抽取、改写、格式转换停在这里就够。
- 需要更多说法时推到 1.0 以上再试。起名、想口号、写备选标题可以往上走,但要接受它偶尔胡说。
- 定下来之后写进配置文件并标上注释日期。参数是会忘的,隔两周再看只会记得当时好像挺好的。
- 换了模型就整套重测。温度相同不代表两个模型的输出分布相同。
几个坑
- 把温度当事实校正工具。它只影响怎么选词,不影响模型知不知道这件事,调低不能让编造的内容变真。
- 要求严格 JSON 时开高温度。结构最容易在高温下崩,括号少一个、字段名换个写法都常见,解析直接失败。
- 只调 top_p 不看温度。两个参数叠在一起,实际发散程度可能远超预期,出问题时不知道是谁干的。
- 拿不同服务的温度互相比较。同样是 0.7,各家实现和默认值都不同,没有可比性。
- 在生产里凭手感改。先在小批量真实请求上跑,确认通过率没掉再上线,别直接改线上配置。
怎么验证
- 同一提示词连跑五到十次,把结果并排放。看首句、看结构、看有没有新出现的事实性错误。
- 温度设 0 时结果仍每次不同,说明还有别的随机来源,比如请求被路由到不同节点,或者提示词里带了时间戳。
- 记下每次的输入、参数、输出摘要。对比时只看结论,容易漏掉格式上的退化。
- 用一组而不是一条样本判断。单条结果好看不代表稳定,十条里三条崩就不能算调好。
常见问题
温度设 0 是不是就完全确定了
接近确定,但通常不保证逐字一致。浮点运算顺序、批处理方式、服务端路由都可能带来细微差别。要做到真正可复现,除了温度归零,还得固定模型版本并尽量用同一个接入点。
温度高一点会更聪明吗
不会。它不增加推理能力,只是让低概率的词有机会被选中。有人觉得高温下回答更有创意,是因为表达更放得开,不是想得更深。复杂推理任务反而应该在低温下跑。
网页版能不能间接控制发散程度
能,但只是近似。要求只给一个答案、不要解释、按固定字段输出,会明显收窄输出范围;要求给五个不同角度的版本,则相当于要求它扩大采样。真要精确,还是走接口。
一句话总结:温度管的是敢不敢选冷门词,事实类任务压到 0 到 0.3,创意类再往上放,换模型必重测。