便宜一半的模型,什么时候能顶替贵的
同档对比接近不等于能顶替:跨档一比,贵款中档往往比便宜款最高档更划算,但智能体考试与科研编码是例外。
· 5 次阅读
新模型发布时,最容易被带偏的比较,是拿两个模型的峰值成绩直接比价格。
这次对比的一对模型,标价正好差一倍:便宜的那款输入与输出价都是贵款的一半。同档位、同题目的成绩其实很接近:智能体考试贵款略低,桌面操作、视觉理解、终端任务贵款各领先几个点。只看这一层,结论会是「便宜的差不多能顶替」。
但真正有用的比较是跨档位:把贵款降一档,再跟便宜款的最高档比。终端任务上,贵款中档的成绩已经超过便宜款最高档,而且成本更低;桌面操作上两者只差不到一个点,成本也只有一半左右;综合指数上,贵款中档与便宜款最高档同分,成本同样减半。也就是说,同样的钱,降档的贵款往往比拉满的便宜款更划算。
有两个例外不能忽略。第一是智能体考试这类题目,便宜款各档都赢,降档也赢。第二是科研编码,只有最高档便宜款才反超,低档贵款反而领先十几个点。还有一个常见坑:不同测试集的分数不能直接比,拿一款的 A 卷成绩去比另一款的 B 卷成绩,比出来的「翻倍」是假的。
所以选型结论分两层:较真的硬编码和科研编码,继续用贵的;高频的电脑操作、视觉、表单类重复工作,可以先试便宜款的中档,最后按「每通过一个任务花多少钱」定路由,而不是按标价定。