从数参数到算算力:唐杰谈 Scaling Law 的新标尺
参数量只是知识的仓库,真正决定智能的是FLOPs。大模型圈流传着一句话,参数越多,模型越强。智谱创始人唐杰近日在X平台发布长文,对这句话提出了质疑。文章题为《Thoughts About Scaling Law》(关于 Scaling Law 的一些思考)。开篇先抛出发布会上最常见的那个问题,Scaling 还在继续,但 Scaling 的到底是什么?他的回答是,参数量从来不能单独决定一个模型的能力,数据规模、算力如何分配、推理时在什么条件下部署,缺一不可。行业的评价标尺,正在从“数参数”切换到“算算力”。这不是学者一时兴起的感慨,而是牵动整个产业判断的一次重新定调。过去几年,几乎所有大模型公司都把参数量当作最醒目的宣传口径,从1750亿、5300亿到上万亿,数字不断刷新。但真实世界给出的答案恰恰相反。那个把参数量推向极致的标志性实验,早在2021年就为“参数失灵”埋下伏笔。万亿参数的岔路
原文:钛媒体