随着人工智能大模型的不断发展,如何让其在“难”的问题上深入思考,而不是对所有问题“想个不停”?记者5月29日从中国科学院自动化研究所获悉,该所联合鹏城实验室提出了一种高效推理策略AutoThink,可让大模型实现自主切换思考模式,避免“过度思考”。
“当前,越来越多的大模型开始具备‘深度思考能力’。”中国科学院自动化研究所研究员张启超说,模型在回答问题之前要先生成一整段包含反复自我反思、自我验证的推理过程,然后再给出答案。
张启超表示,这一思考模式显著提升了大模型解决复杂问题的能力,但同时也带来了“过度思考”的问题,即在处理简单任务时也会生成冗余的思考过程。
“比如使用者对大模型提问‘2+3等于几’,大模型可能会从自然数定义讲起,列出加法交换律,甚至反复确认,最后才输出答案是5。”张启超说,这种不必要的“过度思考”现象在推理模型中广泛存在。
针对这一问题,AutoThink可赋予推理模型根据题目难度自主切换思考模式的能力,即通过所设计的提示词和多阶段强化学习,引导其自主决定是否进行深度思考。
张启超介绍,AutoThink提供了一种简单而有效的推理新范式——通过省略号提示配合三阶段强化学习,引导大模型不再“逢题必深思熟虑”,而是根据问题难度自主决定“是否思考”“思考多少”。在多个数学数据集上,AutoThink实现了准确率与效率平衡,既提升性能又节省算力,展示出较强的适应性和实用性。
据悉,AutoThink已集成于一站式智能科研平台ScienceOne,并将用于训练ScienceOne的基座大模型S1-Base。研发团队表示,让大模型“更聪明地思考、更简洁地表达”,是未来科学基础大模型演进的重要方向。
随着人工智能大模型的不断发展,如何让其在“难”的问题上深入思考,而不是对所有问题“想个不停”?记者5月29日从中国科学院自动化研究所获悉,该所联合鹏城实验室提出了一种高效推理策略AutoThink,可让大模型实现自主切换思考模式,避免“过度思考”。
“当前,越来越多的大模型开始具备‘深度思考能力’。”中国科学院自动化研究所研究员张启超说,模型在回答问题之前要先生成一整段包含反复自我反思、自我验证的推理过程,然后再给出答案。
张启超表示,这一思考模式显著提升了大模型解决复杂问题的能力,但同时也带来了“过度思考”的问题,即在处理简单任务时也会生成冗余的思考过程。
“比如使用者对大模型提问‘2+3等于几’,大模型可能会从自然数定义讲起,列出加法交换律,甚至反复确认,最后才输出答案是5。”张启超说,这种不必要的“过度思考”现象在推理模型中广泛存在。
针对这一问题,AutoThink可赋予推理模型根据题目难度自主切换思考模式的能力,即通过所设计的提示词和多阶段强化学习,引导其自主决定是否进行深度思考。
张启超介绍,AutoThink提供了一种简单而有效的推理新范式——通过省略号提示配合三阶段强化学习,引导大模型不再“逢题必深思熟虑”,而是根据问题难度自主决定“是否思考”“思考多少”。在多个数学数据集上,AutoThink实现了准确率与效率平衡,既提升性能又节省算力,展示出较强的适应性和实用性。
据悉,AutoThink已集成于一站式智能科研平台ScienceOne,并将用于训练ScienceOne的基座大模型S1-Base。研发团队表示,让大模型“更聪明地思考、更简洁地表达”,是未来科学基础大模型演进的重要方向。
本文链接:http://www.vanbs.com/v-146-957.html我国科学家提出高效推理策略 可避免大模型“过度思考”
相关文章:
生活早安心语朋友圈摘录01-12
古风唯美句子65条12-10
每日一签早安心语朋友圈25条07-05
大班老师工作计划01-02
幼儿园实习报告优秀08-17
教师个人述职报告07-07
同事道歉信01-19
教育教学读书心得体会02-12
秋季红领巾广播稿09-12
大学生寒假心得体会08-16
小学作文:元旦03-24
我的心爱之物洋娃娃作文10-12
那一次,我真难过作文800字10-12
修辞手法拟人句练习题型10-05
芜湖坐高铁去哪个站10-16
湖南军事院校提前批一志愿分数线 湖南高考军校录取分数线,包括一本二本的!09-14
请间成都国防射击学校怎么样08-23
广州有哪些免试大专院校08-20
郑鲜之文言文阅读答案08-31
学生评语优秀10篇08-03
崔颢黄鹤楼全文、注释、翻译和赏析11-02
中国民间谜语08-16
清明节手抄报简单又好画04-07
古代灯笼的制作方法01-21
明日立秋文案08-02