Kimi创始人谈Scaling laws 强化学习是关键

小大

用微信扫描二维码
分享至好友和朋友圈

关键词：

2024-11-18 09:57:00 财联社

在月之暗面Kimi Chat上线一周年之际，Kimi发布了新一代数学推理模型k0-math模型以及包含该模型强化版的Kimi探索版。未来几周内，这些新功能将陆续上线Kimi网页版和Kimi智能助手APP。

月之暗面创始人杨植麟表示，如果长文本处理是登月的第一步，那么提升模型深度推理能力就是第二步。除了数学推理模型外，公司还在内测几个多模态能力。

作为一家备受关注的AI独角兽公司，杨植麟近期陷入了一场仲裁纠纷，并面临人才流失的质疑。对此，他回应称并没有人才流失，而是主动选择减少业务范围以保持团队规模，从而保护创新力。他认为先聚焦再全球化需要耐心，团队规模过大对创新有致命性影响。

目前，Kimi每月活跃用户已达3600万。杨植麟强调，提高用户留存是当前最核心的任务，没有上限限制。随着“百模大战”进入新的阶段，业界焦点从模型转向应用。杨植麟认为预训练大模型仍有迭代空间，预计明年会有半代到一代的新模型出现。

关于大模型的Scaling laws，杨植麟表示这依然是关键，但需找到更有效的方法来扩展。他认为通过强化学习等方法可以更好地实现Scaling。AI的发展就像荡秋千，在算法数据完备但算力不足时，需要做更多工程改进；当算力达到一定水平后，高质量数据成为瓶颈，需要改变算法来释放潜力。

杨植麟强调，AI不仅需要交互能力，更需要思考能力。数学场景非常适合锻炼这种能力。尽管目前大模型在数学方面仍存在局限，但进步迅速。例如，去年高考数学题准确率约为20%-30%，现在已达到90%。现场演示中，Kimi展示了解答2024AIME数学竞赛和高等数学题的能力，通过强化学习确保每一步的正确性并进行二次验算。

月之暗面计划在教育领域探索与Kimi搜索场景结合的应用，包括K12、大学甚至竞赛等多个场景。杨植麟透露，今年三、四月份决定聚焦Kimi，缩减其他业务。他认为创业团队人数不宜过多，应专注于核心创新能力。国内大模型创业公司中，他们始终保持人数最少，卡和人的比例最高，这是非常关键的。此外，他还提到几个多模态能力正在内测中。

(责任编辑：张小花 TT1000)

关闭

Kimi创始人谈Scaling laws 强化学习是关键

相关新闻

今日热点

频道热点