Mistral AI公司公开引入混合专家模型进行大模型训练,用多个特定领域的“小专家”配合几个“通用专家”,先决定问题类型再处理不同类型的问题。此外,DPO、LoRA等高效微调方法也简化了模型对齐过程,降低了复杂度。在这种趋势下,国产大模型逐渐明确了发展方向。2024年,国产大模型取得了显著进展,有些通过底层优化,仅用2048块GPU就达到了头部公司数万块GPU训练才具备的大模型性能。
在中国工业互联网研究院的数据中,DeepSeek-V3通过采用混合精度方法,有效平衡了训练精度和效率,结合混合专家模型架构,将大模型训练成本降低至500万美元,仅为同性能模型的5%~10%,而性能却与GPT-4o和Claude 3.5 Sonnet相当。目前,国内类似的大模型成本和训练时长都大幅下降。这种新的训练方法不仅降低了大模型行业的门槛,还推动了全球大模型的降价潮,对人工智能技术的应用和转化具有革命性意义。
业内人士指出,在当前全球人工智能大模型的竞争中,算力虽然重要,但不是决定性因素。只有与软件和应用场景结合起来,才能真正赋能行业转型,提高经济效率。部分人工智能项目存在“假智能”的问题,即靠大量数据叠加出答案,缺乏真正的创造力和想象力。尽管一些前沿大模型探索了“思维链”,试图模拟人类思维推导,但在实现“通用人工智能”方面仍有较大障碍。
更大的问题是,仅靠算力的方式迟早会遇到瓶颈。现有大模型已经读完了几乎所有的英文书籍,接下来的发展方向必须回到技术本质,解决更关键的方向性问题。中国企业正通过高效灵活的路径,找到更加“聪明”的人工智能发展方向。人工智能是一场向着未知的探险,中国企业选定的方向不会轻易被各种“焦虑”裹挟。中国AI企业应如何看待英伟达新显卡!
标普道琼斯指数公司宣布将英伟达纳入道琼斯工业平均指数,取代英特尔。同时,Sherwin-Williams Co. 将取代陶氏化学。分析人士指出,这一调整反映了人工智能和高性能计算的重要性日益增强
2024-11-02 10:43:00英伟达将被纳入道指英伟达首席执行官黄仁勋表示,我们正经历一场新的工业革命,这场革命的动力是人工智能。在美国奥兰多高德纳IT展览会上,他对数千名企业技术领导者强调,公司必须转型为人工智能驱动的组织,以应对这场变革
2024-10-24 14:51:00黄仁勋:英伟达正在打造“AI大脑”11月13日,英伟达创始人兼CEO黄仁勋在英伟达日本AI峰会上宣布,将与软银合作在日本建设AI基础设施,以加速机器人、汽车、医疗保健和电信行业的发展
2024-11-14 09:05:37英伟达宣布与软银合作