首先,V3通过通信和显存优化,极大幅度
减少了资源空闲率
,提升了利用效率。
而推理专家
(具备推理能力的AI系统或算法,能够通过数据分析得出结论)
的负载均衡就更巧妙了,一般的大模型,每次启动,必须把所有专家都等比例放进工位
(显存)
,但真正回答用户问题时,十几个专家里面只用到一两个,剩下的专家占着工位
(显存)
摸鱼,也干不了别的事情。
而DeepSeek把专家分成热门和冷门两种,
热门的专家,复制一份放进显存,处理热门问题;冷门的专家也不摸鱼,总是能被分配到问题
。
FP8混合精度训练则是在之前被很多团队尝试无果的方向上拓展了新的一步,通过降低训练精度以降低训练时算力开销,但却神奇地保持了回答质量基本不变。
也正是这些技术上的革新,才得到了大模型圈的一致好评。
通过一直以来的技术更新迭代,DeepSeek收获的回报也是相当惊人的。
他们V3版本推出后,他们的价格已经是
低到百万tokens几毛钱、几块钱
。
他们甚至还在搞了个新品促销活动,到明年2月8号之前,在原来低价的基础上再打折。
而一开始提到同样开源的 Claude 3.5 Sonnet ,每百万tokens,至少都得要几十块以上。。。
更要命的是,这对DeepSeek来说已经是常规套路了。
早在去年初,
DeepSeek V2 模型发布后,就靠着一手低价,被大家叫做了AI 界拼多多。
他们还进一步
引发了国内大模型公司的价格战,
诸如智谱、字节、阿里、百度、腾讯等大厂纷纷降价。
池光耀也告诉我们,他们公司早在去年6、7月份就开始用上了DeepSeek,当时也有国内其他一些大模型厂商来找过他们。
但和DeepSeek价格差不多的,模型
“又太笨了
,
跟DeepSeek不在一个维度
”;如果模型能力和DeepSeek差不多,那个价格“
基本都是10倍以上
”。
更夸张的是,由于技术“遥遥领先”带来的降本增效,哪怕DeepSeek卖得这么便宜,根据他们创始人梁文峰所说,
他们公司还是赚钱的
。。。是不是有种隔壁比亚迪搞998,照样财报飘红的味道了。
不过对于我们普通用户来说,DeepSeek似乎也有点偏门了。
因为他的强项主要是在推理、数学、代码方向,而多模态和一些娱乐化的领域不是他们的长处。
而且眼下,尽管DeepSeek说自己还是赚钱的,但他们团队上上下下都有股极客味,所以他们的商业化比起其他厂商就有点弱了。
但不管怎么说,DeepSeek的成功也证明了,在AI这个赛道还存在的更多的可能。
按以前的理解,想玩转AI后面没有个金主爸爸砸钱买显卡,压根就玩不转。
但现在看起来,掌握了算力并不一定就是掌握了一切。
我们不妨期待下未来,更多的优化出现,让更多的小公司、初创企业都能进入AI领域,差评君总感觉,那才是真正的AI浪潮才对。
国庆假期结束后,人们或许还未从休假状态中完全恢复,而此时美国正遭受飓风“海伦”的严重影响。这场飓风横扫多个州,导致大面积停电、洪水泛滥,据报道,伤亡人数已达到数百
2024-10-09 10:02:29美国的一场飓风8月6日,巴黎奥运会跳水赛场传来喜讯,中国选手全红婵在女子10米台决赛中成功卫冕,为中国队摘得该项目连续第五块奥运金牌。比赛结束后,全红婵接受了总台记者的现场采访
2024-08-07 10:46:29全红婵说这届金牌没那么重了00后女孩谦谦在云南普洱太阳河森林公园工作,她在网上发布了与白眉长臂猿的日常互动,引发众多网友点赞。
2024-07-12 10:39:07女生在森林公园上班工作是巡山6月17日,正值618购物节的高潮阶段,国产游戏显卡MTT S80在促销活动中推出了特别优惠。这款由摩尔线程推出的产品,成为了零售市场上首个国产游戏显卡的代表
2024-06-20 14:04:59首款国产游戏显卡!摩尔线程MTT英伟达在GPU市场的主导地位持续增强,人们期望AMD和Intel能展现出更强的竞争力
2024-12-13 15:38:56英伟达全球GPU市场占比90%英特尔官方X平台账户Intel Gaming于11月30日发布动态,预告将在12月3日公布一些关于显卡的重要消息。预计届时将发布锐炫B系列"Battlemage"独立显卡
2024-12-02 10:07:02英特尔预告 12 月 3 日公布“显卡大消息”