据腾讯研究院资深专家、前沿科技研究中心主任王强介绍,Transformer的精度和性能上都要优于之前流行的CNN(卷积神经网络)、RNN(循环神经网络)等模型,大幅提升了模型训练的效果,让人工智能得以在更大模型、更多数据、更强算力的基础上进一步增强能力。
此外,Transformer还具有很强的跨模态能力,不仅在自然语言理解领域表现优异,在语音、图像方面也显示出了优异的性能。
“我们把ChatGPT的技术称为根技术,根技术的创新和突破会带来一个技术群,即一个技术体系,就是指除了大模型之外,它还有很多其他技术。”刘刚告诉记者,ChatGPT的根技术还涉及一个产业的生态系统创新,包括生态系统的完善和向各个产业的扩散。要对标ChatGPT的大模型,某种意义上就是要缩短我们在根技术创新上存在的差距。
(图源自CFP)
强算力、优数据
为支撑大模型更多元应用夯实基础
值得注意的是,白皮书中还提出,加强人工智能算力基础设施布局。
加速人工智能基础数据供给。
对此,吴文峻告诉记者,一方面是算力基础设施,目前只有头部企业和大的研究机构拥有训练大模型所需的算力。
不过,如果大模型基础底座长期被少数企业“垄断”,不利于人工智能长期健康发展。
“加强基础设施其实是希望让我们有更多的人能参与到大模型应用的研发推广和产品技术升级当中,而算力是基础。政府则可以推动打造普适的算力基础设施,把生态做大,让大家来共同参与,助力整个产业再进一步。”
另一个方面是数据,吴文峻表示,“大模型非常依赖数据,不论是自然语言,还是将来把大模型用在视觉、图像等方面所需的大规模数据。同时,数据不只是从网上爬取数据后进行简单的汇集就行,还要对数据做好预处理,才能更好地训练大模型,所以如何打造优质的基础数据也是一个非常重要的问题。”
原标题:60天月活破亿,ChatGPT将颠覆移动互联网?短短两个月,ChatGPT大火。
2023-02-07 15:19:58ChatGPT牛在哪里2023年时间已经过半,近期,各部门陆续公布上半年的经济数据,2023中国经济期中考,成绩怎么看?未来怎么干?
2023-07-13 09:39:332023中国经济“期中考”成绩如何?专家解读宇宙璀璨,中国航天步履不停。24日是第八个中国航天日,今年的主题是“格物致知叩问苍穹”。北斗导航、中国空间站、探月工程、火星探测……这些年,中国航天正迈着坚实的步伐一步步走向深空。
2023-04-25 07:13:50空间站近段时间,黄金成了社会关注的热点。在欧美多家银行遭遇流动性危机的背景下,国际金价一度突破每盎司2000美元。受此影响,国内金价也创下新高。
2023-03-29 08:55:01黄金价格23日,科考队员抵达海拔8830米的世界海拔最高自动气象观测站。固定钢丝绳索,更换蓄电池,安装风速风向传感器……经过约1小时紧张工作,自动气象站维护升级工作全部完成
2023-05-24 15:21:01专家解读:为什么要在高海拔地区设立气象站?