天才创始人对谈AI教父Hinton：多模态是AI的未来，医疗将发挥AI最大的潜力(8)

小大

用微信扫描二维码
分享至好友和朋友圈

关键词：

2024-05-21 20:45:29 网易

多模态模型显然会占据主导地位。你可以通过这种方式获得更多数据，它们需要的语言会更少。当然，可以仅从语言中学习出一个非常好的模型，但从多模态系统中学习要容易得多。

主持人：你认为这将如何影响模型的推理能力？

Hinton：我认为它将使空间推理变得更好，例如，实际尝试捡起物体，会得到各种有用的训练数据。

主持人：你认为人类大脑的进化服务于语言，还是说语言的进步是服务于人类大脑？

Hinton：这是一个非常好的问题，我认为两者是共存的。我曾经认为，可以完全不需要语言去进行大量的认知活动，但现在我的想法有所改变。

那么，我将给出三种不同的语言观点以及它们与认知的关系。

一种观点是陈旧的符号观点，即认知包括使用某种经过清理的逻辑语言中的符号串，这些语言没有歧义，并应用推理规则。这就是认知——只是对语言符号串之类的事物进行符号操作。这是一种极端观点。

另一种极端观点是，一旦你进入头脑，它就全是向量。符号进来了，把这些符号转换成大向量，所有内容都是用大向量完成的，然后想产生输出，又会生成符号。2014年左右，机器翻译中有一个说法，当时人们使用循环神经网络，单词会不断进入，它们会有一个隐藏状态，它们会在这个隐藏状态下不断积累信息。因此，当它们读完一个句子时，它们会得到一个大的隐藏向量，它捕捉到了该句子的含义，然后可以用来生成另一种语言的句子。这被称为思维向量。这是对语言的第二种看法——将语言转换成一个与语言完全不同的大向量，这就是认知的全部内容。

第三种观点，也是我现在所相信的，即你采用这些符号，将符号转换成嵌入，并使用多层嵌入，这样你就得到了这些非常丰富的嵌入。但是嵌入仍然与符号相关联，从某种意义上说，你有一个用于这个符号的大向量，以及一个用于那个符号的大向量。这些向量相互作用，产生下一个单词的符号的向量。这就是理解的本质——知道如何将符号转换成这些向量，并知道向量的元素应该如何相互作用，从而预测下一个符号的向量。无论是在这些大型语言模型中，还是在我们的大脑中，理解就是这样进行的。这是一个介于两者之间的例子。你继续使用符号，但将它们解释为这些大向量，这就是所有工作所在。所有的知识都在于你使用的向量以及这些向量的元素如何相互作用，而不是符号规则。

首页上一页...5 6 789 10 11...全文共 18 页下一页

关闭

天才创始人对谈AI教父Hinton：多模态是AI的未来，医疗将发挥AI最大的潜力(8)

相关新闻

今日热点

频道热点