天才创始人对谈AI教父Hinton：多模态是AI的未来，医疗将发挥AI最大的潜力(4)

小大

用微信扫描二维码
分享至好友和朋友圈

关键词：

2024-05-21 20:45:29 网易

然后他就做得烦了。有一天他来找我说，我要为MATLAB编写一个交互界面，就可以用另一种语言编程，然后把它转换成MATLAB。我说，不，Ilya，那将花费你一个月的时间。这个项目要继续，不能被那个分散注意力。Ilya说，没关系，我早上就做好了。

主持人：简直不可思议！这些年来，最大的变化不仅仅体现在算法，还有规模。你如何看待？

Hinton：Ilya很早就看到这点，总是说，规模更大，表现更好。我之前总觉得站不住脚，新的想法还是需要的。但事实证明，他的判断基本上是正确的。像Transformers这样的算法确实很有用，但真正起作用的，是数据和计算的规模。当时想象不到计算机会快上数十亿倍，觉得快上一百倍了不得了，于是试着提出巧妙的想法来解决问题。然而，有更大的数据和计算规模，很多问题就迎刃而解了。

大约在2011年，Ilya和另一个叫James Martins的研究生与我合作，写了一篇关于字符级预测的论文。使用维基百科，并试图预测下一个HTML字符。用的是GPU上的一个很好的优化器，效果出乎意料的好。我们从未真正相信它理解了任何东西，但它看起来又好像理解了，这似乎让人难以相信。

神经网络不仅仅是记住训练数据，而是在“理解”，推理能力的提高指日可待

主持人：能解释一下模型如何预测下一个单词，以及这样认识他们为何是错误的？

Hinton：好吧，我其实觉得这不算错。

事实上，我认为我制作了第一个使用嵌入和反向传播的神经网络语言模型。数据非常简单，只是三元组，将每个符号（Symbol）转换为一个嵌入（embedding），然后让嵌入相互作用以预测下一个符号的嵌入，然后从该嵌入中预测下一个符号，然后通过整个过程反向传播以学习这些三元组。大约10年后，Yoshua Bengio（图灵奖得主）使用非常相似的网络，展示了它在真实文本上的效果。大约10年后，语言学家开始相信嵌入。这有一个发展的过程。

首页上一页 1 2 345 6 7...全文共 18 页下一页

关闭

天才创始人对谈AI教父Hinton：多模态是AI的未来，医疗将发挥AI最大的潜力(4)

相关新闻

今日热点

频道热点