天才创始人对谈AI教父Hinton：多模态是AI的未来，医疗将发挥AI最大的潜力(6)

小大

用微信扫描二维码
分享至好友和朋友圈

关键词：

2024-05-21 20:45:29 网易

主持人：你可能会说，它会超越人类的认知。尽管我们看到了一些例子，但貌似尚未真正见到你说的这点。很大程度上，我们仍然处于当前的科学水平。你认为什么能让它开始有所超越呢？

Hinton：我觉得在特定情况中已经看到这点了。以AlphaGo为例。与李世石的那场著名比赛中，AlphaGo的第37步，所有专家看来都觉得是错棋，但后来他们意识到这又是一步妙棋。

这已经是在那个有限的领域内，颇具创造力的动作。随着模型规模增加，这样的例子会更多的。

主持人：AlphaGo的不同之处在于，它使用了强化学习，能够超越当前状态。它从模仿学习开始，观察人类如何在棋盘上博弈，然后通过自我对弈，最终有所超越。你认为这是当前数据实验室缺少的吗？

Hinton：我认为这很可能有所缺失。AlphaGo和AlphaZero的自我对弈，是它能够做出这些创造性举动的重要原因。但这不是完全必要的。

很久以前我做过一个小实验，训练神经网络识别手写数字。给它训练数据，一半的答案是错误的。它能学得多好？你把一半的答案弄错一次，然后保持这种状态。所以，它不能通过只看同一个例子来把错误率平均。有时答案正确，有时答案错误，训练数据的误差为50%。

但是你训练反向传播，误差会降到5%或更低。换句话说，从标记不良的数据中，它可以得到更好的结果。它可以看到训练数据是错误的。

聪明的学生能比他们的导师更聪明。即使接收了导师传授的所有内容，但他们能取其精华去其糟粕，最终比导师更聪明。因此，这些大型神经网络，其实具有超越训练数据的能力，大多数人没有意识到。

主持人：这些模型能够获得推理能力吗？一种可能的方法是，在这些模型之上添加某种启发式方法。目前，许多研究都在尝试这种，即将一个思维链的推理反馈到模型自身中。另一种可能的方法是，在模型本身中增加参数规模。你对此有何看法？

关闭

今日热点