中华网 china.com

新闻

天才创始人对谈AI教父Hinton:多模态是AI的未来,医疗将发挥AI最大的潜力(10)

关键词:
2024-05-21 20:45:29  网易

我们可以很低效地将信息从一个人传递给另一个人。我写句子,你想办法改变你思维里的权重,你就会说同样的话。这其实叫做提炼,但这种知识交流非常低效。

数字系统却不同,它们不会死去。一旦有了一些权重,计算机这个壳就不重要了。只需将权重存储在某个磁带或者什么上,就可以把同样的权重转移进另一台计算机。如果是数字的,它就可以与其他系统一样计算。所以,数字系统能够以极高效率共享权重,甚至还能迭代。假设你有一大把数字系统,从相同的权重开始,各自进行微量的学习,还能再次共享权重,这样它们都能知道其他系统学到了什么,甚至完成了迭代。人类无法做到这一点,在知识共享上,数字系统比我们做得好太多。

主持人:许多已经在该领域实施的想法,其实都是非常传统的,因为这些想法在神经科学中一直存在。那么,你认为还有哪些想法可以应用于我们正在开发的系统呢?

Hinton:因此,我们仍需追赶神经科学的发展。

在几乎所有的神经网络中,都存在一个快速的活动变化时间尺度。因此,当输入进来后,活动和嵌入向量都会发生变化,然后有一个缓慢的时间尺度会改变权重。这就是长期学习。

你只有这两个时间尺度。然而在大脑中,权重会改变的时间尺度很多。例如,我说一个意想不到的词,比如“黄瓜”,五分钟后,你戴上耳机,会听到很多噪音,而且单词非常模糊,但你会更好地识别“黄瓜”这个词,因为我五分钟前说过这个词。大脑中的这些知识是如何存储的呢?这些知识,显然是突触的暂时变化,而不是神经元在重复“黄瓜”这个词。你没有足够的神经元来做这件事。这是权重的暂时变化。你可以用暂时的权重变化做很多事情,我称之为快速权重。

关闭

蔚来回应加速踏板断裂 涉事车辆系二手事故车

蔚来回应加速踏板断裂2024-06-26 16:04:18

姆巴佩欧洲杯首球刷爆4大纪录!神剧本:8强战,姆皇有望对决C罗

姆巴佩欧洲杯首球刷爆4大纪录!神剧本:8强战,姆皇有望对决C罗2024-06-26 16:03:44

姆巴佩打入欧洲杯首球,法国队却落入淘汰赛“死亡半区” 巨星救主难阻危局

姆巴佩打入欧洲杯首球,法国队却落入淘汰赛“死亡半区”2024-06-26 16:03:37

美军舰艇,炼就“金刚不坏之身”?军事观察员解读

美军舰艇,炼就“金刚不坏之身”?军事观察员解读2024-06-26 10:05:36

事发日本,以色列游客预定被取消……

事发日本,以色列游客预定被取消……2024-06-26 09:48:26

姆巴佩打入欧洲杯首球,法国队却落入淘汰赛“死亡半区” 巨星救主难阻危局

姆巴佩打入欧洲杯首球,法国队却落入淘汰赛“死亡半区”2024-06-26 16:03:37

走路多了脚底痛?若出现这些症状,可能是“足弓塌陷”在预警

走路多了脚底痛?若出现这4种症状,可能是“足弓塌陷”在预警2024-06-26 15:55:46

匈牙利反对?欧盟提出变通方法,直接绕过

匈牙利反对?欧盟提出变通方法,直接绕过2024-06-25 09:54:03

再复活?台军公开展示“轮型战车”样车

再复活?台军公开展示“轮型战车”样车2024-06-26 09:49:54

于根伟下课进入倒计时?津门虎新帅或敲定大牌洋教头

于根伟下课进入倒计时?津门虎新帅或敲定大牌洋教头2024-06-26 16:02:25

魏大勋舞会穿搭,工作室晒图,网友:很帅气

魏大勋舞会穿搭2024-06-26 15:50:24

马来西亚前总理马哈蒂尔接受专访:美国喜欢“引战”,然后大发战争之财

马来西亚前总理马哈蒂尔接受专访:美国喜欢“引战”,然后大发战争之财2024-06-26 09:59:11

长生不老“神药”NMN禁售风波 多方回应

长生不老“神药”NMN禁售风波2024-06-26 15:54:03

内塔尼亚胡称加沙激战“接近结束”,美媒:战争可能很快进入一个变化时期

内塔尼亚胡称加沙激战“接近结束”,美媒:战争可能很快进入一个变化时期2024-06-25 10:03:42

三只羊被指售假茅台 官方声明严守正品承诺

三只羊被指售假茅台2024-06-26 15:54:31

这个可怜人,最终向美国低了头

这个可怜人,最终向美国低了头2024-06-26 09:31:59

就这?美军又来跟龙王比宝了……

就这?美军又来跟龙王比宝了……2024-06-25 09:44:52

菲外长最新表态!“希望与中国进行对话”

菲外长最新表态!“希望与中国进行对话”2024-06-26 09:40:11

什么信号?台军演习出现新变化

什么信号?台军演习出现新变化2024-06-26 09:41:16

爷爷病床上抚摸奶奶脸颊携手凝望 本来答应好奶奶要回家的

爷爷病床上抚摸奶奶脸颊携手凝望2024-06-26 15:57:56

多地“老破小”挂牌1天“秒售”!部分房源价格回落到5年前

多地“老破小”挂牌1天“秒售”!部分房源价格回落到5年前2024-06-26 16:00:29

警惕!乌克兰战场的“萨拉热窝时刻”正在逼近

警惕!乌克兰战场的“萨拉热窝时刻”正在逼近2024-06-25 09:36:45

特朗普前顾问出招逼俄乌和谈,自信“俄罗斯会因这一承诺被哄骗至谈判桌前”

特朗普前顾问出招逼俄乌和谈,自信“俄罗斯会因这一承诺被哄骗至谈判桌前”2024-06-26 09:53:45

荷兰2-3惨败却大赚,法国1-1没输反而亏惨,姆巴佩脸色难看真急了

荷兰2-3惨败却大赚,法国1-1没输反而亏惨,姆巴佩脸色难看真急了2024-06-26 16:03:28

蔚来回应加速踏板断裂 涉事车辆系二手事故车

蔚来回应加速踏板断裂2024-06-26 16:04:18

父母假装不知成绩配合女儿查分欢呼 网友:父母提供的情绪价值拉满了

父母假装不知成绩配合女儿查分欢呼2024-06-26 16:00:15

长生不老“神药”NMN禁售风波 市场混乱与监管收紧并行

长生不老“神药”NMN禁售风波2024-06-26 15:54:18

俄罗斯警告美国后,这两位防长首次通话

俄罗斯警告美国后,这两位防长首次通话2024-06-26 09:51:40

罗云熙:“润玉”红利吃了6年,新剧因为太瘦翻车 古装美男变尴尬

罗云熙:“润玉”红利吃了6年,新剧因为太瘦翻车2024-06-26 16:00:58

不愧是韩国!直接威胁俄罗斯……

不愧是韩国!直接威胁俄罗斯……2024-06-26 09:38:16

俄罗斯直接指责美国参与克里米亚袭击:后果自负

俄罗斯直接指责美国参与克里米亚袭击:后果自负2024-06-25 09:51:18

武僧一龙两次都打不赢的日本人,碰上中国小将,被打的满脸都是血

武僧一龙两次都打不赢的日本人,碰上中国小将,被打的满脸都是血2024-06-26 15:58:05

造价3亿多美元扛不住4级风 美军码头为何这么脆

造价3亿多美元扛不住4级风 美军码头为何这么脆2024-06-24 10:09:10

姆巴佩欧洲杯首球刷爆4大纪录!神剧本:8强战,姆皇有望对决C罗

姆巴佩欧洲杯首球刷爆4大纪录!神剧本:8强战,姆皇有望对决C罗2024-06-26 16:03:44

为何补时8分钟?魔笛主帅不服,董路猜想

为何补时8分钟?魔笛主帅不服,董路猜想2024-06-26 16:03:18

相关新闻