我们可以很低效地将信息从一个人传递给另一个人。我写句子,你想办法改变你思维里的权重,你就会说同样的话。这其实叫做提炼,但这种知识交流非常低效。
数字系统却不同,它们不会死去。一旦有了一些权重,计算机这个壳就不重要了。只需将权重存储在某个磁带或者什么上,就可以把同样的权重转移进另一台计算机。如果是数字的,它就可以与其他系统一样计算。所以,数字系统能够以极高效率共享权重,甚至还能迭代。假设你有一大把数字系统,从相同的权重开始,各自进行微量的学习,还能再次共享权重,这样它们都能知道其他系统学到了什么,甚至完成了迭代。人类无法做到这一点,在知识共享上,数字系统比我们做得好太多。
主持人:许多已经在该领域实施的想法,其实都是非常传统的,因为这些想法在神经科学中一直存在。那么,你认为还有哪些想法可以应用于我们正在开发的系统呢?
Hinton:因此,我们仍需追赶神经科学的发展。
在几乎所有的神经网络中,都存在一个快速的活动变化时间尺度。因此,当输入进来后,活动和嵌入向量都会发生变化,然后有一个缓慢的时间尺度会改变权重。这就是长期学习。
你只有这两个时间尺度。然而在大脑中,权重会改变的时间尺度很多。例如,我说一个意想不到的词,比如“黄瓜”,五分钟后,你戴上耳机,会听到很多噪音,而且单词非常模糊,但你会更好地识别“黄瓜”这个词,因为我五分钟前说过这个词。大脑中的这些知识是如何存储的呢?这些知识,显然是突触的暂时变化,而不是神经元在重复“黄瓜”这个词。你没有足够的神经元来做这件事。这是权重的暂时变化。你可以用暂时的权重变化做很多事情,我称之为快速权重。
原标题:AI代写论文?多所高校明确:严查!现在,2024届高校毕业生陆续进入论文答辩阶段,多地高校发表声明,明确将引入论文检测工具,严查AI(人工智能)代写论文的行为。
2024-05-17 14:08:12多地高校将严查AI代写论文5月14日,OpenAI在春季发布会上揭晓了其最新的旗舰AI模型——GPT-4o,这一模型以“全知全能”为目标,实现了实时的语音、文本、图像交互功能
2024-05-15 09:10:07OpenAI发布全新生成式AI模型GPT-4o互联网和技术的迅速发展,特别是人工智能的兴起,让我们仿佛潜入了一个知识的广阔海洋。信息变得触手可及,问题似乎瞬间就能找到答案。但这片海洋的深邃也引发了思考:我们的疑问,真的因此减少了吗?
2024-06-07 13:23:08AI仅10秒写完主题是AI的高考作文联播+雄安站候车大厅内,“千年轮”的启动可以追溯至2017年4月1日,那是雄安新区设立的日子。“把智能、绿色、创新打造成为雄安新区的亮丽名片。
2024-04-02 08:27:40AI时政视界|未来之城微软在新园区发布了一款专为AI体验设计的Windows 11 AI PC新品,这款产品内置的NPU芯片每秒运算能力超过40万亿次,能显著提升AI应用性能
2024-05-21 15:48:2611