我们的神经模型并不会这样做,原因是,对依赖于输入数据的权重进行临时更改,则无法同时处理大量不同的情况。目前,我们采用大量不同的字符串,将它们堆叠在一起,然后并行处理它们,因为这样我们可以进行矩阵乘法,效率要高得多。正是这种效率,阻止了我们使用快速权重。但大脑显然将快速权重用于临时记忆。而且,你可以通过这种方式。做各种我们目前不做的事情。
我认为这是你必须学习的最重要的事情之一。我非常希望像Graphcore(一家英国的AI芯片公司)这样的设备,它们采用顺序方式,并只进行在线学习,那么它们就可以使用快速权重。但这还没有奏效。或许当人们使用电导作为权重时,最终它会奏效。
官网截图:https://www.graphcore.ai/
主持人:了解这些模型如何工作,了解大脑如何工作,对你的思维方式有何影响?
Hinton:多年来,人们非常看不起大型随机神经网络,只要给它大量的训练数据,它就会学会做复杂的事情的想法。你和统计学家或语言学家,或者大多数人工智能领域的人交谈,他们会说,那只是一个白日梦。没有某种先天知识,没有很多架构限制,模型就不可能学会真正复杂的事情。以为随便用一个大型神经网络,就能从数据中学习一大堆东西——但这是完全错误的。
随机梯度下降,即使用梯度反复调整权重,也可以学习非常复杂的东西,这些大型模型已经证实了这一点。这是对大脑理解的一个重要观点。大脑并不需要拥有所有的先天结构。即使大脑确实拥有许多先天结构,但对易于学习的事物,又并不需要这些先天结构。
乔姆斯基的观点是,只有当知识本身无比扎实、成熟,才能学习像语言这样复杂的事物。然而现在看来,这种观点显然很荒谬。
原标题:AI代写论文?多所高校明确:严查!现在,2024届高校毕业生陆续进入论文答辩阶段,多地高校发表声明,明确将引入论文检测工具,严查AI(人工智能)代写论文的行为。
2024-05-17 14:08:12多地高校将严查AI代写论文5月14日,OpenAI在春季发布会上揭晓了其最新的旗舰AI模型——GPT-4o,这一模型以“全知全能”为目标,实现了实时的语音、文本、图像交互功能
2024-05-15 09:10:07OpenAI发布全新生成式AI模型GPT-4o互联网和技术的迅速发展,特别是人工智能的兴起,让我们仿佛潜入了一个知识的广阔海洋。信息变得触手可及,问题似乎瞬间就能找到答案。但这片海洋的深邃也引发了思考:我们的疑问,真的因此减少了吗?
2024-06-07 13:23:08AI仅10秒写完主题是AI的高考作文联播+雄安站候车大厅内,“千年轮”的启动可以追溯至2017年4月1日,那是雄安新区设立的日子。“把智能、绿色、创新打造成为雄安新区的亮丽名片。
2024-04-02 08:27:40AI时政视界|未来之城微软在新园区发布了一款专为AI体验设计的Windows 11 AI PC新品,这款产品内置的NPU芯片每秒运算能力超过40万亿次,能显著提升AI应用性能
2024-05-21 15:48:2611