我认为它不仅仅是预测下一个符号。
问一个问题,答案第一个单词是下一个符号,那就必须理解这个问题。大多数人认为的“自动填充”则是,看到不同的单词出现在第三位的频率,这样就可以预测下一个符号。但其实不是这样。
为了预测下一个符号,必须理解正在说什么。我们是通过让它预测下一个符号,迫使它理解。很多人说,它们不像人类那样推理,只是在预测下一个符号。但我认为,它的理解方式像我们一样。为了预测下一个符号,它必须进行一些推理。现在已经看到,你制作一个大的模型,不添加任何特殊的推理内容,它们也已经可以进行一些推理。规模越大,它们未来能进行的推理也更多。
主持人:现在除了预测下一个符号外,还做了其他什么吗?
Hinton:这就是学习的方式。不管是预测下一个视频帧,还是预测下一个声音。我觉得这就是解释大脑学习的十分合理的理论。
主持人:为什么这些模型能够学习如此广泛的领域?
Hinton:大语言模型所做的,是寻找事物之间共同的结构。基于共同结构对事物进行编码,这样一来效率很高。
举个例子。问GPT-4,为什么堆肥堆像原子弹?大多数人都无法回答这个问题,觉得原子弹和堆肥堆是非常不同的东西。但GPT-4会告诉你,尽管能量、时间尺度不同,但相同的是,堆肥堆变热时会更快地产生热量;原子弹产生更多的中子时,产生中子的速度也会随之加快。这就引出了链式反应的概念。通过这种理解,所有的信息都被压缩到它自己的权重中。
这样一来,它将能处理人类尚未见过的数百种类比,这些看似不相关的类比,正是创造力的源泉。我想,GPT-4变得更大时,创造力将非常高。如果只是觉得,它只在反刍学过的知识,只是将它已经学过的文本拼凑在一起,那就小看它的创造力了。
原标题:AI代写论文?多所高校明确:严查!现在,2024届高校毕业生陆续进入论文答辩阶段,多地高校发表声明,明确将引入论文检测工具,严查AI(人工智能)代写论文的行为。
2024-05-17 14:08:12多地高校将严查AI代写论文5月14日,OpenAI在春季发布会上揭晓了其最新的旗舰AI模型——GPT-4o,这一模型以“全知全能”为目标,实现了实时的语音、文本、图像交互功能
2024-05-15 09:10:07OpenAI发布全新生成式AI模型GPT-4o互联网和技术的迅速发展,特别是人工智能的兴起,让我们仿佛潜入了一个知识的广阔海洋。信息变得触手可及,问题似乎瞬间就能找到答案。但这片海洋的深邃也引发了思考:我们的疑问,真的因此减少了吗?
2024-06-07 13:23:08AI仅10秒写完主题是AI的高考作文联播+雄安站候车大厅内,“千年轮”的启动可以追溯至2017年4月1日,那是雄安新区设立的日子。“把智能、绿色、创新打造成为雄安新区的亮丽名片。
2024-04-02 08:27:40AI时政视界|未来之城微软在新园区发布了一款专为AI体验设计的Windows 11 AI PC新品,这款产品内置的NPU芯片每秒运算能力超过40万亿次,能显著提升AI应用性能
2024-05-21 15:48:2611