学者谈AI“穷尽”知识时人怎么办 数据瓶颈引发新思考
学者谈AI穷尽知识时人怎么办！互联网是人类知识的汪洋大海，但并非无穷无尽。人工智能研究人员几乎将其耗尽。过去十年来，人工智能的进步主要通过扩大神经网络和增加训练数据实现。这种扩展使大语言模型在复刻会话语言和发展推理等能力方面取得了显著成果。然而，一些专家认为我们已接近扩展的极限，部分原因是计算所需的能源不断膨胀，同时也因为用于训练模型的传统数据集正在枯竭。
今年，一项研究预测到2028年左右，用于训练人工智能模型的数据将达到公共在线文本的估计总存量。这意味着人工智能可能在四年内耗尽训练数据。同时，数据所有者如报纸出版商开始限制其内容的使用方式，进一步收紧了数据使用权。麻省理工学院的研究员Shayne Longpre表示，这导致了“数据公共资源”规模的危机。
尽管专家们认为这些限制可能会减缓人工智能系统的快速发展，但开发者们正在寻找解决办法。例如，OpenAI和Anthropic等公司已经公开承认这一问题，并计划生成新数据和寻找非常规数据源。OpenAI的一位发言人表示，他们使用多种来源的数据，包括公开数据、合作伙伴提供的非公开数据、合成数据生成和来自人工智能训练者的数据。
数据紧缩可能会促使人们从大型通用语言模型转向更小、更专业的模型。过去十年中，语言模型的发展显示了对数据的巨大需求。据估计，自2020年以来，用于训练语言模型的token数量增长了100倍，从数千亿增加到了数万亿。尽管互联网上的文本总量巨大，但高质量的内容相对较少，且增长速度缓慢。
28岁女游客疑因拍照坠海溺亡，警方介入调查 安全警示再引关注
全年煤炭产量力争达到48亿吨左右！
刷屏一年的飞行汽车能飞了吗 低空经济新风口
尹锡悦确定律师团 金洪一任团长
媒体：赖当局面对特朗普焦虑不安，台湾在特朗普眼中只是“棋子”
孙闻vs王楚钦 乒超联赛精彩对决
美国人如何看特朗普2.0 经济前景更乐观
泽连斯基称俄首次动用大量朝军袭乌 局势升级新迹象
1.9元买网课第一天看了半小时广告 1小时的课程实际教学内容不足半小时
油价又要调整！今天最新油价
亏损超10亿，中美观众差评出奇一致，2024年又一票房惨案诞生了 漫威IP光环不再
刷屏一年的飞行汽车能飞了吗 低空经济新风口
上交所要求券商对两融、客户交易、投行业务自查 加强业务管理薄弱环节
神舟十九号乘组太空出差已47天 开展多项科学实验与健康监测
与哈里斯同框，拜登现场夸夸：她一直为国家服务，我们不会让你离开
覃海洋逆转夺冠，中国游泳队3金收官短池世锦赛
尹锡悦被弹劾后韩国接下来会怎样
震荡！截至午间收盘A股2500只个股上涨，这只股票走出“地天板”
日本半导体产业有未来吗 经济安保政策下的困境
俄乌战争对乌克兰的影响 俄乌战争两国经济损失，乌克兰7749亿美元，俄罗斯让人意外
全国道德模范候选人名单公布 典范力量暖人心
95后宝妈转行做保洁十天挣两千元：年轻人会比较需要，感觉前景不错
前叙利亚政府军士兵讲述当“逃兵”经历：听见叛军进攻的消息我就跑了
美M1A2T坦克将抵台 “悄悄”运抵台北港
大V：叙利亚或被分4块 以色列行动加剧局势
国务院巡查组沿途随机抽查还回查 杀回马枪！
生涯第80次三双！东契奇45 11 13 血帽波杰一幕太搞笑：独行侠力克勇士
台军笃定：解放军在东南沿海7处同时举行防空演习，释放强烈信号 彰显坚定防御决心
操作失误？男子拔火罐致二度烧伤获赔21万
28岁女游客疑因拍照坠海溺亡，警方介入调查 安全警示再引关注
全年煤炭产量力争达到48亿吨左右！
徐瑛彬11比0松岛辉空 王楚钦绅士举动获赞
以色列民众举行抗议集会 示威者：为了救出人质 我们愿意结束战争
韩警察厅厅长恶化 健康状况引关注
欧盟官员替欧尔班操心：特朗普还是中国，得选一个 平衡术面临考验
相关新闻
28岁女游客疑因拍照坠海溺亡，警方介入调查 安全警示再引关注
12月13日，广东省深圳市大梅沙海滨栈道发生一起游客坠海事件。据目击者称，一名28岁的贵州女游客疑似在拍照时不慎坠海，并被海浪卷走。14日，广东海警局证实已打捞出该游客的遗体，具体坠海原因正在调查中
2024-12-17 03:56:1628岁女游客疑因拍照坠海溺亡全年煤炭产量力争达到48亿吨左右！
在全球能源转型的大背景下，中国作为世界第一大能源消费国，正在重新审视其能源战略。2025年，中国国家能源局宣布将加快规划建设新型能源体系，力争全年煤炭产量达到48亿吨左右
2024-12-17 03:55:50全年煤炭产量力争达到48亿吨左右猎罪2女主播榜一哥奔现事件引关注
2024-12-17 03:51:15猎罪2女主播榜一哥奔现刷屏一年的飞行汽车能飞了吗 低空经济新风口
快到年底了，今年科技领域里一个高频出现的词是低空经济。自去年年底国家将其列为战略性新兴产业以来，这个概念一直很火，甚至在今年两会时被写入政府工作报告
2024-12-17 03:50:48刷屏一年的飞行汽车能飞了吗上交所要求券商对两融、客户交易、投行业务自查 加强业务管理薄弱环节
上交所组织券商开展12月的自查工作，涉及客户交易行为、两融业务、客户适当性管理、交易及相关系统管理、承销保荐业务等多个方面。此举旨在督促券商查找业务管理中的薄弱环节，并积极整改落实
2024-12-17 03:45:08上交所要求券商对两融油价又要调整！今天最新油价
北京时间12月16日，目前原油变化率：-0.46%，经过8个工作日统计，预计油价下调20元/吨（处于搁浅调整范围），国内新一轮成品油调价窗口将于12月18日24时进行。...
2024-12-17 03:41:02油价又要调整
