中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源
中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源
6月19日，中国电信人工智能研究院（TeleAI）与北京智源人工智能研究院合作，推出了全球首个单体稠密万亿参数的语义模型——Tele-FLM-1T。这一成就使TeleAI成为国内率先进入稠密万亿参数大模型领域的机构之一。
针对大模型训练过程中高算力消耗的问题，TeleAI与智源的研究团队采用了模型生长和损失预测等创新技术，共同研发Tele-FLM系列模型。与业界常规训练方案相比，这一方法显著降低了算力需求，仅使用了9%的算力资源。通过112台A800服务器，在四个月的时间内，团队成功完成了3个模型总计2.3万亿tokens的训练任务。
中国电信表示，Tele-FLM-1T模型即将开放源代码，旨在为行业提供万亿稠密模型训练的技术参考案例，助力解决模型训练中可能出现的收敛难题。
作为率先布局并开放大模型的央企研究机构，TeleAI在过去一年中展现了其在该领域的持续进步。继去年推出千亿参数级别的“星辰”语义大模型之后，今年2月，“星辰”大模型通过了“境内深度合成服务算法备案”。5月15日，根据相关公告，“星辰”大模型再度完成产品备案，这意味着它已具备正式对外提供生成式人工智能服务的资格。
在开源领域，TeleAI持续发力，相继公布了7B、12B、52B参数规模的大模型。随着TeleChat系列模型的问世，TeleAI还对其多个大模型应用项目实施了性能升级，例如，在某城市民服务项目中，集成TeleChat-52B模型后，整体服务效能提高了40%。
拜登退选是否与特朗普遭袭事件有关
郑钦文：奥运赛场会付出所有，力争梦想荣耀
今年三伏天所有女孩都这样做 养生新风尚
美国男篮晒球队1v1单挑视频 詹皇罚球夺冠引热议
废弃它，连带报销了美军隐藏的算盘……
冲突前线处境艰难，美欧援乌明显降温，内外压力涌向泽连斯基！
沙利文称美国可能允许乌军用美国武器深入打击俄领土，俄外交官：美仍想给俄造成“战略失败”
中高端公路自行车一车难求 骑友吐槽交押金两月仍未提车
与台当局首次联演，“日本刻意低调”
张雪峰回应公司因无法联系被列入经营异常名录：是我北京的工作室房租到期了
为波音产导引头短缺，日本“爱国者”导弹生产计划被推迟
2万一套房的阜新会成为新鹤岗吗 万元买房背后的故事
拿下冠军还要秀？特鲁姆普绿球引爆全场，母球在桌上360度大转弯
家族政治，印度持续千年的谜题
拜登退选是否与特朗普遭袭事件有关
雷神公司测试“爱国者”雷达引导“标准6”导弹
千里奔袭胡塞武装，以军要过几道坎？
四连胜+巡回赛41冠！特鲁姆普创造历史，准神成80后第一人！
男子猥亵被拘13天父亲向受害者求情
首次空袭也门，内塔尼亚胡：以色列长臂可触及任何地方
今年三伏天所有女孩都这样做 养生新风尚
暴雨来袭8个不 确保安全度汛期
郑钦文：奥运赛场会付出所有，力争梦想荣耀
一觉醒来，美国发生历史性大事
泽连斯基：如果特朗普胜选，乌克兰只能……
内塔尼亚胡访美与拜登会晤将按计划进行，具体时间未知
四大行新增贷款占半壁江山 金融供给侧结构性改革深化
果然，美国政府还是有办法……
重庆警方通报游乐场发生打人事件 5名嫌疑人被刑拘
瓜帅为根基的“教练树”上 长出了多少好教练 传承与变革并行
美“罗斯福”号航母赴红海小心翼翼，在进入印度洋后明显放缓速度
拜登为何会推哈里斯上位 民主党的无奈之举？
俄方回应拜登退选 莫斯科立场不变，静观美国内政
日防相木原稔今起访欧，同英意共同开发新战机计划有变数？
又扯“中俄威胁”？“美国将明文承诺会用核武器保护日本”
相关新闻
零一万物千亿参数模型Yi-Large发布！
在零一万物创立一周年的时刻，CEO李开复公布了一项重要成果：公司的千亿参数Yi-Large闭源模型在斯坦福大学新推出的AlpacaEval 2.0评估中，赢得了全球大模型的最高胜率
2024-05-13 14:27:59零一万物千亿参数模型Yi-Large发布！李开复呼吁关注TC-PMF李彦宏批“百模大战”：“卷模型”造成巨大的算力浪费
2024世界人工智能大会与人工智能全球治理高级别会议于7月4日在上海拉开帷幕。会上，百度的创始人、董事长兼CEO李彦宏进行了主题演讲，分享了他对当前人工智能领域发展的一些见解
2024-07-04 15:59:30李彦宏批“百模大战”：“卷模型”造成巨大的算力浪费机构：量子计算有望解决AI算力瓶颈，开启算力新纪元
民生证券最近的研究报告强调，量子计算作为一种前沿技术，有望突破人工智能算力限制，带来颠覆性变革。它与传统计算方法不同，不仅大幅增强了数据处理的并行性，还显著降低了能源消耗
2024-05-21 13:26:39机构：量子计算有望解决AI算力瓶颈黄仁勋的“人肉快递”，掀起900亿美元算力战争 最强AI算力捐赠OpenAI
黄仁勋最近亲自向OpenAI赠送了全球首台Nvidia DGX H200超级计算机，这一举动再次凸显了英伟达与领先研究机构在推动AI、计算及人类进步方面的合作
2024-04-30 09:08:51黄仁勋的“人肉快递”阿里云发布开源模型Qwen2，宣称性能超美国最强开源模型Llama3-70B
6月7日，阿里云在技术博客上宣布了一个重要进展：他们发布了名为Qwen2-72B的开源模型，这款模型在全球范围内以其卓越的性能脱颖而出
2024-06-07 10:49:47阿里云发布开源模型Qwen2Claude3.5突然发布！GPT-4o不香了 Anthropic新模型夺魁
6月20日，Anthropic发布了一款名为Claude 3.5 Sonnet的AI模型，这款模型在多个领域超越了竞争对手，包括GPT-4o及自家的Claude 3 Opus
2024-06-21 10:45:07Claude3.5突然发布！GPT-4o不香了
