中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源
中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源
6月19日，中国电信人工智能研究院（TeleAI）与北京智源人工智能研究院合作，推出了全球首个单体稠密万亿参数的语义模型——Tele-FLM-1T。这一成就使TeleAI成为国内率先进入稠密万亿参数大模型领域的机构之一。
针对大模型训练过程中高算力消耗的问题，TeleAI与智源的研究团队采用了模型生长和损失预测等创新技术，共同研发Tele-FLM系列模型。与业界常规训练方案相比，这一方法显著降低了算力需求，仅使用了9%的算力资源。通过112台A800服务器，在四个月的时间内，团队成功完成了3个模型总计2.3万亿tokens的训练任务。
中国电信表示，Tele-FLM-1T模型即将开放源代码，旨在为行业提供万亿稠密模型训练的技术参考案例，助力解决模型训练中可能出现的收敛难题。
作为率先布局并开放大模型的央企研究机构，TeleAI在过去一年中展现了其在该领域的持续进步。继去年推出千亿参数级别的“星辰”语义大模型之后，今年2月，“星辰”大模型通过了“境内深度合成服务算法备案”。5月15日，根据相关公告，“星辰”大模型再度完成产品备案，这意味着它已具备正式对外提供生成式人工智能服务的资格。
在开源领域，TeleAI持续发力，相继公布了7B、12B、52B参数规模的大模型。随着TeleChat系列模型的问世，TeleAI还对其多个大模型应用项目实施了性能升级，例如，在某城市民服务项目中，集成TeleChat-52B模型后，整体服务效能提高了40%。
北京明起高温暂退，雷雨将频繁登场 湿热交替需防暑
姜萍爆红引热议，胡锡进：很难设想17岁女孩能与老师共谋惊天骗局
于东来：企业家奋斗一生也没快乐，是方法的问题——匠心管理缺失
美方承认：瑞士和会不是正式谈判，俄美分歧持续
北约刚威胁完中国，美国竟暗示“进一步措施”
SIPRI全球核力量年度报告发布，全球核武库出现哪些新变化？
“扫清关键障碍”，荷兰首相吕特被曝即将接任北约秘书长
破产延后？台湾劳保基金首度破兆 学者示警：仍是未爆弹
大V：叫嚣豁免权女子是否公车私用 国际组织秘书长致歉
日本多地出现针对外国游客多收费情况 争议四起
陈妍希方未回应婚变传闻 网友焦急等待真相
Angelababy青衫琵琶造型，梦回柳莹！
丑闻！英方这场针对中国的行动曝光了
于东来：企业家奋斗一生也没快乐，是方法的问题——匠心管理缺失
美媒发布最新视频称“艾森豪威尔”号航母未受损
男子瘫倒在座位 副主任紧急施救 网友赞其为“超级英雄”
报告称人工智能行业位列2023秋招投递第一 工科人才需求旺
美军想把钻井平台改成海上要塞！批评者质疑：建设和运营成本可能远超预期
为当北约秘书长，荷兰首相吕特跟欧尔班“谈条件”
内塔尼亚胡宣布战时内阁已解散
“局部战术暂停”后 以军袭击加沙地带多地
北京明起高温暂退，雷雨将频繁登场 湿热交替需防暑
这种饮料喝着不甜，但升糖能力超高！很多人不知道还天天喝
为了在西太平洋有立足点，美军看上了它……
电动车因“颜值高”4天内被盗3次 颜值背后的悲催命运
姜萍爆红引热议，胡锡进：很难设想17岁女孩能与老师共谋惊天骗局
又致8死！冷藏车为何总成“夺命货车”？ 违规乘人再酿悲剧
美海军“勇敢之盾”演习击沉退役船坞登陆舰
菲律宾的这次冒险，五个值得注意的细节
台“铭传舰”士兵深夜从舰跳海游上岸，自称“不想当兵”
明年NBA总冠军赔率榜：绿军居首掘金次席 独行侠第4湖人仅第14
布局70载，CIA要在印度本土建立一个国家？
“欧洲防务展”上的欧洲最新坦克
争论不休，欧盟未敲定新领导层！
官方：上市公司财务造假是监管重点，强化惩防体系构建
相关新闻
零一万物千亿参数模型Yi-Large发布！
在零一万物创立一周年的时刻，CEO李开复公布了一项重要成果：公司的千亿参数Yi-Large闭源模型在斯坦福大学新推出的AlpacaEval 2.0评估中，赢得了全球大模型的最高胜率
2024-05-13 14:27:59零一万物千亿参数模型Yi-Large发布！李开复呼吁关注TC-PMF机构：量子计算有望解决AI算力瓶颈，开启算力新纪元
民生证券最近的研究报告强调，量子计算作为一种前沿技术，有望突破人工智能算力限制，带来颠覆性变革。它与传统计算方法不同，不仅大幅增强了数据处理的并行性，还显著降低了能源消耗
2024-05-21 13:26:39机构：量子计算有望解决AI算力瓶颈黄仁勋的“人肉快递”，掀起900亿美元算力战争 最强AI算力捐赠OpenAI
黄仁勋最近亲自向OpenAI赠送了全球首台Nvidia DGX H200超级计算机，这一举动再次凸显了英伟达与领先研究机构在推动AI、计算及人类进步方面的合作
2024-04-30 09:08:51黄仁勋的“人肉快递”阿里云发布开源模型Qwen2，宣称性能超美国最强开源模型Llama3-70B
6月7日，阿里云在技术博客上宣布了一个重要进展：他们发布了名为Qwen2-72B的开源模型，这款模型在全球范围内以其卓越的性能脱颖而出
2024-06-07 10:49:47阿里云发布开源模型Qwen2宁夏发生交通事故致9死2伤 货车与普通小客车相撞
原标题：宁夏青铜峡市发生一起交通事故 致9人死亡2人受伤2024年5月9日7时40分许，在宁夏青铜峡市G110国道西山公墓附近
2024-05-09 11:28:49宁夏发生交通事故致9死2伤美政客承认盯上乌克兰数万亿美元矿产 资源争夺成焦点
近期，美国政坛针对对乌克兰援助的力度展开了激烈辩论。部分共和党人士提出，应削减对乌克兰的援助，转而加强对美国国内事务如边境移民问题的关注，这一立场导致国会内的对乌援助拨款议案面临阻碍
2024-06-10 18:36:14美政客承认盯上乌克兰数万亿美元矿产
