还对真正增进对当前大模型功能和局限性理解的工作感兴趣,无论在经验上还是理论上。
陈丹琦团队的大模型工作,量子位也有持续关注。
比如,提出的大模型降本大法——数据选择算法LESS,只筛选出与任务最相关5%数据来进行指令微调,效果比用整个数据集还要好。
而指令微调正是让基础模型成为类ChatGPT助手模型的关键一步。
提出爆火的“羊驼剪毛”大法——LLM-Shearing大模型剪枝法,只用3%的计算量、5%的成本取得SOTA,统治了1B-3B规模的开源大模型。
除了这两位,业界、学术界姚班校友在搞大模型的还有很多。
之前火爆全网的大模型原生应用《完蛋!我被大模型包围了》及其续作《我把大模型玩坏了》,就是由姚班学霸带队开发的。
游戏作者
范浩强
,旷视6号员工。当年以IOI金牌、保送清华姚班、高二实习等传奇事迹被誉为天才少年。如今他已是旷视科技研究总经理,谷歌学术h-index 32的行业大佬。
马斯克xAI首个研究成果——Tensor Programs VI,共同一作中也有姚班校友的身影。
Tensor Programs VI是xAI创始成员、丘成桐弟子杨格
(Greg Yang)
之前Tensor Programs系列工作的延续,论文重点探讨了“如何训练无限深度网络”。
据说Tensor Programs相关成果,在GPT-4中已有应用。为解读论文,杨格本人当时还专门在X上进行了一场直播分享。
共同一作
Dingli Yu
,本科毕业于清华姚班,目前Dingli Yu也快要在普林斯顿计算机科学系博士毕业了。
7月8日早晨9点10分,四川省2024年的第一封大学录取通知书从四川大学望江校区启程,预示着接下来四川省的考生们将会陆陆续续收到属于自己的大学录取通知
2024-07-08 10:03:00四川首封高考录取通知书来了随着2024年高考落下帷幕,烟台市的教育成果再次成为亮点。该市共有13名学生在全省排名前100,7名更是闯入前50,这份骄人的成绩映射出烟台教育的深厚底蕴
2024-07-08 10:08:28高考706分的烟台考生王铭宇:想去清华大学姚班高考进程过半,部分“学霸”已提前完成了他们的考试征程。根据浙江现行的新高考制度,学生在首考中若取得满意成绩,可选择在后续的正式高考中免试某些科目。
2024-06-11 14:56:07学霸1天考完高考江苏省中医院消化系肿瘤外科主任姚学权,在经历6年与癌症的斗争后,于2024年7月12日下午2时28分在南京离世,终年59岁
2024-07-16 20:00:5859岁肿瘤专家姚学权病逝