何恺明新作再战AI生成：入职MIT后首次带队，奥赛双料金牌得主邓明扬参与

小大

用微信扫描二维码
分享至好友和朋友圈

关键词：

2024-06-24 09:58:02 站长之家

何恺明在成为MIT副教授后的首个领导项目成果出炉，该研究项目挑战了图像生成领域的一项常规做法：不再依赖矢量量化，转而运用连续值生成技术，并从扩散模型中汲取灵感，引入了Diffusion Loss的概念。何恺明新作再战AI生成：入职MIT后首次带队，奥赛双料金牌得主邓明扬参与。

以往，自回归模型如DALL·E一代常与矢量量化技术绑定，但何恺明团队指出，图像生成的核心在于预测下一个token的概率分布，无论该值是连续还是离散。他们发现，矢量量化虽为常用手段，却伴随着诸如量化误差导致的质量下降、表达能力受限等问题。因此，团队创新性地在损失函数上做出改变，设计出Diffusion Loss，绕过了对离散tokenizer的需求，使得连续值空间中的图像生成变得可行。

何恺明新作再战AI生成：入职MIT后首次带队，奥赛双料金牌得主邓明扬参与

该方法通过一个小型去噪MLP网络，结合反向扩散过程，能够基于自回归模型输出的潜变量z采样连续值token。此去噪网络与自回归模型同步训练，优化输出以达到最佳条件z。这一框架具有高度通用性，不仅适用于标准自回归模型，还能无缝融入随机顺序及掩码自回归模型，尤其是在掩码自回归模型中，实现了多token的同时预测，与扩散损失策略高度契合。

实验结果显示，去除矢量量化后，所训练的图像生成模型不仅效率高，生成质量亦大幅提升。与业界领先的模型相比，即便是小型模型也能达到1.98的FID分数，大型模型更是创造了1.55的最新纪录，且生成256x256尺寸图像的时间少于0.3秒。这种方法通过在token间建立相关性并局部扩散建模，展示了其在效果、速度及灵活性方面的巨大潜力。

何恺明新作再战AI生成：入职MIT后首次带队，奥赛双料金牌得主邓明扬参与

此外，何恺明团队的未来成员也颇受关注，包括即将于2024年加入的MIT博士后黎天鸿，以及目前仍在MIT攻读本科学位、被誉为“乖神”的数学和计算机科学双料奥赛金牌得主邓明扬。尽管邓明扬的研究聚焦于生成式基础模型，但其未来规划尚未公开。

何恺明新作再战AI生成：入职MIT后首次带队，奥赛双料金牌得主邓明扬参与

值得一提的是，何恺明在AI for Science领域的初步探索也已见成效，通过将Transformer模型应用于量子物理学中的动态异构资源调度问题，成功提高了量子系统的性能，这一成果再次证明了他在既有研究领域和新兴探索方向上的双重成就。

12 3 全文共 3 页下一页

关闭

何恺明新作再战AI生成：入职MIT后首次带队，奥赛双料金牌得主邓明扬参与

相关新闻

今日热点

频道热点