华人科学家登上Nature:几行代码,优化复合AI系统 TextGrad引领自动优化新浪潮!斯坦福大学副教授 James Zou 领导的团队提出了 TextGrad,这是一种通过文本自动化“微分”反向传播大语言模型(LLM)文本反馈来优化 AI 系统的方法。目前,AI 领域的许多突破都是由多个大语言模型和其他专业工具协同工作的系统驱动,这些系统主要依赖领域专家的手工制作和启发式调整,而不是自动优化。
TextGrad 的灵感来源于人工神经网络的发展历程。在人工神经网络中,反向传播和自动分化技术的引入简化了优化过程,从而推动了该领域的进步。同样,TextGrad 通过反向传播 LLM 生成的反馈来执行优化,以改进人工智能系统。只需几行代码,用户就可以将用于分类数据的“逐步推理”提示转换为更复杂的、针对特定应用的提示。
TextGrad 是一个多功能框架,基于三个原则构建:一切皆为文本,使用语言模型评估输出、评论它们并更新输入。这个框架利用自然语言反馈对系统的任何部分提出改进建议,从提示到输出,如分子或治疗方案等。相关研究论文发表在《Nature》上,展示了如何在博士级问题解答和高难度编程问题中实现 SOTA 性能,并通过优化药物发现的分子和治疗方案来解决科学问题。研究表明,无需修改框架,TextGrad 即可在多个领域发挥作用。
TextGrad 提供了一个遵循 PyTorch 语法的 API,允许用户通过使用仅由语言模型提供的文本反馈来优化任何提示或结果。它还允许语言模型自我完善其响应,评估由任何潜在的黑盒函数提供,例如语言模型本身或代码解释器的输出。研究团队在解法优化、代码优化、推理提示优化、放疗计划优化以及复合人工智能系统优化方面进行了实验。在放射治疗计划优化中,TextGrad 表现优于临床计划,实现了更高的平均剂量和与规定剂量完全一致的 D95,同时降低了对健康器官的剂量。
近期,媒体曝光多名顶尖科学家回到中国任职的消息,使得华人科学家“海归潮”再度引起关注。据统计,去年以来至少有17名顶尖科学家从海外回到中国,他们多数来自数学和物理学领域
2025-04-04 16:51:51多名顶尖科学家回中国任职2月18日,埃隆·马斯克宣布“地表最聪明AI”Grok 3正式亮相。在发布会现场,坐在C位的两位华人科学家引起了广泛关注,他们是多伦多大学计算机科学助理教授Jimmy Ba和xAI联合创始人吴宇怀
2025-02-19 09:22:00两位华人坐镇Grok3发布会C位