Learning When to Think While Listening in Large Audio-Language Models
ICLR 2027审稿中International Conference on Learning Representations

我是宋致远,也可以叫我 Allen。我在宾夕法尼亚大学读计算机与信息科学硕士(AI 方向),跟随 Prof. Jiatao Gu 做研究,方向是多模态基础模型和大模型推理。同时,我在纽约的 Millennium Management 做 AI 工程师实习生。
我想做的,是能实时与人交互的智能系统。目前的研究集中在 LLM 后训练、Omni 与多模型系统、实时交互模型、Agent Harness、持续学习和长程任务。我也喜欢把底层做扎实:稳定的 AI 基础设施,和更高效的分布式训练流水线。
研究之外,我做产品,也做支撑产品的基础设施。ThunderTalk 是开源的 macOS 本地语音工具,Wemute 是本地优先的文件转换工具。我还在搭一套能真正干活的 agent 系统:数字员工、研究与数据分析流水线,以及给编程 agent 共用的技能和记忆层。在 Millennium,我做的一个内部 AI 工具从我们组起步,现在约有 190 位同事在用。
本科我在弗吉尼亚大学读计算机科学和应用统计双专业,以优异成绩(High Distinction)毕业,期间先后跟随 Prof. Madhav Marathe、Prof. S.S. Ravi 和 Prof. N. Rich Nguyen 做研究。
我很乐意和创业者、研究者聊早期的想法。我一路是怎么走过来的、能为创始团队带来什么,都写在这里。欢迎随时联系。
计算机与信息科学工程硕士 M.S.E.(AI方向)
文学学士(优异荣誉),计算机科学与应用统计学双学位
荣誉:Dean's List;UVA研究生申请奖学金;NSF基金。
AI 工程师实习生 — Cloud & AI/ML 基础设施
深度学习研究员(Prof. Jiatao Gu 组)— 大模型后训练(SFT → RL),4×B200
创始人 — 个人品牌与工作室;打造了 RAG 法律助手 Legal Manus
完成在 Millennium Management 的暑期实习并获得延期,继续担任 AI 工程师实习生。
加入 Millennium Management 担任 AI 工程师实习生,方向为云与 AI/ML 基础设施。
新预印本:"Learning When to Think While Listening in Large Audio-Language Models" 已上线 arXiv,正在 ICLR 2027 审稿中。
开始在UPenn攻读CIS工程硕士(M.S.E.),加入Prof. Jiatao Gu课题组担任深度学习研究员。
在AdventureX黑客松中担任技术负责人,构建全双工实时语音AI助手。
以优异荣誉从弗吉尼亚大学毕业。
与 Prof. N. Rich Nguyen 合作的论文"SL4HOI"被 KDD-UC 2024 录用(巴塞罗那)。
创立 Entropinia 熵境——起初是服装品牌,后来发展为我的个人工作室,并在其中打造了 Legal Manus 等 AI 产品。
加入弗吉尼亚大学 Biocomplexity Institute 担任研究助理,师从 Prof. Madhav Marathe 与 Prof. S.S. Ravi。
高一暑假,我一个人从国内转机飞到华盛顿,参加乔治城大学的夏校,那是我第一次来美国。我在那里拍了三支 vlog,也是在那时开始自学剪辑:配乐、音效、找素材,跟着节奏一刀一刀手剪,再去拆别人的片子,看人家是怎么剪的。电脑很卡,片子还是剪出来了,在 B 站累计播放 34K。回到学校,我当上了微电影社社长,牵头给咖啡社拍了宣传片;也做了播音社社长,后来做到学生会宣传部部长,播音社正好归宣传部管。
我想去弗吉尼亚大学,就向学校的升学指导老师提议,请 UVA 来校做一场宣讲。在老师的推动下,一位招生官来到了学校。问答环节我和招生官聊了几分钟,会后寄去一封感谢信,之后一直有邮件往来。那年我申请了 UVA,被录取了。
在 UVA,我读计算机科学和应用统计双专业,三年半毕业。大二我当了离散数学的助教,因此认识了跟随 Prof. Madhav Marathe 读博的 Zirou Qiu,经他引荐,我进了实验室。我们后来成了很好的朋友,到现在也常联系。后来跟另一位教授做暑期科研,教授的评价是:一个本科生,在带着研究生做项目。2024 年,我以第一作者的身份去巴塞罗那,在 KDD 本科生论坛(KDD-UC)上报告论文。大会给我匹配的导师是清华大学教授、智谱首席科学家唐杰,我们就大模型和 GLM 聊了很久。
我从高中就在网上卖东西:炒鞋最热的那几年倒过球鞋,后来在闲鱼卖闲置、做货,学生时代累计卖出近 8 万元,189 条评价全是好评。大学时我发现,在国内音乐人中很火的音高修正效果器 TC-Helicon VoiceTone C1,美国的价格只有国内的一半。我先带了一批回国试水,挂上去就卖光了,每台都卖到成本的两倍左右,我的商品还排到了搜索结果的最前面。等我带第二批回来,别人也发现了这个价差,美国那边开始涨价、断货,第二批最后保本出清。第一批赚到的,其实是时间差。
我和高中时最好的朋友之一做了一个服装品牌,叫 Entropinia 熵境。他学设计,负责创意;生意这边由我来跑:注册工商户、办营业执照、报税,都是我一项项查清楚、跑下来的;我去找工厂老板谈合作,对着设计稿和 logo 一轮轮改版、打样,直到做出可以量产的成衣。后来方向变了,这家工商户没有关掉,而是转成了我在国内的咨询工作室,带学生申请,也做 AI 产品。当年跑通的执照、合同和财税,后来全都用上了。
我的研究生申请大部分是自己做的,最后去了宾大。走完一遍,整个流程我已经熟到可以教别人。入学前那几个月,我在几家教培机构给大学生上课,也在中国规模最大的黑客松 AdventureX 当技术负责人带队,那一届有来自 67 个国家和地区的约 870 名参赛者。之后我在 B 站发了一期 CS 研究生申请指南,复旦、北大、伯克利的学生看到后来找我。我做的是半 DIY,投入并不少:每周固定一到两小时一对一开会;文书的框架和参考由我给,学生写出初稿,我带着一版一版改到定稿,每个项目的 SOP 和 PS 都是这样磨出来的;选校方案由我提出,把利弊和逻辑讲清楚,最后由学生自己拍板,因为这是他们自己的申请,也是他们自己要走的路。带完一个学生,相当于我自己又申请了一遍。合同也是我自己拟的,三位学生都拿到了很好的录取。之后每个申请季,我都会带新的学生。
Millennium 的第一轮面试,我一路走到第四轮终面,最后没有拿到 offer。我站在招聘负责人的角度想了想:他们要的是把名额招满,一个已经走到终面的候选人,比从头再找一个省事得多。纽约的岗位已经下架,但官网上迈阿密还开着同样的 AI 工程师岗位,我就去问招聘负责人:能不能让我试试那边?对方帮我问了一圈,最后匹配到的竟然还是纽约的一个组。加面两轮,前后一共六轮,我拿到了 offer。这段实习后来还获得了延期。
在 Millennium,我从一个早期框架起步,做了一个内部 AI 工具。难的不是写出来,而是让人愿意用:前期我花了不少力气推广,效果一般,就根据同事的反馈一版版改。等它真的好用了,用过的人开始主动推荐给别人。最开始只有我们组在用,现在约有 190 位同事在用,人数还在增加。
做大模型后训练,包括监督微调、强化学习和评测设计。DAPO 训练器是我从零写的,在 4 张 B200 上用 DeepSpeed ZeRO-3 训练。两篇第一作者论文:一篇发表于 KDD-UC 2024,一篇在 ICLR 2027 审稿中。
一个产品从想法到上线,我能从头做到尾:全栈网页、macOS、iPhone 和 iPad 应用、微信小程序、网页游戏、agent 系统、音频和语音处理。开源的 ThunderTalk 和 Wemute 是已经上线的例子。
会拍、会剪,也会做音频和音乐。自己产品的视频都是自己做的。
注册和经营工商户、拟合同、和工厂谈判、卖货,也在大公司内部把一个产品推开过。
从高中社团、学生组织,到科研项目和黑客松,我大多是带队的那个人。一起做过事的人,大多成了长期的朋友。我也教了多年的课,带了多年的学生。
我的信条很简单:I win or I learn,要么赢,要么学到东西。如果你也在做难而值得的事,欢迎找我聊。
弗吉尼亚大学
授课教授: Rich Nguyen
授课教授: Kevin Sullivan
我积极指导本科生(有时也指导高中生),帮助他们进行课程规划、研究方向选择和CS/DS相关的研究生申请。以下是我指导的学生近期录取结果:
UIUC (MSCS), Georgia Tech (CSE), UT Austin (ECE), UW-Madison (MSCS PMP), UMD (MSCS), UNC Chapel Hill (MSCS), Brown University (ScM CS), UCSD (CS75), NYU Courant (MSCS).
UChicago (MPCS), National University of Singapore (DSML), UW Seattle (EEPMP), NYU Courant (MSIS), NYU Tandon (MSCS), USC (CS32), Columbia (MSCE).
UPenn (Systems Engineering), Columbia University (Applied Math), UMich (Data Science), Northwestern University (Stats & DS), JHU (Applied Math & Stats), NYU Courant (Mathematics), NYU Tandon (Mathematical Science).
如果你有意向就申请研究生、本科规划等事宜与我合作,请通过此专用邮箱联系我:song@entropinia.com。
一份小而有偏好的论文与博客清单——不是综述,只是我反复回看的那些。
不需要奖励函数,就能从示范中学新技能:模型在看到示范的条件下充当自己的老师,产生 on-policy 的训练信号,遗忘比普通微调少得多。局限性那一节也值得读。
agent 自己出题,每道题都带一个验证函数,再用强化学习在这些题上训练。没有人标注的时候,任务、验证器和训练信号分别从哪里来,这篇给了一个具体的回答。
训练代码 agent 在写代码和借助工具反馈验证之间交替进行,让它的自我验证可靠到在推理时还能继续改进。值得留意哪些参考信息只在训练时有、推理时没有。
强化学习后训练的上限取决于验证器。这套流程能合成足够难的测试,抓住伪装得很好的错误解法,并展示了验证器质量对下游训练效果的影响有多大。
反复把 agent 的经验蒸馏进权重,能力可能一轮轮崩塌,而不是累积,这篇分析了原因。想做多轮自我改进之前,值得先读。
第一篇系统研究 loop engineering 的实证论文——智能体由定时任务和仓库事件触发,而不是靠人一步步提示。分析了 217 个真实的循环,讲清了它们的状态到底存在哪里。
对 11 个生产级编程智能体的源码研究:7 个核心子系统、29 种设计模式,以及一个有意思的发现——大家都在手写异步循环。
如何让智能体跨多个上下文窗口持续推进:初始化智能体、功能清单、git 提交和测试作为交接产物。非常实用,可以直接复用。
对注意力中标准残差连接的一个干净替代——属于那种容易做消融、又出奇有效的小改动。
对「该如何设计 AI 系统的交互层(而不只是模型层)」一个有用的概念框架。短、有观点、值得花十分钟。
对 16 个 RL 训练库如何处理异步 rollout、权重同步与陈旧度的优秀实务综述。能省下几周读源码的时间。
令人信服地证明:自动化的、基于反思的提示搜索可以在相同任务上击败 RL。开下一轮 GRPO 之前值得先看看。
我目前看过的、关于「在 LLM 上推 RL 算力时什么真正扩展、什么不扩展」最清晰的综述。和 DeepSeekMath 一起读效果更好。
和我自己关于「边听边想」的工作直接相关。对流式音频推理中「延迟 vs 质量」权衡的框架很扎实。
「比你想象的简单」这个论点站得住脚。一个出乎意料极简的架构,竟然能与远更复杂的蛋白折叠系统打平。
对多模态表示学习的一个不同切入:他们实际去探测信息如何跨模态流动,而不是只报告 benchmark。
目前对「全双工语音-LLM 对话」最有说服力的处理。关心实时交互式音频系统的人必读。
重点看 MLA(Multi-head Latent Attention)。是我见过最干净的 KV-cache 压缩技巧,且能在规模上真正奏效。
离散流匹配做得很到位。把流模型与离散空间生成连接起来,且在蛋白设计上有具体结果。
GRPO 的原始论文。如果只看一篇来理解当前几乎所有 RL 工作的算法基础,就读这一篇。
RFdiffusion。证明了用扩散目标微调结构预测模型,能在前所未有的质量上解锁 de novo 蛋白设计。
把扩散模型应用到分子-蛋白对接。把「平移 + 旋转 + 扭转角」当作几何噪声空间的建模,是我反复回看的部分。
潜空间扩散(LDM)的原始论文。几乎所有现代图像生成系统的基础,仅「潜空间建模」这一框架就值得一读。
DDIM。让扩散采样真正变快的非马尔可夫公式。至今仍是加速扩散采样最清晰的推导。

免费开源的 macOS 本地语音工具,基于 MLX 完全在本机运行。在任何应用里按下快捷键说话,文字直接出现在光标处,说话时就能实时预览。还能转写录音并区分说话人、用克隆的声音朗读文字,也可以调用你已有的 AI 工具校对听写结果。

一个编程 agent 也能直接用的 macOS 日历和待办。把你的一天告诉 Claude Code 或 Codex,它就出现在应用里:待办、例行、重要日子,以及每天一页 Markdown 笔记,通过命令行和 MCP 接入。不用注册账号,数据不上云。

本地优先的文件转换工具,支持 Mac 与浏览器——图片、视频、音频、Office、PDF、电子书互转,还有 OCR、抠图、字幕等功能,文件全程不上传。附带的命令行工具能把任何文件转成大模型可读的文本。

一个AI驱动的桌面宠物伙伴,基于PySide6和实时情感识别技术打造。

基于RAG的法律聊天机器人,支持中美法律问题,60万+法律文本块,98%检索准确率。

Entropinia官方网站——一个融合街头美学与极简设计的当代服装品牌。
暑假我在 Millennium 做了一个多 agent 的代码审查工具,秋天留下来把它运营起来。后半段学到的比前半段多:软件到底是怎么上线的,用户会按什么顺序抱怨,以及为什么推广本身就是工程的一部分。
我把编程 agent 的技能从一份平铺的清单,改成按需加载的路由。启动上下文减少了 92%,路由准确率基本持平,而失败的那几次比成功教给我的更多。
研究之外我在做的工具:ThunderTalk、Wemute、给编程 agent 用的技能库、日程应用、记账应用和一个早期的 agent 团队项目,以及它们共同的三个想法。
我为什么做了一个完全在本机运行的开源语音输入应用,MLX 改变了什么,发布 1.0 的真实成本是什么,以及 1.5 新增的 Studio、本地语音合成和声音克隆。
从初中开始健身,一直坚持到现在,已经十多年。
原创作词作曲,在网易云音乐搜索「欧拉Song」即可找到。
我会在B站发布有意思的视频,欢迎搜索同名账号。
欢迎合作音乐制作和视频制作!