常有人问我,为什么有这么多业余项目。它们看起来互不相干:语音应用、文件转换工具、日程应用、记账应用,还有一个给编程 agent 用的技能库。其实它们之间的距离比看上去近得多。下面是这份清单,以及把它们连起来的东西。
这些工具
ThunderTalk 是 macOS 上的语音工具。按下快捷键说话,文字就出现在光标处。它也能转写录音并标出说话人,还能用克隆的声音朗读文字。所有计算都通过 MLX 在本机完成。它是开源的,可以用 Homebrew 安装。
Wemute 是一个本地文件转换工具,支持 Mac 和浏览器:图片、视频、音频、Office、PDF、电子书、OCR 和抠图。我自己用得最多的是命令行。wemute extract report.pdf 能把几乎任何文件变成大模型可读的结构化文本,wemute extract call.m4a --speakers 对录音做同样的事,并标出说话人。语音部分复用了 ThunderTalk。
Rosetta 是 Claude Code 和 Codex 共用的技能库和记忆层。两个 agent 通过少量路由加载同一套 260 多个精选技能,也都能想起之前的会话在我的项目里学到了什么。它目前还没有公开。搭它的过程中我做了一些测量,写在另一篇文章里。
逐日(ASMO) 是一个编程 agent 也能直接用的 macOS 日历和待办。我把这一天的安排告诉 Claude Code 或 Codex,待办、例行和日期就会在聊的过程中出现在应用里,每天还有一页 Markdown 笔记。它通过命令行和 MCP 接入,应用本身不运行任何模型,思考交给我已经在用的 agent。
Keel 龙骨 是一个本地优先的家庭记账应用。它导入账单,用复式记账法维护账本,并显示这个月花得怎么样。还没有发布。
数字员工(Digital Employee) 是其中最早期的一个。它是一个小型的控制台,用来运行一组各有分工的 agent,就像公司运转各个部门一样。目前只有设计文档和一个命令行工具。
那条线
有三个想法贯穿了所有这些项目。
- 在你自己的机器上运行。 语音、文档、财务和日程,是一个人最私密的数据。Apple Silicon 上的小模型已经足够好,这些事情大多不必离开笔记本。
- agent 也能用。 每个工具都有命令行,或者输出纯文本,所以编程 agent 可以像我一样调用它。Wemute 的提取功能之所以存在,是因为 agent 需要把文件读成文本;Rosetta 之所以存在,是因为 agent 需要知道该用哪个工具。
- 改动之前,人先看一眼。 在逐日里,agent 做的任何改动都能用
asmo undo撤回。Keel 在重新导入账单时,会保留我自己改过的分类和决定。Rosetta 里任何改动脚本的更新,都要等我审过才合并。看得见自动化做了什么,我才更信任它。
我做这些,是因为我每天都在用。用的过程中,我才知道 agent 还有哪些事做不好,这又反过来影响我在后训练和 agent harness 上的研究。
如果其中哪一点和你正在做的事有交集,欢迎找我交流。