跳转到内容

常见问题

在你的 Mac 上替你操作电脑的开源 AI。你写下目标,DeskMind 看屏幕、用本机的小模型决定每一步,然后操作你的应用。目标可能有两种理解时,它先问你,不瞎猜。它由五个开源部分组成:Eyes(看屏幕)、Brain(做决定)、Hands(动手)、Mac App,以及衡量它们的 Bench。详见DeskMind 是什么。

免费。App、代码和模型都可以免费下载使用。代码采用 Apache-2.0,文档采用 CC BY 4.0;模型权重、基座模型和数据集遵循各自条款,见各模型卡。

Apple Silicon 芯片、macOS 15 及以上。决策模型运行时约占 7 GB 内存;内存小于 12 GB 的 Mac 会收到提示,加载可能较慢或失败。App 不支持 Intel Mac、Windows 和 Linux。

App 本身是一个约 380 MB 的 DMG。第一次运行时下载一次决策模型,约 5.3 GB(0.8B + 4B),每个文件都会校验 SHA-256。可选的视觉模型另需约 3.3 GB。Hugging Face 慢或连不上时,App 会自动改从 ModelScope 下载同样的文件,国内一般走这条路。

辅助功能:读取窗口里的按钮和文字,并替你点击、输入;录屏:看清屏幕上的内容,判断任务进行到哪一步。自动化是可选的,用于让访达和文本编辑在后台保存、移动文件。这些权限授予后台助手 DeskMind Hands。详见安装 Mac App。

App 自己发起的网络请求只有下载模型。之后每一步决策都在你的 Mac 上完成,模型服务只监听 127.0.0.1。屏幕内容、截图和运行记录都留在本机。DeskMind 替你操作的应用(比如 Safari、音乐应用)照常联网。如果你自己把路由的升级层指向云端模型,交给它的步骤会发送到那个服务;App 不会自己这样做。

它边做边显示每一步和原因。发送、删除、付款、发布这类步骤会先征求你同意。按 ⌘. 可以停止;碰一下鼠标或键盘就会暂停,松开后继续。它仍然会出错,建议先从你能检查结果的任务开始。

现在能做什么,还做不好什么?

Section titled “现在能做什么,还做不好什么?”

它能完成跨应用的短任务:找到一条记录并追加进文件、在音乐应用里选对版本播放、把网页上的小表格抄进 CSV 并保存。还做不好的:抄写长表格(超过约四行)或按条件筛选的行、根据收据图片填写报销单;交给 4B 的步骤要几秒钟。详见成绩与局限。

先用 App 提供的示例文件夹,再在你自己的文件夹里试一个具体的指令:「把发票移进发票文件夹」比「整理一下这个目录」效果好得多。模糊的指令目前处理得不好,没有明显的分类依据时,它可能提前停下,或者起奇怪的名字。文件很多的文件夹也会慢:界面内容变长,每一步都会交给 4B,一步可能要几十秒。

在我们的真实桌面评测里,全部步骤合起来,一次决策的中位数是 2.85 秒,最慢的 5% 要 9.8 秒。0.8B 自己回答的步骤约 0.5 秒;交给 4B 的约 3.6 秒,这一版大约 70% 的步骤会交给 4B。这是单次决策的时间,不是整项任务的时间。让更多步骤留在快路径上,是下一版的主要目标。

每一步都是一道选择题,每个选项都有概率。两个选项都说得通时,比如同一个名字下有两笔订单,猜错就会写错,所以它先问你。详见System One:选择,不是猜。

能把 Brain 用在我自己的 agent 里吗?

Section titled “能把 Brain 用在我自己的 agent 里吗?”

能。Brain 是一个本地 HTTP 服务,接口是 POST /v1/systemone:发送界面状态和带类型的问题,返回选择以及每个选项的概率。从快速上手和接口参考开始。

DeskMind 和 Jev、TypeSafe 有关系吗?

Section titled “DeskMind 和 Jev、TypeSafe 有关系吗?”

没有关系。DeskMind 是独立的开源项目。Brain 的服务实现了同一套 /v1/systemone 请求格式,按这个格式写的客户端改一下 base URL 就能用。模型、数据和评测都是我们自己做的。

用 Bench 在真实 macOS 桌面上测:13 个任务各跑 3 次,评分程序检查文件和应用的最终状态。发布版 39 次全部通过,没有一次没做完就说完成。这是一台 Mac 上的小样本;测试协议和逐题结果都在 bench 仓库,你可以自己跑。

试用并报告问题,尤其是第一次运行时遇到的。各仓库里标了适合新手的 issue,也欢迎贡献新的 Bench 任务。提问请到讨论区。详见参与贡献。

本站会统计访问和点击(比如大家用哪个按钮下载),不用 cookie,也不收集个人信息:用的是 Cloudflare Web Analytics 和我们自己的匿名事件统计。同一个标签页里会用一个随机编号把一次访问的事件串起来。浏览器开了“不追踪”就什么都不发送。