跳转到内容

术语表

术语 含义
Eyes 看屏幕的模型。给它截图和一段描述,它返回该点的位置。用于没有辅助功能树的应用。
Brain 做决定的模型。回答关于一步操作的带类型选择题,每个选项都有概率。
Hands macOS 执行层。通过辅助功能读取窗口,把每一步变成给 Brain 的问题,执行动作并核对结果。
Bench 真实桌面上的评测任务,评分程序检查文件和应用的最终状态。题库版本写作 v25 等。
System One 我们对这种决策方式的叫法:一次计算、给出概率的快速选择,而不是用文字一步步推理。
/v1/systemone Brain 提供的 HTTP 请求格式:一个状态、若干带类型的问题,回答附带概率。
choice / score / noul 三种题型:从选项里选一个;在量表上选一档;是或否。
路由(Router) 0.8B 先答;把握低于门槛、或这一步错了代价大,就交给 4B 回答。
门槛(Threshold) 路由把一步交给 4B 的把握下限。发布版是 0.96,写在 0.8B 的 deskmind.json 里(router_threshold)。
升级(Escalation) 由 4B 而不是 0.8B 回答的步骤。当前发布版约 70% 的步骤会升级。
ASK(问用户) 目标匹配到多条记录时,执行层会加上这个选项;选中它就是先问你,而不是猜。
DONE / 完成检查 DONE 是模型宣布任务完成。完成检查让执行层在接受之前先核对最终状态。
误报完成 任务没做完,模型却说了 DONE。发布版在 39 次真机运行里一次都没有。
版本号(G14、G18b……) Brain 的训练轮次。G18b 是当前发布版;Hugging Face 上它的权重标签是 g18b-q8(8 位)。
q8 / 4 位 权重量化。Brain 发布的是 8 位;App 里的 Eyes 用 4 位。
MLX Apple 为 Apple 芯片做的机器学习框架,DeskMind 的模型都在它上面运行。
Oracle(标准答案脚本) 知道沙箱任务正确答案的脚本运行,用来给训练数据打标签,运行时从不使用。
留出集(Held-out) 不参与训练、只用来评测的任务或决策。
离线关卡 上真机测试之前,把所有探针和留出集拿新旧两版重放一遍;任何一项比上一版差,就不发布。
JevBench 第三方的带类型决策评测。我们报告 231 道公开题的成绩,并已申请密封评测;DeskMind 与其维护方没有关联。
ScreenSpot-Pro 在高分辨率专业软件里定位界面元素的公开评测,用来测 Eyes。