开源开发者 Tommaso De Rossi 发布了桌面自动化命令行工具 usecomputer。该工具采用 Zig 编写,生成原生二进制文件,无需依赖 Node.js 运行时,使 AI 编程助手(如 Claude Code、Codex)能够直接控制桌面的鼠标、键盘和截图功能。目前支持 macOS 和 Linux 系统。
核心功能
- 桌面控制:提供截图、鼠标移动/点击/拖拽/滚动、键盘输入和快捷键合成等 CLI 命令。
- 坐标映射:内置坐标映射系统(coord-map),可将截图中的像素坐标自动转换为实际屏幕坐标。
- 模型适配:截图输出默认将最长边缩放至 1568 像素,以适配大模型的上下文窗口。
- 协议支持:支持 Kitty Graphics Protocol,设置环境变量后截图可直接内联显示在终端中,无需额外读取文件。
项目背景
该项目从 De Rossi 的 kimaki 单仓库中独立拆分而来,同时提供 CLI 和 Node.js 库两种使用方式。其 README 文档包含了与 OpenAI computer tool 和 Anthropic computer use 的完整集成示例。开发者此前还创建了广受好评的浏览器自动化工具 Playwriter。