by GinSing1226 · Codex Skill · ★ 36
ScreenClaw 睇虾 — AI 应用的可视化操作必备伴侣 让任何多模态大模型识别网格坐标,自动化操作任何软件 English Demo Video 📖 什么是 ScreenClaw? ScreenClaw(睇虾)是一款本地运行的"中间件"程序,它充当 AI 应用与桌面软件之间的桥梁。 核心创新:通过在截图中叠加百分比坐标网格,让任何多模态大模型都能精确识别界面元素位置,无需专门训练 UI 模型。 AI 应用通过 HTTP API 可以: 📸 截图并绘制坐标网格 — 精确定位界面元素位置 🖱️ 注入鼠标键盘操作 — 后台无感控制,不影响用户使用 🔄 自动化任何软件 — 即使软件没有 API 或命令行接口 关键特性:全程不抢夺用户的物理鼠标和键盘,你可以在看电影、写文档的同时,让 AI 在后台完成自动化任务。 ✨ 核心特性 🖥️ 后台无感操作 采用 模式,通过 PostMessage/SendMessage 注入事件,不会激活窗口或抢占焦点,用户毫无感知。 📐 百分比坐标网格 让任何多模态大模型有了精确定位能力,且识别速度更快 基于百分比(0-100)的坐标系统,只要窗口比例不变,适用于任何大小的窗口 不同分辨率、不同窗口尺寸都能复用相同的坐标 自适应网格密度和数字大小:基于压缩后的图片尺寸,自动生成最合适的密度和数字大小,避免 AI 乱传参数影响读坐标 💻...
| Stars | 36 |
| Forks | 9 |
| Language | Python |
| Category | Codex Skill |
| License | MIT |
| Quality Score | 61.3004396953331/100 |
| Last Updated | 2026-05-04 |
| Created | 2026-03-25 |
| Platforms | claude-code, python |
| Est. Tokens | ~1840k |
These tools work well together with ScreenClaw for enhanced workflows:
Explore other popular codex skill tools:
ScreenClaw is Screenshot + percentage grids enabling any multimodal LLM for non-blocking RPA/Computer Use。为任意多模态大模型提供截图+百分比坐标网格,实现无感无阻塞的RPA和电脑使用. It is categorized as a Codex Skill with 36 GitHub stars.
ScreenClaw is primarily written in Python. It covers topics such as agent, claude-code, computer-use.
You can find installation instructions and usage details in the ScreenClaw GitHub repository at github.com/GinSing1226/ScreenClaw. The project has 36 stars and 9 forks, indicating an active community.
ScreenClaw is released under the MIT license, making it free to use and modify according to the license terms.