让 AI Agent 直接控制屏幕:OverRec 的 MCP 服务器
- Metaphor Projects
- 应用
- 24 Jun, 2026
AI 编程智能体擅长推理任务,但并不擅长真正操作屏幕: 找到一个窗口、把它摆正,再截出一张干净的图片,过去往往需要拼接一堆临时脚本。OverRec 通过作为 Model Context Protocol(MCP)服务器运行,填补了这道缺口。这样一来,无论是 Claude Code、Claude Desktop,还是你自己的工具,只要兼容 MCP,就可以直接调用 OverRec 的窗口和屏幕工具,而不需要额外的胶水代码。

MCP 服务器暴露了什么
OverRec 的每一个 CLI 命令都对应一个 MCP 工具:
| Tool | Mirrors | Notes |
|---|---|---|
monitors | cli monitors | 默认返回完整细节,也可以只返回精简的 ID 和分辨率列表 |
window | cli window | 按关键字查找窗口 |
screenshot | cli screenshot | 按区域或窗口 ID 截图 |
draw | cli draw | 显示一个可点击穿透的覆盖矩形,用于验证区域 |
record | cli record | 将一个区域录制为 GIF 或 MP4,可阻塞或后台执行 |
snap | cli snap | 将窗口移动并调整到精确坐标 |
version | cli version |
智能体可以在一次对话中串联这些工具:列出显示器、查找窗口、把窗口贴靠到指定位置、绘制一个确认矩形,然后截取最终图像。整个过程都通过工具调用完成,不需要 shell 脚本。
启动服务器
OverRec 支持两种传输方式:
# Streamable HTTP: 启动一次,供多个客户端共享
OverRec.exe cli mcp
# stdio: 由客户端自行启动和管理进程
OverRec.exe cli mcp --stdio
HTTP 模式默认监听 127.0.0.1:7820,并在 /mcp 提供无状态 JSON-RPC 端点;非本地 Origin 请求头会被拒绝,以防止 DNS rebinding。stdio 模式通过 stdin/stdout 使用按换行分隔的 JSON-RPC 通信,并在客户端关闭管道时退出。当由智能体自己负责启动 OverRec 时,这通常是更简单的选择。
注册到 Claude Code
# 方案 A: HTTP,保持服务器持续运行
OverRec.exe cli mcp
claude mcp add --transport http overrec http://127.0.0.1:7820/mcp
# 方案 B: stdio,由 Claude Code 管理进程
claude mcp add overrec -- OverRec.exe cli mcp --stdio
注册完成后,Claude 就可以像调用其他工具一样调用 monitors、window、screenshot、draw、record 和 snap,用自然语言描述它想执行的屏幕操作,而不必手写原始 CLI 命令。
自己检查一下服务器
上图展示的是通过 stdio 连接到 OverRec 的 MCP Inspector。它会列出每个工具及其说明,允许你手动运行某个工具,并展示原始 JSON-RPC 结果。在把服务器接入智能体之前,它很适合用来确认服务是否正常工作;如果某个工具调用没有按预期执行,也可以用它来调试。
为什么这很重要
截图和窗口控制正是那类在临时脚本下很容易变脆的任务:不同机器上的路径不同,窗口标题会变化,坐标也可能漂移。MCP 为智能体提供了面向 OverRec 的稳定、类型化接口:智能体请求“800x600 的 Chrome 窗口”,然后每次都能以同样方式得到窗口 ID、贴靠后的位置以及截图结果。
这让 OverRec 的 MCP 服务器特别适合以下场景:
- 由智能体驱动的文档截图和问题报告截图
- 不同运行之间的自动化界面对比
- 任何需要 AI Agent 看见并控制屏幕,而不仅仅是理解代码的工作流
从 Microsoft Store 下载 OverRec。