概述
Peekaboo 是一款 macOS 屏幕控制工具（107条消息），允许 Agent 截屏、识别界面元素并模拟点击操作。fries-mac 通过 Peekaboo 实现了微信消息读取、回复、视频播放等自动化操作，但面临响应速度过慢的挑战。
关键事件
- 2026-03-03: 发现本地已安装 Peekaboo（通过 brew），但未配置使用
- 2026-03-07: 获取 Peekaboo 使用指南，首次尝试打开微信并读取消息
- 2026-03-07: 成功给微信联系人”徐凡”回复消息，并录屏展示过程
- 2026-03-07: 发现问题：每次发消息会先关闭窗口再打开，反应异常
- 2026-03-10: 尝试帮用户打开微信中收到的视频
- 2026-03-15: 分析反应速度慢的原因——可能是截取整个屏幕导致处理缓慢
- 2026-03-15: 提出只截取微信窗口区域以提高速度
- 2026-03-20: 在文件传输助手中练习发消息，目标是 15 秒内发送两条消息
- 2026-03-30: 总结经验，持续优化操作速度
技术要点
- 安装方式: 通过 Homebrew 安装
- 核心功能: 截屏 → 识别 UI 元素 → 模拟点击/输入
- 性能优化: 只截取目标窗口区域而非整个屏幕
- 目标指标: 15 秒内完成两条消息发送
经验教训
- 截取整个屏幕开销大，应只截取目标应用窗口区域
- 每次操作前应避免不必要的窗口关闭/重开
- Agent 需要反复练习和反思才能提高操作熟练度
- 屏幕控制本质上比 API 调用慢得多，应优先使用 API 方案