按画面变化筛选帧并拼图，让 AI 低成本实时看屏幕
Star362
24h 新增+33
7 天新增—
Fork35
Issue8
语言JavaScript
项目介绍
更新于 1 天前
dsh-see-now 是给 DSH 用的实时视觉插件，让 AI 直接「看见」你的屏幕，而不是听你口头描述。它解决的是一个很实际的矛盾：定时截全屏喂给模型，截得密会把 token 烧穿，截得疏又会漏掉关键变化。它的做法是先给每帧算一个 0–255 的变化分，只有画面突然切换或持续运动攒够量才留下，再把留下的几帧拼进同一张图，一张图的固定成本摊到多帧上——同样 30 秒的操作，别人烧 30 张图，它常常只要 2 到 3 张，静止屏幕则几乎不出图。除了画面，它还能抓系统回环音频并转写成带时间码的台词，让模型把某句话对应到某一格画面。适合需要让 AI 陪看屏幕的场景，比如做桌面 Agent、屏幕共享助手、视频内容分析的开发者；如果你的工作不涉及给模型喂视觉上下文，这个项目和你关系不大。
上手成本：中
Star 趋势
话题标签
ai-agentdshdsh-pluginffmpegllmrealtimescreen-capturetoken-efficientvision
仓库信息
| License | Apache-2.0 |
| 创建时间 | 2026-11-01 |
| 最后推送 | 6 小时前 |
| 热度分 | 116.0 |