免微调让多模态模型调用视觉工具与多模态记忆做证据推理
Star385
24h 新增+9
7 天新增—
Fork15
Issue2
语言Python
项目介绍
更新于 1 天前
OpenVLHarness 是一个让多模态大模型（MLLM）变成「会用工具的视觉推理者」的框架，无需微调，模型通过原生工具调用就能在视觉空间里思考和写代码。它内置九种能力：用文字定位物体、OCR 读图、深度估计、相机轨迹、放大细看、文本与图片搜索、访问网页，以及一个 Python 编码代理，每种能力都返回模型可读的证据。配合多模态记忆，图片、框、掩码、深度图和网页引用在整道题中都可被后续工具和代码复用。例如模型可以先定位物体、估算深度再计算空间关系，或裁剪陌生物体做以图搜图并到网页验证答案。在四个领域 22 个基准上，七个骨干模型平均提升 9.7 到 12.6 分。适合做多模态 Agent、视觉推理评测或研究工具调用的算法工程师和研究员，普通后端或前端开发者关系不大。
上手成本：中
Star 趋势
话题标签
agent-harnessagent-skillsagentic-aiai-agentscoding-agentdeep-researchefficiencygrounded-reasoningharness-engineeringharness-optimizationllmllm-agentsmllmmultimodalmultimodal-searchmultimodal-toolsperceptionrsispatial-reasoningtool-use
仓库信息
| License | MIT |
| 创建时间 | 2026-10-15 |
| 最后推送 | 6 天前 |
| 热度分 | 27.0 |