GitHub 热门
共 2 个项目 · 第 1 / 1 页
sahenjp / RustXNG RAG检索 Rust
面向 AI Agent 的自托管元搜索与 grounding 引擎
RustXNG 是一个用 Rust 写的自托管元搜索引擎,基于 SearXNG 改造,专门面向 AI Agent 做网页检索和 grounding。它自己不爬网页也不建索引,而是把查询发给多个外部搜索引擎、合并结果后以 JSON 返回,还能按需抓取页面正文,让 Agent 只把必要的证据文本喂给模型,控制 token 消耗。典型用法是把它跑在本机或内网,给能执行命令的 Agent 当本地搜索工具,比如查文档、找最新资料、为回答附上出处。需要注意的是,搜索词仍会发往上游引擎,作者已因合规问题移除了 Google 相关集成,部分数据源默认关闭,公开部署或高频调用前得自行核对各引擎条款。适合在做 Agent 应用、RAG 检索链路的工程师,以及想给本地 LLM 接联网搜索能力的开发者看看;纯做前端或业务后端的人关系不大。
★ 831 24h +19 ⑂ 64 创建 18 天前 更新 26 分钟前
fatsearch / fatsearch RAG检索 Rust
给 AI Agent 省 99% token 的网页抓取阅读工具
fatsearch 是给 AI Agent 用的网页抓取和阅读工具,可以理解为「网页版的 ripgrep」:它把网页清洗成干净的 Markdown 存到本地,先给 Agent 一个简短的目录大纲,Agent 需要细节时只读其中一节,而不是把整页塞进上下文。官方数据显示,同一个 Wikipedia 页面,其他抓取方案要 7 万到 11 万 token,它只要 918 个,模型账单降到约两百分之一;菜单、cookie 横幅、追踪脚本全部剔除,价格、日期、数字则保留。它还能读 Agent 自带 fetch 搞不定的 JS 页面、PDF 和反爬墙,先试免费的普通 HTTP,失败再按价格从低到高升级到你自己的 provider key。提供 CLI 和 MCP 两种接入方式。值得看的是正在搭 Agent 工作流、被网页抓取 token 成本和 403 拦截困扰的工程师,尤其是用 Claude Code 之类工具做检索类任务的人;如果你不涉及 Agent 联网搜索,关系不大。
★ 54 24h +2 ⑂ 2 创建 19 天前 更新 13 天前