sahenjp / RustXNG
RAG检索
Rust
面向 AI Agent 的自托管元搜索与 grounding 引擎
RustXNG 是一个用 Rust 写的自托管元搜索引擎,基于 SearXNG 改造,专门面向 AI Agent 做网页检索和 grounding。它自己不爬网页也不建索引,而是把查询发给多个外部搜索引擎、合并结果后以 JSON 返回,还能按需抓取页面正文,让 Agent 只把必要的证据文本喂给模型,控制 token 消耗。典型用法是把它跑在本机或内网,给能执行命令的 Agent 当本地搜索工具,比如查文档、找最新资料、为回答附上出处。需要注意的是,搜索词仍会发往上游引擎,作者已因合规问题移除了 Google 相关集成,部分数据源默认关闭,公开部署或高频调用前得自行核对各引擎条款。适合在做 Agent 应用、RAG 检索链路的工程师,以及想给本地 LLM 接联网搜索能力的开发者看看;纯做前端或业务后端的人关系不大。
★ 831
24h +19
⑂ 64
创建 18 天前
更新 30 分钟前
fatsearch / fatsearch
RAG检索
Rust
给 AI Agent 省 99% token 的网页抓取阅读工具
fatsearch 是给 AI Agent 用的网页抓取和阅读工具,可以理解为「网页版的 ripgrep」:它把网页清洗成干净的 Markdown 存到本地,先给 Agent 一个简短的目录大纲,Agent 需要细节时只读其中一节,而不是把整页塞进上下文。官方数据显示,同一个 Wikipedia 页面,其他抓取方案要 7 万到 11 万 token,它只要 918 个,模型账单降到约两百分之一;菜单、cookie 横幅、追踪脚本全部剔除,价格、日期、数字则保留。它还能读 Agent 自带 fetch 搞不定的 JS 页面、PDF 和反爬墙,先试免费的普通 HTTP,失败再按价格从低到高升级到你自己的 provider key。提供 CLI 和 MCP 两种接入方式。值得看的是正在搭 Agent 工作流、被网页抓取 token 成本和 403 拦截困扰的工程师,尤其是用 Claude Code 之类工具做检索类任务的人;如果你不涉及 Agent 联网搜索,关系不大。
★ 54
24h +2
⑂ 2
创建 19 天前
更新 13 天前
elstongun / leviathan
RAG检索
Rust
给 Agent 提供大规模数据集的低 token 全文检索与长期记忆
Leviathan 是一个用 Rust 写的单文件工具,把 JSONL、CSV、SQLite 等任意表格或日志数据建成带排序的全文索引,让 Agent 用自然语言提问就能拿到几条带引用的精简结果卡。它解决的核心问题是:面对百万级记录,Agent 直接 grep 或读原始历史会烧掉大量 token,而 Leviathan 把每次回答稳定压到约 450 token,官方基准显示在 100 万条记录上中位数 436 token、命中率 99%,延迟 33 毫秒。除了检索,它还提供可选的长期记忆能力,Agent 每次只写入一条带 key 的事实,会话开始时自动注入简短 briefing,避免 MEMORY.md 越滚越大导致的过期和 token 浪费。它通过 CLI、MCP 或 HTTP 服务接入 Claude Code、Cursor、Codex 等 24 种 Agent 环境。适合需要让 Agent 长期查阅工单、日志、业务表等结构化数据的 AI 应用工程师和 Agent 平台开发者;如果你的工作不涉及 Agent 检索大规模记录,和你关系不大。
★ 881
⑂ 53
创建 2026-10-05
更新 2 天前