GitHub 热门
共 1 个项目 · 第 1 / 1 页
YOLOW92 / pagesift 数据工程 Rust
自托管的网页与文档抓取工具,为 AI 应用输出干净 Markdown/JSON
pagesift 是一个用 Rust 写的网页与文档抓取工具,可以理解为自托管版的 Firecrawl 或 Jina Reader:把任意 URL、PDF、Office 文件、电子书、邮件甚至压缩包读进来,输出干净的 Markdown 或结构化 JSON,供 AI 应用消费。它能渲染 JavaScript 页面、对扫描版 PDF 和图片做 OCR、按 CSS 选择器或模型生成的 schema 抽取字段,还支持整站爬取、页面变更监控和带证据回溯的问答接口。对做 RAG 检索管道的工程师来说,它省去了自己拼接 trafilatura、pymupdf4llm、Docling 等一堆工具的麻烦,一个二进制文件就能跑通从抓取到解析的全流程,并且兼容 Firecrawl 和 Jina Reader 的 API,迁移成本很低。值得看的是负责数据接入、RAG 管道或 Agent 应用开发的后端和算法工程师,尤其是需要私有化部署、不想依赖云抓取服务的团队;纯做前端或与 AI 无关的读者可以跳过。
★ 225 24h +26 ⑂ 29 创建 15 天前 更新 22 小时前