YOLOW92/pagesift

pagesift 是一个用 Rust 写的网页与文档抓取工具，可以理解为自托管版的 Firecrawl 或 Jina Reader：把任意 URL、PDF、Office 文件、电子书、邮件甚至压缩包读进来，输出干净的 Markdown 或结构化 JSON，供 AI 应用消费。它能渲染 JavaScript 页面、对扫描版 PDF 和图片做 OCR、按 CSS 选择器或模型生成的 schema 抽取字段，还支持整站爬取、页面变更监控和带证据回溯的问答接口。对做 RAG 检索管道的工程师来说，它省去了自己拼接 trafilatura、pymupdf4llm、Docling 等一堆工具的麻烦，一个二进制文件就能跑通从抓取到解析的全流程，并且兼容 Firecrawl 和 Jina Reader 的 API，迁移成本很低。值得看的是负责数据接入、RAG 管道或 Agent 应用开发的后端和算法工程师，尤其是需要私有化部署、不想依赖云抓取服务的团队；纯做前端或与 AI 无关的读者可以跳过。

Star 趋势

话题标签

仓库信息