GitHub 热门
共 2 个项目 · 第 1 / 1 页
YOLOW92 / pagesift 数据工程 Rust
自托管的网页与文档抓取工具,为 AI 应用输出干净 Markdown/JSON
pagesift 是一个用 Rust 写的网页与文档抓取工具,可以理解为自托管版的 Firecrawl 或 Jina Reader:把任意 URL、PDF、Office 文件、电子书、邮件甚至压缩包读进来,输出干净的 Markdown 或结构化 JSON,供 AI 应用消费。它能渲染 JavaScript 页面、对扫描版 PDF 和图片做 OCR、按 CSS 选择器或模型生成的 schema 抽取字段,还支持整站爬取、页面变更监控和带证据回溯的问答接口。对做 RAG 检索管道的工程师来说,它省去了自己拼接 trafilatura、pymupdf4llm、Docling 等一堆工具的麻烦,一个二进制文件就能跑通从抓取到解析的全流程,并且兼容 Firecrawl 和 Jina Reader 的 API,迁移成本很低。值得看的是负责数据接入、RAG 管道或 Agent 应用开发的后端和算法工程师,尤其是需要私有化部署、不想依赖云抓取服务的团队;纯做前端或与 AI 无关的读者可以跳过。
★ 225 24h +26 ⑂ 29 创建 15 天前 更新 22 小时前
colinhacks / reylo Rust
把 .sql 文件直接 import 进 TypeScript 并自动推断查询类型
Reylo 让你把写好的 .sql 文件直接 import 进 TypeScript,自动拿到每个查询结果的完整类型,不用手写 interface,也不用生成任何代码文件。比如一条带 join 和聚合的查询,它能推断出每列的类型、是否可能为 null、返回一行还是多行、enum 列变成字面量联合类型,甚至 JSON 的形状;列名拼错了还会直接报类型错误。它靠数据库自己 prepare 查询来读取列类型,支持 Postgres、MySQL、SQLite、DuckDB,驱动可自选,也能接 Drizzle。对日常写 SQL 查询的后端或全栈 TypeScript 开发者,尤其是被「SQL 和类型定义两份代码要同步维护」折磨过的人,值得花两分钟看看;纯前端或不做数据层的人关系不大。
★ 1.5k 24h +9 ⑂ 18 创建 15 天前 更新 3 小时前