GitHub 热门
共 4 个项目 · 第 1 / 1 页
YOLOW92 / pagesift 数据工程 Rust
自托管的网页与文档抓取工具,为 AI 应用输出干净 Markdown/JSON
pagesift 是一个用 Rust 写的网页与文档抓取工具,可以理解为自托管版的 Firecrawl 或 Jina Reader:把任意 URL、PDF、Office 文件、电子书、邮件甚至压缩包读进来,输出干净的 Markdown 或结构化 JSON,供 AI 应用消费。它能渲染 JavaScript 页面、对扫描版 PDF 和图片做 OCR、按 CSS 选择器或模型生成的 schema 抽取字段,还支持整站爬取、页面变更监控和带证据回溯的问答接口。对做 RAG 检索管道的工程师来说,它省去了自己拼接 trafilatura、pymupdf4llm、Docling 等一堆工具的麻烦,一个二进制文件就能跑通从抓取到解析的全流程,并且兼容 Firecrawl 和 Jina Reader 的 API,迁移成本很低。值得看的是负责数据接入、RAG 管道或 Agent 应用开发的后端和算法工程师,尤其是需要私有化部署、不想依赖云抓取服务的团队;纯做前端或与 AI 无关的读者可以跳过。
★ 225 24h +26 ⑂ 29 创建 15 天前 更新 22 小时前
Pluviobyte / douyin-comments 数据工程 JavaScript
在已登录 Chrome 里照抄真实请求抓抖音视频完整评论区的 Agent Skill
这是一个给 Claude Code 用的 Agent Skill,用来抓取抖音单条视频的完整评论区,包括一级评论、全部楼中楼回复和视频详情,可选下载 720p 视频,最终产出一份按点赞排序的评论全文和原始 JSON。它的巧妙之处在于不自己逆向抖音的 a_bogus 等风控参数,而是在你已登录的 Chrome 页面里拦截并照抄真实请求,签名交给页面自带的 SDK 计算,从而避开验证码,实测抓取结果与手动逐条展开完全一致。适合做舆情分析、竞品评论研究、内容选题参考的运营和产品经理,以及需要评论语料做 NLP 或情感分析的算法同学;单条视频、个人研究场景够用,但不支持批量采集其他平台,也不适合大规模商用抓取。
★ 396 24h +5 ⑂ 104 创建 5 天前 更新 5 天前
yaojingang / GEOInflow 数据工程 TypeScript
自部署的网站与 AI 爬虫分析工具,服务 GEO 优化
GEOInflow 是一套可自部署的网站分析工具,可以理解为面向 AI 时代的 Google Analytics 加爬虫日志分析器:它把普通访客数据、AI 搜索引流、服务器爬虫日志和内容清单放进同一个网站视图里。它能回答几个具体问题——OpenAI、Anthropic、Perplexity、百度、Kimi 等哪些 AI 平台的爬虫来过你的站、反复抓哪些页面、你 sitemap 里的重点页面有没有被抓到、抓取请求是不是失败,以及 AI 搜索带来了多少会话和转化。比如媒体或文档站可以导入页面清单,对照日志找出「AI 盲区」,再决定改内链还是调 robots 规则。它还强调证据链:只凭 User-Agent 不算验证通过,IP 段、DNS 等证据单独留存。适合企业官网、内容站、媒体出版方和负责多个站点的 GEO 运营、SEO 及增长岗位使用;如果你不关心 AI 搜索带来的流量和爬虫覆盖,和你关系不大。
★ 807 24h +5 ⑂ 252 创建 10 天前 更新 1 天前
floatboatai / OpenMinutes 数据工程 TypeScript
MemoTalk 录音笔的开源工作台:转录、AI 归类、检索复盘
OpenMinutes 是一个配合 MemoTalk S1 录音笔使用的开源工作台,把录音笔里的 MP3 导入电脑后,自动转成可搜索、可分类的文字。它把导入、转录、AI 归类、检索复盘串成一条流水线:每条录音都有清晰的状态标签(待下载、待转录、转录中、待归类、已归档、失败等),支持批量操作。转录用流式 ASR 生成带时间戳的分段文本,AI 归类则用 LLM 生成结构化标题、摘要、分类、标签、要点和待办事项,且可手动修改;还能按分类、标签、阶段筛选,按时间排序,回放时可直接跳到对应句子。对每天产生大量会议、访谈录音的人来说,它解决的是「录了一堆却找不到某段对话」的麻烦。适合需要整理语音记录的产品、运营、研究或助理类岗位,以及想自建语音笔记系统的开发者;如果你不用录音笔或不常处理音频,关系不大。
★ 108 ⑂ 0 创建 7 天前 更新 6 天前