Firecrawl 是一个把网页变成 AI 能直接消费的数据的 API 服务，可以理解为「给 LLM 用的爬虫中间层」：你丢给它一个网址或搜索词，它返回干净的 Markdown、结构化 JSON 或截图，省掉自己处理反爬、代理轮换和 JS 渲染的麻烦。除了单页抓取，它还能整站爬取、批量异步抓几千个 URL、解析 PDF/DOCX 转成 Markdown，甚至用自然语言描述需求让内置 Agent 自动采集数据，也能在抓取后模拟点击、滚动等页面交互。典型场景是给 RAG 系统灌语料、做竞品价格监控、给 AI Agent 接上实时网页上下文，或把文档批量转成训练/检索可用的格式。如果你在做 AI 应用开发、数据工程，或者需要稳定网页数据源的后端工程师，这个项目值得花两分钟看看；纯前端或与 AI 无关的岗位则关系不大。

Crawl4AI 是一个开源的网页抓取工具，核心能力是把任意网站转换成干净、结构化的 Markdown 文本，专为喂给 LLM 而设计，可以理解为「面向 AI 的爬虫版 readability」。它能处理 JavaScript 渲染的动态页面，自动过滤菜单、页脚等噪音内容，保留标题、表格、代码块和引用链接，输出的 Markdown 可以直接用于 RAG 知识库、AI Agent 的联网搜索或数据管道。除了抓取，它还提供网页搜索、结构化 JSON 提取、带来源的问答等能力，并支持以 MCP 形式接入 Claude Code、Cursor 等 AI 编程工具。你可以本地免费运行，也可以用它的云服务按量付费。值得看的是做 RAG 应用、AI Agent 或需要大规模采集网页数据的后端和算法工程师，如果你的工作和 LLM 应用开发无关，这个项目基本用不上。

pagesift 是一个用 Rust 写的网页与文档抓取工具，可以理解为自托管版的 Firecrawl 或 Jina Reader：把任意 URL、PDF、Office 文件、电子书、邮件甚至压缩包读进来，输出干净的 Markdown 或结构化 JSON，供 AI 应用消费。它能渲染 JavaScript 页面、对扫描版 PDF 和图片做 OCR、按 CSS 选择器或模型生成的 schema 抽取字段，还支持整站爬取、页面变更监控和带证据回溯的问答接口。对做 RAG 检索管道的工程师来说，它省去了自己拼接 trafilatura、pymupdf4llm、Docling 等一堆工具的麻烦，一个二进制文件就能跑通从抓取到解析的全流程，并且兼容 Firecrawl 和 Jina Reader 的 API，迁移成本很低。值得看的是负责数据接入、RAG 管道或 Agent 应用开发的后端和算法工程师，尤其是需要私有化部署、不想依赖云抓取服务的团队；纯做前端或与 AI 无关的读者可以跳过。

这是一个给 Claude Code 用的 Agent Skill，用来抓取抖音单条视频的完整评论区，包括一级评论、全部楼中楼回复和视频详情，可选下载 720p 视频，最终产出一份按点赞排序的评论全文和原始 JSON。它的巧妙之处在于不自己逆向抖音的 a_bogus 等风控参数，而是在你已登录的 Chrome 页面里拦截并照抄真实请求，签名交给页面自带的 SDK 计算，从而避开验证码，实测抓取结果与手动逐条展开完全一致。适合做舆情分析、竞品评论研究、内容选题参考的运营和产品经理，以及需要评论语料做 NLP 或情感分析的算法同学；单条视频、个人研究场景够用，但不支持批量采集其他平台，也不适合大规模商用抓取。

GEOInflow 是一套可自部署的网站分析工具，可以理解为面向 AI 时代的 Google Analytics 加爬虫日志分析器：它把普通访客数据、AI 搜索引流、服务器爬虫日志和内容清单放进同一个网站视图里。它能回答几个具体问题——OpenAI、Anthropic、Perplexity、百度、Kimi 等哪些 AI 平台的爬虫来过你的站、反复抓哪些页面、你 sitemap 里的重点页面有没有被抓到、抓取请求是不是失败，以及 AI 搜索带来了多少会话和转化。比如媒体或文档站可以导入页面清单，对照日志找出「AI 盲区」，再决定改内链还是调 robots 规则。它还强调证据链：只凭 User-Agent 不算验证通过，IP 段、DNS 等证据单独留存。适合企业官网、内容站、媒体出版方和负责多个站点的 GEO 运营、SEO 及增长岗位使用；如果你不关心 AI 搜索带来的流量和爬虫覆盖，和你关系不大。

Pathway 是一个用 Python 写的数据 ETL 框架，可以理解为「能同时处理批数据和实时流的 Flink 替代品」，底层由 Rust 引擎驱动，做增量计算，同一份代码既能本地开发调试，也能直接上生产跑 Kafka 流、日志监控或实时分析。它内置了 LLM 工具封装，能搭实时 RAG 管道，比如把 SharePoint、GDrive 里的文档变化自动同步进向量库，或者用 Ollama 搭私有 RAG，还支持多模态 RAG 和非结构化数据即时转 SQL。连接器覆盖 Kafka、PostgreSQL、Airbyte 等 300 多种数据源。适合数据工程师、做实时数仓或事件驱动告警的后端，以及需要让 RAG 知识库随数据源实时更新的 AI 应用开发者；如果你只做离线批处理或纯模型训练，关系不大。

MarkItDown 是微软开源的一个 Python 工具，能把各种文件统一转成 Markdown，可以理解为面向 LLM 的 textract 替代品。它支持 PDF、Word、PowerPoint、Excel、HTML、CSV/JSON/XML、EPub、ZIP 包，甚至图片（OCR）、音频（转写）和 YouTube 链接，转换时会尽量保留标题、列表、表格、链接等结构信息，输出的 Markdown 既省 token 又是主流模型最熟悉的格式。典型用法是把公司内部的合同、报表、PPT 批量喂给 GPT-4o 做摘要、问答或 RAG 检索，省去为每种格式写解析器的麻烦；它还支持插件，比如用 LLM Vision 对文档内嵌图片做 OCR。如果你在做 AI 应用开发、数据管线或知识库建设，需要把异构文档清洗成模型可读的文本，这个工具值得花十分钟看看；纯前端、后端业务开发或不碰 LLM 的人关系不大。

OpenMinutes 是一个配合 MemoTalk S1 录音笔使用的开源工作台，把录音笔里的 MP3 导入电脑后，自动转成可搜索、可分类的文字。它把导入、转录、AI 归类、检索复盘串成一条流水线：每条录音都有清晰的状态标签（待下载、待转录、转录中、待归类、已归档、失败等），支持批量操作。转录用流式 ASR 生成带时间戳的分段文本，AI 归类则用 LLM 生成结构化标题、摘要、分类、标签、要点和待办事项，且可手动修改；还能按分类、标签、阶段筛选，按时间排序，回放时可直接跳到对应句子。对每天产生大量会议、访谈录音的人来说，它解决的是「录了一堆却找不到某段对话」的麻烦。适合需要整理语音记录的产品、运营、研究或助理类岗位，以及想自建语音笔记系统的开发者；如果你不用录音笔或不常处理音频，关系不大。