Crawl4AI 是一个开源的网页抓取工具，核心能力是把任意网站转换成干净、结构化的 Markdown 文本，专为喂给 LLM 而设计，可以理解为「面向 AI 的爬虫版 readability」。它能处理 JavaScript 渲染的动态页面，自动过滤菜单、页脚等噪音内容，保留标题、表格、代码块和引用链接，输出的 Markdown 可以直接用于 RAG 知识库、AI Agent 的联网搜索或数据管道。除了抓取，它还提供网页搜索、结构化 JSON 提取、带来源的问答等能力，并支持以 MCP 形式接入 Claude Code、Cursor 等 AI 编程工具。你可以本地免费运行，也可以用它的云服务按量付费。值得看的是做 RAG 应用、AI Agent 或需要大规模采集网页数据的后端和算法工程师，如果你的工作和 LLM 应用开发无关，这个项目基本用不上。

Pathway 是一个用 Python 写的数据 ETL 框架，可以理解为「能同时处理批数据和实时流的 Flink 替代品」，底层由 Rust 引擎驱动，做增量计算，同一份代码既能本地开发调试，也能直接上生产跑 Kafka 流、日志监控或实时分析。它内置了 LLM 工具封装，能搭实时 RAG 管道，比如把 SharePoint、GDrive 里的文档变化自动同步进向量库，或者用 Ollama 搭私有 RAG，还支持多模态 RAG 和非结构化数据即时转 SQL。连接器覆盖 Kafka、PostgreSQL、Airbyte 等 300 多种数据源。适合数据工程师、做实时数仓或事件驱动告警的后端，以及需要让 RAG 知识库随数据源实时更新的 AI 应用开发者；如果你只做离线批处理或纯模型训练，关系不大。

MarkItDown 是微软开源的一个 Python 工具，能把各种文件统一转成 Markdown，可以理解为面向 LLM 的 textract 替代品。它支持 PDF、Word、PowerPoint、Excel、HTML、CSV/JSON/XML、EPub、ZIP 包，甚至图片（OCR）、音频（转写）和 YouTube 链接，转换时会尽量保留标题、列表、表格、链接等结构信息，输出的 Markdown 既省 token 又是主流模型最熟悉的格式。典型用法是把公司内部的合同、报表、PPT 批量喂给 GPT-4o 做摘要、问答或 RAG 检索，省去为每种格式写解析器的麻烦；它还支持插件，比如用 LLM Vision 对文档内嵌图片做 OCR。如果你在做 AI 应用开发、数据管线或知识库建设，需要把异构文档清洗成模型可读的文本，这个工具值得花十分钟看看；纯前端、后端业务开发或不碰 LLM 的人关系不大。