Crawl4AI 是一个开源的网页抓取工具，核心能力是把任意网站转换成干净、结构化的 Markdown 文本，专为喂给 LLM 而设计，可以理解为「面向 AI 的爬虫版 readability」。它能处理 JavaScript 渲染的动态页面，自动过滤菜单、页脚等噪音内容，保留标题、表格、代码块和引用链接，输出的 Markdown 可以直接用于 RAG 知识库、AI Agent 的联网搜索或数据管道。除了抓取，它还提供网页搜索、结构化 JSON 提取、带来源的问答等能力，并支持以 MCP 形式接入 Claude Code、Cursor 等 AI 编程工具。你可以本地免费运行，也可以用它的云服务按量付费。值得看的是做 RAG 应用、AI Agent 或需要大规模采集网页数据的后端和算法工程师，如果你的工作和 LLM 应用开发无关，这个项目基本用不上。

Pathway 是一个用 Python 写的数据 ETL 框架，可以理解为「能同时处理批数据和实时流的 Flink 替代品」，底层由 Rust 引擎驱动，做增量计算，同一份代码既能本地开发调试，也能直接上生产跑 Kafka 流、日志监控或实时分析。它内置了 LLM 工具封装，能搭实时 RAG 管道，比如把 SharePoint、GDrive 里的文档变化自动同步进向量库，或者用 Ollama 搭私有 RAG，还支持多模态 RAG 和非结构化数据即时转 SQL。连接器覆盖 Kafka、PostgreSQL、Airbyte 等 300 多种数据源。适合数据工程师、做实时数仓或事件驱动告警的后端，以及需要让 RAG 知识库随数据源实时更新的 AI 应用开发者；如果你只做离线批处理或纯模型训练，关系不大。