unclecode/crawl4ai

Crawl4AI 是一个开源的网页抓取工具，核心能力是把任意网站转换成干净、结构化的 Markdown 文本，专为喂给 LLM 而设计，可以理解为「面向 AI 的爬虫版 readability」。它能处理 JavaScript 渲染的动态页面，自动过滤菜单、页脚等噪音内容，保留标题、表格、代码块和引用链接，输出的 Markdown 可以直接用于 RAG 知识库、AI Agent 的联网搜索或数据管道。除了抓取，它还提供网页搜索、结构化 JSON 提取、带来源的问答等能力，并支持以 MCP 形式接入 Claude Code、Cursor 等 AI 编程工具。你可以本地免费运行，也可以用它的云服务按量付费。值得看的是做 RAG 应用、AI Agent 或需要大规模采集网页数据的后端和算法工程师，如果你的工作和 LLM 应用开发无关，这个项目基本用不上。

Star 趋势

话题标签

仓库信息