RayenMlayeh/jevcrawl

jevcrawl 是一个面向 AI Agent 的网页抓取工具，提供 MCP server 和 CLI 两种形态，可接入 Claude Code、Claude Desktop、Cursor 等环境。它解决的是 Agent 浏览网页时的老难题：要么把抓到的页面全塞给 LLM 读，token 烧得快还容易被导航和广告淹没；要么让 LLM 逐个挑链接，又慢又贵。jevcrawl 用一个轻量决策模型代替 LLM 来判断该点哪个链接、该保留哪段文字，LLM 只读最终筛出的相关段落，每次抓取成本约一美分。官方在 WebWalkerQA 基准上测试，找到答案页的比例是 54%，约为 Crawl4AI 的两倍，单次任务成本比让 Claude 自己爬低约 8 倍，且返回内容带 URL 和字符偏移，可溯源、不会被页面文字注入指令。适合在做 RAG、Agent 网页检索、需要从多层嵌套网站里挖答案的工程师关注；如果你的工作不涉及让模型上网找信息，这个项目和你关系不大。

Star 趋势

话题标签

仓库信息