D4Vinci/Scrapling

Scrapling 是一个 Python 网页抓取框架，把快速 HTTP 请求、隐身浏览器、解析和并发爬取整合到一个库里，可以理解为 Scrapy 加 Playwright 的合体替代品。它能抓静态页、渲染 JavaScript、模拟点击交互，还能捕获页面背后的 API 请求；解析支持 CSS、XPath、正则，并能自适应追踪页面改版后元素的位置，最后可整站导出为干净的 Markdown。内置代理轮换、自动重试、限速和断点续爬，也提供 MCP server，让 AI Agent 直接调用它抓数据。适合需要大规模采集电商、资讯或做数据标注语料的爬虫工程师、数据工程师，以及想给 Agent 装上联网抓取能力的 AI 应用开发者；如果你平时只写业务后端、不碰数据采集，跟你的关系不大。

Star 趋势

话题标签

仓库信息