NanmiCoder/MediaCrawler

MediaCrawler 是一个面向中文主流内容平台的多平台数据采集工具，支持小红书、抖音、快手、B站、微博、贴吧、知乎的笔记、视频、帖子及评论抓取。它基于 Playwright 浏览器自动化保留登录态，无需逆向各平台复杂的签名加密算法，大幅降低了爬虫技术门槛。具体能用在按关键词搜索内容、指定帖子ID抓取、采集二级评论、爬取创作者主页等场景，还支持登录态缓存、IP代理池和评论词云图生成，可顺带下载封面、视频和图文素材。典型使用者是做舆情监测、竞品分析、爆款内容拆解的运营和数据分析师，以及需要给 LLM 或 Agent 准备语料的 AI 应用开发者。需要注意的是，README 明确声明仅供学习研究、禁止商业用途，且爬取国内平台存在法律风险，动手前务必评估合规性；如果你只是想了解爬虫架构设计，它的代码结构也有参考价值。

Star 趋势

仓库信息