Scrapling 是一个 Python 网页抓取框架，把快速 HTTP 请求、隐身浏览器、解析和并发爬取整合到一个库里，可以理解为 Scrapy 加 Playwright 的合体替代品。它能抓静态页、渲染 JavaScript、模拟点击交互，还能捕获页面背后的 API 请求；解析支持 CSS、XPath、正则，并能自适应追踪页面改版后元素的位置，最后可整站导出为干净的 Markdown。内置代理轮换、自动重试、限速和断点续爬，也提供 MCP server，让 AI Agent 直接调用它抓数据。适合需要大规模采集电商、资讯或做数据标注语料的爬虫工程师、数据工程师，以及想给 Agent 装上联网抓取能力的 AI 应用开发者；如果你平时只写业务后端、不碰数据采集，跟你的关系不大。

这是一份持续维护的免费公开 API 大清单，收录了上千个可直接调用的接口，覆盖天气、地理、金融、新闻、图片等各类数据源，每个条目都标注了是否需要密钥、支持的调用方式和 CORS 情况。最近它还新增了 Model Context Protocol 一节，把适合 AI Agent 调用的 MCP 服务单独列出，标明可安装到 Claude、Cursor、VS Code 等客户端。比如你想让 Agent 查 IP 归属地、抓网页转 Markdown、搜 GitHub 仓库或查云 GPU 价格，都能在这里找到现成的接口，省去自己翻文档找数据源的时间。适合需要给应用或 Agent 接外部数据的后端开发、AI 应用开发者，以及在做 RAG、Agent 项目时苦于找不到合适数据源的人；纯做前端或与数据无关的岗位关系不大。

这是一套对齐中国课标和人教版教材的 K12 知识图谱，覆盖小学到高中的数学、三年级到高中的英语，以及初中和高中物理，共 1644 个知识点、2403 条先修边和 6723 道题。它把「学好二次函数需要先掌握哪些内容」这类依赖关系显式建模：学生答错一道题，系统会沿先修边从高中一路回溯到具体的小学知识点，定位真正的薄弱环节，这就是它附带的自适应前置诊断。比如高一学生配方法总出错，诊断可能追到小学的乘法公式没吃透。对做教育产品、自适应学习、智能题库或学习路径推荐的团队来说，这是难得的结构化中文教育数据，省去自己从零梳理课标的功夫；做 AI 辅导 Agent 的人也能拿它当知识底座。注意先修关系和题库仍需一线教师审核，且商业使用需单独授权，纯个人学习教学研究可免费用。与多数互联网从业者关系不大。

yt-dlp 是一个命令行音视频下载工具，可以理解为 youtube-dl 的活跃升级版，支持数千个网站，从 YouTube、Bilibili 到各类播客和直播平台都能抓取。除了基础下载，它还能按画质和格式筛选、批量抓取播放列表、下载字幕和封面、嵌入元数据，甚至能自动跳过视频里的赞助商广告片段（SponsorBlock）。典型场景包括：内容创作者需要批量存档自己的视频做备份、播客运营者定期抓取音频做转录、研究者收集公开视频语料训练多模态模型，或者单纯想把在线课程离线保存。如果你的工作涉及视频内容采集、数据标注前的素材准备，或者需要在自动化脚本里批量拉取公开媒体资源，这个项目值得花十分钟了解；但如果你的岗位和媒体内容完全无关，它和多数 AI 从业者关系不大。

Moect 是一个 Windows 桌面工具，用来把微信 4.x 的聊天记录读出来、整理好并导出到本地，可以理解为微信版的聊天记录备份与归档软件。它支持好友和群聊、朋友圈、收藏表情，导出时能带上头像、图片、GIF、音视频、文件、链接和小程序卡片，引用回复与合并转发也能展开保留。导出格式有 HTML、JSON、JSONL、TXT、CSV、Markdown 六种，HTML 版可以离线阅读、按发送者或正文搜索、按时间筛选，还支持批量任务和多会话一次导出。数据解析全部在本机完成，没有服务器接收聊天记录。适合需要长期留存工作沟通证据、整理客户或社群历史、做聊天数据分析的运营、客服、社群管理和合规相关人员；如果你只是普通用户想留个纪念，也用得上，但和多数不碰微信数据的开发者关系不大。

MediaCrawler 是一个面向中文主流内容平台的多平台数据采集工具，支持小红书、抖音、快手、B站、微博、贴吧、知乎的笔记、视频、帖子及评论抓取。它基于 Playwright 浏览器自动化保留登录态，无需逆向各平台复杂的签名加密算法，大幅降低了爬虫技术门槛。具体能用在按关键词搜索内容、指定帖子ID抓取、采集二级评论、爬取创作者主页等场景，还支持登录态缓存、IP代理池和评论词云图生成，可顺带下载封面、视频和图文素材。典型使用者是做舆情监测、竞品分析、爆款内容拆解的运营和数据分析师，以及需要给 LLM 或 Agent 准备语料的 AI 应用开发者。需要注意的是，README 明确声明仅供学习研究、禁止商业用途，且爬取国内平台存在法律风险，动手前务必评估合规性；如果你只是想了解爬虫架构设计，它的代码结构也有参考价值。

Crawl4AI 是一个开源的网页抓取工具，核心能力是把任意网站转换成干净、结构化的 Markdown 文本，专为喂给 LLM 而设计，可以理解为「面向 AI 的爬虫版 readability」。它能处理 JavaScript 渲染的动态页面，自动过滤菜单、页脚等噪音内容，保留标题、表格、代码块和引用链接，输出的 Markdown 可以直接用于 RAG 知识库、AI Agent 的联网搜索或数据管道。除了抓取，它还提供网页搜索、结构化 JSON 提取、带来源的问答等能力，并支持以 MCP 形式接入 Claude Code、Cursor 等 AI 编程工具。你可以本地免费运行，也可以用它的云服务按量付费。值得看的是做 RAG 应用、AI Agent 或需要大规模采集网页数据的后端和算法工程师，如果你的工作和 LLM 应用开发无关，这个项目基本用不上。

OpenBB 是一个面向金融数据的开源数据平台，核心思路是「一次接入，处处消费」：把自有的、授权的和公开的金融数据源统一整合，再同时暴露给多种下游使用。同一个数据层既能供量化研究员在 Python 环境里直接取数，也能喂给 Excel、OpenBB Workspace 这类分析师看板，还能通过 MCP server 让 AI agent 调用，或以 REST API 供其他应用使用。它覆盖股票、期权、加密货币、债券、宏观经济等品类，典型用法是把散落在各处的行情、基本面数据收敛成统一接口，省去为每个数据源单独写对接代码的麻烦。值得看的是金融行业的数据工程师、量化研究员和做 AI copilot 或研究看板的开发团队——如果你的工作是把金融数据接到内部应用或 AI agent 上，它能显著减少重复集成；如果你不碰金融数据，这个项目和你关系不大。

Scrapy 是 Python 生态里最老牌的网页爬取框架，可以把它理解成一个帮你批量抓取网页并整理成结构化数据的工具箱。你告诉它要抓哪些页面、需要哪些字段，它就负责并发请求、跟进链接、解析内容并输出成表格或 JSON。比如电商团队要监控竞品价格和库存变化，运营人员要收集行业资讯列表，数据团队要为分析或模型训练准备语料，都可以用它一次性搭好抓取流程，而不是手写一堆 requests 加解析脚本。它内置了去重、限速、重试、中间件等机制，适合长期运行的采集任务。如果你是做数据工程、爬虫开发或需要持续获取外部数据的后端工程师，这个项目值得花时间看；但如果你的工作和网页数据采集无关，比如纯做前端或模型训练，那它和你关系不大。

Apache Superset 是一个开源的商业智能（BI）平台，可以看作 Tableau、Power BI 的免费替代品，让你在浏览器里连上数据库、写 SQL、拖拽出图表并拼成仪表盘。它内置一个免代码的图表搭建器和一个功能完整的 SQL 编辑器，还提供轻量语义层来统一定义维度和指标，支持 Presto、Trino、ClickHouse、Doris 等几乎所有能通过 Python 驱动连接的 SQL 数据源，并带缓存层减轻数据库压力。典型场景是数据团队把散落在各处的查询沉淀成共享看板，业务方自助筛选数据，不用每次都找工程师跑数。如果你是数据分析师、数据平台工程师，或者所在公司正在评估用开源方案替换收费 BI 工具，这个项目值得花时间看看；纯做模型训练或 AI 应用开发的人则关系不大。

这是一个专门盯「新词」的每日雷达：在 X、Hugging Face、GitHub 等源头抓取刚冒头的模型名、产品名和仓库名，抢在 Google Trends 和各类关键词工具收录之前一到两周把它们报给你。它背后的逻辑是，一个新名字会先被实验室或大 V 在 X 上提到、模型登上 Hugging Face 热榜、某个仓库单日涨几百 star，几天后才轮到关键词工具看到搜索曲线，而这个工具读的正是前几个信号。比如它举例的 Strata 仓库，九天涨到 7700 star，人们两天后就开始搜「niko strata」，但当时没有任何关键词工具收录。除了新词雷达，它还监控新域名的排名词、Reddit 上的工具需求提问、刚挂出支付链接的站点等。适合做 AI 工具站 SEO、运营 AI 资讯 newsletter、维护目录站的人，以及想抢热点做内容的从业者；纯研发岗位关系不大。

youtube-dl 是一个老牌的命令行视频下载工具，可以抓取 YouTube 及上千个视频网站的视频文件，跨平台运行，属于公有领域、可自由修改分发。它不只是简单地保存一个链接，而是能解析播放列表并按序号、标题正则、上传日期、播放量等条件筛选要下载的条目，还能绕过部分地区的访问限制，按画质和文件大小挑选合适的版本。典型场景包括：做内容分析的研究者批量归档某个频道的视频语料、剪辑师收集素材、或者团队需要把线上教程离线留存。如果你的工作涉及视频数据采集、构建多模态训练数据集，或者只是经常需要把网页视频存到本地，它都值得一看；但如果你日常和视频内容无关，这个项目和你关系不大。

这是阿尔及利亚行政区划的地理数据包，把全国 69 个省（wilaya）、538 个区（daira）、1,541 个市镇（commune）的名称、编码、邮编、坐标和边界数据打包成 Python 和 TypeScript 两个库，功能完全对齐，且不依赖任何第三方运行时。它解决的是做阿尔及利亚相关产品时找不到权威、结构化地理数据的麻烦：比如你要做一个地址选择器，可以直接生成阿拉伯语或法语的下拉选项；用户输入「Warqla」能模糊匹配到「Ouargla」和「ورقلة」，阿拉伯语变音符号、法语重音、音译变体都能折叠处理。数据还覆盖了 1984 年 48 省、2019 年 58 省、2026 年 69 省三个历史时期的边界，方便做跨年代的数据对比，同时提供 GeoJSON 可直接喂给 Leaflet 或 MapBox 画地图。做北非市场业务的后端、前端或数据工程师，以及需要行政区划数据做分析的人值得看；和阿尔及利亚无关的从业者基本可以跳过。

Pathway 是一个用 Python 写的数据 ETL 框架，可以理解为「能同时处理批数据和实时流的 Flink 替代品」，底层由 Rust 引擎驱动，做增量计算，同一份代码既能本地开发调试，也能直接上生产跑 Kafka 流、日志监控或实时分析。它内置了 LLM 工具封装，能搭实时 RAG 管道，比如把 SharePoint、GDrive 里的文档变化自动同步进向量库，或者用 Ollama 搭私有 RAG，还支持多模态 RAG 和非结构化数据即时转 SQL。连接器覆盖 Kafka、PostgreSQL、Airbyte 等 300 多种数据源。适合数据工程师、做实时数仓或事件驱动告警的后端，以及需要让 RAG 知识库随数据源实时更新的 AI 应用开发者；如果你只做离线批处理或纯模型训练，关系不大。

MarkItDown 是微软开源的一个 Python 工具，能把各种文件统一转成 Markdown，可以理解为面向 LLM 的 textract 替代品。它支持 PDF、Word、PowerPoint、Excel、HTML、CSV/JSON/XML、EPub、ZIP 包，甚至图片（OCR）、音频（转写）和 YouTube 链接，转换时会尽量保留标题、列表、表格、链接等结构信息，输出的 Markdown 既省 token 又是主流模型最熟悉的格式。典型用法是把公司内部的合同、报表、PPT 批量喂给 GPT-4o 做摘要、问答或 RAG 检索，省去为每种格式写解析器的麻烦；它还支持插件，比如用 LLM Vision 对文档内嵌图片做 OCR。如果你在做 AI 应用开发、数据管线或知识库建设，需要把异构文档清洗成模型可读的文本，这个工具值得花十分钟看看；纯前端、后端业务开发或不碰 LLM 的人关系不大。

PlantCraft 是一套面向流程工业（化工、制药、能源等工厂）的开源工业软件套件，把 Historian 数据采集、信号分析、报警管理、看板、流程模型和文档库整合到一个平台里，对标的是 OSIsoft PI 加各类商业组态软件的组合。它对工厂只读，不写 DCS/PLC，可离线部署；每个页面内置 AI 助手，能根据你的描述自动生成分析方法、报警规则、看板或模型，也能基于工厂自身数据和文档回答问题，还提供只读 MCP 接口让你自己的 AI 读取工厂数据。Analytics 会自动巡检所有控制回路和信号，优先报出最差的并说明原因，比如坏数据、回路振荡、阀门卡涩。适合流程行业的工艺工程师、仪表与控制工程师、工厂运维数据团队，以及做工业 AI 应用的开发者；纯互联网或通用 AI 岗位的人关系不大。

这个项目把罗马尼亚的法律体系整个搬进了 git 仓库：每部法律的每一条单独存成文件，法律每次修订生效当天生成一条 commit，而做出这次修订的那部法令就是 commit 的作者。于是你可以直接用 git blame 查某一段文字是哪部法律改的，用 git log 看某一条的完整修订史，也可以用配套工具查询任意历史日期当天生效的法律文本，比如 2014 年 10 月 18 日的《民法典》第 1112 条长什么样。数据覆盖宪法、法律、政府紧急法令等各类规范性文件，来源是罗马尼亚司法部的官方立法门户，每次修订都标注了出处页面。对做罗马尼亚市场合规、法律科技产品或跨境法务检索的人来说，这是一份可直接程序化查询的结构化法律语料；如果你的工作和罗马尼亚法律无关，那它基本用不上。

MapVerity 是一个数据管道字段级验证工具，专门解决医疗、保险、金融这类行业里「数据看着没问题但其实错了」的痛点——类型对、非空、在域内，但值就是错的。它把业务分析师已经在维护的 source-to-target mapping 表格直接编译成可执行的测试套件，对每个映射字段从源记录重新推导期望值，再和管道实际写入的结果比对，能处理 COBOL copybook、定宽文件、CSV、JSON、Parquet、S3、MongoDB、SQL 数据库和 REST API 等各种真实数据源。除了逐字段校验，它还能做数据变异测试，主动注入 15 类 ETL 故障来衡量你的测试套件到底能抓出多少、盲区在哪，并用基于公开缺陷数据训练的模型给转换函数打风险分、给出 SHAP 解释，把最可能出问题的检查排在前面跑。适合数据平台工程师、ETL 开发和数据质量负责人在 CI 里做发布门禁；如果你不负责数据管道的正确性验证，和你关系不大。

这是对俄罗斯独立媒体 novayagazeta.ru 的抢救性存档：网站已宣布 2026 年 11 月 9 日关停服务器，该项目赶在截止日前把 2000 至 2026 年间的 93,933 篇文章连同配图抓取为 Markdown 文件，共 1.1 GB 文本和 8.3 GB 图片，按日期归档。它不依赖浏览器和第三方包，只用 Python 标准库直接读取页面内嵌的 JSON 数据，因此速度很快，约每秒 14 个请求，两万篇二十分钟即可完成；由于站点不公开完整索引，脚本还从 sitemap、Common Crawl、搜索接口和 Wayback Machine 等多个来源拼凑 URL，抓取可断点续跑。对做俄语语料、新闻文本挖掘或媒体史研究的人来说，这是一份现成的大规模语料库；如果你的工作与俄语内容、新闻数据无关，这个项目基本不用看。