Scrapling 是一个 Python 网页抓取框架，把快速 HTTP 请求、隐身浏览器、解析和并发爬取整合到一个库里，可以理解为 Scrapy 加 Playwright 的合体替代品。它能抓静态页、渲染 JavaScript、模拟点击交互，还能捕获页面背后的 API 请求；解析支持 CSS、XPath、正则，并能自适应追踪页面改版后元素的位置，最后可整站导出为干净的 Markdown。内置代理轮换、自动重试、限速和断点续爬，也提供 MCP server，让 AI Agent 直接调用它抓数据。适合需要大规模采集电商、资讯或做数据标注语料的爬虫工程师、数据工程师，以及想给 Agent 装上联网抓取能力的 AI 应用开发者；如果你平时只写业务后端、不碰数据采集，跟你的关系不大。

Firecrawl 是一个把网页变成 AI 能直接消费的数据的 API 服务，可以理解为「给 LLM 用的爬虫中间层」：你丢给它一个网址或搜索词，它返回干净的 Markdown、结构化 JSON 或截图，省掉自己处理反爬、代理轮换和 JS 渲染的麻烦。除了单页抓取，它还能整站爬取、批量异步抓几千个 URL、解析 PDF/DOCX 转成 Markdown，甚至用自然语言描述需求让内置 Agent 自动采集数据，也能在抓取后模拟点击、滚动等页面交互。典型场景是给 RAG 系统灌语料、做竞品价格监控、给 AI Agent 接上实时网页上下文，或把文档批量转成训练/检索可用的格式。如果你在做 AI 应用开发、数据工程，或者需要稳定网页数据源的后端工程师，这个项目值得花两分钟看看；纯前端或与 AI 无关的岗位则关系不大。

这是一份持续维护的免费公开 API 大清单，收录了上千个可直接调用的接口，覆盖天气、地理、金融、新闻、图片等各类数据源，每个条目都标注了是否需要密钥、支持的调用方式和 CORS 情况。最近它还新增了 Model Context Protocol 一节，把适合 AI Agent 调用的 MCP 服务单独列出，标明可安装到 Claude、Cursor、VS Code 等客户端。比如你想让 Agent 查 IP 归属地、抓网页转 Markdown、搜 GitHub 仓库或查云 GPU 价格，都能在这里找到现成的接口，省去自己翻文档找数据源的时间。适合需要给应用或 Agent 接外部数据的后端开发、AI 应用开发者，以及在做 RAG、Agent 项目时苦于找不到合适数据源的人；纯做前端或与数据无关的岗位关系不大。

这是一套对齐中国课标和人教版教材的 K12 知识图谱，覆盖小学到高中的数学、三年级到高中的英语，以及初中和高中物理，共 1644 个知识点、2403 条先修边和 6723 道题。它把「学好二次函数需要先掌握哪些内容」这类依赖关系显式建模：学生答错一道题，系统会沿先修边从高中一路回溯到具体的小学知识点，定位真正的薄弱环节，这就是它附带的自适应前置诊断。比如高一学生配方法总出错，诊断可能追到小学的乘法公式没吃透。对做教育产品、自适应学习、智能题库或学习路径推荐的团队来说，这是难得的结构化中文教育数据，省去自己从零梳理课标的功夫；做 AI 辅导 Agent 的人也能拿它当知识底座。注意先修关系和题库仍需一线教师审核，且商业使用需单独授权，纯个人学习教学研究可免费用。与多数互联网从业者关系不大。

yt-dlp 是一个命令行音视频下载工具，可以理解为 youtube-dl 的活跃升级版，支持数千个网站，从 YouTube、Bilibili 到各类播客和直播平台都能抓取。除了基础下载，它还能按画质和格式筛选、批量抓取播放列表、下载字幕和封面、嵌入元数据，甚至能自动跳过视频里的赞助商广告片段（SponsorBlock）。典型场景包括：内容创作者需要批量存档自己的视频做备份、播客运营者定期抓取音频做转录、研究者收集公开视频语料训练多模态模型，或者单纯想把在线课程离线保存。如果你的工作涉及视频内容采集、数据标注前的素材准备，或者需要在自动化脚本里批量拉取公开媒体资源，这个项目值得花十分钟了解；但如果你的岗位和媒体内容完全无关，它和多数 AI 从业者关系不大。

这是一个全球公开 IPTV 频道的聚合清单，本身不存任何视频文件，只收集用户提交的公开直播流地址，整理成可直接被播放器读取的 m3u 播放列表，并按国家、地区、分类拆分成多份子列表，同时配套提供节目单（EPG）数据和查询接口。简单说，它相当于一个「全球免费电视直播源的维基」，你可以在里面找到各国新闻台、体育台、地方台的在线直播地址。典型用法是把它的播放列表导入 VLC、TiviMate 或各类电视盒子 App，就能免费看海外直播；做流媒体聚合、电视墙或媒体播放器开发的人也能直接拿它的数据当内容源。对多数互联网和 AI 从业者来说，这和日常工作关系不大，除非你在做视频、直播或电视相关产品，或者单纯想找海外直播源。需要注意的是链接由社区维护，稳定性和版权状况需自行判断。

这是一个把巴西全部法律法规整理成纯文本的开源资料库，相当于巴西版的「国家法律法规数据库」。它从官方来源抓取宪法、联邦法律、各州和各市的法规、监管机构的规章、判例和国际条约，自动转换成带结构化标题和原文链接的 Markdown 文件，目前已收录超过 32 万条规范，且每条都单独提交、保留签署人和生效日期，git 历史本身就是时间线。对需要检索巴西法律文本的场景很实用，比如做跨境合规审查、拉美市场调研、法律科技产品的语料准备，或者写涉及巴西政策的分析文章时，可以直接拿到干净、可引用、可 diff 的文本，省去逐个翻官网 PDF 和扫描件的功夫。如果你的工作和巴西市场、葡语法律文本或相关 AI 语料无关，这个项目基本用不上；另外作者提醒文本仅供参考，正式引用仍需核对官方公报。

Moect 是一个 Windows 桌面工具，用来把微信 4.x 的聊天记录读出来、整理好并导出到本地，可以理解为微信版的聊天记录备份与归档软件。它支持好友和群聊、朋友圈、收藏表情，导出时能带上头像、图片、GIF、音视频、文件、链接和小程序卡片，引用回复与合并转发也能展开保留。导出格式有 HTML、JSON、JSONL、TXT、CSV、Markdown 六种，HTML 版可以离线阅读、按发送者或正文搜索、按时间筛选，还支持批量任务和多会话一次导出。数据解析全部在本机完成，没有服务器接收聊天记录。适合需要长期留存工作沟通证据、整理客户或社群历史、做聊天数据分析的运营、客服、社群管理和合规相关人员；如果你只是普通用户想留个纪念，也用得上，但和多数不碰微信数据的开发者关系不大。

MediaCrawler 是一个面向中文主流内容平台的多平台数据采集工具，支持小红书、抖音、快手、B站、微博、贴吧、知乎的笔记、视频、帖子及评论抓取。它基于 Playwright 浏览器自动化保留登录态，无需逆向各平台复杂的签名加密算法，大幅降低了爬虫技术门槛。具体能用在按关键词搜索内容、指定帖子ID抓取、采集二级评论、爬取创作者主页等场景，还支持登录态缓存、IP代理池和评论词云图生成，可顺带下载封面、视频和图文素材。典型使用者是做舆情监测、竞品分析、爆款内容拆解的运营和数据分析师，以及需要给 LLM 或 Agent 准备语料的 AI 应用开发者。需要注意的是，README 明确声明仅供学习研究、禁止商业用途，且爬取国内平台存在法律风险，动手前务必评估合规性；如果你只是想了解爬虫架构设计，它的代码结构也有参考价值。

Supabase 是一个以 Postgres 为核心的后端即服务平台，常被看作 Firebase 的开源替代品：你拿到一个专属的 Postgres 数据库，同时附带用户登录授权、自动生成的 REST/GraphQL API、WebSocket 实时订阅、文件存储和边缘函数，不用自己拼装这一整套后端。它还内置了向量与 Embeddings 工具包，基于 pgvector 让你在同一个数据库里直接做语义检索，省掉单独部署向量库的麻烦。典型场景是独立开发者或小团队用它快速搭出带登录、实时协作和 AI 问答功能的 Web 或移动应用，比如一个 Next.js 项目里同时搞定账号体系、数据表和 RAG 检索。值得看的是全栈工程师、独立开发者，以及正在为 AI 应用选型存储与检索方案的人；纯前端或纯算法岗位关系不大。

Crawl4AI 是一个开源的网页抓取工具，核心能力是把任意网站转换成干净、结构化的 Markdown 文本，专为喂给 LLM 而设计，可以理解为「面向 AI 的爬虫版 readability」。它能处理 JavaScript 渲染的动态页面，自动过滤菜单、页脚等噪音内容，保留标题、表格、代码块和引用链接，输出的 Markdown 可以直接用于 RAG 知识库、AI Agent 的联网搜索或数据管道。除了抓取，它还提供网页搜索、结构化 JSON 提取、带来源的问答等能力，并支持以 MCP 形式接入 Claude Code、Cursor 等 AI 编程工具。你可以本地免费运行，也可以用它的云服务按量付费。值得看的是做 RAG 应用、AI Agent 或需要大规模采集网页数据的后端和算法工程师，如果你的工作和 LLM 应用开发无关，这个项目基本用不上。

pagesift 是一个用 Rust 写的网页与文档抓取工具，可以理解为自托管版的 Firecrawl 或 Jina Reader：把任意 URL、PDF、Office 文件、电子书、邮件甚至压缩包读进来，输出干净的 Markdown 或结构化 JSON，供 AI 应用消费。它能渲染 JavaScript 页面、对扫描版 PDF 和图片做 OCR、按 CSS 选择器或模型生成的 schema 抽取字段，还支持整站爬取、页面变更监控和带证据回溯的问答接口。对做 RAG 检索管道的工程师来说，它省去了自己拼接 trafilatura、pymupdf4llm、Docling 等一堆工具的麻烦，一个二进制文件就能跑通从抓取到解析的全流程，并且兼容 Firecrawl 和 Jina Reader 的 API，迁移成本很低。值得看的是负责数据接入、RAG 管道或 Agent 应用开发的后端和算法工程师，尤其是需要私有化部署、不想依赖云抓取服务的团队；纯做前端或与 AI 无关的读者可以跳过。

OpenBB 是一个面向金融数据的开源数据平台，核心思路是「一次接入，处处消费」：把自有的、授权的和公开的金融数据源统一整合，再同时暴露给多种下游使用。同一个数据层既能供量化研究员在 Python 环境里直接取数，也能喂给 Excel、OpenBB Workspace 这类分析师看板，还能通过 MCP server 让 AI agent 调用，或以 REST API 供其他应用使用。它覆盖股票、期权、加密货币、债券、宏观经济等品类，典型用法是把散落在各处的行情、基本面数据收敛成统一接口，省去为每个数据源单独写对接代码的麻烦。值得看的是金融行业的数据工程师、量化研究员和做 AI copilot 或研究看板的开发团队——如果你的工作是把金融数据接到内部应用或 AI agent 上，它能显著减少重复集成；如果你不碰金融数据，这个项目和你关系不大。

Redis 是最广为人知的内存数据库，可以把数据放在内存里以亚毫秒级速度读写，同时提供字符串、哈希、列表、集合、有序集合、JSON 等多种数据结构，相当于把缓存、队列、排行榜、限流器、会话存储这些常见需求统一到一个服务里。除了传统用法，它现在还内置了向量检索和全文搜索能力，可以做 RAG 检索、LLM 语义缓存和 Agent 短期记忆，也支持时间序列和流式消息，用于实时分析、风控和推荐场景。如果你是后端或基础架构工程师，需要给热点数据加缓存、做分布式会话、搭消息队列，或者在 AI 应用里给模型配向量记忆库，Redis 都是绕不开的默认选项；纯前端或非技术岗位则关系不大。

这是一个覆盖全球11,011种现生鸟类的开源贴纸库，每种鸟配一张白边透明贴纸，附带结构化数据：分类学信息、最多43种语言的鸟名、分布与形态、保护等级，以及eBird、Wikidata等外部数据库的交叉ID。贴纸出自观鸟App「鸣迹」的作者花叔，分类体系已更新到2025年取代IOC和Clements的AviList v2026，还附带新旧名录的映射表。数据可用于任何场景，包括商业用途，唯一限制是不能直接拿去做观鸟或鸟类识别类应用。对多数互联网和AI从业者来说，这更像一个高质量的多模态数据集：如果你在做生物多样性相关的RAG检索、多语言实体对齐、多模态模型训练或评测，或者需要一个覆盖45目249科的结构化分类数据源，它能省下大量数据清洗时间；如果你只是想找个鸟类贴纸素材，也够用。纯粹做业务后端或前端的人关系不大。

rclone 是一个命令行工具，可以把它理解为「云存储版的 rsync」：在几十种云盘和对象存储之间同步、复制、挂载文件，覆盖 Google Drive、Amazon S3、Dropbox、OneDrive、Backblaze B2、Cloudflare R2、阿里云 OSS、华为 OBS、腾讯 COS 等主流服务，也支持 FTP、SFTP、WebDAV 这类传统协议。它解决的具体麻烦包括：把本地数据集批量搬到对象存储、在两个云盘之间做增量备份、用加密方式把敏感文件同步到第三方网盘、或者把云盘挂载成本地目录直接读写。对 AI 从业者来说，最典型的场景是训练数据和模型文件在本地与 S3/R2 之间的搬运，以及多云环境下的数据归档。如果你的工作涉及数据工程、运维备份或管理多个云存储账号，值得花几分钟了解；只是日常用网盘存文件的普通用户则关系不大。

Scrapy 是 Python 生态里最老牌的网页爬取框架，可以把它理解成一个帮你批量抓取网页并整理成结构化数据的工具箱。你告诉它要抓哪些页面、需要哪些字段，它就负责并发请求、跟进链接、解析内容并输出成表格或 JSON。比如电商团队要监控竞品价格和库存变化，运营人员要收集行业资讯列表，数据团队要为分析或模型训练准备语料，都可以用它一次性搭好抓取流程，而不是手写一堆 requests 加解析脚本。它内置了去重、限速、重试、中间件等机制，适合长期运行的采集任务。如果你是做数据工程、爬虫开发或需要持续获取外部数据的后端工程师，这个项目值得花时间看；但如果你的工作和网页数据采集无关，比如纯做前端或模型训练，那它和你关系不大。

Apache Superset 是一个开源的商业智能（BI）平台，可以看作 Tableau、Power BI 的免费替代品，让你在浏览器里连上数据库、写 SQL、拖拽出图表并拼成仪表盘。它内置一个免代码的图表搭建器和一个功能完整的 SQL 编辑器，还提供轻量语义层来统一定义维度和指标，支持 Presto、Trino、ClickHouse、Doris 等几乎所有能通过 Python 驱动连接的 SQL 数据源，并带缓存层减轻数据库压力。典型场景是数据团队把散落在各处的查询沉淀成共享看板，业务方自助筛选数据，不用每次都找工程师跑数。如果你是数据分析师、数据平台工程师，或者所在公司正在评估用开源方案替换收费 BI 工具，这个项目值得花时间看看；纯做模型训练或 AI 应用开发的人则关系不大。

这是一个专门盯「新词」的每日雷达：在 X、Hugging Face、GitHub 等源头抓取刚冒头的模型名、产品名和仓库名，抢在 Google Trends 和各类关键词工具收录之前一到两周把它们报给你。它背后的逻辑是，一个新名字会先被实验室或大 V 在 X 上提到、模型登上 Hugging Face 热榜、某个仓库单日涨几百 star，几天后才轮到关键词工具看到搜索曲线，而这个工具读的正是前几个信号。比如它举例的 Strata 仓库，九天涨到 7700 star，人们两天后就开始搜「niko strata」，但当时没有任何关键词工具收录。除了新词雷达，它还监控新域名的排名词、Reddit 上的工具需求提问、刚挂出支付链接的站点等。适合做 AI 工具站 SEO、运营 AI 资讯 newsletter、维护目录站的人，以及想抢热点做内容的从业者；纯研发岗位关系不大。

NocoDB 是一个可以自己部署的 Airtable 替代品，说白了就是给数据库套上一层电子表格界面：你连上已有的 PostgreSQL 或 SQLite，它自动生成类似 Excel 的表格视图、看板和表单，让不懂 SQL 的人也能直接增删改数据，同时又自动生成 REST API 和 Swagger 文档供程序调用。典型场景是运营或产品同学要维护一份活动报名表、库存清单或客户名单，不想再用共享 Excel 互相覆盖，又不想为每个小需求找后端排期写接口，用它几分钟就能搭出一个带权限的在线表格应用，前端和脚本还能通过 API 同步读写。适合需要快速内部工具的全栈和后端工程师、负责搭建运营后台的低代码团队，以及想把数据留在自己服务器上的中小企业；如果你的工作与数据库管理、内部工具搭建完全无关，这个项目和你关系不大。

Reylo 让你把写好的 .sql 文件直接 import 进 TypeScript，自动拿到每个查询结果的完整类型，不用手写 interface，也不用生成任何代码文件。比如一条带 join 和聚合的查询，它能推断出每列的类型、是否可能为 null、返回一行还是多行、enum 列变成字面量联合类型，甚至 JSON 的形状；列名拼错了还会直接报类型错误。它靠数据库自己 prepare 查询来读取列类型，支持 Postgres、MySQL、SQLite、DuckDB，驱动可自选，也能接 Drizzle。对日常写 SQL 查询的后端或全栈 TypeScript 开发者，尤其是被「SQL 和类型定义两份代码要同步维护」折磨过的人，值得花两分钟看看；纯前端或不做数据层的人关系不大。

youtube-dl 是一个老牌的命令行视频下载工具，可以抓取 YouTube 及上千个视频网站的视频文件，跨平台运行，属于公有领域、可自由修改分发。它不只是简单地保存一个链接，而是能解析播放列表并按序号、标题正则、上传日期、播放量等条件筛选要下载的条目，还能绕过部分地区的访问限制，按画质和文件大小挑选合适的版本。典型场景包括：做内容分析的研究者批量归档某个频道的视频语料、剪辑师收集素材、或者团队需要把线上教程离线留存。如果你的工作涉及视频数据采集、构建多模态训练数据集，或者只是经常需要把网页视频存到本地，它都值得一看；但如果你日常和视频内容无关，这个项目和你关系不大。

这是一个给 Claude Code 用的 Agent Skill，用来抓取抖音单条视频的完整评论区，包括一级评论、全部楼中楼回复和视频详情，可选下载 720p 视频，最终产出一份按点赞排序的评论全文和原始 JSON。它的巧妙之处在于不自己逆向抖音的 a_bogus 等风控参数，而是在你已登录的 Chrome 页面里拦截并照抄真实请求，签名交给页面自带的 SDK 计算，从而避开验证码，实测抓取结果与手动逐条展开完全一致。适合做舆情分析、竞品评论研究、内容选题参考的运营和产品经理，以及需要评论语料做 NLP 或情感分析的算法同学；单条视频、个人研究场景够用，但不支持批量采集其他平台，也不适合大规模商用抓取。

这是一个按主题分类的公开数据集索引，相当于数据领域的 awesome list，把散落在各处的高质量开放数据源整理成一份可检索的清单，涵盖农业、医疗、金融、地理、交通等几十个领域，多数免费，少数标注了付费。它解决的是「找数据」的麻烦：比如你想训练一个中文食品营养识别模型，可以直接在 Food 分类里找到 USDA FoodData Central、Open Food Facts 这类覆盖数百万条产品的成分库，而不必自己满网搜索再逐个验证质量。清单由 apd-core 自动生成并持续更新，每条都附带简短说明和原始链接。适合数据科学家、算法工程师、AI 应用开发者以及做行业分析的产品经理——凡是需要为模型训练、RAG 检索或分析报告寻找可靠外部数据的人，都可以把它当入口收藏；如果你的工作完全不涉及数据获取，那它跟你关系不大。

GEOInflow 是一套可自部署的网站分析工具，可以理解为面向 AI 时代的 Google Analytics 加爬虫日志分析器：它把普通访客数据、AI 搜索引流、服务器爬虫日志和内容清单放进同一个网站视图里。它能回答几个具体问题——OpenAI、Anthropic、Perplexity、百度、Kimi 等哪些 AI 平台的爬虫来过你的站、反复抓哪些页面、你 sitemap 里的重点页面有没有被抓到、抓取请求是不是失败，以及 AI 搜索带来了多少会话和转化。比如媒体或文档站可以导入页面清单，对照日志找出「AI 盲区」，再决定改内链还是调 robots 规则。它还强调证据链：只凭 User-Agent 不算验证通过，IP 段、DNS 等证据单独留存。适合企业官网、内容站、媒体出版方和负责多个站点的 GEO 运营、SEO 及增长岗位使用；如果你不关心 AI 搜索带来的流量和爬虫覆盖，和你关系不大。