GitHub 热门
共 7 个项目 · 第 1 / 1 页
firecrawl / firecrawl 数据工程 TypeScript
把网页和文档转成 LLM 友好数据的抓取 API
Firecrawl 是一个把网页变成 AI 能直接消费的数据的 API 服务,可以理解为「给 LLM 用的爬虫中间层」:你丢给它一个网址或搜索词,它返回干净的 Markdown、结构化 JSON 或截图,省掉自己处理反爬、代理轮换和 JS 渲染的麻烦。除了单页抓取,它还能整站爬取、批量异步抓几千个 URL、解析 PDF/DOCX 转成 Markdown,甚至用自然语言描述需求让内置 Agent 自动采集数据,也能在抓取后模拟点击、滚动等页面交互。典型场景是给 RAG 系统灌语料、做竞品价格监控、给 AI Agent 接上实时网页上下文,或把文档批量转成训练/检索可用的格式。如果你在做 AI 应用开发、数据工程,或者需要稳定网页数据源的后端工程师,这个项目值得花两分钟看看;纯前端或与 AI 无关的岗位则关系不大。
★ 198k 24h +224 ⑂ 10k 创建 2024-04-15 更新 1 小时前
iptv-org / iptv TypeScript
全球公开 IPTV 直播源聚合清单,含播放列表与节目单
这是一个全球公开 IPTV 频道的聚合清单,本身不存任何视频文件,只收集用户提交的公开直播流地址,整理成可直接被播放器读取的 m3u 播放列表,并按国家、地区、分类拆分成多份子列表,同时配套提供节目单(EPG)数据和查询接口。简单说,它相当于一个「全球免费电视直播源的维基」,你可以在里面找到各国新闻台、体育台、地方台的在线直播地址。典型用法是把它的播放列表导入 VLC、TiviMate 或各类电视盒子 App,就能免费看海外直播;做流媒体聚合、电视墙或媒体播放器开发的人也能直接拿它的数据当内容源。对多数互联网和 AI 从业者来说,这和日常工作关系不大,除非你在做视频、直播或电视相关产品,或者单纯想找海外直播源。需要注意的是链接由社区维护,稳定性和版权状况需自行判断。
★ 143k 24h +85 ⑂ 8.5k 创建 2018-11-14 更新 8 小时前
supabase / supabase TypeScript
以 Postgres 为核心的开源后端平台,Firebase 替代品
Supabase 是一个以 Postgres 为核心的后端即服务平台,常被看作 Firebase 的开源替代品:你拿到一个专属的 Postgres 数据库,同时附带用户登录授权、自动生成的 REST/GraphQL API、WebSocket 实时订阅、文件存储和边缘函数,不用自己拼装这一整套后端。它还内置了向量与 Embeddings 工具包,基于 pgvector 让你在同一个数据库里直接做语义检索,省掉单独部署向量库的麻烦。典型场景是独立开发者或小团队用它快速搭出带登录、实时协作和 AI 问答功能的 Web 或移动应用,比如一个 Next.js 项目里同时搞定账号体系、数据表和 RAG 检索。值得看的是全栈工程师、独立开发者,以及正在为 AI 应用选型存储与检索方案的人;纯前端或纯算法岗位关系不大。
★ 114k 24h +42 ⑂ 15k 创建 2019-10-12 更新 31 分钟前
nocodb / nocodb TypeScript
可自部署的 Airtable 替代品,给数据库套上表格界面并自动生成 API
NocoDB 是一个可以自己部署的 Airtable 替代品,说白了就是给数据库套上一层电子表格界面:你连上已有的 PostgreSQL 或 SQLite,它自动生成类似 Excel 的表格视图、看板和表单,让不懂 SQL 的人也能直接增删改数据,同时又自动生成 REST API 和 Swagger 文档供程序调用。典型场景是运营或产品同学要维护一份活动报名表、库存清单或客户名单,不想再用共享 Excel 互相覆盖,又不想为每个小需求找后端排期写接口,用它几分钟就能搭出一个带权限的在线表格应用,前端和脚本还能通过 API 同步读写。适合需要快速内部工具的全栈和后端工程师、负责搭建运营后台的低代码团队,以及想把数据留在自己服务器上的中小企业;如果你的工作与数据库管理、内部工具搭建完全无关,这个项目和你关系不大。
★ 65k 24h +12 ⑂ 5.1k 创建 2017-10-29 更新 44 分钟前
yaojingang / GEOInflow 数据工程 TypeScript
自部署的网站与 AI 爬虫分析工具,服务 GEO 优化
GEOInflow 是一套可自部署的网站分析工具,可以理解为面向 AI 时代的 Google Analytics 加爬虫日志分析器:它把普通访客数据、AI 搜索引流、服务器爬虫日志和内容清单放进同一个网站视图里。它能回答几个具体问题——OpenAI、Anthropic、Perplexity、百度、Kimi 等哪些 AI 平台的爬虫来过你的站、反复抓哪些页面、你 sitemap 里的重点页面有没有被抓到、抓取请求是不是失败,以及 AI 搜索带来了多少会话和转化。比如媒体或文档站可以导入页面清单,对照日志找出「AI 盲区」,再决定改内链还是调 robots 规则。它还强调证据链:只凭 User-Agent 不算验证通过,IP 段、DNS 等证据单独留存。适合企业官网、内容站、媒体出版方和负责多个站点的 GEO 运营、SEO 及增长岗位使用;如果你不关心 AI 搜索带来的流量和爬虫覆盖,和你关系不大。
★ 807 24h +5 ⑂ 252 创建 10 天前 更新 1 天前
surendrapandar / minilytics TypeScript
以收入为核心的自托管网站分析,追踪哪个渠道真正带来付费
Minilytics 是一个开源的网站分析工具,可以理解为自托管版的 DataFast 或轻量版 Google Analytics,但它把「收入」放在第一位:除了常规的访问量、跳出率、停留时长,它会直接告诉你哪条推文、哪篇文章、哪个 Google 搜索词甚至哪个 AI 助手(如 ChatGPT)带来的访客最终付了钱。每个付费客户都能看到完整旅程——从首次访问、浏览页面、点击按钮到完成支付的全时间线,还能按来源一键筛选整个面板,甚至有一个实时地球展示当前在线访客。它跑在 Cloudflare 免费套餐上,数据完全存在你自己的账号里。适合独立开发者、solo founder 和做增长的营销人员:当你在 X 上发推、投 newsletter 或做 SEO 时,它能直接回答「这次投放到底赚没赚钱」,而不只是给你一堆虚荣指标。对大厂数据团队或纯技术岗来说关系不大。
★ 811 24h +2 ⑂ 197 创建 12 天前 更新 2 天前
floatboatai / OpenMinutes 数据工程 TypeScript
MemoTalk 录音笔的开源工作台:转录、AI 归类、检索复盘
OpenMinutes 是一个配合 MemoTalk S1 录音笔使用的开源工作台,把录音笔里的 MP3 导入电脑后,自动转成可搜索、可分类的文字。它把导入、转录、AI 归类、检索复盘串成一条流水线:每条录音都有清晰的状态标签(待下载、待转录、转录中、待归类、已归档、失败等),支持批量操作。转录用流式 ASR 生成带时间戳的分段文本,AI 归类则用 LLM 生成结构化标题、摘要、分类、标签、要点和待办事项,且可手动修改;还能按分类、标签、阶段筛选,按时间排序,回放时可直接跳到对应句子。对每天产生大量会议、访谈录音的人来说,它解决的是「录了一堆却找不到某段对话」的麻烦。适合需要整理语音记录的产品、运营、研究或助理类岗位,以及想自建语音笔记系统的开发者;如果你不用录音笔或不常处理音频,关系不大。
★ 108 ⑂ 0 创建 7 天前 更新 6 天前