firecrawl / firecrawl
数据工程
TypeScript
把网页和文档转成 LLM 友好数据的抓取 API
Firecrawl 是一个把网页变成 AI 能直接消费的数据的 API 服务,可以理解为「给 LLM 用的爬虫中间层」:你丢给它一个网址或搜索词,它返回干净的 Markdown、结构化 JSON 或截图,省掉自己处理反爬、代理轮换和 JS 渲染的麻烦。除了单页抓取,它还能整站爬取、批量异步抓几千个 URL、解析 PDF/DOCX 转成 Markdown,甚至用自然语言描述需求让内置 Agent 自动采集数据,也能在抓取后模拟点击、滚动等页面交互。典型场景是给 RAG 系统灌语料、做竞品价格监控、给 AI Agent 接上实时网页上下文,或把文档批量转成训练/检索可用的格式。如果你在做 AI 应用开发、数据工程,或者需要稳定网页数据源的后端工程师,这个项目值得花两分钟看看;纯前端或与 AI 无关的岗位则关系不大。
★ 198k
24h +224
⑂ 10k
创建 2024-04-15
更新 1 小时前
yaojingang / GEOInflow
数据工程
TypeScript
自部署的网站与 AI 爬虫分析工具,服务 GEO 优化
GEOInflow 是一套可自部署的网站分析工具,可以理解为面向 AI 时代的 Google Analytics 加爬虫日志分析器:它把普通访客数据、AI 搜索引流、服务器爬虫日志和内容清单放进同一个网站视图里。它能回答几个具体问题——OpenAI、Anthropic、Perplexity、百度、Kimi 等哪些 AI 平台的爬虫来过你的站、反复抓哪些页面、你 sitemap 里的重点页面有没有被抓到、抓取请求是不是失败,以及 AI 搜索带来了多少会话和转化。比如媒体或文档站可以导入页面清单,对照日志找出「AI 盲区」,再决定改内链还是调 robots 规则。它还强调证据链:只凭 User-Agent 不算验证通过,IP 段、DNS 等证据单独留存。适合企业官网、内容站、媒体出版方和负责多个站点的 GEO 运营、SEO 及增长岗位使用;如果你不关心 AI 搜索带来的流量和爬虫覆盖,和你关系不大。
★ 807
24h +5
⑂ 252
创建 10 天前
更新 1 天前
floatboatai / OpenMinutes
数据工程
TypeScript
MemoTalk 录音笔的开源工作台:转录、AI 归类、检索复盘
OpenMinutes 是一个配合 MemoTalk S1 录音笔使用的开源工作台,把录音笔里的 MP3 导入电脑后,自动转成可搜索、可分类的文字。它把导入、转录、AI 归类、检索复盘串成一条流水线:每条录音都有清晰的状态标签(待下载、待转录、转录中、待归类、已归档、失败等),支持批量操作。转录用流式 ASR 生成带时间戳的分段文本,AI 归类则用 LLM 生成结构化标题、摘要、分类、标签、要点和待办事项,且可手动修改;还能按分类、标签、阶段筛选,按时间排序,回放时可直接跳到对应句子。对每天产生大量会议、访谈录音的人来说,它解决的是「录了一堆却找不到某段对话」的麻烦。适合需要整理语音记录的产品、运营、研究或助理类岗位,以及想自建语音笔记系统的开发者;如果你不用录音笔或不常处理音频,关系不大。
★ 108
⑂ 0
创建 7 天前
更新 6 天前