GitHub 热门
共 111 个项目 · 第 1 / 5 页
JuneYaooo / rea-video 多模态 Python
逐镜头拆解短视频制作方式并给出复刻方案的分析工具
rea-video 是一个把短视频逐镜头拆解的分析工具,能判断每条片子是实拍、AI 生成、数字人、3D 渲染还是代码动效,并反推出它是怎么做的。比如一条带货视频,它会告诉你用了几个机位、什么布光方案、字幕花字的起止时间和样式、配音是真人还是 AI、配乐多少 BPM;一条 AI 视频则会给出每镜反推的提示词、合并成几次生成、该用哪个模型。拆完还能输出复刻方案,配合它的下游项目把运镜、节奏、转场照着原片重做一遍,只替换你指定的元素。它还带 AIGC 检测能力,靠帧率规律、噪点、文件标识等硬证据判断真伪,准确率在官方评测里接近 99%。适合短视频编导、AIGC 内容创作者、做视频生成或 AIGC 检测方向的算法工程师,以及想拆解爆款视频结构的产品和运营;如果你完全不碰短视频,关系不大。
★ 1.6k 24h +1.0k ⑂ 232 创建 6 天前 更新 3 小时前
harry0703 / MoneyPrinterTurbo 多模态 Python
输入主题一键生成带脚本、素材、配音字幕的短视频
MoneyPrinterTurbo 是一个短视频自动化流水线:你只给一个主题或关键词,它就用大模型写出视频脚本、提炼素材搜索词、抓取匹配的视频素材、生成配音和字幕,再配上背景音乐,最后合成一条可直接发布的高清短视频,覆盖 TikTok、Instagram Reels、YouTube Shorts 这类竖屏平台。它相当于把「写文案、找素材、剪辑、加字幕」这条人工链路整体交给 AI 跑完,还提供 WebUI 和 API 两种使用方式,方便批量生产。适合做内容矩阵的自媒体运营、想快速试水短视频带货或引流的个人创作者,以及需要给产品批量产出宣传短片的市场同学;如果你的工作和短视频内容生产无关,那它跟你的关系不大。
★ 139k 24h +765 ⑂ 22k 创建 2024-03-11 更新 1 小时前
debpalash / VoiceStudio 多模态 Python
本地运行的开源 ElevenLabs 替代,覆盖克隆、配音、转写与有声书
VoiceStudio 是一个完全在本地设备上运行的语音 AI 工作台,可以看作开源版的 ElevenLabs 替代品,覆盖声音克隆、声音设计、视频配音、语音听写、语音转文字和有声书制作,支持 646 种语言。它跑在你的笔记本、台式机、服务器甚至手机上,音频数据不出本地,适合对隐私敏感或不想按量付费的场景。比如你可以用几段自己的录音克隆出一个声音来批量配音,把一段英文视频配上中文音轨,或者把手写会议记录转成语音、把长文档合成有声书。对做内容出海、多语言视频本地化的创作者,以及需要离线转写敏感音频的团队来说,它能省下 ElevenLabs 之类的订阅费;如果你的岗位和语音内容生产无关,那基本用不上。
★ 101k 24h +692 ⑂ 11k 创建 2026-04-09 更新 4 小时前
github / spec-kit AI编程工具 Python
给 AI 编程助手套上规范流程的工具包
Spec Kit 是 GitHub 官方推出的工具包,给 AI 编程助手(如 GitHub Copilot、Claude Code 等)套上一套规范流程,让它们不是随手写代码,而是先写规格说明再动手。它内置三种开箱即用的流程:开发新功能时用 Spec-Driven Development,让一份规格贯穿规划、实现和验收;排查 bug 时先定位根因、限定修复范围并记录验证结果;评估想法时给出有依据的「继续、澄清或放弃」决策。除了现成流程,它还允许团队用可组合的模板、命令、质量门禁和扩展机制搭自己的流程,甚至接入私有组件库以满足合规要求。简单说,它解决的是「AI 写代码快但容易跑偏、产出难以验收」的痛点,把工程规范固化进 Agent 的工作流里。适合正在用 AI 编程工具做中大型项目的技术负责人、平台工程团队,以及想在团队内统一 AI 协作规范的工程管理者;如果你只是偶尔让 AI 补几行代码,关系不大。
★ 147k 24h +501 ⑂ 13k 创建 2025-08-21 更新 11 小时前
calesthio / OpenMontage Agent框架 Python
把 AI 编程助手变成视频工作室的开源 Agent 系统
OpenMontage 是一套开源的 AI 视频制作系统,核心思路是把你手边的 AI 编程助手(Claude、Cursor、Copilot 等)变成一个完整的视频工作室:你用自然语言描述想要的片子,Agent 负责调研、写脚本、生成或检索素材、剪辑并合成成片。它内置 12 条制作流水线和上百个工具,既能调用 Veo、Kling、Flux 等模型生成动态片段,也能从免费素材库检索真实运动镜头再用 Remotion 拼成时间线,而不是简单把几张静图动起来。README 展示的案例包括 60 秒皮克斯风格动画短片(总成本约 1.33 美元)、科幻预告片和产品宣传片。适合做短视频、广告片、产品演示的内容创作者和营销同学,以及想探索 Agent 落地场景的 AI 工程师;纯后端或算法岗位的人关系不大。
★ 76k 24h +482 ⑂ 10k 创建 2026-03-29 更新 1 天前
N1nEmAn / sapper-v2 Agent框架 Python
多智能体编排框架,AI 指挥官带兵协同,经验沉淀成共享图谱
sapper 是一套多智能体编排框架,把多个 AI 组成一支分工协作的「军团」:一个 AI 指挥官读全局、做决策、派任务,将军和士兵并行进攻,另有看门狗负责保活,所有经验沉淀进分层的事实-意图图,个体挂了图还在。它不绑定任何模型或 CLI,指挥官、士兵、侦察兵可以各自换用 Claude Code、Codex、DeepSeek 等不同 agent 和模型。该项目专为腾讯智能攻防挑战赛这类 CTF 竞赛设计,曾在 634 支队伍、8 小时无人值守的比赛中夺冠;其通用底座 nvwabase 已独立开源,可复用于办公、科研、工程等任何长周期多智能体协作场景。适合关注 Agent 编排机制、多智能体记忆与自愈机制的 AI 应用和平台工程师,以及想把长任务拆给多个 AI 并行推进的从业者;纯做模型训练或单点推理的人关系不大。
★ 1.1k 24h +388 ⑂ 680 创建 5 天前 更新 1 天前
Graphify-Labs / graphify RAG检索 Python
把代码库和文档变成可查询知识图谱的 AI 编程助手插件
Graphify 是一个给 AI 编程助手用的技能插件,装进 Claude Code、Cursor、Codex 或 Gemini CLI 后,输入一条指令就能把整个代码库连同文档、SQL 表结构、配置文件和 PDF 一起解析成一张可查询的知识图谱,让你用提问代替翻文件 grep。代码部分走 tree-sitter 的 AST 解析,纯本地、确定性、不经过大模型,每条关系都标注是源码里明确写出来的还是推断出来的,方便核对;文档和 PDF 才走语义解析。它不用向量库和 embedding,靠图遍历回答问题,官方称能显著降低 agent 的 token 消耗。适合需要频繁理解陌生代码库的后端和平台工程师、做代码搜索或 RAG 检索的开发者,以及想让 AI 助手少读文件、多查图的团队;如果你日常不碰大型代码库,关系不大。
★ 142k 24h +413 ⑂ 13k 创建 2026-04-03 更新 1 天前
nextlevelbuilder / ui-ux-pro-max-skill AI编程工具 Python
给 AI 编程助手注入专业 UI 设计知识的设计系统生成技能
这是一个给 AI 编程助手用的「设计知识包」,装进 Claude Code、Cursor、Copilot、Windsurf 等工具后,让它们写界面时不再只会堆默认样式,而是像资深 UI 设计师一样思考。它内置多平台、多框架的设计规范,覆盖 React、Tailwind、移动端 UI 和落地页等场景,核心能力是 Design System Generator:输入「我要做一个 Serenity Spa 的预约网站」这类需求,它会推理出合适的页面结构、视觉风格、CTA 摆放位置和转化策略,再由 AI 按这套系统生成代码。适合用 AI 快速搭产品原型、做营销落地页的前端和全栈开发者,尤其是那些被 AI 生成的丑界面困扰过的人;纯后端或不写界面的岗位关系不大。
★ 145k 24h +328 ⑂ 15k 创建 2025-11-30 更新 3 小时前
NousResearch / hermes-agent Agent框架 Python
会自我学习、跨平台在线的个人 AI Agent
Hermes Agent 是 Nous Research 推出的自我改进型 AI Agent,可以理解为一个会越用越聪明的个人助理:它能从经验中自动沉淀技能、在使用中持续优化这些技能,还会跨会话记住你是谁、检索你过去的对话。它不绑定任何模型,OpenAI、Claude、OpenRouter 或自建端点都能随时切换,也能跑在便宜的 VPS 或 serverless 环境上,闲置时几乎不花钱。除了终端界面,它还通过一个网关接入 Telegram、Discord、Slack、WhatsApp 等平台,你可以从手机发消息让它在云端干活;内置的定时任务功能可以用自然语言设定日报、备份、周报等自动化流程,还能派生子 Agent 并行处理多条工作流。适合想给自己搭一个长期在线、能积累记忆的 AI 助手的工程师,以及研究 Agent 训练轨迹的 AI 从业者;如果你只是偶尔用用 ChatGPT,它对你意义不大。
★ 260k 24h +248 ⑂ 57k 创建 2025-07-22 更新 28 分钟前
Panniantong / Agent-Reach Agent框架 Python
给 CLI Agent 装上联网能力,一条命令读取小红书、B站、Twitter 等平台数据
Agent Reach 是给 Claude Code、Codex、Cursor 这类 CLI Agent 装上「眼睛」的工具,让它能读到自己原本够不着的互联网内容。很多 Agent 自带的搜索能力覆盖不到需要登录的平台、视频字幕和中文社区,这个项目把小红书、B站、Twitter、Reddit、YouTube、V2EX、雪球、Boss 直聘等十几个平台的抓取工具预先做好并测好,Agent 用一条命令就能拿到干净的结构化数据,比如搜小红书笔记、读 B站字幕、看 GitHub issue、查雪球行情,全程不用自己写爬虫也不付 API 费用。典型场景是让 Agent 做竞品舆情分析、抓取某领域热门讨论、把 YouTube 视频转成文字稿做研究。值得看的是正在搭 Agent 工作流、需要 Agent 联网获取真实数据的开发者,尤其是做中文平台内容检索和社媒数据采集的人;如果你的 Agent 只处理本地代码或内部数据,跟它关系不大。
★ 108k 24h +293 ⑂ 9.7k 创建 2026-02-24 更新 1 天前
hugohe3 / ppt-master AI编程工具 Python
AI 把文档变成原生可编辑的 PowerPoint
ppt-master 是一个把文档或主题直接变成可编辑 PowerPoint 的 AI 工具,和市面上那些导出图片式幻灯片的 AIPPT 产品不同,它生成的是原生 .pptx:形状、切换、动画都是 PowerPoint 里真实存在的元素,可以继续手动微调。你丢给它一份 PDF、Word 文档、网页或一句主题,它会读取材料、提炼要点、组织叙事,按需生成带数据支撑的图表和表格,还能把演讲者备注转成音频旁白,并支持套用自己的 .pptx 模板。典型场景是咨询顾问要把上百页报告压成 20 页汇报、市场人员要按公司模板快速出方案、或者研究者想把论文讲稿变成带图的演示。如果你经常被「今晚要交一份 PPT」折磨,或者在做 AI 应用时需要一个 PPT 生成能力,值得花五分钟看看;纯后端或算法岗、平时几乎不做演示的人,关系不大。
★ 73k 24h +292 ⑂ 5.7k 创建 2025-12-10 更新 4 小时前
vectorize-io / hindsight Agent框架 Python
让 AI Agent 从经验中学习的长期记忆系统
Hindsight 是一套给 AI Agent 用的记忆系统,目标是让 Agent 不只是记住聊天历史,而是能像人一样从经验中学习,逐步形成对世界的认知。它自称在 LongMemEval 这类长期记忆基准上超过了 RAG 和知识图谱等常见方案,还配套发布了专为记忆任务设计的 decision、rerank、embedding 模型。实际用起来,你可以把它接到自己的 Agent 上,让它记住用户偏好、过往决策和项目上下文,下次交互时自动调用,而不是每次都从零开始。比如客服 Agent 记住某位用户上次的投诉处理结果,或编程 Agent 跨会话延续一个长期任务的进展。适合正在做 Agent 应用的后端和算法工程师,尤其是已经在用 Claude Code、Cursor 等工具、需要给 Agent 加持久记忆的人;如果你不开发 Agent,这个项目和你关系不大。
★ 58k 24h +236 ⑂ 7.2k 创建 2025-10-30 更新 16 小时前
ai-job-search-dev / ai-job-search AI编程工具 Python
基于 Claude Code 的本机 AI 求职助手,定制简历、求职信与面试准备
这是一个跑在本机的 AI 求职助手,基于 Claude Code 搭建,把找工作这件事拆成一套可复用的工作流。你先填好个人资料,之后它能帮你抓取招聘信息、评估职位与你的匹配度、针对每个岗位定制简历和求职信,还能用 LaTeX 排版成 PDF,并做 ATS 可解析性检查,最后整理面试准备材料。作者是地球物理学家,2025 年底被裁后用这套流程自己投递,六十九份定制申请换来二十次一面和一份合同,最终转行做了 AI 工程师。核心的自我画像、匹配评估和「起草—审校」投递管线与语言国家无关,但内置的职位搜索技能针对丹麦本地招聘网站,国内用需要自己替换数据源。适合正在海投、想把写简历和求职信的时间从每周一个下午压缩到几十分钟的求职者,尤其是愿意折腾 Claude Code 的技术岗;只想随手看看机会、不打算系统投递的人关系不大。
★ 69k 24h +171 ⑂ 22k 创建 2026-03-18 更新 1 天前
Alishahryar1 / free-claude-code AI编程工具 Python
让 12 种 AI 编程工具自由切换 61 家模型供应商的路由网关
Free Claude Code(FCC)是一个模型路由网关,让你在 Claude Code、Codex、Aider、Cline、VS Code Chat 等 12 种 AI 编程工具里,自由切换背后调用的模型和供应商,相当于给这些编程助手装了一个万能转接头。它接入 61 家供应商,包括免费额度、付费订阅和本地模型,每月可白嫖 13 亿以上 token,比如把 Claude Code 里的 Opus、Sonnet 换成更便宜或免费的模型。除了终端,它还能从桌面应用、IDE 插件、Discord、Telegram 甚至浏览器里用,断线时自动重试、换 key、换供应商,保证你写代码不中断。适合重度使用 AI 编程工具、又想省 token 开销的开发者,尤其是同时用多款 harness 的人;如果你只用 ChatGPT 网页版或 Copilot,跟你就没什么关系。
★ 66k 24h +195 ⑂ 10k 创建 2026-01-28 更新 8 小时前
TauricResearch / TradingAgents Agent框架 Python
多 Agent 模拟对冲基金决策流程的金融交易框架
TradingAgents 是一个用多个 LLM Agent 模拟投资决策流程的金融交易框架,可以理解为把一家小型对冲基金的分工搬进了代码里:分析师负责读财报、新闻和宏观数据,研究经理汇总观点,交易员给出买卖信号,组合经理最终拍板并管理仓位。它接了 SEC EDGAR、FRED、Yahoo 等真实数据源,并强调 point-in-time 完整性,也就是回测时只用当时已公开的信息,避免未来函数污染结果。实际用途是做策略回测和决策流程实验,比如在某个历史日期跑一遍完整流程,看它当时会怎么判断某只股票,再和真实走势对比。适合量化研究员、AI Agent 应用开发者,以及想研究多 Agent 协作或 LLM 在金融场景落地的人;如果你不做交易相关工作,跟你的关系不大。
★ 120k 24h +145 ⑂ 23k 创建 2024-12-28 更新 1 天前
usestrix / strix Agent框架 Python
多 Agent 协作的自动化渗透测试工具,产出可验证 PoC
Strix 是一套开源的 AI 渗透测试工具,可以理解为「会自己动手的自动化黑客团队」:多个 AI Agent 协作,像真人安全研究员一样动态运行你的代码,做侦察、攻击、验证,最后给出能真正跑通的 PoC,而不是静态扫描器那种一堆误报的告警。它覆盖 OWASP Top 10 常见漏洞,包括越权、SQL 注入、SSRF、XSS、竞态条件、JWT 攻击和 API 鉴权缺陷等,还能自动生成修复补丁和合规报告。典型场景是把渗透测试从外包几周压缩到几小时,接入 CI/CD 在上线前拦住漏洞,或者自动化 Bug Bounty 研究快速产出可提交的 PoC。值得看的是应用安全工程师、DevSecOps 和负责安全合规的后端团队;如果你的岗位完全不涉及安全测试,和你关系不大。
★ 73k 24h +141 ⑂ 8.3k 创建 2025-08-05 更新 9 小时前
Comfy-Org / ComfyUI 推理部署 Python
节点式 AI 内容生成引擎,本地跑图视频音频 3D 模型
ComfyUI 是目前最主流的本地 AI 内容生成引擎,用节点连线的方式把模型、参数和后处理串成可视化工作流,类似给 AI 生图/生视频搭积木,不用写代码。它原生支持几乎所有开源前沿模型,覆盖文生图(Flux、SDXL、Qwen Image)、图生视频(Wan、HunyuanVideo)、音频、3D 重建(Hunyuan3D)乃至文本生成,也通过 Partner nodes 接入 Nano Banana、Seedance 等闭源模型。作为针对消费级硬件优化最狠的推理引擎,它靠异步权重流式加载,4GB 显存也能跑大模型,还能把复杂工作流封装成简洁 UI 或通过 API 接进生产管线。适合视觉设计师、AIGC 内容团队、需要把生图生视频能力产品化的后端与算法工程师,以及想在本地高效跑扩散模型的研究者;如果你完全不碰生成式 AI,那和你关系不大。
★ 145k 24h +133 ⑂ 17k 创建 2023-01-17 更新 44 分钟前
rohitg00 / ai-engineering-from-scratch 其他 Python
从零手写模型、检索与 Agent 的开源 AI 工程课程
这是一套免费开源的 AI 工程系统课程,覆盖 542 节课、20 个阶段,用 Python、TypeScript、Rust、Julia 四种语言带你从零手写模型内部结构、检索管线和 Agent 运行时,而不是调用现成库。比如你会自己实现 Transformer、搭 RAG 检索流程、写 Agent 调度逻辑,再配上测试和评估,把失败案例拆开看清楚。课程提供网站、交互实验、项目挑战和学习路线多种入口,也有中文版 README。适合想真正搞懂 LLM 应用底层原理的后端工程师、算法工程师和 AI 应用开发者——如果你只是想快速调 API 上线一个功能,这套从头造轮子的路径对你帮助有限,但若你负责排查 RAG 效果差、Agent 行为不稳定这类问题,它能补上你缺的那块底层认知。
★ 76k 24h +108 ⑂ 13k 创建 2026-03-18 更新 1 天前
vllm-project / vllm 推理部署 Python
主流开源 LLM 推理服务引擎,高吞吐、省显存
vLLM 是目前最主流的开源大模型推理与服务引擎,可以理解为给 LLM 套上了一层高效的「调度+显存管理」外壳,让你用更少的 GPU 跑出更高的吞吐。它的核心卖点是 PagedAttention 和连续批处理,能把 KV cache 像操作系统管理内存一样切块复用,避免显存浪费,同时支持投机解码、量化(FP8、INT4、GPTQ 等)和多种并行策略。它提供 OpenAI 兼容的 API 服务,兼容 Hugging Face 上 200+ 模型架构,覆盖 Llama、Qwen、DeepSeek-V3 等主流 LLM、MoE、多模态和 embedding 模型,硬件上支持 NVIDIA、AMD、Intel GPU 以及 TPU、CPU 等。典型场景是:你想把一个开源模型部署成可对外提供服务的接口,或者在有限显存下压榨出更多并发。如果你是算法工程师、平台/基础设施工程师,或需要自建 LLM 服务的团队,这是绕不开的选型;纯做模型训练或只调用闭源 API 的人关系不大。
★ 96k 24h +77 ⑂ 24k 创建 2023-02-09 更新 20 分钟前
mvanhorn / last30days-skill Agent框架 Python
让 AI Agent 跨平台搜索近 30 天舆情并合成简报
这是一个给 Claude Code 等 AI Agent 用的技能包,让 Agent 能并行搜索 Reddit、X、YouTube、Hacker News、TikTok、Polymarket、GitHub 等十几个平台最近 30 天的内容,再按点赞、upvote 和真金白银的赔率打分,最后合成一份简报。它解决的是各家 AI 搜索各有围墙的问题:Google 搜不到 Reddit 评论和 X 帖子,ChatGPT 搜不了 X 和 TikTok,Gemini 有 YouTube 却没有 Reddit,而这个技能把它们桥接起来。典型场景包括:见面前查一个人最近一个月的动态(发过什么推、上过什么播客、PR 合并情况)、销售通话前摸清一家公司近况、做产品前看社区真实在吐槽什么、出行前查园区哪些项目关闭。适合需要频繁做行业调研、竞品追踪、人物尽调的从业者,比如 AI 从业者、投资人、销售和产品经理;如果你的工作不依赖最新社区舆情,关系就不大。
★ 66k 24h +95 ⑂ 5.8k 创建 2026-01-23 更新 1 天前
DenisSergeevitch / ex-ussr-kinship-research Agent框架 Python
给 AI Agent 的前苏联档案家谱研究技能,强调证据可追溯
这是一个给 Codex、Claude Code 等 AI Agent 用的家谱研究技能包,把 Agent 变成一位严谨的家族史调查员,专门查前苏联、苏联和俄罗斯帝国时期的档案:教会簿记、民事登记、军事档案、流放与镇压文件,以及未编索引的扫描件。它覆盖全部 15 个前加盟共和国,会按事件发生时的历史辖区(而非今天的地图)定位档案馆,处理革命前俄语、乌克兰语、波兰语、意第绪语等多种姓名变体和转写。核心价值在于证据纪律:每条结论都带可解释的状态(假设、单源、多源印证、矛盾、未决),同一份记录的副本和镜像被归入同一独立性分组,绝不重复计为独立佐证,同名者在缺乏区分证据前保持独立身份。适合有寻根需求、想让 AI 系统性查证家族史的个人,以及做东欧历史、档案研究的学者;对多数互联网和 AI 从业者关系不大。
★ 1.9k 24h +82 ⑂ 196 创建 11 天前 更新 19 小时前
odysseus-dev / odysseus Agent框架 Python
自托管的一体化 AI 工作台,整合聊天、Agent、研究、邮件与日历
Odysseus 是一个可以部署在自己服务器上的 AI 工作台,把聊天、Agent、深度研究、文档、邮件、笔记和日历整合到一个界面里,既能接本地模型也能调 API。它解决的是「AI 工具散落各处」的麻烦:比如你可以在同一个地方让 Agent 读网页做多步调研并生成带引用的报告,用盲测方式并排对比两个模型的回答,让邮件收件箱自动分类、打标签、写回复草稿,或者把定时任务交给 Agent 在日历提醒触发时执行。文档编辑器支持 AI 改写和建议,笔记和任务还能通过 CalDAV 同步到手机。适合想把日常 AI 工作流收拢到一处、又在意数据不出自己机器的个人开发者、独立研究者和小团队;如果你只是偶尔用 ChatGPT 聊天,或者公司已有统一的 AI 平台,那它跟你关系不大。
★ 95k 24h +77 ⑂ 1.8k 创建 2026-05-31 更新 18 小时前
browser-use / browser-use Agent框架 Python
让 LLM 像人一样操作浏览器的开源 Agent 框架
browser-use 是一个开源的浏览器 Agent 框架,让大模型像人一样操作浏览器:你用自然语言描述目标,它自己打开页面、点击、填表、过验证码。可以本地跑,接任意 LLM;也可以用它的云服务,拿到带隐身能力和住宅代理的浏览器,按小时计费。典型场景是那些没有 API、只能靠网页完成的活儿,比如自动抢预约名额、在多个网站比价下单、批量抓取动态渲染的数据,README 里的演示就是自动完成驾照考试预约。它还提供托管的 Agent API,适合不想自己搭基础设施的团队。值得看的是做自动化运营、数据采集、RAG 数据管道的工程师,以及想给产品加浏览器操作能力的 AI 应用开发者;如果你的工作和网页自动化、Agent 落地无关,那跟你的关系不大。
★ 120k 24h +74 ⑂ 13k 创建 2024-10-31 更新 1 小时前
deepseek-ai / DeepInfer 推理部署 Python
DeepSeek 官方开源的大规模生产级模型推理框架
DeepInfer 是 DeepSeek 官方开源的高性能推理框架,也就是支撑 DeepSeek 线上大规模生产服务的那套推理引擎,目前支持 DeepSeek-V4.1-Flash 模型的离线推理。它把 FlashMLA、DeepGEMM、DeepEP 等自研算子和 MoE 专家并行、EPLB 负载均衡、投机采样、异步调度等生产级优化打包在一起,还提供确定性采样和结构化输出(按 JSON schema 或正则约束生成),保证不同 batch 组成下结果一致。适合需要在自有集群上高吞吐部署 DeepSeek 模型的团队,比如做推理服务的算法工程师、负责 GPU 集群利用率的 infra 工程师,以及需要复现 DeepSeek 官方性能基线做选型对比的人。注意它只开源了推理核心,KV cache 系统、Prefill/Decode 分离和负载均衡等完整服务组件并未包含,纯做应用层开发或轻量调用 API 的读者关系不大。
★ 25k 24h +78 ⑂ 3.1k 创建 20 天前 更新 2 天前
BerriAI / litellm 模型服务 Python
统一 OpenAI 格式调用 100+ 大模型的 AI 网关
LiteLLM 是一个 AI 网关,用统一的 OpenAI 格式调用 100 多家大模型服务,包括 OpenAI、Anthropic、Bedrock、Azure、VertexAI、vLLM 等,让你不必为每家模型单独适配 SDK、鉴权和请求格式。它既能作为 Python 库直接嵌进代码,也能部署成团队共用的代理服务,换模型供应商时不用改业务代码。除了转发请求,它还内置了虚拟密钥管理、按团队或项目的花费统计、内容护栏、负载均衡和调用日志,相当于给公司的大模型调用加了一层统一管控和计费的中间层。适合需要在生产环境里管理多家模型、控制成本和权限的团队,比如负责 LLM 应用的后端工程师、平台工程或 MLOps 岗位;如果你只是写写脚本调用单一模型,和你关系不大。
★ 62k 24h +51 ⑂ 13k 创建 2023-07-27 更新 19 分钟前
1 / 5 下一页