GitHub 热门
共 23 个项目 · 第 1 / 1 页
JuneYaooo / rea-video 多模态 Python
逐镜头拆解短视频制作方式并给出复刻方案的分析工具
rea-video 是一个把短视频逐镜头拆解的分析工具,能判断每条片子是实拍、AI 生成、数字人、3D 渲染还是代码动效,并反推出它是怎么做的。比如一条带货视频,它会告诉你用了几个机位、什么布光方案、字幕花字的起止时间和样式、配音是真人还是 AI、配乐多少 BPM;一条 AI 视频则会给出每镜反推的提示词、合并成几次生成、该用哪个模型。拆完还能输出复刻方案,配合它的下游项目把运镜、节奏、转场照着原片重做一遍,只替换你指定的元素。它还带 AIGC 检测能力,靠帧率规律、噪点、文件标识等硬证据判断真伪,准确率在官方评测里接近 99%。适合短视频编导、AIGC 内容创作者、做视频生成或 AIGC 检测方向的算法工程师,以及想拆解爆款视频结构的产品和运营;如果你完全不碰短视频,关系不大。
★ 1.6k 24h +1.0k ⑂ 232 创建 6 天前 更新 3 小时前
harry0703 / MoneyPrinterTurbo 多模态 Python
输入主题一键生成带脚本、素材、配音字幕的短视频
MoneyPrinterTurbo 是一个短视频自动化流水线:你只给一个主题或关键词,它就用大模型写出视频脚本、提炼素材搜索词、抓取匹配的视频素材、生成配音和字幕,再配上背景音乐,最后合成一条可直接发布的高清短视频,覆盖 TikTok、Instagram Reels、YouTube Shorts 这类竖屏平台。它相当于把「写文案、找素材、剪辑、加字幕」这条人工链路整体交给 AI 跑完,还提供 WebUI 和 API 两种使用方式,方便批量生产。适合做内容矩阵的自媒体运营、想快速试水短视频带货或引流的个人创作者,以及需要给产品批量产出宣传短片的市场同学;如果你的工作和短视频内容生产无关,那它跟你的关系不大。
★ 139k 24h +765 ⑂ 22k 创建 2024-03-11 更新 1 小时前
debpalash / VoiceStudio 多模态 Python
本地运行的开源 ElevenLabs 替代,覆盖克隆、配音、转写与有声书
VoiceStudio 是一个完全在本地设备上运行的语音 AI 工作台,可以看作开源版的 ElevenLabs 替代品,覆盖声音克隆、声音设计、视频配音、语音听写、语音转文字和有声书制作,支持 646 种语言。它跑在你的笔记本、台式机、服务器甚至手机上,音频数据不出本地,适合对隐私敏感或不想按量付费的场景。比如你可以用几段自己的录音克隆出一个声音来批量配音,把一段英文视频配上中文音轨,或者把手写会议记录转成语音、把长文档合成有声书。对做内容出海、多语言视频本地化的创作者,以及需要离线转写敏感音频的团队来说,它能省下 ElevenLabs 之类的订阅费;如果你的岗位和语音内容生产无关,那基本用不上。
★ 101k 24h +692 ⑂ 11k 创建 2026-04-09 更新 4 小时前
Pika-Labs / Pika-H3-Flex 多模态 Python
Pika 开源的带音频视频生成模型推理代码
Pika H3 Flex 是 Pika 官方开源的视频生成模型推理代码,可以理解为 Runway、可灵这类视频生成产品的自托管版本:输入文字或参考图,直接产出带同步音轨的视频。它的特点是速度快、可控性强,六步采样即可出片,最多支持 12 个参考输入,能通过参考图和提示词指挥镜头运动、角色动作和分镜走向,本地推理可生成 480p/768p 视频并带立体声,更高分辨率和音频分轨则走 Pika 的托管 API。典型场景包括多镜头叙事短片、动态图形、产品宣传片和参考引导的动画制作,比如用一组参考图让角色在不同分镜里保持一致。值得看的是视频创作者、广告和动效团队里负责 AI 出片流程的人,以及想在自己服务器上批量跑视频生成的算法工程师;如果你不碰视频生成,这个项目和你关系不大。
★ 1.7k 24h +156 ⑂ 34 创建 6 天前 更新 3 天前
RVC-Boss / GPT-SoVITS 多模态 Python
几分钟录音即可克隆音色的开源 TTS 与语音转换工具
GPT-SoVITS 是一个开源的语音克隆与文字转语音(TTS)工具,可以理解为「低配版 ElevenLabs 的本地替代」:给它 5 秒人声样本就能零样本合成,用 1 分钟录音微调即可获得相似度更高的专属音色,还支持中英日韩粤跨语言朗读。它自带 WebUI,集成了人声伴奏分离、自动切分训练集、中文语音识别和文本标注,等于把从原始音频到可用模型的整条链路都包办了,推理速度在消费级显卡上也足够实时。适合做有声内容、虚拟主播、游戏配音、无障碍朗读的创作者,以及想低成本搭建私有 TTS 服务的 AI 应用开发者;如果你的工作和语音交互、AIGC 内容生产无关,那看看就好,不必上手。
★ 64k 24h +73 ⑂ 6.7k 创建 2024-01-14 更新 4 天前
wquguru / shisei 多模态 Python
免费 CC0 人体姿势线稿库,供 AI 绘图工具做姿势参考
Shisei 是一套免费(CC0 授权)的人体姿势参考图库,专门喂给 AI 绘图工具用。它画的是无脸人体模型的线稿,共 280 个姿势、每个姿势 5 个机位(正面、四分之三、侧面、俯视、仰视),另有部分姿势附带黏土渲染、深度图和法线图,可直接用于 ControlNet。姿势名称提供日、中、英、韩四种语言。实际用途是:当你用 Nano Banana、ChatGPT、Midjourney 或 ComfyUI 生成人物图时,把某个角度的线稿作为姿势或构图参考上传,就能让模型照着这个姿势画;同一姿势换不同机位,还能在多张图之间保持人物体态一致,脸、衣服、背景则由你的提示词决定。对 AI 绘图从业者、做角色插画或 AI 短片分镜的人来说,这省去了自己找参考或手画骨架的麻烦;如果你的工作不涉及人物生成,那和你关系不大。
★ 431 24h +60 ⑂ 87 创建 7 天前 更新 2 天前
speridlabs / idol-sdk 多模态 Python
单张图片一键生成 3D Gaussian Splat 模型的推理 SDK
Idol 是一个把单张图片变成 3D Gaussian Splat 模型的推理 SDK:给它一张物体照片、渲染图或 AI 生成图,它会自动去背景、裁切构图,然后生成最多一百万个 3D 高斯点,连照片里没拍到的背面也能补出来,输出标准的 .ply 文件,可直接在任意 Gaussian splat 查看器里打开。整个过程在消费级显卡上就能跑,7.2 GB 显存、两秒内完成,还内置了针对真实照片和合成渲染图的两种模式。它在多项指标上与 TripoSplat、TRELLIS、LGM 等同类单图转 3D 方案同台比较,速度和质量都有竞争力。值得看的是 3D 内容创作者、游戏和电商领域的资产生产人员,以及做 3D 生成、NeRF/3DGS 相关研究的算法工程师——如果你需要快速把产品图或概念图变成可旋转查看的 3D 资产,它能省下大量建模时间;只做纯文本或后端开发的人则关系不大。
★ 803 24h +50 ⑂ 71 创建 7 天前 更新 6 天前
neuregex / freefield 多模态 Python
开源版 Higgsfield,基于 ComfyUI 的图像视频 VFX 音频创作应用集合
Freefield 是一个开源项目,把 Higgsfield 那套创意应用(图片、视频、VFX、音频)搬到 ComfyUI 上,全部基于开放权重模型,不依赖任何闭源 API。它包含 120 个应用,比如换脸、视频重绘、混媒风格、配音、AI 虚拟人等,每个应用就是一个文件夹加一份描述文件,界面表单、模型下载、显存占用都自动从描述生成,你也可以把自己的 ComfyUI 工作流一键导入成新应用。每个示例都附带实验室真实 GPU 跑出的耗时和峰值显存,方便你判断在自己显卡上跑不跑得动。适合想用本地或云端 GPU 做 AI 图像视频创作、又不想被 Higgsfield 等 SaaS 按次收费绑定的创作者和开发者;如果你只是做纯文本或后端开发,跟它的关系不大。
★ 929 24h +32 ⑂ 178 创建 16 天前 更新 2 天前
jwang771 / 3d-world-simulator 多模态 Python
用神经网络学习物理动力学的三维世界模拟器
这是一个用学习方法做物理世界模拟的研究项目,可以理解为「用神经网络替代传统物理引擎」的尝试。它先用 VAE 把物体的三维状态压缩成隐变量,再训练一个动力学模型,根据历史状态和动作预测下一步会发生什么,从而模拟布料、箱子、绳子、插头等物体的形变与交互。相比 MuJoCo 这类基于方程求解的仿真器,它靠数据驱动,能处理柔性物体这类传统引擎难以精确建模的场景,还支持触觉传感信息。项目来自 Columbia、UC Berkeley、NVIDIA 等机构的联合团队,目前主要提供训练流程,数据和推理代码尚未上传。值得看的是机器人学习、具身智能方向的研究者和工程师,尤其是做操作仿真、sim-to-real 的人;如果你不涉及机器人或物理仿真,这个项目和你关系不大。
★ 210 24h +34 ⑂ 18 创建 2 天前 更新 2 天前
OpenMOSS / MOSS-Image 多模态 Python
5B 文生图模型,强在图内文字渲染与排版控制
MOSS-Image 是 OpenMOSS 团队开源的 5B 参数文生图基础模型(DiT 架构),主打三点:图内文字渲染准确、可控制文字和视觉元素的排版布局、支持长达 4K token 的长提示词,风格覆盖二次元到写实照片。它提供 Base 和 SFT 两个权重版本,SGLang、vLLM-Omni、ComfyUI 都已支持,也接入了 MOSI API 平台,社区还出了支持 6GB 显存 LoRA 训练的 KohakuMossTrainer。典型场景是做海报、电商主图、带文案的营销素材——这类需求里文字排版和字形准确性往往是文生图模型的硬伤,而它正是冲着这个痛点来的。值得看的人:做图像生成产品或 AIGC 应用的算法与工程团队、需要批量产出带字视觉内容的设计师和运营、以及想在垂直领域微调文生图模型的研究者;如果你的工作和图像生成无关,这个项目可以跳过。
★ 2.6k 24h +30 ⑂ 151 创建 20 天前 更新 2 天前
ultralytics / ultralytics 多模态 Python
YOLO 系列视觉模型的官方统一框架,覆盖检测分割跟踪等任务
Ultralytics 是 YOLO 系列目标检测模型的官方实现和统一框架,可以理解为计算机视觉领域的「一站式工具箱」:一套代码就能跑通目标检测、实例分割、语义分割、图像分类、姿态估计、旋转目标检测和视频里的目标跟踪,覆盖 YOLOv8 到最新的 YOLO11、YOLO26、YOLO27 各代模型。它解决的是视觉落地时的重复造轮子问题——比如做安防监控要统计人流并跟踪个体、做工业质检要定位缺陷区域、做自动驾驶要识别车辆行人并估计其姿态,用它都能直接调用现成模型和训练流程,不必自己从零搭训练管线。值得看的是计算机视觉工程师、算法工程师,以及需要快速验证视觉方案的产品和数据团队;如果你的工作只涉及 NLP 或纯 LLM 应用,和它的关系不大。另外提醒一句,商用需要 Enterprise License。
★ 63k 24h +28 ⑂ 11k 创建 2022-09-11 更新 50 分钟前
hyz317 / HairDeck 多模态 Python
单图生成可动画的风格化发片与弹簧骨链
HairDeck 能从一张角色图片直接生成可用于动画的风格化头发卡片(hair cards)。它把每张发片编码成一个 token,用 set diffusion transformer 整体生成整套发型,输出带 UV 的几何网格,并额外用一个 chain diffusion 模型生成驱动发片摆动的 spring-bone 骨骼链,最终可导出 GLB 或挂到虚拟形象上导出 VRM。相比传统流程里美术手工建发片、绑骨骼、刷权重,它把这整套环节自动化了,适合快速给 3D 角色或虚拟主播形象做可动发型。做游戏美术、虚拟偶像/VTuber 内容、3D 角色管线的技术美术和 TA 值得一看,尤其是需要批量产出可动画发型的团队;纯后端或算法岗读者关系不大。
★ 820 24h +18 ⑂ 58 创建 6 天前 更新 7 小时前
apekshik / anyscene 多模态 Python
AI agent 从一段描述自动生成完整照片级 Blender 场景
anyscene 让 AI agent 从一段文字描述或几张参考图出发,自动搭出照片级的 Blender 3D 场景:先由 Claude 按 SKILL.md 规划房间结构和道具清单,再为每件道具生成参考图,用 fal 上的 Tripo 和 Meshy 两个 image-to-3D 模型各转一次,通过同光照渲染对比挑出更好的那个,最后脚本化完成摆放、碰撞检查、污渍雾气、实用光源布光、电影感运镜和调色渲染。整个过程每步都有可视化检查关卡,.blend 文件只是可重新生成的构建产物。示例场景包括东京深夜电子维修店、拉面店、香港大排档和 1970 年代任务控制中心,单个场景包含七八十件自动生成的道具;也支持不装 Blender,直接把参考图发到托管端点拿回完整场景包。适合做 3D 场景、影视预演、游戏关卡概念验证的美术和技术美术,以及想用 agent 批量生产虚拟布景的团队;纯后端或算法岗关系不大。
★ 313 24h +19 ⑂ 35 创建 5 天前 更新 1 天前
commaai / openpilot 多模态 Python
开源自动驾驶操作系统,为300多款车升级辅助驾驶
openpilot 是 comma.ai 开源的自动驾驶操作系统,可以理解为给 300 多款量产车加装一套第三方辅助驾驶系统:配合 comma 的车载设备和线束,它接管车辆的自适应巡航与车道保持,让原本只有基础 ACC 的车获得接近高阶辅助驾驶的体验。它解决的是「我的车原厂辅助驾驶太弱,又不想换车」的麻烦,比如长途高速上自动跟车、车道居中,减少驾驶疲劳。项目主要用 Python 写成,包含感知、规划、控制等完整链路,社区活跃,也常被用来研究端到端自动驾驶和实车数据闭环。值得看的人包括自动驾驶算法工程师、做车载感知或规控的从业者,以及想了解真实量产车辅助驾驶系统怎么落地的 AI 工程师;如果你不碰机器人或自动驾驶,和多数人的日常工作关系不大。
★ 64k 24h +6 ⑂ 11k 创建 2016-11-24 更新 1 小时前
datalab-to / indra 多模态 Python
CPU 上跑的轻量 OCR,比 Tesseract 快 15 倍
Indra OCR 是一个只有 100 万参数的轻量 OCR 模型,把 PDF 和图片转成 markdown、纯文本或带坐标框的 JSON,可以理解为 Tesseract 的现代替代品,但完全跑在 CPU 上,不需要 GPU 和 PyTorch。它支持 80 多种语言(含中日韩、阿拉伯文等),能识别手写、歪斜 45 度以内的扫描件,并输出每行每块的版面标签和阅读顺序,比如标题、列表、表格、脚注;遇到带文字层的数字 PDF,它只对缺失部分做 OCR。速度是它的主打卖点:32 核机器上约每秒 44 页,比 Tesseract 快 15 倍,4 核约 210 毫秒一页,精度在 OmniParseBench 上也超过 PaddleOCR 的完整流水线。适合需要批量处理文档的后端和数据工程岗位,比如把合同、发票、论文扫描件灌进 RAG 或数据管线的人;如果你只是偶尔转一两个文件,或者做的是手写、数学公式、复杂表格这类高难度场景,它未必是最优解,README 也明确建议那种情况用他们更大的 Chandra 模型。
★ 1.6k 24h +8 ⑂ 167 创建 22 天前 更新 15 小时前
Nicovic17 / vanish_webcam 多模态 Python
本地摄像头瞬移消失特效工具,可接入 OBS 直播
这是一个本地运行的摄像头特效工具,能把你的摄像头画面实时变成动漫里的「瞬移消失」效果,类似给直播或视频通话加一层趣味滤镜。它用 MediaPipe 做人脸和手势识别,通过按键或手势触发烟雾、粒子等特效,让人物瞬间消失再出现,视频全程只在本机处理,不上传服务器。输出可以接到 OBS Virtual Camera,方便在直播场景里使用。适合想给直播、短视频或线上会议加点整活效果的内容创作者和主播,尤其是喜欢 Naruto、Goku 这类动漫梗的人;如果你不玩直播或不做视频内容,这个项目和你关系不大。另外要注意,打包版 EXE 需要联网激活邮箱许可证,本地源码版则没有这层限制。
★ 871 24h +8 ⑂ 108 创建 26 天前 更新 1 天前
inclusionAI / IDM 多模态 Python
让文生图模型两步出图且长文本更强的蒸馏方法
IDM 是一种让文生图模型「少步出图」的蒸馏方法,全称 Intrinsic Distribution Matching。它把分布匹配蒸馏(DMD)和生成器自身 EMA 特征空间里的矩匹配结合起来,不需要外挂 DINOv2 之类的外部特征编码器,训练出的同一份权重就能支持 1 步和 2 步采样。效果上,在 Z-Image 上 2 步生成一张图只要 0.3 秒(A100),Qwen-Image 也只要 0.44 秒,同时长文本渲染能力在同预算方法里最强,LongText-CN 达到 94.25%,比 Z-Image-Turbo++ 高 2.63 个百分点。它解决的是扩散模型出图慢、步数多导致延迟高的问题,适合对实时性有要求的线上文生图服务。值得看的是做推理加速、模型蒸馏或多模态生成方向的算法和工程同学,尤其是正在优化文生图延迟、又不想牺牲长文本渲染质量的人;如果你不碰图像生成,这项目和你关系不大。
★ 239 24h +4 ⑂ 6 创建 6 天前 更新 6 天前
MIC-DKFZ / nninteractive-agent 多模态 Python
让 AI 编程代理用自然语言完成 3D 医学影像分割标注
nninteractive-agent 把 3D 图像交互式分割工具 nnInteractive 包装成 MCP 服务,让 Claude Code、Codex 等 AI 编程代理用自然语言完成医学影像标注。用户只需说「把肝脏和脾脏分别分割出来」,代理就会自动在 CT、MRI、显微图像上画框、点标记,检查 3D 结果并像人工标注员一样反复修正。在 14 张公开 CT/MRI/PET 图像的基准测试中,Claude Code 和 Codex 平均 Dice 达 0.81-0.85,明显优于 nnInteractive 单独使用(0.71)和纯文本分割模型 VoxTell(0.54)。适合医学影像、生物信息领域的研究人员和标注团队,尤其是需要批量分割但缺乏标注人力的场景;对多数互联网和 AI 从业者关系不大。
★ 74 24h +2 ⑂ 3 创建 16 天前 更新 7 天前
deepopen-com / deepopen-3d-webs 多模态 Python
单图加提示词生成可预览的 3D 场景与点云
光域造景(Guangyu Zaojing)是一个图像驱动的三维场景生成系统,你可以把它理解成把 LucidDreamer 那套「单图变 3D 场景」流程打包成的一个中文网页工作台。你只需提供一张参考图和一句中文提示词,它就能沿指定的相机轨迹生成可预览、可回放、可追溯的场景结果,包括彩色动画、深度动画和 Gaussian 点云,浏览器里就能拖动查看,也能导出 PLY 交给 SuperSplat 或 MeshLab 继续处理。它把过去要拆成深度估计、图像补全、3D 表示、运镜渲染等多个工具的链路合到一个界面里,适合在决定是否投入精修前先看空间概念稿、做风格化内容探索(动漫、奇幻、废土等预设)、把静帧加飞越视频加点云预览放在一页给协作者评审,或在课堂和提案会上直接演示——没有 GPU 也能用 demo 模式浏览官方示例资产。对 3D 内容创作者、空间设计和视觉概念岗、以及需要快速出三维演示素材的人来说值得一看;纯后端或算法岗关系不大。
★ 1.1k ⑂ 108 创建 9 天前 更新 7 小时前
KadoBOT / ComfyUI-H3-Continuity-Studio 多模态 Python
ComfyUI 里基于 MiniMax H3 的多镜头时间线工具,跨片段保持视觉连续性
这是一个 ComfyUI 自定义节点包,围绕 MiniMax H3 视频模型做多镜头连续创作。它提供一条时间线(Timeline),把多个片段串起来并跨片段携带上下文,让第二镜、第三镜能延续第一镜的设定;还带一个 Studio 界面,可编辑故事、参考图和时间线。核心卖点是「视觉记忆」:能把之前片段里的某个画面带进后面的镜头,即使中间切了外景或换了机位也能接上。另外内置 H3 Story 节点,可通过 OpenAI 兼容接口(本地或云端)自动规划并撰写时间线上的故事。适合在 ComfyUI 里做短片、分镜连贯性测试的视频创作者和 AI 内容团队,尤其是苦恼于多镜头人物、场景一致性的从业者;只想跑单条视频生成的人用不上它。
★ 110 ⑂ 11 创建 3 天前 更新 21 小时前
10291124jcjc-dotcom / ai-anime-series 多模态 Python
一句话生成一集固定角色的 AI 动画短片
这是一套做「AI 动画单元剧」的完整流程:先给几个原创角色(比如白仓鼠汤圆和腊肠狗油条)立好设定图,之后每集只需说一句主题,就能生成一集 30 秒的无台词动画短片。它以 Claude Skill 的形式装进 Claude Code,由 Claude 负责写剧本、按出场角色和时长自动拼出提示词,再配合脚本完成宫格故事板拼接、成片抽帧检查、单段补拍和合集剪辑,视频生成则交给即梦 Seedance 2.5 全能参考一次出片。适合想在抖音、小红书等平台做固定 IP 短视频账号的内容创作者,以及想低成本试水 AI 视频叙事的产品和运营同学;如果你不打算做动画内容,这个项目和你关系不大。
★ 262 ⑂ 62 创建 7 天前 更新 7 天前
MUSE-AI-Lab / Concept-Brittleness 多模态 Python
用SAE诊断并修复扩散模型的风格概念盲区
这是一个 ACM MM 2026 论文的配套代码,研究 text-to-image diffusion 模型的一个怪毛病:同一个风格概念(比如 ink sketch)在某些物体上反复失败——葡萄能变成墨线稿,蛋糕却怎么都是彩色的,换 seed 也没用。作者称之为 object-dependent concept brittleness,认为这是模型的系统性盲区而非采样噪声。他们的做法是在每个去噪步骤上训练一个 sparse autoencoder(SAE),把风格、属性这类抽象概念在稀疏空间里分离出来,对比成功与失败的生成,定位缺失或被削弱的概念维度,再在推理阶段把特征往类级概念原型上轻推来修复,全程不需要重训练。实验覆盖 SD 1.5、SDXL、SD 3.5、FLUX.1-dev、PixArt 等多个 backbone,修复后 CLIP 与风格对齐指标有明显提升。适合关注 diffusion 模型可控生成、prompt 遵循性、SAE 可解释性的研究者和算法工程师;做产品落地或不碰生成模型的人关系不大。
★ 262 ⑂ 0 创建 7 天前 更新 7 天前
wangweihong / comfyui-pose-gallery 多模态 Python
ComfyUI 中文人体姿势图库节点,支持随机抽取与深度控制生图
这是一个 ComfyUI 的中文人体姿势图库节点,内置 1439 张原图、288 组姿势、最多 5 个视角,相当于给你的生图工作流配了一个本地姿势素材库。你可以在节点里按中英文关键词、体系、动作、视角筛选并预览姿势,选中后把图片和姿势描述输出给后续节点;也可以用随机节点每次运行自动抽一张,或锁定某张姿势反复使用。典型用法是把图库姿势接进 Depth Anything 提取深度图,再驱动 MOSS SFT、Qwen Image 2.1、Z-Image-Turbo 等模型按指定姿态生成角色,也能配合 Anima LLLite 做动漫姿态生图,还支持上传自定义参考图入库。它主要面向用 ComfyUI 做人物生成、姿态控制和换装换脸工作流的 AI 绘画创作者,如果你不玩 ComfyUI 生图,和你关系不大。
★ 241 ⑂ 31 创建 8 天前 更新 2 天前