GitHub 热门
共 64 个项目 · 第 1 / 3 页
JuneYaooo / rea-video 多模态 Python
逐镜头拆解短视频制作方式并给出复刻方案的分析工具
rea-video 是一个把短视频逐镜头拆解的分析工具,能判断每条片子是实拍、AI 生成、数字人、3D 渲染还是代码动效,并反推出它是怎么做的。比如一条带货视频,它会告诉你用了几个机位、什么布光方案、字幕花字的起止时间和样式、配音是真人还是 AI、配乐多少 BPM;一条 AI 视频则会给出每镜反推的提示词、合并成几次生成、该用哪个模型。拆完还能输出复刻方案,配合它的下游项目把运镜、节奏、转场照着原片重做一遍,只替换你指定的元素。它还带 AIGC 检测能力,靠帧率规律、噪点、文件标识等硬证据判断真伪,准确率在官方评测里接近 99%。适合短视频编导、AIGC 内容创作者、做视频生成或 AIGC 检测方向的算法工程师,以及想拆解爆款视频结构的产品和运营;如果你完全不碰短视频,关系不大。
★ 1.6k 24h +1.0k ⑂ 232 创建 6 天前 更新 3 小时前
harry0703 / MoneyPrinterTurbo 多模态 Python
输入主题一键生成带脚本、素材、配音字幕的短视频
MoneyPrinterTurbo 是一个短视频自动化流水线:你只给一个主题或关键词,它就用大模型写出视频脚本、提炼素材搜索词、抓取匹配的视频素材、生成配音和字幕,再配上背景音乐,最后合成一条可直接发布的高清短视频,覆盖 TikTok、Instagram Reels、YouTube Shorts 这类竖屏平台。它相当于把「写文案、找素材、剪辑、加字幕」这条人工链路整体交给 AI 跑完,还提供 WebUI 和 API 两种使用方式,方便批量生产。适合做内容矩阵的自媒体运营、想快速试水短视频带货或引流的个人创作者,以及需要给产品批量产出宣传短片的市场同学;如果你的工作和短视频内容生产无关,那它跟你的关系不大。
★ 139k 24h +765 ⑂ 22k 创建 2024-03-11 更新 1 小时前
debpalash / VoiceStudio 多模态 Python
本地运行的开源 ElevenLabs 替代,覆盖克隆、配音、转写与有声书
VoiceStudio 是一个完全在本地设备上运行的语音 AI 工作台,可以看作开源版的 ElevenLabs 替代品,覆盖声音克隆、声音设计、视频配音、语音听写、语音转文字和有声书制作,支持 646 种语言。它跑在你的笔记本、台式机、服务器甚至手机上,音频数据不出本地,适合对隐私敏感或不想按量付费的场景。比如你可以用几段自己的录音克隆出一个声音来批量配音,把一段英文视频配上中文音轨,或者把手写会议记录转成语音、把长文档合成有声书。对做内容出海、多语言视频本地化的创作者,以及需要离线转写敏感音频的团队来说,它能省下 ElevenLabs 之类的订阅费;如果你的岗位和语音内容生产无关,那基本用不上。
★ 101k 24h +692 ⑂ 11k 创建 2026-04-09 更新 4 小时前
heygen-com / hyperframes 多模态 TypeScript
让 AI 编程 Agent 用 HTML 写动画并渲染成 MP4 视频的框架
HyperFrames 是一个把 HTML、CSS 和动画直接渲染成 MP4 视频的开源框架,可以理解为「网页转视频」的自动化流水线,底层结合了 Puppeteer 截帧和 FFmpeg 编码。它最大的特点是为 AI 编程 Agent 设计:装上对应 skills 后,你可以在 Claude Code、Cursor、Codex 等工具里直接说「做一个 10 秒产品介绍视频,带淡入标题和背景音乐」,Agent 会按它的生产流程规划脚本、写 HTML、接上可拖动进度的动画、加媒体素材、检查并渲染成片。相比 Remotion 这类需要写 React 组件的方案,它用纯 HTML/CSS 描述画面,对 Agent 更友好,输出也确定可复现。适合做产品演示、数据图表动画、字幕叠加、幻灯片式短视频的内容团队和 AI 应用开发者;如果你的工作和视频生产或 Agent 自动化无关,可以略过。
★ 79k 24h +464 ⑂ 7.2k 创建 2026-03-10 更新 20 分钟前
wquguru / cicada 多模态 Swift
Mac 上的会议实时字幕、同传与 AI 纪要工具
知了 Cicada 是一款 macOS 菜单栏应用,能在你开会或看直播时实时抓取系统声音,给出双语字幕、同声传译和 AI 会议纪要。它直接读取 Mac 的系统音频在本机做语音识别,不用往 Zoom、飞书、腾讯会议里塞机器人,对方完全无感;按住右 ⌥ 键说话,对方还能直接听到翻译后的语音。纪要窗口会边听边整理议题要点、结论、待办和人名术语表,点结论可跳回双语原文,会后可导出 Markdown、Word 和 SRT 字幕,记录全部留在本机。不填 API key 时靠 Apple 本机模型加 Google 翻译就能用,填了蚂蚁 Ling 的 key 才有实时纪要和声音克隆。经常开跨语言会议、听英文直播或需要留会议记录的远程办公者、双语工作者值得看;只用中文开内部会的人关系不大。
★ 1.3k 24h +362 ⑂ 249 创建 4 天前 更新 1 小时前
andrew-babo / muse4ai 多模态 TypeScript
把你的 Muse 生成会话通过 REST/MCP/OAuth 开放给本地 AI Agent 调用
Muse4AI 是一个跑在你本机 Windows 上的桌面桥接工具,作用是把你登录好的 Muse(Meta 的图片视频生成服务)会话开放给 ChatGPT、Claude、Cursor、n8n 等 AI Agent 调用,让它们能直接生成图片和视频。它通过 REST、MCP 或 OAuth 暴露本地接口,所有请求都从你自己的机器发出,生成结果、密钥和令牌也只存在本地,不经过任何中转服务器。具体能力包括:用一句提示词(可附参考图)批量生成图片和视频、让 Agent 在同一对话里续写已生成的视频(最多 6 步约 60 秒)、用自然语言描述来修改已有 MP4,以及带上下文的多轮对话。连接方式支持一次性粘贴 API Key,也支持真正的 OAuth 授权——Agent 发起请求后你在屏幕上输入 6 位码批准,随时可撤销。适合想把 Muse 的生成能力接入自动化工作流的开发者、在 Cursor 或 Claude Code 里做内容生产的人,以及搭建 n8n 自动化管线的工程师;如果你不用 Muse 或不需要让 Agent 生成视频,跟你就没什么关系。注意这是非官方项目,自动化网页服务可能违反 Meta 的服务条款。
★ 649 24h +224 ⑂ 152 创建 1 天前 更新 16 小时前
hongye007 / open-pose-costume 多模态 TypeScript
姿势服饰人物三合一的参考图库与角色生图工作台
这是一个中英文双语的角色参考工作台,把姿势、服饰、人物三类创作素材集中在一个图库里,供画师和 AI 创作者查找灵感、组合参考并直接生成角色。库里收录了 312 组多视角姿势线稿(含配套深度图)、2,769 套写实与动漫服饰、1,527 张人物参考,支持按分类、风格、国家地区、发长等条件筛选和收藏分享。它的核心玩法是「一键生图」:选好姿势和服饰,可选一张人物参考提供面部发型等身份特征,再选自然写真或动漫插画等风格,就能生成保持人物一致的图片;也支持上传自己的穿搭图提取成服饰素材。对做角色立绘、AI 绘画练习、需要稳定角色一致性的内容创作者来说,它省去了到处找参考图和反复调提示词的功夫;素材可免费用于个人学习,但不可商用。如果你的工作与角色设计或 AI 生图无关,这个项目基本用不上。
★ 637 24h +212 ⑂ 169 创建 6 天前 更新 1 天前
elvarofficial / teardown 多模态 JavaScript
用 Claude Code 生成可拆解的机器 3D 模拟器页面
teardown 是一个 Claude Code 技能,你用大白话描述一台机器,比如四冲程摩托车发动机、机械表或液压挖掘机臂,它就生成一个可离线打开的单文件 HTML 3D 模拟器:机器在画面中央运转,四周仪表盘显示真实数值,点按钮能拆开正在工作的部件,无人操作时页面还会自动巡演。它内置 three.js,还能逐帧渲染成 60fps 的 mp4 视频并配上程序生成的音效,适合做产品讲解、教学演示或科普短视频。对做技术内容、硬件科普、工业产品可视化的工程师和创作者来说很实用;如果你的工作和 3D 展示、机械原理讲解无关,那看看就好,不必上手。
★ 2.0k 24h +168 ⑂ 313 创建 6 天前 更新 4 天前
Pika-Labs / Pika-H3-Flex 多模态 Python
Pika 开源的带音频视频生成模型推理代码
Pika H3 Flex 是 Pika 官方开源的视频生成模型推理代码,可以理解为 Runway、可灵这类视频生成产品的自托管版本:输入文字或参考图,直接产出带同步音轨的视频。它的特点是速度快、可控性强,六步采样即可出片,最多支持 12 个参考输入,能通过参考图和提示词指挥镜头运动、角色动作和分镜走向,本地推理可生成 480p/768p 视频并带立体声,更高分辨率和音频分轨则走 Pika 的托管 API。典型场景包括多镜头叙事短片、动态图形、产品宣传片和参考引导的动画制作,比如用一组参考图让角色在不同分镜里保持一致。值得看的是视频创作者、广告和动效团队里负责 AI 出片流程的人,以及想在自己服务器上批量跑视频生成的算法工程师;如果你不碰视频生成,这个项目和你关系不大。
★ 1.7k 24h +156 ⑂ 34 创建 6 天前 更新 3 天前
jacke-pp / open-yoki 多模态 JavaScript
单服务器可跑的 AI 数字人直播主播底座
open-yoki 是一套能在单台服务器上跑起来的 AI 直播主播系统:她用复刻的声音和实时数字人形象出镜,读弹幕、即时回话,记得常来的观众,写日记、自己发动态,还能按时间表自动开播下播,推流到币安广场或任何收 RTMP 的平台,同时有自己的网页直播间。回弹幕用的是 OpenRouter 上的 DeepSeek 这类快模型,几秒内接话,说话前会先垫一声「嗯嗯」,心情和语气跟着内容走;另有一个可选的长期「心」(Claude Code 或 DeepSeek)以 Markdown 文件形式记住她的日记、对常客的印象,决定发什么动态。画面由无头 Chrome 合成,行情、礼物感谢、动作短片都实时叠加后推流。它其实是作者每晚在币安广场直播的 AI 主播 yoki 去掉形象、人设和资金功能后的开源底座。适合想做虚拟主播、AI 数字人直播或研究 AI 直播互动链路的开发者和内容团队;普通从业者看看架构思路即可,直接部署门槛不低。
★ 1.2k 24h +128 ⑂ 71 创建 8 天前 更新 8 天前
ruvnet / RuView 多模态 Rust
用 WiFi 信号做无摄像头的人员存在、生命体征与姿态感知
RuView 把家里现成的 WiFi 信号变成一套空间感知系统:人走动、呼吸甚至静坐都会扰动无线电波,它用低成本 ESP32 传感器采集这些扰动,就能判断房间里有没有人、几个人、在干什么,甚至隔墙探测。它能无接触测呼吸和心率、识别跌倒和活动状态、做睡眠分期,还能从 WiFi 信号里估计 17 个身体关键点,相当于不用摄像头的姿势识别。数据可直接接入 Home Assistant,也能桥接到 Apple Home、Google Home、Alexa 等主流智能家居生态,触发「有人入睡」「浴室占用」「老人久未活动」这类自动化。适合做智能家居集成、IoT 感知或隐私敏感场景监控的开发者——想用摄像头又担心隐私的养老看护、酒店、办公空间方案尤其值得看;纯做模型训练或后端的人关系不大。注意 README 提到部分精度仍是合成数据验证,实际效果需自行评估。
★ 102k 24h +121 ⑂ 13k 创建 2025-06-07 更新 4 小时前
anhao / ai-pose-gallery-zh 多模态 TypeScript
中文化 AI 姿势/服装/人像参考图库,附角色合成工作台与 ComfyUI 节点
这是一个把日文 AI 绘画参考图库全面中文化的静态站点,原作者是ギア(@giaaibusi),本仓库将原本分散在三个站点的姿势库、服装库、人像库三合一,共 6,162 条中文元数据、上万张本地高清图,可离线浏览。它不只是图库:内置一个 Web 合成工作台,让你从人像、服装、姿势三个槽位挑素材拼出角色配方,选好后直连 Gemini、GPT Image、Qwen、Doubao 或本地 ComfyUI 生图,还提供 12 种画风预设和自动组装的中文提示词;同时它也是一个 ComfyUI 自定义节点插件,可在画布内调用姿势、服装、人像及三合一配方节点,姿势图可一键切换素体白模与深度图接入 ControlNet Depth。适合做 AI 绘画、角色设计、插画接单的画师和 AI 美术从业者,尤其是需要稳定姿势参考和多图参考生图流程的人;纯后端或算法岗关系不大。
★ 6.0k 24h +107 ⑂ 1.5k 创建 8 天前 更新 1 天前
D3voz / openjutsu 多模态 TypeScript
本地开源的视频换人换物工具,基于 ComfyUI 与 MiniMax H3
openjutsu 是一个本地运行的视频换人工具,可以看作开源版的 Higgsfield Genjutsu:丢进一段视频和一张角色照片,点生成,视频里的主角就被替换成你的角色,同时保留原片的运镜、剪辑、动作和音轨。它基于 ComfyUI 工作流加 Next.js 前端,用 MiniMax H3 生成视频、SAM 3.1 跟踪人物、Qwen3-VL 描述画面并写提示词,全部跑在自己的 GPU 上。除了换人,它还支持多人各换各的、涂抹替换或移除头发衣服等物体、换背景、根据照片生成新姿势再转视频,以及用 FLUX 在同一次生成里重新打光。适合做短视频二创、虚拟主播换皮、广告素材改版的创作者和 AI 视频方向的工程师,尤其是想摆脱云端付费服务、在本地跑通完整流程的人;不碰视频生成的读者可以跳过。
★ 1.6k 24h +97 ⑂ 253 创建 9 天前 更新 6 天前
RVC-Boss / GPT-SoVITS 多模态 Python
几分钟录音即可克隆音色的开源 TTS 与语音转换工具
GPT-SoVITS 是一个开源的语音克隆与文字转语音(TTS)工具,可以理解为「低配版 ElevenLabs 的本地替代」:给它 5 秒人声样本就能零样本合成,用 1 分钟录音微调即可获得相似度更高的专属音色,还支持中英日韩粤跨语言朗读。它自带 WebUI,集成了人声伴奏分离、自动切分训练集、中文语音识别和文本标注,等于把从原始音频到可用模型的整条链路都包办了,推理速度在消费级显卡上也足够实时。适合做有声内容、虚拟主播、游戏配音、无障碍朗读的创作者,以及想低成本搭建私有 TTS 服务的 AI 应用开发者;如果你的工作和语音交互、AIGC 内容生产无关,那看看就好,不必上手。
★ 64k 24h +73 ⑂ 6.7k 创建 2024-01-14 更新 4 天前
HRuiCcc / RuiC-PoseAtlas 多模态 JavaScript
姿势、衣装、人像三合一的 AI 绘画参考图库
这是一个纯静态的三合一参考图库站,把「人体怎么摆」「衣服怎么穿」「脸长什么样」三件事整合到一个站点里:288 组去脸人台姿势,每组提供正面、斜侧、侧面、俯视、仰视五个视角共 1,439 张线稿;1,407 套没有人体的整身穿搭,按季节和品类归档,每套都拆成颜色、材质、版型等可检索标签,直接贴到已有角色上就不用抠图;另有 1,499 张 AI 虚构人像分脸部与造型两个分区。典型用法是先挑机位和体态,再找同气质的搭配,最后选一张脸,三份参考一起丢进生图工具。对 AI 绘画创作者、插画漫画作者、3D 建模学习者来说,它解决了参考图分散、视角不统一、服装说不清穿了什么的痛点;站点支持中英日三语搜索和键盘浏览,前端学习者也可以把它当作无框架数据驱动静态项目的范例。
★ 1.2k 24h +59 ⑂ 302 创建 8 天前 更新 4 天前
paipiange / nvzhuang 多模态 HTML
2700+ 套 AI 服装图集与虚拟试穿网站,支持多模型换装
这是一个纯前端的 AI 服装参考图集加虚拟试穿网站,收录了 1407 套写实女装和 1320 套二次元动漫服装,全部是人物不入镜的纯服装图,支持中英文双语浏览和关键词检索,打开网页就能免费用。它的核心玩法是「AI 换装」:你上传一张自拍或从内置的 1499 位 AI 模特库里挑一张脸,再选中一套衣服,后端调用 GPT Image、Gemini、豆包 Seedream 或本地 ComfyUI 上的 Qwen-Image-Edit 模型,把衣服自然地穿到人像上,保留五官发型、贴合身材,还能一键跳转淘宝搜同款。对做电商服装类目的运营、AI 绘画和虚拟模特内容创作者来说,这是很省事的服装参考库和试穿 demo;如果你只是想找 AI 生图/换装的工程参考,它的多模型可插拔后端也值得翻翻。但如果你的工作和服装、电商、AI 图像生成无关,这个项目基本和你没关系。
★ 2.2k 24h +52 ⑂ 568 创建 7 天前 更新 19 小时前
wquguru / shisei 多模态 Python
免费 CC0 人体姿势线稿库,供 AI 绘图工具做姿势参考
Shisei 是一套免费(CC0 授权)的人体姿势参考图库,专门喂给 AI 绘图工具用。它画的是无脸人体模型的线稿,共 280 个姿势、每个姿势 5 个机位(正面、四分之三、侧面、俯视、仰视),另有部分姿势附带黏土渲染、深度图和法线图,可直接用于 ControlNet。姿势名称提供日、中、英、韩四种语言。实际用途是:当你用 Nano Banana、ChatGPT、Midjourney 或 ComfyUI 生成人物图时,把某个角度的线稿作为姿势或构图参考上传,就能让模型照着这个姿势画;同一姿势换不同机位,还能在多张图之间保持人物体态一致,脸、衣服、背景则由你的提示词决定。对 AI 绘图从业者、做角色插画或 AI 短片分镜的人来说,这省去了自己找参考或手画骨架的麻烦;如果你的工作不涉及人物生成,那和你关系不大。
★ 431 24h +60 ⑂ 87 创建 7 天前 更新 2 天前
speridlabs / idol-sdk 多模态 Python
单张图片一键生成 3D Gaussian Splat 模型的推理 SDK
Idol 是一个把单张图片变成 3D Gaussian Splat 模型的推理 SDK:给它一张物体照片、渲染图或 AI 生成图,它会自动去背景、裁切构图,然后生成最多一百万个 3D 高斯点,连照片里没拍到的背面也能补出来,输出标准的 .ply 文件,可直接在任意 Gaussian splat 查看器里打开。整个过程在消费级显卡上就能跑,7.2 GB 显存、两秒内完成,还内置了针对真实照片和合成渲染图的两种模式。它在多项指标上与 TripoSplat、TRELLIS、LGM 等同类单图转 3D 方案同台比较,速度和质量都有竞争力。值得看的是 3D 内容创作者、游戏和电商领域的资产生产人员,以及做 3D 生成、NeRF/3DGS 相关研究的算法工程师——如果你需要快速把产品图或概念图变成可旋转查看的 3D 资产,它能省下大量建模时间;只做纯文本或后端开发的人则关系不大。
★ 803 24h +50 ⑂ 71 创建 7 天前 更新 6 天前
brenpoly / CardboardXR 多模态 C#
让纸盒眼镜获得6DoF追踪、透视与手势交互的Unity手机VR应用
CardboardXR 是一个 Unity 手机应用,把最便宜的 Google Cardboard 纸盒眼镜升级成有 6DoF 追踪的轻量 VR 设备:借助手机的 ARCore 或 ARKit 做头部六自由度追踪、摄像头透视(passthrough),并用后置摄像头识别手部,实现捏合、抓取和指向射线等手势交互。它自带几个演示场景,比如在自己房间里空中绘画的 Air Paint、用手挡飞来光球的 Orb Rush、在地板上开传送门走进另一个世界的 Portal,以及播放 360/VR180 视频的播放器,还配了可 3D 打印的手机 VR 眼镜外壳。对做 XR 原型、想低成本验证空间交互想法的开发者来说,它展示了如何在一台手机上同时跑通追踪、透视和手势这一整套能力,值得翻翻它的实现思路;普通后端或算法工程师关系不大。
★ 195 24h +52 ⑂ 41 创建 6 天前 更新 2 天前
koala73 / worldmonitor 多模态 TypeScript
AI 驱动的实时全球情报与地缘态势监控仪表盘
worldmonitor 是一个实时全球情报仪表盘,把 AI 聚合的新闻、地缘政治动态、军事航班、网络攻击、气候事件、市场行情和预测市场数据整合到同一个态势感知界面里,可以理解为开源版的 Palantir 简化形态。它提供网页、桌面、终端多种形态,还带 MCP server,方便接入自己的 Agent 工作流。比如做跨境业务的人可以盯着供应链所在地区的冲突和港口动态,交易员能同时看地缘事件与大宗商品、汇率的联动,研究 OSINT 的人则能在一个界面里追踪多源事件的时间线。适合需要持续跟踪国际局势的分析师、情报或风控岗位、以及想给 AI Agent 接入实时全球数据的开发者;如果你的工作和地缘、宏观、新闻监控无关,这个项目基本用不上。
★ 90k 24h +35 ⑂ 13k 创建 2026-01-08 更新 25 分钟前
wideeyededi / uncensored-nsfw-ai-video-api 多模态
成人向无审查 AI 视频生成 API 的接入文档仓库
这是一个成人向 AI 视频生成平台 123vips.com(Vipeak AI)的接入文档仓库,主打「无审查」的文生视频和图生视频 API,底层模型包括 Seedance Spicy 和 Wan NSFW。它实际做的事是:把成人内容生成能力包装成标准的异步任务接口,开发者提交任务后通过 webhook 回调拿结果,按积分计费,仓库本身主要提供接入流程、服务端架构和安全要求的说明,不含可直接运行的代码。典型场景是给 AI 陪伴、虚拟角色类产品接入 18+ 视频生成能力,比如用户上传一张角色图加一句提示词,就能生成带角色一致性的视频片段。需要提醒的是,README 里堆了大量 SEO 关键词,且明确说具体模型和端点要登录后才能看到,信息透明度有限。对多数后端、算法或产品岗位的人来说这和工作关系不大;只有正在做成人向 AI 陪伴或角色视频产品、且需要绕过内容审查的开发者才值得点进去看一眼。
★ 422 24h +1 ⑂ 64 创建 3 天前 更新 3 天前
SAOS-3624 / dsh-see-now 多模态 JavaScript
按画面变化筛选帧并拼图,让 AI 低成本实时看屏幕
dsh-see-now 是给 DSH 用的实时视觉插件,让 AI 直接「看见」你的屏幕,而不是听你口头描述。它解决的是一个很实际的矛盾:定时截全屏喂给模型,截得密会把 token 烧穿,截得疏又会漏掉关键变化。它的做法是先给每帧算一个 0–255 的变化分,只有画面突然切换或持续运动攒够量才留下,再把留下的几帧拼进同一张图,一张图的固定成本摊到多帧上——同样 30 秒的操作,别人烧 30 张图,它常常只要 2 到 3 张,静止屏幕则几乎不出图。除了画面,它还能抓系统回环音频并转写成带时间码的台词,让模型把某句话对应到某一格画面。适合需要让 AI 陪看屏幕的场景,比如做桌面 Agent、屏幕共享助手、视频内容分析的开发者;如果你的工作不涉及给模型喂视觉上下文,这个项目和你关系不大。
★ 362 24h +33 ⑂ 35 创建 3 天前 更新 6 小时前
MagoStudio / MagoStudio 多模态 TypeScript
本地优先的 AI 视频编辑器,剧本到成片加素材风格化
MagoStudio 是一款本地优先的 AI 视频编辑桌面应用,可以理解为把 Runway、Kling 这类在线 AI 视频工具搬到你自己电脑上跑。它分两块能力:Mago Director 负责从剧本到成片,你写好剧本、设定角色和分镜,它能生成前后衔接一致的连续场景;Mago Transform 则是素材进、风格化素材出,支持按帧范围编辑、用遮罩只改视频局部、重新打光或替换画面里的人物。渲染默认走你自己的 GPU(底层接 ComfyUI),项目和视频都留在本机,只有需要云端模型时才上传该次渲染必需的素材。它还带版本管理和精确到帧的审阅流程,适合有成片交付压力的人。值得看的是短视频团队、独立影视创作者以及做 AI 视频工作流的工程师——后者还能利用它为 AI agent 而写的代码结构,快速接入新出的视频模型。普通后端或算法岗与它关系不大。
★ 291 24h +32 ⑂ 48 创建 2 天前 更新 13 小时前
neuregex / freefield 多模态 Python
开源版 Higgsfield,基于 ComfyUI 的图像视频 VFX 音频创作应用集合
Freefield 是一个开源项目,把 Higgsfield 那套创意应用(图片、视频、VFX、音频)搬到 ComfyUI 上,全部基于开放权重模型,不依赖任何闭源 API。它包含 120 个应用,比如换脸、视频重绘、混媒风格、配音、AI 虚拟人等,每个应用就是一个文件夹加一份描述文件,界面表单、模型下载、显存占用都自动从描述生成,你也可以把自己的 ComfyUI 工作流一键导入成新应用。每个示例都附带实验室真实 GPU 跑出的耗时和峰值显存,方便你判断在自己显卡上跑不跑得动。适合想用本地或云端 GPU 做 AI 图像视频创作、又不想被 Higgsfield 等 SaaS 按次收费绑定的创作者和开发者;如果你只是做纯文本或后端开发,跟它的关系不大。
★ 929 24h +32 ⑂ 178 创建 16 天前 更新 2 天前
jwang771 / 3d-world-simulator 多模态 Python
用神经网络学习物理动力学的三维世界模拟器
这是一个用学习方法做物理世界模拟的研究项目,可以理解为「用神经网络替代传统物理引擎」的尝试。它先用 VAE 把物体的三维状态压缩成隐变量,再训练一个动力学模型,根据历史状态和动作预测下一步会发生什么,从而模拟布料、箱子、绳子、插头等物体的形变与交互。相比 MuJoCo 这类基于方程求解的仿真器,它靠数据驱动,能处理柔性物体这类传统引擎难以精确建模的场景,还支持触觉传感信息。项目来自 Columbia、UC Berkeley、NVIDIA 等机构的联合团队,目前主要提供训练流程,数据和推理代码尚未上传。值得看的是机器人学习、具身智能方向的研究者和工程师,尤其是做操作仿真、sim-to-real 的人;如果你不涉及机器人或物理仿真,这个项目和你关系不大。
★ 210 24h +34 ⑂ 18 创建 2 天前 更新 2 天前
1 / 3 下一页