GitHub 热门
共 465 个项目 · 第 7 / 19 页
apache / superset Python
开源 BI 平台,免代码建图表、写 SQL、搭仪表盘
Apache Superset 是一个开源的商业智能(BI)平台,可以看作 Tableau、Power BI 的免费替代品,让你在浏览器里连上数据库、写 SQL、拖拽出图表并拼成仪表盘。它内置一个免代码的图表搭建器和一个功能完整的 SQL 编辑器,还提供轻量语义层来统一定义维度和指标,支持 Presto、Trino、ClickHouse、Doris 等几乎所有能通过 Python 驱动连接的 SQL 数据源,并带缓存层减轻数据库压力。典型场景是数据团队把散落在各处的查询沉淀成共享看板,业务方自助筛选数据,不用每次都找工程师跑数。如果你是数据分析师、数据平台工程师,或者所在公司正在评估用开源方案替换收费 BI 工具,这个项目值得花时间看看;纯做模型训练或 AI 应用开发的人则关系不大。
★ 75k 24h +11 ⑂ 18k 创建 2015-07-21 更新 1 小时前
konlu / story-studio Agent框架 Python
AI Agent 用的短视频全流程创作技能包,直出剪映草稿
Story Studio 是一个给 Claude Code、Cursor 这类 AI Agent 用的技能包,把历史、人物故事类短视频的整条生产线打包:从选题、磨开头钩子、写口播稿,到豆包语音合成配音、本地语音识别对齐字幕时间轴、按配音节奏拆分镜并生成配图画风统一的分镜图,最后直接导出一个能二次编辑的剪映专业版草稿,打开就能微调导出。它内置两套从数百篇爆款逐字稿蒸馏出的写作风格(历史叙事与人物故事)和 370 多篇对标文案库,配图提供厚涂漫画、黑白纪实、历史写实三种画风并用参考图锚定防止跨镜头漂移,还支持只做其中某一步,比如只改稿或只拿现成配音去对齐时间轴。适合做历史科普、人物传记类口播短视频的自媒体创作者和内容团队,如果你不做这类内容,关系不大。
★ 751 24h +12 ⑂ 164 创建 10 天前 更新 2 天前
RabbittuX / purrge Python
用 Claude Code 等 AI 逐项判断磁盘可清理项的清理工具
Purrge 是一个 AI 磁盘清理工具,可以理解为「让 Claude Code、Codex 等 AI 帮你判断哪些文件能删」的智能版 CleanMyMac。它在后台定时检测磁盘剩余空间,低于阈值时弹窗提醒,随后扫描缓存、安装包、媒体文件和历史项目,调用本机的 AI 引擎逐项说明每个候选文件的用途、闲置时长和清理影响,最后由你在审查页面勾选确认后才真正执行删除,AI 本身没有删除权限,可重建的缓存默认选中、用户文件默认不选。它支持 macOS 和 Windows,清理的文件先进回收站,还内置了低空间预警、一条命令更新和干净卸载。适合磁盘常年吃紧的开发者,尤其是装了 Claude Code、Codex 等 AI 编程工具、缓存膨胀快的人;如果你的硬盘空间充裕,或者不信任 AI 参与文件决策,这个项目和你关系不大。
★ 273 24h +13 ⑂ 28 创建 15 天前 更新 54 分钟前
django / django Python
Python 主流 Web 框架,内置 ORM、后台与认证的全家桶
Django 是 Python 生态里最主流的 Web 框架之一,可以理解为「后端开发的全家桶」:ORM 数据库操作、URL 路由、模板渲染、后台管理界面、用户认证都内置好了,开箱即用。它解决的是从零拼装后端的麻烦——比如想快速做一个带登录、后台和数据管理的内容站点或内部工具,用 Django 几天就能搭起来,而不必自己组合十几个库。它的自动管理后台尤其出名,很多公司的运营系统直接基于它二次开发。适合后端工程师、全栈开发者,以及需要快速交付 Web 应用或内部系统的团队;如果你只做前端、算法或模型训练,和它的关系不大。
★ 91k 24h +13 ⑂ 35k 创建 2012-04-28 更新 9 小时前
morganlinton / BeautifulRust AI编程工具 Python
教编程 Agent 写出地道 Rust 的技能包与 clippy 配置
BeautifulRust 是一组给编程 Agent 用的 Rust 技能包,装上后 Claude Code、Codex、Copilot、Cursor 等工具写 Rust 时会自动遵循地道写法。它包含三个技能:写作时引导 Agent 产出规范、健壮的代码;审查时对文件、crate 或 diff 输出带优先级的报告,每条问题都注明违反的规则和修复方式;移植时把 C、C++、Python、Go、JavaScript 代码转成行为一致的 Rust,并先移植原有测试以便验证。另附一份可直接放进 CI 的 clippy 配置,把机器可查的规则固化下来。技能内容提炼自 Google、rust-lang 官方 API Guidelines、Microsoft 等五份风格指南,来源冲突时会给出取舍理由。作者实测三个任务中,带技能的 Agent 通过 29/30 项检查,不带则只有 24/30。适合日常用 AI 编程工具写 Rust、或需要把存量代码迁移到 Rust 的工程师;不碰 Rust 的人可以跳过。
★ 1.7k 24h +14 ⑂ 90 创建 13 天前 更新 2 天前
zhuyansen / new-term-radar Python
抢在关键词工具之前,每日抓取刚冒头的 AI 新模型与新产品名
这是一个专门盯「新词」的每日雷达:在 X、Hugging Face、GitHub 等源头抓取刚冒头的模型名、产品名和仓库名,抢在 Google Trends 和各类关键词工具收录之前一到两周把它们报给你。它背后的逻辑是,一个新名字会先被实验室或大 V 在 X 上提到、模型登上 Hugging Face 热榜、某个仓库单日涨几百 star,几天后才轮到关键词工具看到搜索曲线,而这个工具读的正是前几个信号。比如它举例的 Strata 仓库,九天涨到 7700 star,人们两天后就开始搜「niko strata」,但当时没有任何关键词工具收录。除了新词雷达,它还监控新域名的排名词、Reddit 上的工具需求提问、刚挂出支付链接的站点等。适合做 AI 工具站 SEO、运营 AI 资讯 newsletter、维护目录站的人,以及想抢热点做内容的从业者;纯研发岗位关系不大。
★ 2.1k 24h +13 ⑂ 637 创建 24 天前 更新 2 天前
Pluviobyte / claude-ban-clean Python
Claude 本机安全清理工具,先备份校验再定向清理
这是一个面向 macOS 用户的 Claude 本机数据清理工具,主打「先审计、再备份、后清理」的安全流程,把缓存、账号字段、设备记录分开处理,每一步都要求明确选择。它能帮你清掉 Claude Code 和 Claude Desktop 留下的缓存、遥测目录、旧登录状态和指定账号字段,同时严格保护对话历史、项目文件、MCP 配置和 settings 不被误伤;每次写操作前会先做带 SHA-256 校验的时间戳备份,删除项进废纸篓,出错即停。需要说明的是,它不能解除账号封禁、不能绕过 KYC,也不保证清理后设备无法被关联,账号问题仍要走官方支持。适合那些因账号受限需要做本机维护、或想清理 Claude 残留痕迹又怕误删配置的 Claude Code / Claude Desktop 重度用户;如果你只是普通使用者、没有清理需求,和你关系不大。
★ 228 24h +14 ⑂ 15 创建 6 天前 更新 6 天前
mokevnin / dev-quality-gates Python
精选的开发质量工具清单,每类只推荐一个
这是一份精选的开发质量工具清单,核心思路是「每类检查只推荐一个工具」,而不是像 Awesome List 那样罗列一切。它覆盖 lint、格式化、类型检查、依赖分析、CI 流水线校验等环节,优先推荐 Rust 原生的快工具链(如 Ruff、Oxlint),并要求工具必须能在违规时让构建失败,而非只出报告。清单还特别强调对 AI 编码 Agent 友好:非交互、机器可读输出、可自动修复,你可以直接让 coding agent 读取清单,自动为仓库挑选合适的检查项并接入 hooks 和 CI。对工程效能、平台团队或需要统一代码规范的后端/前端负责人来说,这是快速建立质量门禁的参考;如果你不负责制定团队规范或 CI 流水线,和你关系不大。
★ 298 24h +12 ⑂ 14 创建 12 天前 更新 15 小时前
StartLuxLabs / StartLux-Prism 推理部署 Python
StartLux-Decision 模型的快速精确推理引擎
StartLux-Prism 是 StartLux-Decision 系列决策模型的高性能推理引擎,可以理解成这类模型的专用 vLLM 替代品:它直接加载官方发布的 GGUF 量化文件,在 NVIDIA GPU 上提供服务,把每个问题拆解成对各个选项的校准概率,而不是只给一个文本答案。相比官方引擎,它在 H200 上延迟最高降低 5.3 倍,同时输出逐位一致——无论批量大小、GPU 数量还是是否命中前缀缓存,同一请求得到完全相同的概率,这对需要可复现结果的业务很关键。典型场景包括客服意图分类、结构化决策打分,比如一次请求对一段视频提出 24 个结构化问题,27B 模型 0.21 秒返回;4-bit 权重下 27B 还能在单张 32GB RTX 5090 上跑。适合需要部署 StartLux-Decision 模型做分类、决策或结构化输出的算法和推理平台工程师,尤其是对延迟敏感、要求结果可复现的线上服务;不涉及这类模型的读者关系不大。
★ 289 24h +13 ⑂ 5 创建 22 天前 更新 9 天前
wesbos / photo-frame-dashboard Python
把廉价 Android 相框解锁刷机,改造成可全屏跑自定义网页的家庭看板
这是一个把廉价 Android 电子相框改造成家庭信息屏的工具集,目标设备包括 Skylight Calendar、BIUFRAME、Frameo 等被厂商锁死的相框。它做的事情是:打通 ADB、获取 root、备份分区、卸掉厂商应用,最后全屏运行你自己写的网页。作者还附带了一个现成的家庭看板示例,用 Vite 写的 Web 应用加一个极简的全屏 WebView 壳,可以显示日程、天气等信息,双指长按能唤出菜单。项目按芯片平台(Allwinner、Rockchip 等)分了多条路径,每条都有身份校验和严格的写入前备份流程,防止把设备刷砖。适合喜欢折腾硬件、想给家里添一块便宜信息屏的开发者,以及对 Android 底层刷机、分区备份感兴趣的人;如果你不碰嵌入式设备或不打算买相框,跟你的日常工作关系不大。
★ 1.6k 24h +7 ⑂ 330 创建 27 天前 更新 18 小时前
NousResearch / hermes-official-plugins Agent框架 Python
Hermes Agent 的官方插件集,含 Home Assistant、Spotify 等集成
这是 Nous Research 为自家 Hermes Agent 打造的官方插件集合,把智能家居、音乐播放、Claude 订阅接入等能力从主程序里拆出来,按需安装。Hermes Agent 本身是一个能跨会话记忆、自我改进的 AI Agent,可跑在终端、桌面应用或 Telegram、Discord 等聊天工具里,而这个仓库提供它的第一批一方插件:Home Assistant 插件让 Agent 监听家庭设备状态变化、通过 REST API 控制灯具空调、把定时任务结果直接推送到手机通知;Spotify 插件封装了播放控制、设备切换、队列、搜索和歌单管理等能力;还有 Claude Subscription DirectSDK 插件用于接入 Anthropic 订阅额度。所有插件都通过统一的插件目录分发,每个条目固定在经过审核的 commit 上,厂商和社区插件也走同一套审核流程。对做 Agent 集成、智能家居自动化或想给 LLM 接外部服务的开发者来说值得翻一翻;如果你不打算用 Hermes Agent,这个仓库本身和你关系不大。
★ 601 24h +10 ⑂ 128 创建 25 天前 更新 1 天前
Tencent-Hunyuan / Hy-Memory Agent框架 Python
腾讯混元的 Agent 认知记忆引擎,覆盖聊天、工作、编码三场景
Hy Memory 是腾讯混元推出的 Agent 认知记忆引擎和 Python SDK,解决大模型 Agent「聊完就忘」的问题。它把记忆分成三套场景:聊天场景下用分层长期记忆记住用户偏好和事实,工作场景下存两层事实与可复用经验,编码场景下追踪代码版本演化的 diff 链。配套的 MemHub 是本地桌面工具,能把 Claude Code、Cursor、Codex 等多个 AI 编程工具的对话和代码轨迹统一到一个本地目录里,跨应用检索。项目还发布了专门用强化学习训练的 Hy-Memory-30B-A3B 记忆写入模型,以及相关学术论文。做 Agent 应用、需要给产品加长期记忆能力的后端和算法工程师值得看;如果你只是日常用 AI 编程工具,MemHub 的跨工具记忆聚合也可能有用,但纯做前端或非 AI 方向的人关系不大。
★ 1.9k 24h +8 ⑂ 135 创建 20 天前 更新 1 小时前
TomAnthony / YourOwnWeigh Python
让 Withings 体脂秤免费同步数据到自己的存储
这是一个让 Withings 智能体脂秤摆脱官方订阅、把数据同步到自己存储的开源方案。Withings 体脂秤原本通过 WiFi 把体重、体脂等读数上传到 Withings 云端,部分功能需要付费订阅;这个项目通过给秤刷固件、替换官方同步 API,让数据直接落到你自己的服务器,再转发到 Apple Health、Google Health 或任意目标。它包含固件补丁、本地 Python 桥接程序和一个管理设备、用户与读数的 Web 应用,支持 Body Smart、Body、Body Cardio 等多个型号,还能导入原有的设备和用户数据无缝迁移。适合家里有 Withings 秤、不想续费订阅、又希望数据自主可控的个人开发者或智能家居玩家,比如想把体重数据接入 Home Assistant 或自动化健康看板的人。如果你不用 Withings 设备,这个项目和你关系不大。
★ 202 24h +10 ⑂ 8 创建 7 天前 更新 1 天前
HazyResearch / ncm 训练微调 Python
斯坦福提出的概念级预测新架构,面向模型研究者
NCM(Next Concept Modeling)是斯坦福 HazyResearch 团队提出的一种新的语言模型架构思路,配套论文与代码已开源。它想解决的核心问题是:传统 Transformer 逐 token 预测下一个词的方式,在长上下文和推理任务上效率与效果都遇到瓶颈,NCM 改为在更高层的「概念」粒度上做预测,让模型先归纳出中间概念再往下推。从公开信息看,它目前更像一篇研究性工作的实现,附带模型权重和博客解读,尚未提供开箱即用的产品能力。值得看的是做模型架构研究、关注长上下文与推理效率的算法工程师和科研人员,如果你的工作是调用现成模型做应用,这个项目暂时和你关系不大。
★ 1.4k 24h +10 ⑂ 183 创建 25 天前 更新 22 天前
pallets / flask Python
Python 经典轻量 Web 框架,快速搭建后端与 AI 服务接口
Flask 是 Python 生态里最经典的轻量级 Web 框架,可以理解为 Django 的「极简版」:它只提供路由、模板渲染这些最核心的骨架,不强制项目结构和数据库选型,其余功能靠社区扩展按需拼装。它适合快速搭一个后端服务,比如给 AI 产品写个推理接口、做个内部工具的管理后台,或者给模型训练任务包一层任务调度 API,几十行代码就能跑起来,后期也能逐步扩展成复杂应用。如果你是后端工程师、算法工程师需要给模型或数据管线套一个 HTTP 服务,或者在做 AI 应用想自己写服务端而不想被 Django 的重约定绑住,Flask 都是值得翻一翻的参考;纯前端或非技术岗位则关系不大。
★ 74k 24h +11 ⑂ 17k 创建 2010-04-06 更新 5 天前
Vibha-Ramprakash / claude-video-effects AI编程工具 Python
给 Claude Code 的 51 种口播视频特效指令
这是一套给 Claude Code 用的视频特效指令集,共 51 种效果。你把自己的口播视频拖进 Claude Code,用一句话点名要什么效果,比如让自己的 Reels 卡片绕着脑袋转圈、在身后砸下一个大红章、或者在说到某句话时灯光暗下只留你亮着,它就会自动完成人脸追踪、图层遮挡处理并渲染出成片,音频保持原样。效果可以按时间段叠加,比如前 6 秒锁定人脸跟随,6 到 10 秒切换成环绕,还能配合你说的特定台词触发。本质上它把过去要在剪映或 After Effects 里手动做的花字、贴纸、转场,变成了对 Claude 说一句话的事。适合做 Instagram Reels、短视频口播的创作者和内容运营,尤其是想批量生产带网感特效视频、又不想学剪辑软件的人;纯后端或算法岗基本用不上。
★ 705 24h +11 ⑂ 167 创建 14 天前 更新 2 天前
soimy / c3rb3r-rescue Python
DSM NAS 勒索软件应急恢复:内存取钥解密与 Btrfs 数据找回
这是一个针对 Synology DSM NAS 勒索软件(文件被改名为 .L0CK3D)的应急恢复工具包,核心思路是:在加密进程还活着的时候别急着重启或杀掉它,先冻结进程、保存内存,再从内存里提取本次会话的 session key,用它解开每个加密文件尾部的密钥记录,从而恢复数据。它还提供了一条不需要密钥的备选路线:利用 Btrfs 的写时复制特性,从旧数据块里找回被覆盖前的内容。项目附带了按场景分类的处置指引,比如 PVE 虚拟机里的 DSM、物理机、进程已退出等不同情况该先做什么,并有真实成功案例——曾从内存中恢复密钥,解开了约 49 GiB 的 GitLab 备份且校验一致。如果你是负责 NAS 或 Synology DSM 运维的后端、运维工程师,或者正在处理勒索事件的应急响应人员,这份手册值得收藏备用;和多数日常开发工作关系不大。
★ 339 24h +11 ⑂ 34 创建 7 天前 更新 6 天前
lemonadesaltbagel / veil 基础设施 Python
给 AI 编程 Agent 加本地脱敏代理,真实 PII 不出机器
veil 是一个跑在本地的隐私代理,专门给 Claude Code、Codex CLI、Aider 这类 AI 编程 Agent 当「脱敏中间层」。它在请求离开你电脑之前,把日志、数据库查询结果、文件里的真实姓名、邮箱、电话、地址、证件号和密钥统一替换成稳定的假名,模型拿到的全是 First_Cfbf 这类占位符;等回答回到你这边,真实值再被还原,所以模型能照常分析 bug,却始终不知道客户是谁。它还能通过 MCP 给 Agent 提供一个只读数据库工具,Agent 用假名写查询,veil 在底层把假名换成绑定参数执行,写操作和多语句一律拒绝。典型场景是:你用 AI Agent 调试线上账单重复扣费问题,日志里有真实信用卡和客户地址,又不想让它们进模型供应商的服务器。对需要在合规或客户合同约束下使用 AI 编程工具的后端、数据和安全工程师来说,这东西直接解决「日志能不能喂给模型」的难题;如果你的代码里根本不碰真实用户数据,关系不大。
★ 116 24h +10 ⑂ 15 创建 15 天前 更新 5 天前
cplj / axiocairn-mcp RAG检索 Python
让 AI 助手量化分析持仓风险、情景推演与回测的 MCP 服务器
Axiocairn MCP 是一个托管的 MCP 服务器,让 Claude、ChatGPT 等 AI 助手直接接入一套量化金融分析能力:你告诉它持仓(比如 50% NVDA、30% MSFT、20% SPY),它会算出行业集中度、HHI、日波动率、相对 SPY 的 Beta、下跌日 Beta 和个股相关性,并附上数据日期和统计窗口。它还能做 what-if 情景推演、估算交易成本与容量、检查回测纪律,以及读取平台自己发布的研报,且每条结论都标注数据日期和局限。对个人投资者或做组合研究的人来说,这相当于把「问 AI 我的持仓风险有多大」从泛泛而谈变成有数据支撑的量化回答;对量化研究员,它提供了一套可复用的研报与回测检查工具。适合关注美股组合风险、想在 AI 助手里做持仓分析的投研和量化从业者;纯技术岗或不碰投资的人关系不大。
★ 79 24h +9 ⑂ 0 创建 10 天前 更新 17 小时前
OpenBMB / ForgeKernel 推理部署 Python
自我进化的 GPU kernel 优化 agent,逐代超越参考实现
ForgeKernel 是一个能自我进化的 GPU kernel 优化 agent:它先运行、计时并 profile 一个参考 kernel,把它的架构拆解成一份分阶段的优化任务清单,交给编码 agent 逐步实现,每产出一个被验证更优的 kernel,就顶替参考成为下一轮的起点,直到硬件上榨不出更多性能为止。过程中由 GPU 探针实测确认的硬件特性会沉淀成跨算子共享的知识库。论文里在 Hopper 和 Blackwell 上测试 27 个算子,22 个专家库 kernel(FlashAttention-4、cuDNN、DeepGEMM 等)中有 18 个被追平或超越,最高提升 170.6%,还在 NVIDIA 和华为 CANN 的多个 benchmark 榜单上拿到第一。适合关注算子性能、推理加速的 GPU kernel 工程师和推理框架开发者,以及想用 Agent 做自动优化的研究者;做业务应用或模型调优的人关系不大。
★ 272 24h +8 ⑂ 35 创建 6 天前 更新 21 小时前
irraz / vulnerator-ai Agent框架 Python
用 Hermes 大脑自主驱动 Kali 工具做 OODA 循环渗透测试
vulnerator-ai 是一个自主渗透测试 Agent:由 Nous Research 的 Hermes 模型充当大脑,通过 MCP 协议直接驱动 Kali Linux 容器里的 nmap、nuclei、ffuf、sqlmap 等安全工具,按 OODA(观察-判断-决策-行动)循环自主决定下一步动作,同时用 Playwright 控制真实浏览器做 Web 层面的探测。它刻意做得很轻——没有中心服务、没有 REST API、没有界面,四个容器就是全部。项目还提供一个 MCP 前门,让 Claude Code、Kiro 这类 AI 编程助手能触发、观察、干预或停止一次渗透任务。适合安全工程师、渗透测试人员和红队成员在**已获授权的目标**上做自动化侦察与漏洞挖掘;注意它默认不带范围限制和审计,越界使用风险自负。对不碰安全的从业者来说关系不大。
★ 255 24h +8 ⑂ 62 创建 20 天前 更新 11 小时前
Arekejoker / qwen21-nsfw-pose-skill 多模态 Python
Qwen-Image 2.1 本地 NSFW/姿势出图配方与 agent skill
这是一套基于 ComfyUI 和 Qwen-Image 2.1 底模的本地出图配方,主打 NSFW 内容和精确姿势控制,同时打包成 agent skill,可直接在 Claude Code、Codex、Cursor、OpenClaw 里调用。它把散落的要素整合成可复现的流程:作者级提示词结构、专用 NSFW LoRA、136 个 3D 姿势库,以及通过 VNCCS 人偶骨骼旋转实现的姿势迁移——比如给一张已有角色图换姿势但保住脸和服装,或者用 3D 人偶摆好动作再一键出图,还提供 L0 到 L3 的大胆度阶梯让你逐级加料。需要 12GB 以上显存的 NVIDIA 卡或 32GB 以上统一内存的 Mac 才跑得动,模型约 16GB。对多数互联网和 AI 从业者来说这与工作关系不大;值得看的是做 AI 绘画工作流、ComfyUI 集成或 agent skill 封装的工程师,以及想在本地跑 Qwen-Image 出图的创作者。
★ 4.1k 24h +10 ⑂ 716 创建 23 天前 更新 9 天前
Snapintosh / Snapintosh Python
让 macOS 跑在 Snapdragon X2 Elite 笔记本上的 EL2 hypervisor
Snapintosh 是一套 EL2 hypervisor 和配套工具链,能在搭载 Snapdragon X2 Elite 的 ASUS Zenbook A16 笔记本上跑起原版 macOS,并通过自研的 Adreno Metal/IOGPU 栈实现 GPU 加速渲染。它本质上是把 Asahi Linux 的 m1n1 思路反向应用到 x86 之外的 ARM 笔记本上:在 EL2 层模拟 Apple 的 AIC 中断控制器、ANS2 NVMe、DART 等设备模型,让未修改的 macOS 内核以为自己跑在 Mac 硬件上,同时把 Adreno GPU 的 shader 编译成 Apple AIR 指令供 Metal 使用。目前桌面能正常显示、键盘触控板和手势可用、系统装在内置 NVMe 上启动,但 Wi-Fi 只能通过 Mac 主机代理连接,音频、摄像头、蓝牙、睡眠和外接屏都不支持,流畅度也还在向 60Hz 目标推进。这项目对普通开发者没什么用,但如果你是做虚拟化、hypervisor、GPU 驱动或 ARM 平台系统移植的工程师,它在 EL2 monitor 设计、页表影子转换和 GPU 环形缓冲中介方面的实现是难得的参考。
★ 1.1k 24h +10 ⑂ 68 创建 14 天前 更新 11 天前
eagle-hq / EAGLE-4 推理部署 Python
自适应投机解码加速库,接入 SGLang/vLLM 提升 LLM 推理吞吐
EAGLE-4 是一套 LLM 推理加速方案,属于投机解码(speculative decoding)路线:先用一个小草稿模型快速猜出多个 token,再让目标大模型一次性校验,猜对就直接采纳,从而在不改变输出结果的前提下提速。它配套的 eagle-harness 会根据你实际的硬件、并发批量和负载自动决定猜测的深度和草稿树形状,不用手工调参。实测在 Qwen3.8-27B 上单请求最高 3.4 倍加速,并能接入 SGLang、vLLM、TokenSpeed 等主流推理引擎,高并发下也能保持收益。适合负责 LLM 服务部署和推理性能优化的工程师,尤其是需要在有限 GPU 上压低 token 成本、提升吞吐的团队;如果你不碰推理侧,这个项目和你关系不大。
★ 1.1k 24h +10 ⑂ 40 创建 15 天前 更新 4 天前
divagr18 / QwenPU 推理部署 Python
把 RISC-V CPU 和向量单元编译进 Qwen 权重,在模型内部跑另一个小模型
QwenPU 是一个把「计算机」编译进大模型权重里的实验项目:它在 Qwen3.5-4B 的权重中硬编码了一颗 32 位 RISC-V CPU 和一个向量单元,让模型在自己的前向传播过程中,把另一个小模型 Karpathy 的 stories260K 当作 C 程序跑起来并写出故事。所有新增权重都不是训练出来的,而是由编译器逐个算出的,因此每一步都可精确复现。相比把每条指令拆成大量 token 的早期方案,向量单元把整行矩阵结果压缩成几个 token 流出,效率提升了一个数量级。目前它还处于早期阶段,完整检查点有 26.7 GB,需要 40 GB 以上显卡才能整体加载。对多数从业者来说这更像一个展示「权重即硬件」可能性的概念验证,值得花两分钟了解思路;真正会动手研究的是关注模型内部计算、权重编译和新型推理架构的研究者与工程师。
★ 119 24h +10 ⑂ 14 创建 5 天前 更新 4 天前
上一页 7 / 19 下一页