GitHub 热门
共 539 个项目 · 第 15 / 22 页
amurgola / LumaBrowser AI编程工具 JavaScript
本地 AI 全家桶浏览器,含推理、生图与 MCP 自动化
LumaBrowser 是一个把本地 AI 全家桶塞进一个桌面应用的 Chromium 浏览器:内置 llama.cpp 推理运行时、OpenAI 兼容 API、聊天与 Agent、Stable Diffusion 图像视频生成、TTS 和音乐,还带 MCP server 让 Claude Code、Codex、Cline 驱动你的浏览器。它会先读你的显存,在下载模型前就标出哪些模型装得下、预计多快,也能直接复用 LM Studio、Ollama 或 Hugging Face 缓存里已有的模型,避免重复下载。聊天时让它联网查资料,它会自己开标签页读页面作答,而你的标签页和登录状态始终留在本机。对多数人来说,如果你只是用云端 ChatGPT 或 Cursor,这项目关系不大;但想在自己机器上跑本地模型、做隐私敏感的浏览器自动化,或需要给终端里的 coding agent 一个真实浏览器的人,值得看看。
★ 132 24h +2 ⑂ 13 创建 26 天前 更新 10 小时前
rudy-io / moli-os Agent框架 Rust
给 AI Agent 操作的超轻量 Rust 智能家居中枢
Moli OS 是一个用 Rust 写的超轻量智能家居中枢,定位类似 Home Assistant,但设计思路完全反过来:Home Assistant 是给人点界面用的,Moli OS 是给 AI Agent 用的——Claude Code、Codex 或任何 API 模型可以直接通过 MCP 接入,完成设备配置、日常操作、故障排查,甚至编写新设备驱动,而实时控制循环始终由确定性的二进制核心负责,Agent 不会直接插手。它的资源占用极低,内存只有几兆、镜像十几兆,对比 Home Assistant 动辄 2GB 的开销优势明显。内置 24 种集成(Zigbee2MQTT、Hue、Sonos、Tuya、打印机、3D 打印机等)、Svelte 仪表盘、可视化自动化编辑器和手机 App,敏感操作还设有人工确认的保护机制。适合智能家居爱好者、想探索 Agent 操控物理设备的 AI 工程师,以及需要在低配设备上跑家庭自动化的开发者;纯做模型训练或后端业务的人关系不大。
★ 116 24h +2 ⑂ 56 创建 27 天前 更新 14 小时前
drawthingsai / local-code-community Agent框架 C
Mac/iOS 上离线运行大模型的私有编码与办公 Agent
Local Code 是一款跑在 Mac、iPad 和 iPhone 上的私有 AI 编程与办公 Agent,可以理解为把 Claude Code 这类编码助手搬到本地设备、并内置了一整套工具链的应用。它自带针对 Apple Silicon 优化的 LLM 推理引擎,能离线运行 DeepSeek 4.1、Qwen 等量化模型,也支持接 Anthropic、OpenAI 等云端模型。应用内集成了 Python、Node.js、shell、LibreOffice、FFmpeg 乃至浏览器和绘图工具,Agent 可以在你授权的文件夹里完成数据分析、画图表、写文档和幻灯片、开发软件等完整任务,且所有命令都在 App Sandbox 内执行,无法接触全盘。任务和对话可持久保存、生成中断能续跑、长对话有磁盘级上下文缓存。适合关注本地大模型落地、隐私敏感场景的 AI 应用开发者、Mac 端工具开发者,以及想在无网环境下用 Agent 干活的从业者参考其工程实现。
★ 115 24h +2 ⑂ 9 创建 14 天前 更新 4 小时前
Elevatormusic / DeepSeek-V4.1-Flash-1017-EXL3-TensorFold-2x-DGX-Spark 推理部署 Python
双机 DGX Spark 上跑 DeepSeek-V4.1-Flash,解码速度约为 vLLM 的两倍
这是一个把 DeepSeek-V4.1-Flash 模型跑在两台 NVIDIA DGX Spark(GB10)上的推理部署方案,核心是作者自己改的 TensorFold 引擎分支,用 2.9bpw 量化加双机张量并行,实测解码速度约为标准 vLLM 部署的 2.1-2.3 倍:散文 57 tok/s、代码 92 tok/s,32K 长提示的预填充速度约 2,200 tok/s,还把上下文窗口拉到 1M token 并通过了百万级大海捞针测试。它面向需要长上下文和低延迟的场景,比如让 Agent 高频调用工具、对同一份长文档反复追问(前缀缓存让第二次提问的首字延迟从 13 秒降到 1 秒),支持强制工具调用、结构化输出和 4 路并发。适合手里有 DGX Spark 硬件、正在为本地大模型部署做性能选型的推理工程师和基础设施负责人参考;README 也注明完整硬件验证尚在进行中。如果你不打算在双机 GB10 上部署 DeepSeek,这个项目和多数人关系不大。
★ 76 24h +2 ⑂ 10 创建 18 天前 更新 14 小时前
inclusionAI / IDM 多模态 Python
让文生图模型两步出图且长文本更强的蒸馏方法
IDM 是一种让文生图模型「少步出图」的蒸馏方法,全称 Intrinsic Distribution Matching。它把分布匹配蒸馏(DMD)和生成器自身 EMA 特征空间里的矩匹配结合起来,不需要外挂 DINOv2 之类的外部特征编码器,训练出的同一份权重就能支持 1 步和 2 步采样。效果上,在 Z-Image 上 2 步生成一张图只要 0.3 秒(A100),Qwen-Image 也只要 0.44 秒,同时长文本渲染能力在同预算方法里最强,LongText-CN 达到 94.25%,比 Z-Image-Turbo++ 高 2.63 个百分点。它解决的是扩散模型出图慢、步数多导致延迟高的问题,适合对实时性有要求的线上文生图服务。值得看的是做推理加速、模型蒸馏或多模态生成方向的算法和工程同学,尤其是正在优化文生图延迟、又不想牺牲长文本渲染质量的人;如果你不碰图像生成,这项目和你关系不大。
★ 239 24h +4 ⑂ 6 创建 7 天前 更新 6 天前
aa1143 / NamiGPT 训练微调 Python
从零手写 GPT-2 的中文入门教程,配矩阵可视化
这是一套面向中文读者的大模型入门教程,核心是用 PyTorch 从零手写一个 GPT-2:不调用任何现成 Transformer 模块,模型代码不到 200 行,加载 OpenAI 官方权重后能真正跑通推理和文本生成,并与 HuggingFace 实现逐项对齐验证。教程用「猫吃鱼」这个三词例子,把从分词、Embedding、自注意力到文本生成的完整链路拆成 15 篇文章,每篇配可运行脚本,还提供矩阵逐格计算的在线可视化,帮读者看清 Attention 公式里 Q、K、V 到底在算什么。它适合两类人:一是想搞懂大模型底层原理、但被论文和公式劝退过的算法工程师或学生,可以对照代码和动图把 Transformer 每个模块吃透;二是需要给团队做 LLM 基础培训的技术负责人,能直接拿它当教材。如果你只关心调用 API 或部署模型,这项目和你关系不大。
★ 185 24h +4 ⑂ 17 创建 8 天前 更新 8 天前
Deepusleepy / t3-tots AI编程工具 JavaScript
给 T3 Code 配套的 Grok Bot 值班助手,可委派自动处理线程与审批
T3 Tots 是给 T3 Code 配套的 Grok Bot 聊天助手,可以理解为给 T3 Code 加了一个会自己干活的「值班机器人」。它能监控线程状态、推送新问题和运行结束事件到你自建的 webhook,还能在你离开时进入委派模式:自动回答常规问题、催促卡住的线程、在用量额度用尽后自动恢复任务。安全边界设计得比较细,遇到需要确认的危险操作(比如 git hook 询问是否执行破坏性命令),机器人一律拒绝并改走更安全的路径,回来后你会收到一份「拒绝清单及原因」;你在场时,每个审批都会以卡片形式送到你面前,必须你点头才放行。它通过 T3 Code 的本地 websocket API 和只读数据库工作,官方 MCP server 尚未覆盖审批、实时事件推送、卡住队列恢复等能力,所以目前仍有存在价值,但依赖非公开接口,T3 Code 一升级就可能失效。适合重度使用 T3 Code 跑 AI 编程任务、需要长时间挂机让 agent 自动推进的开发者;只是偶尔用用 T3 Code 的人关系不大。
★ 119 24h +4 ⑂ 10 创建 21 天前 更新 7 天前
rtmandreyev / construct Agent框架 Python
让 AI Agent 把任何事物描述成可校验的结构,并生成全息 3D 模型与可动部件
Construct 是给 AI Agent 用的一套工具:你用大白话描述一个东西,Agent 负责调研并写出一份精确、可校验的结构描述——它有哪些命名部件、真实尺寸、如何装配、如何开合运动,以及每个信息是实测还是推测。Construct 校验这份描述后,把它渲染成一个网页里的「光线全息」动画模型,同一份描述永远生成同一个结果,还能进一步导出带可动关节的 3D 模型、CAD 文件、3D 打印件或拼装套件。它兼容 Claude Code、MCP 客户端和任何 OpenAI 兼容接口,输出统一视觉风格,并对每个部件标注「已知/猜测」的可信度。典型场景包括:把自家吉他、老车复刻成可旋转分享的数字副本、给缺失零件画可打印的替换件、做家居改造前的规划模型,或为游戏和影视从真实物体出发设计新资产。对做 Agent 工作流、MCP 集成、游戏资产和数字孪生方向的开发者最相关,普通 AI 从业者也可当案例看看。
★ 115 24h +4 ⑂ 12 创建 12 天前 更新 1 天前
Problem99-io / kodeblue Agent框架 Go
给 Linux 服务器当 AI 蓝队的自托管 agent
kodeblue 是装在每台 Linux 服务器上的 AI 蓝队 agent,把 SOC 监控、事件响应和 SecOps 巡检合在一个进程里。它先花一两个小时学习这台机器的正常状态,之后用零 token 的传感器持续盯着敏感文件和进程,一旦发现异常就交给一个小模型分诊,再由 agent 自己开一个会话调查、按策略隔离攻击并写出事件报告,同时还能盘点各服务的漏洞、每天自动调优检测规则并把更新推到 Slack。设计上刻意让确定性过滤器做重活,模型只看漏网的少量事件,因此接任意 OpenAI 兼容的便宜小模型即可运行,不配模型时传感器和检测也照常工作。可选的 hub 控制台把整个机队的事件、agent 推理过程和待审批操作集中到一个界面。适合负责 Linux 服务器安全的运维、SecOps 和安全工程师,尤其是人手不足、雇不起 7×24 SOC 的团队;做 AI 安全应用的人也可以参考它的「确定性传感器 + 小模型分诊」架构。
★ 66 24h +4 ⑂ 4 创建 10 天前 更新 2 天前
zylon-ai / private-gpt RAG检索 Python
把本地模型包装成生产级 AI 应用后端的开源 API 层
PrivateGPT 是一个开源的 API 层,把本地跑的大模型包装成可直接用于生产的 AI 应用后端,可以理解为「本地版的 Claude/OpenAI API」:它自己不运行模型,而是对接任何 OpenAI 兼容的推理服务(Ollama、llama.cpp、vLLM 等),在其上补齐消息流式接口、文件与文档摄取、带引用的 RAG 检索、网页搜索与代码执行等内置工具、MCP 连接器、数据库和 CSV 的结构化访问等高层能力。典型场景是企业内网部署:比如把公司文档喂进去做带出处的问答,或让 Claude Desktop、Word/Excel 插件、n8n 工作流这些现成工具直接以本地模型为后端,数据不出机房。值得看的是需要私有化 AI 的后端和平台工程师、正在评估 on-premise 方案的技术负责人,以及想给内部工具快速接上本地模型的开发者;如果你只用云端 API 或不涉及 AI 应用开发,和你关系不大。
★ 57k 24h +3 ⑂ 7.6k 创建 2023-05-02 更新 2 天前
Zfinix / eleven AI编程工具 TypeScript
让 AI Agent 陪你做逆向分析的桌面工具
Eleven 是一个把 AI Agent 放在核心位置的逆向工程桌面应用,可以理解成「Agent 版的 Hopper 或 Ghidra 图形界面」。你把一个二进制文件、Android APK、GPU kernel、shader 或模型文件拖进去,直接问它在干什么;任何支持 ACP 协议的 Agent(Claude、Codex、Gemini、Cursor 等)都能读代码、追引用、重命名函数、留笔记并提出补丁建议,所有改动由你在同一窗口里审核、可撤销。底层用 Ghidra 或 Rizin 解析原生代码,用 jadx 打开 APK,还支持把函数伪代码改写成 C、Rust、Go 等多种语言,以及查看 CUDA/HIP kernel 和 GGUF 等模型文件。它还内置 LLDB 调试、双版本 diff 和可分享的项目文件。适合安全研究员、恶意软件分析人员、移动端安全工程师和做二进制分析的开发者,如果你平时不碰逆向,跟你的关系不大。
★ 965 24h +3 ⑂ 148 创建 22 天前 更新 5 天前
kividbio / kividb 基础设施 Rust
Rust 写的 Redis 兼容多线程内存库,内置全文与向量搜索
KiviDB 是用 Rust 写的 Redis 和 Valkey 替代品,走 RESP 协议,现有 Redis 客户端、redis-cli 和各类库不用改代码就能直连,属于 drop-in replacement。它把命令分片到所有 CPU 核上跑,官方基准显示 32 核下流水线 GET 达到每秒 2100 万次,约为 Redis 8 的 9 倍、Dragonfly 的 2.3 倍,p99 延迟还不到 Dragonfly 的一半。除了常规键值操作,它内置了 Redis Stack 风格的全文检索和向量搜索(FLAT / HNSW),意味着你不必再单独部署一个向量库,缓存、全文查询和向量召回可以在同一套实例里完成,数据也只需维护一份。适合正在被 Redis 单线程性能或授权协议困扰的后端、基础架构和平台工程师,尤其是想把缓存与向量检索合并、或在高并发场景下压延迟的团队;如果你只是写业务代码、不碰存储选型,这个项目和你关系不大。
★ 916 ⑂ 96 创建 20 天前 更新 11 分钟前
huaxialucaicaizi / ai-startup-skills Agent框架 Python
一人公司做 AI 产品的七步创业 Agent Skill 合集
这是一套给「一人公司」做 AI 产品用的 Agent Skill 合集,把创业全流程拆成七步:MVP 验证、写商业计划书、查政策补贴、练路演、小红书抖音冷启动获客、定价成交、公司注册与合规。它有一个总入口,你只需说清楚自己在做什么、做到哪一步,它会判断你处于哪个阶段并调用对应的子 skill,每步产出还能串到下一步。比如先验证有没有人要再写 BP,拿到验证证据后直接喂给商业计划书和路演稿。政策查询只引用官方原文链接,不编造行业数据。适合正在中国做 AI 工具、Agent 应用的独立开发者和早期创业者,尤其是需要申请园区孵化器补贴、参加创业大赛、摸索冷启动获客的人;它明确不提供法律税务意见,也不针对面向 VC 的融资路演,纯技术岗或大厂员工基本用不上。
★ 803 24h +2 ⑂ 41 创建 14 天前 更新 4 小时前
ZiChuanLan / pi-purge Agent框架 JavaScript
切换 pi 系统提示词的实验扩展,做 prompt 对照与鲁棒性测试
pi-purge 是 pi 编程助手的一个扩展,作用是让你在会话里随时切换发给模型的系统提示词:保留 pi 原生提示、只删掉其中的助手身份段,或者干脆只发你自己的 persona 文件。它面向的是做 prompt 工程的人,比如你想知道同一句话在「带框架提示」和「纯你的指令」两种条件下模型行为差多少,或者想回归测试自己写的指令、在受控条件下观察指令遵循和 prompt 注入的鲁棒性。三种模式里 strict 最干净,把项目上下文和其他扩展注入的内容一并剥离,只留你的指令加工作目录,适合做单变量实验;append 最温和,适合当对照组。它按会话生效、不落盘、关闭时对 pi 完全无感,适合经常折腾 system prompt 的 AI 应用工程师和做提示词安全研究的人;如果你只是日常用 pi 写代码,跟你的关系不大。
★ 716 24h +3 ⑂ 291 创建 17 天前 更新 5 天前
MemTensor / MemT-1.0 Agent框架 Python
把持久演化记忆内建进模型的 LLM,省 KV cache 存储
MemT-1.0 是一类把「长期记忆」直接做进模型计算里的记忆基础模型,可以理解为给 LLM 装上一块随交互不断演化的原生记忆区,而不是每轮都把完整历史塞回上下文。它包含动态本地记忆和可训练的超记忆两部分,推理时无需回看原始对话,持久状态大小恒定,在 128K 历史长度下比全量 KV cache 省约 66% 存储。项目提供基于 Qwen3.6-35B-A3B 的 Nano 和基于 DeepSeek-V4-Flash 的 Flash 两个规格,并在 11 个记忆基准上取得参数化记忆方法中的前两名,还演示了把过往编码经验存进原生记忆、在长程 agentic coding 中复用的做法。适合做 Agent 应用、长对话产品或关注记忆机制与推理成本的算法工程师看;如果你只做前端、运维或不涉及长上下文的常规 LLM 调用,关系不大。
★ 523 24h +3 ⑂ 38 创建 17 天前 更新 1 天前
ZipengWu365 / TOMC Agent框架 Python
给 AI 编程助手补记忆并压缩历史上下文的 MCP 工具
TOMC Memory 是给 Claude Code、Codex、Cursor 这类 AI 编程助手补记忆的工具,解决的痛点很具体:每次开新会话都要重新解释项目背景,而且助手还会把过时的旧结论翻出来——比如你的技术栈从 Flask 换到 Django、再到 FastAPI,最后定在 Litestar,它只该告诉你最新答案。它把历史对话和笔记压缩后按需喂给助手,只保留每个事实的最新版本并附上出处,同时大幅削减输入 token:作者自己的测试显示,保留 40% 历史能把请求输入减少约三成且答案全对,长历史场景下也优于其他六种记忆方法。要注意它不会压缩助手正在进行的对话,一万 token 以下的短历史收益有限,而且靠词面匹配而非语义理解,改写式的更新可能漏掉。适合重度使用 AI 编程工具、经常开新会话又烦于重复交代上下文的工程师,以及研究 Agent 记忆和上下文压缩的人;偶尔用用 AI 聊天的人关系不大。
★ 267 24h +2 ⑂ 26 创建 2026-10-06 更新 20 小时前
klarluft / pitupitu Agent框架 Rust
用手机语音启动和管理电脑上的 Claude Code、Codex 等 agent
pitupitu 让你用手机语音指挥跑在自己电脑上的 coding agent。它是一个装在每台机器上的小型 Rust 程序,通过一条主动外连的 WebSocket 把机器接到 pitupitu 云端,你在手机或浏览器上说一句话,就能在指定机器上启动 Claude Code、Codex、OpenCode 等 agent,查看进度、回答它抛出的问题、或在它卡住时推一把,全程不用碰终端。agent 仍跑在你原有的订阅和权限下,不碰你的凭证,云端也只能执行固定的一组操作,没有任意 shell。它把 agent 会话交给 herdr 这个终端工作区管理,你在桌面上打开 herdr 就能看到和手机完全相同的实时会话。适合经常让 agent 跑长任务、又不想一直守在电脑前的开发者,比如通勤、散步时想确认构建结果或批准权限请求的人;如果你的 agent 任务都是几分钟内完成的短活,这个项目意义不大。
★ 234 24h +2 ⑂ 0 创建 19 天前 更新 1 小时前
JinJieBeWater / herdr-t3 AI编程工具 JavaScript
Herdr App 的 T3 风格布局,管理多 Agent 与仓库
这是给 Herdr App 做的一套类 T3 Code 布局,把终端、Agent 和仓库管理塞进一个更紧凑的界面:左侧可在 Lists 和 Inbox 两个侧栏间一键切换,Inbox 用 T3 风格的 Settle 机制管理 Agent——需要你处理的排在卡片顶部,做完的可手动归档到安静列表,有新工作时再回来,忙碌的则折叠进 Working 区。它还会统一各处的命名和状态标记,比如转圈表示工作中、感叹号表示受阻、圆点表示完成,并按空间或优先级给 Agent 分组、把子 Agent 嵌套在父级下。适合同时跑多个 Agent、多仓库多机器的重度终端用户,尤其是用 Herdr 协调 AI 编程 Agent 的开发者,能明显减少在窗口间找状态的功夫;如果你不用 Herdr,这项目和你关系不大。
★ 130 24h +2 ⑂ 7 创建 3 天前 更新 12 小时前
Aevonix / FlashAlign 推理部署 Python
按请求动态切换模型对齐档案,免改权重实现差异化拒绝策略
FlashAlign 是一个给大模型做「按需对齐」的工具,核心能力是 abliteration——也就是把模型的拒绝倾向削弱,让它更少说「我不能做这个」。它最实用的地方在于不用永久改权重:同一份模型权重,可以在不同请求上套用不同对齐档案,比如对已验证的用户和渠道放开限制,对其他请求保持原样,或者干脆全局开启。目前提供五个起步档案,覆盖 DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8-27B、Gemma 4 等模型,兼容 vLLM、SGLang、llama.cpp 等主流推理引擎,也能接进 Hermes、OpenClaw 或自建 harness。它解决的麻烦是:想让模型在特定场景少拒绝,又不想为此单独维护一份改过权重的模型副本,还得防止被滥用。适合在本地或私有环境跑推理服务、需要针对不同调用方差异化控制模型行为的算法和平台工程师;如果你只是调用 API 或做应用层开发,跟你的关系不大。
★ 123 24h +3 ⑂ 15 创建 5 天前 更新 4 天前
maxtrigify / Otto Agent框架 Swift
把多个本地 AI agent CLI 统一管理的 macOS 个人操作系统
Otto 是一个原生 macOS 应用,可以理解为「给你的 AI agent 们用的个人操作系统」:它把 Claude Code、Codex、Cursor、Grok 等你已有的 agent CLI 统一收进一个界面里运行,首页提供每日简报和常用卡片,聊天区管理会话、机器人和团队,旁边还挂着文档、仪表盘、自动化和内置浏览器。所有 agent 在本地跑,文件、记忆和凭证都留在你的 Mac 上,凭证只进 Keychain,工作和个人资料分开各存一套记忆。它还通过 MCP 把统一的工具注册表暴露给 agent,支持按 agent 切换模型与账号、给机器人配独立记忆和子 agent,以及可选的语音控制和 iOS 配对应用。适合每天在多个 agent CLI 之间来回切换、又不想把凭证和数据交给云端的重度 AI 编程用户和独立开发者;如果你只用一两个 agent 或主要在网页端工作,关系不大。
★ 117 24h +2 ⑂ 27 创建 15 天前 更新 19 小时前
codician-team / diffinery 基础设施 TypeScript
跑在 Cloudflare 上的开源 GitHub 替代品,兼容 Actions 且为 AI agent 设计
Diffinery 是一个可以部署在自己 Cloudflare 账号上的开源 GitHub 替代品,把 Git 托管、Pull Request、代码审查和 CI 全部搬到 Cloudflare 的 serverless 平台上运行,不需要自己维护服务器或 runner 机器。它最大的特点是兼容现有的 GitHub Actions 工作流:`.github/workflows` 里的 YAML 可以原样跑,marketplace action 也支持,runner 默认给到 4 vCPU 和 12 GiB,比 GitHub 私有仓库的标准 2 vCPU runner 更快。对 AI 编程团队来说,它把 Claude Code、Codex、Cursor 这类 agent 当成正式成员:给 agent 一个目标,它在沙箱里提交 PR,另一个 agent 负责审查每个 PR 的 bug,人只需要每天在 Today 页面上点批准,绿灯后自动合并,还内置了 MCP server 和 GitHub 兼容的 REST/GraphQL API。适合三类人:想自托管 GitHub 又不想运维服务器的团队、想换掉 GitHub Actions 但保留现有 workflow 的 DevOps、以及正在把 AI agent 接入研发流程的技术负责人。如果你只是用 GitHub 写个人项目,和你关系不大。
★ 82 24h +2 ⑂ 3 创建 10 天前 更新 20 小时前
greyoak111 / cccodroid AI编程工具 JavaScript
让官方 Claude Code 在 Android 手机上原生运行的开发启动器
cccodroid 是一个让官方 Claude Code 在 Android 手机上原生运行的启动器,不需要 root、不依赖 proot 或虚拟机,装个 APK 就能用。它自带聊天 GUI、终端和文件浏览器,背后接的是 Anthropic 官方未修改的 Claude Code,云端只负责模型推理,代码、文件和工具链都留在手机本地,会话环境跨次保留。实际用起来,你可以让 Claude 在手机上写代码、编译 C/C++、跑 Python 和 Node、构建 APK 并用 git 推送,等于把桌面端的 AI 编程工作流搬到了口袋里。它还做了不少移动端适配:消息排队不打断当前任务、折叠屏和横屏平板的多栏布局、后台运行时的完成通知等。适合经常在通勤或外出时想用 Claude Code 处理代码、又不想依赖云端沙箱的开发者;如果你的 AI 编程场景全在桌面端,这个项目和你关系不大。
★ 52 24h +2 ⑂ 9 创建 23 天前 更新 11 小时前
robertkarl / UnbiasedStrata 推理部署 C++
Strata 的极简离线推理分支,C++ 单卡跑本地大模型
UnbiasedStrata 是 Strata/PolyStrata 的极简分支,定位类似 suckless 社区的 dwm:去掉安装器、构建期下载和 Python 中间层,只保留两个推理引擎和一个 C++ 前端。它在 Linux + NVIDIA 单卡上一次 make 即可产出引擎与 unbiased-strata 服务程序,对外提供 OpenAI 风格的 /v1/chat/completions 接口(支持流式),底层复用 llama.cpp 的 server 代码,一次只处理一个请求,适合完全离线的机器。实际能力上,它能跑 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 等 GGUF 模型,支持投机解码、KV 量化、多模态图片编码等选项,README 称已在 Bob-bench 上验证过分数。适合需要在内网或无网环境单机部署本地大模型、又不想引入 Python 依赖链的推理工程师和运维;只想调用云端 API 的人基本用不上。
★ 216 24h +2 ⑂ 51 创建 28 天前 更新 2 天前
ultralytics / yolov5 多模态
开箱即用的目标检测、分割与分类训练部署工具包
YOLOv5 是 Ultralytics 基于 PyTorch 打造的目标检测工具包,可以理解为视觉版的「开箱即用」模型库:给它一批标注图片,就能训练出检测、实例分割、分类三种任务的模型,并导出到 ONNX、TensorRT、TFLite、CoreML 等格式部署到服务器或移动端。它解决的是「想快速落地视觉识别但不想从零搭训练管线」的麻烦,比如质检产线要识别产品缺陷、监控视频要统计人车、零售货架要检测商品是否缺货,用它都能在几天内跑通从数据到推理的全流程。适合计算机视觉工程师、算法工程师以及需要在边缘设备上跑检测模型的开发者;如果你的工作与图像识别无关,这个项目和你关系不大。需要注意的是,YOLOv5 已是成熟但非最新架构,追求 pose estimation、OBB 等新任务的人可关注 Ultralytics 更新的版本。
★ 58k 24h +3 ⑂ 17k 创建 2020-05-18 更新 1 天前
eliasbiondo / antirion 模型服务 Rust
Rust 实现的高性能 LLM 网关,统一多厂商路由、预算与安全护栏
Antirion 是一个用 Rust 写的 LLM 网关,可以理解为 LiteLLM 或 Bifrost 的高性能替代品:部署在你的应用和各家模型厂商之间,用一个统一入口转发所有 LLM 请求,客户端可以用 OpenAI、Anthropic、Gemini 或 Bedrock 的协议说话,由它翻译到 OpenAI、Bedrock、Vertex、DeepSeek、vLLM 等任意后端。它内置管理控制台,能做故障转移和按成本、延迟、负载的路由策略,也能按组织、团队、项目、密钥维度设置美元或 token 预算和限流,还提供 PII、密钥、prompt 注入等安全护栏和请求日志。官方基准显示它在 4 vCPU 机器上以每秒数千请求时开销不到 1 毫秒,内存占用远低于 LiteLLM。适合需要自建 LLM 网关的平台工程、AI 基础设施和后端团队,尤其是已经在用 LiteLLM 但被性能或资源消耗困扰的人;如果你只是调用 API 做原型,和你关系不大。
★ 667 24h +3 ⑂ 15 创建 18 天前 更新 4 天前
上一页 15 / 22 下一页