GitHub 热门
共 539 个项目 · 第 4 / 22 页
Minglink / dsh-jailbreak-workflow Agent框架 TypeScript
DSH 画布式工作流插件,主打破甲研究流水线
这是 DeepSeek Harness 的一个工作流插件,让你在画布上拖拽步骤、连线编排流程,插件把整张图编译成一份计划提示词交给模型执行,本身不带执行引擎,顺序、并行、分支、循环都由当前会话的模型自己调度。它最主打的场景是「破甲」研究:内置一条 15 步的流水线,从 200 多个探针测试开始,分析模型的拒绝模式,再定制生成破甲词,最后 API 验证并输出破甲词文件、使用手册和研究报告,适合想系统化研究 LLM 越狱的人。除此之外,它也能用来编排通用的多步任务,比如写代码、审查、不通过就回炉重修的循环流程,还能把跑通的流程导出成 Skill 复用。值得看的是关注 prompt 工程、Agent 编排和 LLM 安全研究的从业者,如果你只是想找个通用自动化工具,它依赖 DeepSeek Harness 生态,和多数人关系不大。
★ 640 24h +98 ⑂ 225 创建 4 天前 更新 18 小时前
rohitg00 / ai-engineering-from-scratch 其他 Python
从零手写模型、检索与 Agent 的开源 AI 工程课程
这是一套免费开源的 AI 工程系统课程,覆盖 542 节课、20 个阶段,用 Python、TypeScript、Rust、Julia 四种语言带你从零手写模型内部结构、检索管线和 Agent 运行时,而不是调用现成库。比如你会自己实现 Transformer、搭 RAG 检索流程、写 Agent 调度逻辑,再配上测试和评估,把失败案例拆开看清楚。课程提供网站、交互实验、项目挑战和学习路线多种入口,也有中文版 README。适合想真正搞懂 LLM 应用底层原理的后端工程师、算法工程师和 AI 应用开发者——如果你只是想快速调 API 上线一个功能,这套从头造轮子的路径对你帮助有限,但若你负责排查 RAG 效果差、Agent 行为不稳定这类问题,它能补上你缺的那块底层认知。
★ 76k 24h +108 ⑂ 13k 创建 2026-03-18 更新 1 天前
RikiyaT / lm_understand-logs AI编程工具 Python
LLM 直接读写神经网络权重实验的完整日志存档
这是博客文章《Sparks of Weight Space Programming: LLMs can understand and write neural network weights》全部实验的完整日志存档,记录了让 LLM 直接读写神经网络权重的一系列尝试。八个实验覆盖了从简单到复杂的场景:让模型只看权重判断网络是玩 Breakout 还是 Pong 训练的、判断扩散模型生成的是圆形还是方形、从中间层判断语言模型学的是 Python 还是英文、直接编辑权重修复一个坏掉的网络、从零写出 MinAtar 游戏网络、写一个 150 万权重的 Go 网络、识别谄媚的语言模型,以及用改权重的方式提升 Qwen3.5-0.8B 的数学能力。每个实验都完整保留了发给模型的提示、模型的回复与推理摘要、它写的代码及运行输出、评分依据和涉及的网络文件,且全程禁用 Codex 的内置工具,仅在少数实验里允许跑沙箱 Python。对做 LLM 能力研究、想了解「权重空间编程」这条路线真实效果和边界的算法工程师和研究者来说,这是难得的可复核一手材料;不关心模型内部机制的人则不必看。
★ 978 24h +106 ⑂ 131 创建 7 天前 更新 7 天前
anhao / ai-pose-gallery-zh 多模态 TypeScript
中文化 AI 姿势/服装/人像参考图库,附角色合成工作台与 ComfyUI 节点
这是一个把日文 AI 绘画参考图库全面中文化的静态站点,原作者是ギア(@giaaibusi),本仓库将原本分散在三个站点的姿势库、服装库、人像库三合一,共 6,162 条中文元数据、上万张本地高清图,可离线浏览。它不只是图库:内置一个 Web 合成工作台,让你从人像、服装、姿势三个槽位挑素材拼出角色配方,选好后直连 Gemini、GPT Image、Qwen、Doubao 或本地 ComfyUI 生图,还提供 12 种画风预设和自动组装的中文提示词;同时它也是一个 ComfyUI 自定义节点插件,可在画布内调用姿势、服装、人像及三合一配方节点,姿势图可一键切换素体白模与深度图接入 ControlNet Depth。适合做 AI 绘画、角色设计、插画接单的画师和 AI 美术从业者,尤其是需要稳定姿势参考和多图参考生图流程的人;纯后端或算法岗关系不大。
★ 6.0k 24h +107 ⑂ 1.5k 创建 8 天前 更新 1 天前
kingcharleslzy-ai / dsh-purge Agent框架 JavaScript
DeepSeek Harness 的社区版「破甲」插件,减少 Agent 交互摩擦并支持状态诊断与回滚
dsh-purge Community 是 DeepSeek Harness(DSH)桌面端的社区维护版增强插件,圈内俗称「破甲」插件。它不改模型本身,而是降低交互摩擦:通过宿主补丁和提示词注入,让 Agent 少反复跟你确认「要不要继续」,能连续执行任务。同时它把状态诊断、提示词与预设管理、更新和本机备份回滚收敛到一个面板里,每次改动前自动快照,改坏了能一键撤回,全部逻辑跑在本机、不上传提示词。典型场景是个人学习和动手实验,比如让 Agent 连续跑完一串实验步骤而不被中途打断,或者集中调整多套提示词预设并保留回滚点。值得看的是正在用 DeepSeek Harness 做自动化实验、个人项目的开发者,以及关心本地 AI 工具可控性和可回滚性的从业者;如果你不用 DSH,这项目和你关系不大。
★ 4.5k 24h +91 ⑂ 2.2k 创建 20 天前 更新 1 小时前
vllm-project / vllm 推理部署 Python
主流开源 LLM 推理服务引擎,高吞吐、省显存
vLLM 是目前最主流的开源大模型推理与服务引擎,可以理解为给 LLM 套上了一层高效的「调度+显存管理」外壳,让你用更少的 GPU 跑出更高的吞吐。它的核心卖点是 PagedAttention 和连续批处理,能把 KV cache 像操作系统管理内存一样切块复用,避免显存浪费,同时支持投机解码、量化(FP8、INT4、GPTQ 等)和多种并行策略。它提供 OpenAI 兼容的 API 服务,兼容 Hugging Face 上 200+ 模型架构,覆盖 Llama、Qwen、DeepSeek-V3 等主流 LLM、MoE、多模态和 embedding 模型,硬件上支持 NVIDIA、AMD、Intel GPU 以及 TPU、CPU 等。典型场景是:你想把一个开源模型部署成可对外提供服务的接口,或者在有限显存下压榨出更多并发。如果你是算法工程师、平台/基础设施工程师,或需要自建 LLM 服务的团队,这是绕不开的选型;纯做模型训练或只调用闭源 API 的人关系不大。
★ 96k 24h +77 ⑂ 24k 创建 2023-02-09 更新 33 分钟前
D3voz / openjutsu 多模态 TypeScript
本地开源的视频换人换物工具,基于 ComfyUI 与 MiniMax H3
openjutsu 是一个本地运行的视频换人工具,可以看作开源版的 Higgsfield Genjutsu:丢进一段视频和一张角色照片,点生成,视频里的主角就被替换成你的角色,同时保留原片的运镜、剪辑、动作和音轨。它基于 ComfyUI 工作流加 Next.js 前端,用 MiniMax H3 生成视频、SAM 3.1 跟踪人物、Qwen3-VL 描述画面并写提示词,全部跑在自己的 GPU 上。除了换人,它还支持多人各换各的、涂抹替换或移除头发衣服等物体、换背景、根据照片生成新姿势再转视频,以及用 FLUX 在同一次生成里重新打光。适合做短视频二创、虚拟主播换皮、广告素材改版的创作者和 AI 视频方向的工程师,尤其是想摆脱云端付费服务、在本地跑通完整流程的人;不碰视频生成的读者可以跳过。
★ 1.6k 24h +97 ⑂ 253 创建 9 天前 更新 6 天前
BaaRai / ARTEX 其他 Go
AI 自主渗透测试系统,自动规划攻击路径并可视化展示
ARTEX 是一个 AI 自主渗透测试系统,可以理解为「让大模型自己当红队成员」:你给它一个目标,它会自主规划攻击路径、调用 nmap 等工具去探测和验证漏洞,全程在 Web 界面上以任务、探索图、资产覆盖图的形式展示进展。它解决的是人工渗透测试里重复劳动多、覆盖面难保证的问题,比如子域名和端口扫描结果可以从 ScopeSentry 同步进来,浏览器扩展还能把你登录目标站点时的请求流量录下来,直接绑定到发现的漏洞上作为证据;涉及敏感操作时会停下来等人工审批,也支持在对话里实时干预。适合安全工程师、红队和攻防平台开发者,用来做授权范围内的自动化资产梳理和漏洞验证;如果你不做安全方向,和你关系不大。
★ 1.4k 24h +81 ⑂ 551 创建 27 天前 更新 14 小时前
mvanhorn / last30days-skill Agent框架 Python
让 AI Agent 跨平台搜索近 30 天舆情并合成简报
这是一个给 Claude Code 等 AI Agent 用的技能包,让 Agent 能并行搜索 Reddit、X、YouTube、Hacker News、TikTok、Polymarket、GitHub 等十几个平台最近 30 天的内容,再按点赞、upvote 和真金白银的赔率打分,最后合成一份简报。它解决的是各家 AI 搜索各有围墙的问题:Google 搜不到 Reddit 评论和 X 帖子,ChatGPT 搜不了 X 和 TikTok,Gemini 有 YouTube 却没有 Reddit,而这个技能把它们桥接起来。典型场景包括:见面前查一个人最近一个月的动态(发过什么推、上过什么播客、PR 合并情况)、销售通话前摸清一家公司近况、做产品前看社区真实在吐槽什么、出行前查园区哪些项目关闭。适合需要频繁做行业调研、竞品追踪、人物尽调的从业者,比如 AI 从业者、投资人、销售和产品经理;如果你的工作不依赖最新社区舆情,关系就不大。
★ 66k 24h +95 ⑂ 5.8k 创建 2026-01-23 更新 1 天前
anthropics / claude-code AI编程工具 TypeScript
Anthropic 官方的终端 AI 编程助手,用自然语言改代码、解释代码、处理 git
Claude Code 是 Anthropic 官方推出的终端 AI 编程助手,可以理解为 Cursor、GitHub Copilot 那类工具的终端版:你用自然语言下达指令,它会读懂整个代码库并直接动手改代码。它能执行重复性的日常任务、解释难懂的复杂代码、自动处理 git 提交与分支流程,也能在 IDE 或 GitHub 上以 @claude 的方式协作,还支持插件扩展。对日常要写代码、改 bug、做 code review 的工程师来说,它把「查代码、改代码、提交代码」这类琐事交给 AI 代办,省下大量上下文切换时间。适合后端、全栈等经常在终端里工作的开发者,尤其是已经订阅 Claude 服务、想把 AI 融入日常开发流程的人;如果你不写代码,这个项目和你关系不大。
★ 154k 24h +92 ⑂ 25k 创建 2025-02-22 更新 1 天前
Fission-AI / OpenSpec AI编程工具 TypeScript
让 AI 编程助手先写规格再写代码的流程框架
OpenSpec 是一套给 AI 编程助手用的「规格驱动开发」流程框架,简单说就是让 AI 在动手写代码之前,先把需求、方案和任务清单用纯 Markdown 写清楚,你审完再执行。实际用起来是这样的:你想加个暗色模式,先跟 AI 探讨方案,确认后它会生成一份变更提案,包含为什么做、具体需求场景、技术方案和任务清单,你看过没问题再让它逐条实现,做完归档,规格同步更新。它解决的痛点是 AI 编程助手容易跑偏、改着改着忘了原始需求,团队里多人多 Agent 协作时需求更是各写各的。它还支持把规格存到独立仓库共享,让平台团队维护需求、产品团队只读引用,跨多个代码仓库也能对齐。适合日常用 Cursor、Claude Code 这类 AI 编程工具的开发者,尤其是需要管理复杂需求、多人协作或维护存量项目的工程团队;如果你只是偶尔让 AI 写几行代码,关系不大。
★ 73k 24h +86 ⑂ 5.0k 创建 2025-08-05 更新 17 小时前
physicsdolphin / nv-uefi-unlocker 推理部署 Rust
UEFI 阶段解锁 RTX 20/30/40 显卡 Tensor 算力,AI 负载最高提速 2.6 倍
这是一个在操作系统启动前、UEFI 阶段解除 NVIDIA 显卡 Tensor 算力限制的工具,可以理解为「不刷 VBIOS 的显卡解锁器」:从 U 盘引导,在驱动加载前把被压制的张量性能放开,之后正常进入 Windows、Linux 或 Hackintosh,断电即恢复原状。它主要解决的是 RTX 20/30/40 系显卡在 AI 负载下被限速的问题,社区实测 FP16/BF16 吞吐最高约 2.6 倍,图像视频生成提速 14% 到 75%,LLM 推理 prefill 最高提升 19%。适合手里有闲置或主力 RTX 30/40 显卡、跑 ComfyUI 生图、Stable Diffusion、本地 LLM 推理或 DirectML 负载的个人开发者和小团队——如果你正抱怨显卡跑 AI 半速、又不想折腾刷 BIOS,值得花时间看兼容性矩阵确认自己的型号;纯做后端、前端或不碰本地推理的人关系不大。
★ 1.7k 24h +83 ⑂ 170 创建 10 天前 更新 39 分钟前
K-Dense-AI / scientific-agent-skills Agent框架 Python
让 Cursor、Claude Code 等 Agent 变身科研助手的技能库
这是一套给 AI Agent 用的「科学技能包」,把 Cursor、Claude Code、Codex 这类编程助手改造成能做科研的助手。它包含 177 个经过验证的技能和 100 多个科学数据库,覆盖生物学、化学、医学、药物发现等领域,每个技能本质是一份写好的操作指南,教 Agent 正确调用专业 Python 库、遵循领域惯例并做校验。比如做基因组分析时它能指导单细胞 RNA-seq、CRISPR 筛选、引物设计;做药物发现时能处理分子对接、ADMET 性质预测、虚拟筛选;还有蛋白质组学的质谱数据处理、临床试验与药代动力学建模等工作流。它遵循开放的 Agent Skills 标准,可作为插件一次性加载。对多数互联网和 AI 从业者来说关系不大,但生命科学、医药、材料等领域的研究人员,以及需要给 Agent 接入科研工作流的 AI 应用开发者,值得花时间看看。
★ 56k 24h +84 ⑂ 4.9k 创建 2025-10-19 更新 3 天前
caru-ini / stack-diagram AI编程工具 TypeScript
一句话描述技术栈,Agent 自动生成带官方 logo 的架构图
这是一个给 Claude Code、Codex、Cursor 等支持 skills 的 AI Agent 用的技能包,作用是让你用一句话描述技术栈,它就生成一张带官方 logo 的架构图。比如你说「Next.js 和 Hono API 部署在 Vercel,Postgres 用 Neon,支付走 Stripe」,它会自动从 svgl、devicon 等来源抓取各家官方图标,画出组件关系和连线,连线会绕开文字标签,不会出现箭头穿过文字的尴尬。产出物是一个自包含的 HTML 文件,字体和 logo 全部内联,不联网也能正常渲染,同时还能导出 PNG 或生成无依赖的 React 组件,方便放进 wiki、仓库或 Claude Artifact 分享。它支持 AWS、Google Cloud、Azure 各自的官方图标包,也覆盖 pnpm、Turborepo 这类开发工具链的绘制。适合需要频繁画系统架构图的后端工程师、架构师和写技术文档的人,尤其是已经在用 AI 编程助手、不想再手动拖 Visio 或 draw.io 的场景;如果你平时不画架构图,这个项目和你关系不大。
★ 1.8k 24h +85 ⑂ 84 创建 4 天前 更新 2 天前
infiniflow / ragflow RAG检索 Go
开源 RAG 引擎,把复杂文档变成可溯源的问答知识库
RAGFlow 是一个开源的 RAG 引擎,可以理解为给大模型接上「靠谱外脑」的中间层:把散乱的文档喂进去,它负责解析、切分、索引,再在回答时检索出有依据的内容。它的强项是深度文档理解,能处理 Word、PPT、Excel、PDF、扫描件、网页等复杂格式,把非结构化数据抽成结构化知识,还能编译成 Wiki、思维导图、时间线等形态。面对复杂问题时,它会自动拆解、多轮检索并核验证据,答案可溯源到具体引用。适合需要把企业内部资料做成可问答知识库的场景,比如客服知识库、合同审查、研究报告检索。对 AI 应用工程师、算法工程师以及负责企业知识管理的人来说值得一看;纯前端或后端开发、不涉及 LLM 应用的岗位关系不大。
★ 93k 24h +79 ⑂ 11k 创建 2023-12-12 更新 33 分钟前
RuoJi6 / ARTEX Agent框架 Go
让 AI Agent 自主执行渗透测试的开源系统
ARTEX 是一套 AI 自主渗透测试系统,可以理解为让大模型自己当渗透测试员:你给它一个目标和资产范围,它会自主规划探测路径、调用扫描工具、记录发现的漏洞,全程在网页界面上以会话和探索链路的形式呈现。它内置审批拦截机制,敏感操作需要人工放行,也支持人在环路对话随时介入调整方向;还能从 ScopeSentry 同步域名、IP、端口等资产数据,直接生成资产图供 Agent 探索。对安全团队来说,它把原本手工串联的信息收集、扫描、验证流程交给 Agent 自动跑,同时保留完整的执行轨迹和 Token 消耗统计。适合红队、安全运营和渗透测试工程师,以及想在授权范围内做自动化漏洞挖掘的团队;如果你的工作与安全测试无关,这个项目和你关系不大。
★ 1.2k 24h +63 ⑂ 749 创建 27 天前 更新 1 小时前
ruvnet / ruflo Agent框架 TypeScript
套在 Claude Code 外的多 agent 协调与记忆执行层
Ruflo 是套在 Claude Code、Codex 等 AI 编程工具外面的「agent 执行层」,作者把它比作模型的神经系统:模型负责写代码,Ruflo 负责给它配工具、记忆、循环和协调。装好后你照常用 Claude Code,它会在后台自动把任务拆给上百个专职 agent,让它们组成 swarm 分工协作,比如一个改代码、一个跑测试、一个做审查,还能跨会话记住经验、跨机器联邦通信,并接入本地向量检索做 RAG。对日常用 AI 编程助手的人来说,它解决的是「单个 agent 干着干着忘上下文、复杂任务没人分工、跑完就忘」这些痛点。值得看的是已经在重度使用 Claude Code 或 Codex 做工程的开发者、以及在评估多 agent 编排方案的技术负责人;如果你只是偶尔让 AI 补几行代码,这套东西对你意义不大。
★ 80k 24h +72 ⑂ 9.5k 创建 2025-06-02 更新 5 小时前
DenisSergeevitch / ex-ussr-kinship-research Agent框架 Python
给 AI Agent 的前苏联档案家谱研究技能,强调证据可追溯
这是一个给 Codex、Claude Code 等 AI Agent 用的家谱研究技能包,把 Agent 变成一位严谨的家族史调查员,专门查前苏联、苏联和俄罗斯帝国时期的档案:教会簿记、民事登记、军事档案、流放与镇压文件,以及未编索引的扫描件。它覆盖全部 15 个前加盟共和国,会按事件发生时的历史辖区(而非今天的地图)定位档案馆,处理革命前俄语、乌克兰语、波兰语、意第绪语等多种姓名变体和转写。核心价值在于证据纪律:每条结论都带可解释的状态(假设、单源、多源印证、矛盾、未决),同一份记录的副本和镜像被归入同一独立性分组,绝不重复计为独立佐证,同名者在缺乏区分证据前保持独立身份。适合有寻根需求、想让 AI 系统性查证家族史的个人,以及做东欧历史、档案研究的学者;对多数互联网和 AI 从业者关系不大。
★ 1.9k 24h +82 ⑂ 196 创建 11 天前 更新 19 小时前
odysseus-dev / odysseus Agent框架 Python
自托管的一体化 AI 工作台,整合聊天、Agent、研究、邮件与日历
Odysseus 是一个可以部署在自己服务器上的 AI 工作台,把聊天、Agent、深度研究、文档、邮件、笔记和日历整合到一个界面里,既能接本地模型也能调 API。它解决的是「AI 工具散落各处」的麻烦:比如你可以在同一个地方让 Agent 读网页做多步调研并生成带引用的报告,用盲测方式并排对比两个模型的回答,让邮件收件箱自动分类、打标签、写回复草稿,或者把定时任务交给 Agent 在日历提醒触发时执行。文档编辑器支持 AI 改写和建议,笔记和任务还能通过 CalDAV 同步到手机。适合想把日常 AI 工作流收拢到一处、又在意数据不出自己机器的个人开发者、独立研究者和小团队;如果你只是偶尔用 ChatGPT 聊天,或者公司已有统一的 AI 平台,那它跟你关系不大。
★ 95k 24h +77 ⑂ 1.8k 创建 2026-05-31 更新 18 小时前
browser-use / browser-use Agent框架 Python
让 LLM 像人一样操作浏览器的开源 Agent 框架
browser-use 是一个开源的浏览器 Agent 框架,让大模型像人一样操作浏览器:你用自然语言描述目标,它自己打开页面、点击、填表、过验证码。可以本地跑,接任意 LLM;也可以用它的云服务,拿到带隐身能力和住宅代理的浏览器,按小时计费。典型场景是那些没有 API、只能靠网页完成的活儿,比如自动抢预约名额、在多个网站比价下单、批量抓取动态渲染的数据,README 里的演示就是自动完成驾照考试预约。它还提供托管的 Agent API,适合不想自己搭基础设施的团队。值得看的是做自动化运营、数据采集、RAG 数据管道的工程师,以及想给产品加浏览器操作能力的 AI 应用开发者;如果你的工作和网页自动化、Agent 落地无关,那跟你的关系不大。
★ 120k 24h +74 ⑂ 13k 创建 2024-10-31 更新 1 小时前
deepseek-ai / DeepInfer 推理部署 Python
DeepSeek 官方开源的大规模生产级模型推理框架
DeepInfer 是 DeepSeek 官方开源的高性能推理框架,也就是支撑 DeepSeek 线上大规模生产服务的那套推理引擎,目前支持 DeepSeek-V4.1-Flash 模型的离线推理。它把 FlashMLA、DeepGEMM、DeepEP 等自研算子和 MoE 专家并行、EPLB 负载均衡、投机采样、异步调度等生产级优化打包在一起,还提供确定性采样和结构化输出(按 JSON schema 或正则约束生成),保证不同 batch 组成下结果一致。适合需要在自有集群上高吞吐部署 DeepSeek 模型的团队,比如做推理服务的算法工程师、负责 GPU 集群利用率的 infra 工程师,以及需要复现 DeepSeek 官方性能基线做选型对比的人。注意它只开源了推理核心,KV cache 系统、Prefill/Decode 分离和负载均衡等完整服务组件并未包含,纯做应用层开发或轻量调用 API 的读者关系不大。
★ 25k 24h +78 ⑂ 3.1k 创建 20 天前 更新 2 天前
kyy-logs / code-review-skill AI编程工具 Shell
给 Claude Code/Codex 的可审计代码审查 skill,四探针出证据化报告
这是一个给 Claude Code 和 Codex 用的代码审查 skill,核心卖点是让 AI 的 code review 变得可审计:它会跑四个独立的探针,分别检查行为、测试、规则和影响面,每条发现都必须附带具体位置、涉及的契约或代码路径以及严重级别,缺证据的结论直接不算数。它只做静态分析,读 diff、周边源码、测试和项目规则就能工作,不需要构建或跑测试,也不会改动被审查的代码,最后的合并门禁结论由机器可读的 JSON 生成,避免模型自己复述自己的判断。适合在 PR 合并前想拿到一份结构化、可追溯审查报告的工程团队,尤其是已经在用 Claude Code 或 Codex、希望把 AI 审查纳入流程的后端或全栈开发者。不过作者自己也说明它不能替代测试、CI 和人工审查,对并发缺陷的检测尚未验证,如果你只是想找一个能自动把关的工具,它更像辅助而非兜底。
★ 225 24h +84 ⑂ 1 创建 7 天前 更新 1 天前
ollama / ollama 推理部署 Go
本地一键运行开源大模型的工具,可对接各类 AI 编程助手
Ollama 是目前最主流的本地大模型运行工具,可以把它理解成「模型界的 Docker」:一条命令就能把 DeepSeek、Qwen、GLM、Gemma、Kimi、MiniMax 等开源模型拉到自己机器上跑起来,数据不出本地,同时提供统一的 REST API 和 Python、JS SDK,方便程序调用。它解决的麻烦很具体:想试一个新模型不用自己配 CUDA、拼推理框架,也不用把敏感数据发给云端 API;最近还打通了 Claude Code、Codex、Copilot CLI 等 AI 编程工具的接入,让这些工具直接用本地模型当后端。值得看的人包括想在内网或个人电脑上跑模型的算法和后端工程师、需要离线或隐私合规方案的团队,以及希望给编程助手换成本地免费模型的开发者;如果你只用云端 API、从不碰开源模型,那和你关系不大。
★ 185k 24h +68 ⑂ 18k 创建 2023-06-26 更新 9 小时前
ggml-org / llama.cpp 推理部署 C++
本地跑大模型的 C/C++ 推理引擎,几乎所有硬件都支持
llama.cpp 是用纯 C/C++ 实现的大模型本地推理引擎,可以理解为「让 LLM 在你自己的电脑上跑起来」的通用底座,几乎所有本地部署方案都绕不开它。它不依赖 Python 环境,支持从 1.5-bit 到 8-bit 的多种量化格式来压缩模型体积,覆盖 Apple Silicon、NVIDIA、AMD、Intel、华为昇腾等几乎所有硬件后端,还能在显存不够时让 CPU 和 GPU 混合推理。实际场景比如:想在自己 Mac 上离线跑 Qwen 或 Llama 做代码补全、给内部知识库搭一个不联网的 RAG 服务、或者在边缘设备上部署轻量模型做语音转写,都可以直接用它起一个兼容 OpenAI 格式的接口。对 AI 应用工程师、算法工程师以及需要私有化部署的后端开发者来说,这是必看的基础设施级项目;如果你只做模型训练或纯云端调用,关系不大。
★ 133k 24h +68 ⑂ 25k 创建 2023-03-10 更新 34 分钟前
f / prompts.chat Agent框架 MDX
最大开源提示词库,可浏览、收藏 prompt 与 AI bot 团队
prompts.chat 是目前最大的开源提示词库,前身是知名的 Awesome ChatGPT Prompts,收录了社区贡献的大量 prompt,兼容 ChatGPT、Claude、Gemini、Llama 等主流模型。除了浏览和收藏提示词,它还托管了常驻 AI bot 及其协作团队,可以查看每个 bot 需要跑在云端还是本地、如何与其他 bot 配对接力完成任务,并附带一套 30 多章的免费交互式 prompt 工程教程,覆盖思维链、少样本学习等技巧,支持 17 种语言。对日常用大模型写文案、做翻译、搭 Agent 工作流的从业者来说,这里是找现成 prompt 和 bot 组合的快捷入口;做企业内部 AI 落地的人也能自建私有实例,避免内部 prompt 外泄。如果你完全不碰 LLM 应用,那它和你关系不大。
★ 175k 24h +73 ⑂ 22k 创建 2022-12-05 更新 3 小时前
上一页 4 / 22 下一页