可视化对比不同 LLM 如何切分同一段文本的 token
Star50
24h 新增—
7 天新增—
Fork0
Issue0
语言TypeScript
项目介绍
更新于 21 小时前
这是一个在线的分词器对比工具，让你把同一段文本丢进去，直观看到不同语言模型会把它切成多少个 token、怎么切。它底层调用 openai/tiktoken 来计算准确的 token 数，同时把切分结果可视化出来，比如哪些词被合并、哪些被拆开。对写 prompt 的人来说，这能解释一个常见困惑：为什么字数差不多的两句话，计费和上下文占用却差很多——比如中文和英文在同一模型下的 token 效率差异，或者加了空格标点后 token 数突然变多。适合需要估算 API 成本、优化 prompt 长度、或想理解模型如何「读」文本的开发者和算法工程师；如果你平时不碰 LLM 的计费和上下文管理，这个工具和你关系不大。
上手成本：中
Star 趋势
话题标签
aillmnextjsreacttiktokentokenizervisualization
仓库信息
| License | MIT |
| 创建时间 | 2026-11-05 |
| 最后推送 | 1 天前 |
| 热度分 | 0.0 |