开发者与Astra合作推出了一款等宽token字体原型，使每个token在视觉上占据相等宽度，为用户提供了直观理解AI模型分词行为的新方式。该项目通过在线编译工具实现定制化，用户可自由组合不同的基础字体与分词器来生成专属字体，随后可将其安装至Discord和Slack等平台，在实际环境中查看AI生成文本的token分…
GigaToken 是一款高性能分词器工具，在语言模型处理中展现出显著的速度优势 。与 HuggingFace tokenizers 相比，该工具的分词速度快约 1000 倍 ，可达到 GB/s 级别的吞吐量 。