GigaToken 是一款高性能分词器工具，在语言模型处理中展现出显著的速度优势 。与 HuggingFace tokenizers 相比，该工具的分词速度快约 1000 倍 ，可达到 GB/s 级别的吞吐量 。