BPE对中文就是降维打击？生僻字Token效率低到离谱 - 代码吧

level 5

挖掘狂人楼主

最近在看LLM的底层原理，发现主流的Tokenizer（比如基于BPE的）对英文很友好，但中文似乎是以Unicode码点或者随机拆分字节来处理的。
想问一下，如果输入一个文言文或者带有大量生僻字的文本，Token效率是不是会变得极低？
另外，有没有针对中文优化过的Tokenizer？感觉现在的大模型在中英文混合场景下，Token计数太不准了。

2026年06月16日 09点06分 1