用albert文本转32向量，为什么batch-size不同时结果会略有差异？

level 1

双月鸟6666 楼主

文本转32维向量数据不一致问题：
使用huggingface下载Albert-v2权重到本地，读取文本进行推理，为什么用gpu时batch_size设置不同值，同一条文本的向量不一样？

2025年02月28日 14点02分 1

level 1

双月鸟6666 楼主

看下图，同一条文本，不同batch-size时结果：

2025年02月28日 14点02分 2