目前在考虑V100组双卡。然后我看人家说流水线，他这个首字延迟会比较大，我在想要不要搞张量并行，但是张量并行的话。他们说通讯会非常多。必须要走NV link，但是我Nv link的板子，我看都要在一千左右。有点性价比不高。所以我在想，他这个NV那个真的很重要吗？
我看。一个b站的up主，他用的是。双卡雷7用的支线版的vLLM走的张量平行速度，在八用户并发。总生成速度在100token左右。我个人用，应该够快，但是他并没有说次延迟等问题。
所以有没有人试过在张量并行的情况下。 NVLink和PCIe差距大吗？
最好测试的是moe模型。例如Qwen3.6 35b之类的。