level 2
Are蓝月
楼主
RT,自己起了一个工作站,RTX PRO 6000 Blackwell 96G显存的,作为一个小的服务器,目前发现通过API调用工作流,显存占用都很低,几个人一起使用的时候任务在排队,一个个的完成,想问问吧里的大神,用什么方式能够把串行改为并行
我目前的方式是:通过一个代码启动多个实例在不同的端口上,然后用nginx进行转发,这个确实能实现多个并发,缺点是每个实例各自使用一个独立的显存块(A实例加载的模型B实例用不到,B实例会重新加载一套,导致起不了多少个实例-实测只能起三个实例,4个实例会爆显存)
吧里还有没有别的办法能加大并发并确保显存不爆?
2026年06月01日 07点06分
1
我目前的方式是:通过一个代码启动多个实例在不同的端口上,然后用nginx进行转发,这个确实能实现多个并发,缺点是每个实例各自使用一个独立的显存块(A实例加载的模型B实例用不到,B实例会重新加载一套,导致起不了多少个实例-实测只能起三个实例,4个实例会爆显存)
吧里还有没有别的办法能加大并发并确保显存不爆?