震惊,发现一个邪修的提速调用API的Toks/s的方法。
高通吧
全部回复
仅看楼主
level 13
yfy1990610 楼主
这里只用Harness调用DeepSeek官方deepseek-flash的API为例子。
一句话概括方法:给光猫和主路由器加风扇。
我的网络是联通150Mbps光纤入户,非桥接连接ROG AX6000红蜘蛛作为中心网络分发路由器,然后用一个ROG AX86U pro做无线桥接,再从AX86U网线连接到台式机的网线口上。
主板是技不如人,勇气可嘉的X870E master。
因为ROG AX86U pro本来就是散热优化版本(前面有发热比高通火龙888还离谱的ROG AX86U,这型号直接下线被86U pro取代),又是单点连接,性能没有瓶颈,所以没必要加风扇。这里排除变量。
直接说结果:
光猫和AX6000都没风扇
白天:205-211toks/s
夜晚:257-279toks/s
光猫和AX6000都加风扇
白天:239-253toks/s
夜晚:292-316Toks/s
具体这俩哪个瓶颈,我盲猜是联通送的光猫。
理论上别的模型也能这么提速。
2026年10月17日 19点10分 1
level 1
真的假的,agent工作应该不费多少带宽啊,那下载时候光猫和路由器不得热起飞
2026年10月18日 04点10分 2
实测啊
2026年10月18日 11点10分
level 3
大概是光猫路由发热导致的丢包抖动吧。本质上是路由光猫连接问题/发热问题导致的网络环境问题
2026年10月18日 04点10分 3
level 7
啊???
2026年10月18日 05点10分 4
level 1
很难说会有效果,通过https远程调用大模型时,实质上是单tcp连接,远程不断将模型输出结果一个帧一个帧发过来。
本质上,这和单线程下载没有区别,而大模型生成速度大约300token/s,如果用uft8编码,一个token估计几个字节,合计只需要几kb每秒的带宽,对网络延迟也没有要求。
所以说如果真的是靠散热解决问题,那大概率你的光猫或者某一级路由器/交换机哪怕负载很低也会有很明显的丢包问题。你可以用各种测速网站测试下加风扇前后丢包率和最大网速(上传和下载)变换大不大。如果变换不大,我倾向于不是网络设备问题。
2026年10月18日 12点10分 5
1