史书载：瓒每与虏战，常乘白马，追不虚发，数获戎捷，虏相告云“当避白马”。因虏所忌，简其白马数千匹，选骑射之士，号为白马义从；一曰胡夷健者常乘白马，瓒有健骑数千，多乘白马，故以号焉，
公孙早前所战多为戎边之少数民族，因战之所乘多为白马故为敌方所忌，因此拣选白马号为白马义从，有震慑之势。白马义从组建较早，后一直由公孙瓒直接挑选人选。
赵云投奔时，白马义从早已成规模，人员已经稳故，而且赵云这些人公孙瓒有没有看的上也不好说，与袁绍的战事也很快打响，赵云成为白马义从的可能性真的很低！