对自己的家族、东晋政治、乃至中国政局都产生很大影响。
公元383年8月，前秦符坚亲率步兵60万、骑兵27万、羽林郎，共90万大军从长安南下，符坚宣称：“以我百万大军，即使将马鞭扔到长江中，也足以让长江断流。”
谢玄派谴刘牢之率5000北府军精锐奔袭洛涧，大破前秦军5万，杀敌15000，北府兵初战告捷。淝水决战，谢玄的8000北府骑兵趁符坚军队后撤，过淝水猛攻前秦军阵，前秦军顷刻崩溃，符坚的弟弟苻融战死，符坚本人中箭，落荒逃走。
淝水一战，8000北府兵大破秦军主力，历史记载：杀散、歼灭前秦军70万人！符坚的王朝也因此崩溃。
后来，北府兵收拾桓玄，直到2000北府精兵跟随刘裕杀到建康称帝，北府兵影响了中国几十年。
虽然严格意义上讲“北府兵”有几个时期，但总的来说，从谢家整合开始，北府兵就成了名副其实的精锐部队，这支部队的著名将领如刘牢之、刘裕等人也成了举足轻重的人物，哪个门阀能控制北府兵，他就控制了江南汉人政权。
北府兵从谢玄整合开始，就成了大门阀的雇佣兵，东晋朝廷对它的指挥都不灵。
北府兵的入选是因为他同时具备强大战斗力和对政局的强大影响。