等到张方开赴到长安城下时，长安市民们早就得知消息，城外百姓遁逃一空，城头守卫森严。而张方在城下要求见阎鼎一面，阎鼎自是不出，只是派人传话，要求张方返回弘农，继续抵御东军。
张方至此终于认清现实，他已然为关中士人所抛弃了！而且这一路走来，身边的军士也多趁夜离散，张方赖以维持军纪的残杀手段，也不能禁止。短短半月之内，两万军士便只剩下了不到万人。
这种情况下，张方也不敢再待在关中，更不敢返回弘农，于是就走武关之路南下。只是逃亡路上，张方想到这一路的种种遭遇，可谓是又恼又恨，他便放开了禁制，令麾下沿路抢掠，虽不能攻破大城，可遇到一些村庄和小坞堡，都烧杀不止。通过这种手段，张方才补给了部分粮草，又收拢了一些山匪马贼，最后总算有了万余人兵力，顺带于六月攻克上洛，又有了一个落脚之地。
他本来还觊觎关中，想着等关中无法抵御东军时，最后又把自己请回去。可事情接下来的发展，彻底让他丧失了信心。在祖逖等人抵达洛阳之后，阎鼎迅速与祖逖接洽，表示己方已经驱赶张方，名义上愿意服从祖逖与司马范的统治。但阎鼎的条件是，襄阳王司马范可以入关，但他们希望祖逖能够留在洛阳，为关中抵御东军。
换言之，关陇士族已不想再掺和关东的乱事，只想保持实质上的独立与和平。
祖逖同意了这一条件。他手指大河，当众割掌立誓。表示若关中能每年为他供给粮秣，他愿意只身留在洛阳，在粉身碎骨以前，绝不让任何人通过潼关。
而随着这一协议的达成，关中又与朝廷恢复了和平，张方也自知再无法返回关中了。
好在天无绝人之路，七月下旬，张方又想到一条新的出路。此前又有不少关陇流民前往荆州，与上洛马贼有旧，张方由此得以与南阳的关陇流民联系。由于擅长抚民的刘弘已死，流民们正对未来感到惴惴不安。他们还不知张方为关中士族所驱逐的消息，只道是张方作为关陇领袖，要来给流民们撑腰，于是大喜过望，表示愿意拥戴张方为主。
八月，张方挥师南下，得京兆王如、南安庞实、长安侯