等张方一行人赶到宜阳城下时，还是在深夜子时，城里灯火辉煌却又静寂无声。原来，宜阳守军今日举行了晚宴，人们连篝火都忘了灭，就已经各自散去歇息了。在城楼上的士卒们也都困顿不已，基本没有人在城墙上巡逻，仅有的一小部分醒著的人，也躲在城楼內进行烤火。
张方虎师抵达城下，见此情形，可谓大喜，他们当即缚槊为梯，悄悄在城下搭了一个云梯，送百余人轻装上城。翻过城墙后，这百余人突然作难，將看守北门的城卫一举杀死，继而打开北门，放张方所部入城。
虎师將士一入城池，隨即大呼大喝，四处放火，顿时令防守鬆懈的城內守军陷入混乱。大部分人根本没想到是敌军偷袭，就连主將皇甫商，在听到喧囂时的第一反应，也以为是手下人喝多了发酒疯引起夜惊。
趁守军反应不及，张方率军先捉拿俘虏，拷问主將皇甫商所在，而后即刻率兵猛攻过去。结果正好遇上了出门查看形势的皇甫商，两者狭路相逢，张方一行人全副武装，而皇甫商毫无防备，情急之下，皇甫商令亲卫死命抵挡，隨即单骑出逃。而隨著主將的出逃，城內的守军也无法组织起有效的反抗，无非是睡梦中刚刚惊醒，就被这些关西的虎狼们驱逐屠杀罢了。
隨著两个时辰过去，张方全面接管了宜阳城。这一战，他出其不意，大获全胜。仅以数十人的代价，就俘虏了六千余人，宜阳守军仅有千余人得以逃脱。而张方也没有安置降军的意思，次日晌午，便將这些俘虏尽数斩首，数千级头颅垒成京观，模样骇人至极。
而最重要的是，他终於打通了关中通往河南的道路。
得胜以后，张方遣使至陕县报捷，征西军司上下几乎不敢置信，司马顒再三確认后，可谓大喜，他夸讚张方道：“振武便是我的韩信、白起啊！”而后令大军调头反向，火速与张方会合。
此时在宜阳与洛阳之间，不过有新安何攀的三千守军而已。
何攀接纳皇甫商，得知宜阳失守的消息后，大惊失色。宜阳既失，再驻留在新安函谷关一带，便將沦为孤军。一旦张方自东西同时进攻，將无法守御。他只好放弃函谷关，一面向滎阳司马乂处传信，一面退守洛阳金墉城，等待朝廷的下一步命令。
司马乂得此消息，对皇甫商的守御不力，自然是极为恼怒，可恼怒解决不了问题，张方的大军也不会在原地等待。一个更为现实的问题摆在他面前：到底要不要坚守洛阳。
如祖逖便上表分析称：所谓一鼓作气，再而衰，三而竭。与北军接连两次大战后，禁军已经濒临力竭的窘境。而相比之下，西军方获初胜，士气大涨，又兵精粮足，双方若接战，我劳而敌逸，纵使禁军乃天下强兵，恐也不易取胜。
因此，以保守起见，他建议司马乂弃守洛阳。
