时俊被虞允文一刺激，当即拔出双刀，率步军勇猛出击，宋军一下士气高涨，拼命冲杀。完颜亮亲率的这路金兵进军以来，从未遭到像样的抵抗，此时碰到强大对手，瞬间垮下来了。

江面上的宋军战船，也向金军的大船冲去。宋水军多是踏车海鳅船，大而灵活，而金军船只底平面积小，极不稳便，宋船乘势冲击，就像尖利的钢刀一样，插进金军的船队，把敌船拦腰截断。敌船纷纷被撞沉。敌军一半落在水里淹死， 一半还在顽抗。太阳下山，天色暗淡，江面上的战斗尚未结束。

恰有一批从光州（河南潢川）逃回来的宋兵到了采石。虞允文发给他们战旗、军鼓，从山后面摇动旗帜，敲着鼓绕到江边。江上的金兵听到南岸鼓声震天，看到山后无数旗帜在晃动，以为是宋军大批援兵到来，纷纷逃命。虞允文命强弓劲弩尾随追射，大败金军。完颜亮暴跳如雷，将畏战的军卒全部斩杀！

虞允文取胜后，上奏捷报，又对诸将道：“敌人今日失败，明日必再来，不能掉以轻心！”

当晚，虞允文派水军统制盛新，率船溯江而上，到杨林河口，告诫他道：“敌船从河口出，你们奋力齐射，必与其死争，勿令敌船出江。如河口无敌船，则以克敌神臂弓射北岸。”

盛新领命，停船于杨林河口江心，望敌军来上船，齐力射敌，敌军望见舟师，遽退却，上岸者都陷泥中被射杀，官军再于上流放火焚烧敌军战舟三百而回。虞允文再具捷报。

两次失利，完颜亮颇为恼火，又使诡计，下了一伪诏，教王权按约投降，派遣在瓜洲俘获的镇江军校尉张千，持书到采石矶军前，将士见此伪诏，都变了脸色。因若主将王权有预谋投降，其他部将当然难逃干系。虞允文一眼看破完颜亮伎俩，急忙道：“这是敌军反间计！”

此时李显忠已经到了采石矶，听将士诉说了虞允文指挥情形，内心对虞允文已是佩服万分，因而出言道：“虽然如此，也应以朝廷处罚王权之事回复，断绝其念头。”

虞允文深以为然，回书道：“以前王权望风而逃，致使你如此嚣张。朝廷已将王权重置典宪。现统兵新将是李显忠，你难道不知他威名？闲话少说，再奋一战以决雌雄！”

完颜亮得书大怒，气得将他的龙凤舟也焚毁了，将提议在采石矶渡江的梁汉臣斩首，率军奔扬州去也！