王德榜正打算撤军之时，法军已经逼近，阵地遭火炮狂轰，新筑营垒大多尚未完工，很快就被炸毁，不少勇丁未见敌就已伤亡。炮击过后，法军步兵蜂拥而来。王德榜站到阵前，一手拿着七响手枪，一手握着左宗棠的宝刀，对将士们道：“法夷面前，有进无退，有敢后退者，斩！”金老大亦是虎目圆睁，帮王德榜督阵。
王德榜所部多为旧式洋枪，法军配备的是最新连发枪，火力很猛。双方激战两小时，法军虽然最后被迫撤退，但王德榜部伤亡三四百人。
战斗的间隙，王德榜一面派人向苏元春求援，一面督率勇丁加固营垒。下午法军再次发起进攻，仍然先是炮击，然后步兵冲锋，双方苦战一个多小时，法军再次败退，而王德榜部又伤亡三四百人。部将们劝王德榜撤军，但他估计苏元春的援军十几小时内一定能赶到，那时围歼尼格里也并非不可能，所以坚持固守待援。
可一直等到第二天都没有援军的影子。法军的再次进攻被打退后，王德榜不得不率军撤出阵地，因为弹药已经告罄。他撤回板峒，清点人数，伤亡一千余人，阵亡总兵、参将、游击、都司、把总等三十余人。众人无不痛恨苏元春有意陷恪靖军于绝地，而苏元春却称自己是行围魏救赵之计，虽然没到丰谷，但是派出四营直奔船头法军营地。恪靖军能够安全撤出，法军不敢追击，全是毅新军奔袭之功。