1854年4月初，曾国藩败走岳州，他在给朝廷的奏折中自责道：臣奉命汇剿，还没有出湖南境内，就遭此挫败，这都是我调度无方。
石达开堂弟石贞祥与林绍璋率军趁势追击，占领长沙城北五十里外的靖港，紧接着又攻占长沙西南部的湘潭。
4月21日，曾国藩召集众将商议：是先攻打靖港，还是先攻打湘潭？众人意见出现分歧，有个别人建议先攻靖港，但是多数人认为先攻湘潭，因为湘潭是大商埠，军事重镇。曾国藩同意多数人的建议，最后决定，先攻打湘潭。4月25日，由褚汝航、彭玉麟、杨岳斌率水师5000人，塔齐布率陆师5000人，快速向湘潭进军。
第二天，突然团勇来报：靖港只有数百太平军驻守，兵力空虚，可趁此一击，不可坐失良机。曾国藩听信此言，决定率军前行；临行之前，李元度劝阻道：我精兵已调赴湘潭，靖港之太平军虚实难料，万不可轻举妄动。曾国藩听不进李元度的话，轻敌冒进，亲率八百陆勇，水师五营，大小战船四十余艘进攻靖港。驻守靖港的太平军根本就不是数百人，而是2000人。
湘军的船只顺风顺水，刚靠近岸边就遭到太平军的炮火猛烈轰击，湘军指挥船被击伤，各船赶忙降下船帆，欲退行到靖港对岸的铜官渚躲避，不料，太平军出动二百余条小划，对湘军水师发起猛攻，砍断缆绳，湘军船只失去牵引，在风浪和炮火中或毁或沉，溃不成军，湘军水师损失三分之一。
坐镇白沙洲的曾国藩闻讯水师遭袭，急忙率领八百陆师向靖港方向增援，曾国藩不知是计，大批埋伏好的太平军迅即黑压压地冲杀过来，来势凶猛，湘军士兵一见这阵势，掉头就跑，狼狈不堪，曾国藩立在桥头，指着令旗喊道：过旗者斩！但是，士兵只顾逃命，遏止不住。曾国藩见状破口大骂，怒不可遏之时，竟投水自尽；此时，只见一人迅速跳入江中，一把拉起曾国藩，将曾国藩救上战船。
此人是章寿麟。李元度等人预料，如果兵败，曾国藩必死；所以安排章寿麟躲藏在船舱，随时准备救险。曾国藩见是章寿麟，愤怒道：是谁让你来的？！章寿麟随即应道：湘潭传来胜仗，特来报告。曾国藩听了精神一振，信以为真，穿着湿衣，狼狈退回长沙市郊南湖港。
靖港之败，曾国藩不断遭到长沙官绅们的冷落、鄙夷；在心灰意冷，悲愤交加之际，写下遗书，欲再次自裁；此刻，湘潭获胜的捷报真的传来，曾国藩终于长长地舒了一口气。
不久，太平军主动撤出靖港。
