曾国藩接咨，回曰：润芝多虑，安庆之围，绝不可撤。曾国荃、多隆阿、杨载福、韦俊等围城打援，已近年余，城垣弹指或破，岂可前功尽弃！陈贼玉成，野战尚可；武昌城高墙厚，陈贼攻坚甚难。李匪世贤自休宁、徽州围攻祁门不成，已自皖南入赣，攻战婺源；复斩我大将陈明南，大败王开琳部；吾若渡江，左宗棠自成孤注，皖南必失！
赵烈文道：启禀涤帅，陈狗玉成的确悍勇，大江南北，唇齿相依，或可先北后南。
曾国藩道：武昌城高，胡润芝多虑。李匪世贤十万悍军麇集婺源，不特祁门之粮路接济已断，即景德亦无粮路，余等与左公俱在围困之中，祁、休等处军心方欲动摇，此时北渡，吾必分崩离析；待武昌事定，须求北岸分兵一助南岸耳。
国藩言语间，探子急报：李匪世贤阵斩皖南镇总兵陈大富，攻占景德镇。左宗棠难扼其锋，败退乐平。李匪世贤率军四万，直奔祁门而来。
曾国藩惊悸，急道：左季高如何？伤否？
探子道：左宗棠无恙，现被李尚扬逆匪困围乐平。
曾国藩道：速传吾令，鲍超霆军，停追李秀成匪部，火速回援乐平；此令十万火急。
景德镇失，粮道被阻，曾国藩强作镇定，速召众将，曰：黄匪文金、刘匪官芳、古匪隆贤等，皆被打垮；李匪世贤，虽攻占景德，然已是强弩之末。吾令，祁门、黟县各军，速聚休宁，围攻徽州；徽州得，即可断李匪后路，届时，会合左宗棠、鲍超二部，两面夹击，彻歼李匪。
1861年4月13日，曾国藩亲临休宁，指挥攻击徽州事宜。
9000湘军，兵分两路，西路以副将唐义训为主，副将沈宝成、同知朱声隆辅之；北路以开归道张运兰为主，副将娄云生、参将杨镇魁、张应超辅之；两路大军，东西呼应，二攻徽州，均无进展。忽有倾盆暴雨，连注一日，徽城守军乘机反击，湘勇无备，四散而去。
李世贤再接再厉，速偕徽州得胜之军，合击祁门大营。
曾国藩困守祁门，粮断援绝，湘勇屡有哗变，国藩惊惧，熬煎益急，上吊自裁，被幕僚欧阳兆熊救下。
国藩叹曰：即此不死，营破亦死！
国藩言罢，致书其子曾纪泽：余通籍三十余年，官至极品，而学业一无所成，德行一无可许，老人徒伤，不胜悚惶惭愧。今将永别，特立四条以教汝兄弟。一曰慎独则心安。自修之道，莫难于养心；养心之难，又在慎独。二曰主敬则身强。修己以安百姓，笃恭而天下平，敬之效验也。聪明睿智，皆由此出。三曰求人则人悦。若但知私己而不知仁民爱物，是于大本一源之道已悖而失之矣。四曰习劳则神钦。此四条为余数十年人世之得，汝兄弟纪之行之，并传之余子子孙孙。则余曾家可长盛不衰，代有人才。
左宗棠退防乐平，痛定思痛，急谓众将道：侍逆兵锋甚盛，祁门大营，摇摇欲坠。吾等若不拼死一搏，亦将全灭！
降将黄少春道：李逆尚扬，与侍逆同姓，侍逆甚相倚重。然其甫一小挫，辄丧肝胆。吾率一队，直取其首，逆军必溃。
左宗棠道：沧海横流，方显英雄本色！黄将军勇武，即擢中军游击；明日全军围击，先挫逆匪戾气；后日且看黄将军于万军丛中斩取李尚扬首级。
4月15日，左宗棠集合全军，围攻城外太平军。李尚扬不敌，败退桃岭。翌日，黄少春跃马挺矛，杀奔李尚扬营帐。尚扬亲兵拦阻，皆被矛戮。李尚扬胆怯，不敢再战，策马逃遁，其下部卒，随之溃奔。左宗棠挥军追击，斩杀三千余众。
李尚扬部溃败，李世贤不敢等闲视之，即令全军，暂弃祁门，返攻乐平。4月19日，李世贤率军四万，号称十万，再战桃岭，力挫楚将崔大光、游击黄少春，斩杀副将罗近秋。左军大败，退防乐平。
李世贤连营十余里，围攻乐平。
左宗棠饬令各营傍乐平县城东南，加修外濠，周十余里；又令南乡团练入城固守，以作疑军。宗棠亲执战刀，督率楚军，分守外濠，负隅顽抗。
李世贤屡攻不下，遂遣主力，主攻西城；枪炮箭矢昼夜环放，连击三日，楚军渐渐不支。左宗棠急召杨昌濬、刘典、王开化、王开琳议战。
杨等皆惶。
宗棠道：侍逆勇猛非凡，而心机甚深。生死存亡，或于今日，或于明日，或于后日，抑或于此时！再不反击，坐守待毙。绝地反击，倾巢而出，决一死战。吾令，王开化守护西门，誓死拖住侍逆主力；即便城破，亦要死战。王开琳兵出东门，攻恃逆东路。左某偕刘典一军，攻贼军中路。擒贼先擒王，杨昌濬率亲兵营，寻得侍逆，砍其狗头。我等倾出城垣，侍逆必分兵堵截；时机得当，王开化亦必杀出！
李世贤主取西城，行将告破，正自得意；忽听三声炮响，左宗棠、杨昌濬、刘典、王开琳等嘶叫着杀出。
李世贤猝不及防，速分围攻西城之军，分而抗之。
两军鏖战，胜负难分。王开化见状，亦率军杀出
李世贤顾此失彼，忙中出乱，身中一刀，怆然而退。军无主将，太平军慌乱不堪，人马自相蹈藉，霎时乱作一团。
左宗棠饬令追围，一气斩杀四五千余。
乐平大败，李世贤元气大伤，一退三百里，遁入浙江，再不敢战。
世贤溃去，粮道得通，国藩喜曰：左宗棠以数千新集之众，破十倍凶悍之贼，因地利以审敌情，蓄机势以作士气，实属深明将略，度越时贤。自此，凡祁门之后路，一律肃清，余可安枕而卧。
赵烈文道：启禀涤帅，江南江北纷纷来报，逆匪似有麇集安庆之象。
曾国藩道：伤敌一千，自损八百；与侍逆血战半月，吾亦折损甚巨。传令各军，休养整顿，十日之后，分援安庆。
赵烈文道：沅甫来报，欲以程学启养母之亲子为质，招抚程学启一军，涤帅以为如何？
曾国藩道：安庆南濒长江，东及菱湖，西接皖河，惟北门城外，贼筑石垒四座，衔连集贤关，为贼逆粮资通道。沅甫浚濠两道，驻垒数十，雄峙集贤关与安庆北门之间。本意外拒援贼，内困悍匪。胡润芝饬令强攻，沅甫、季洪屡攻石垒不得，遂意招抚。然石垒守将程学启任气使侠，恐不可信，安庆战局，牵一发而动全身。招抚事小，反复事大，速告老九，安庆早晚得破，切勿惑于一时，因小失大。