大批的太平军在江西集结。尽管南京已经易手，江苏、浙江和安徽的太平军已经肃清，但造反运动远未寿终正寝。左宗棠帮助杨岳斌出任了皖赣军队的总司令，刘典成为他的副手。杨岳斌在曾国藩最初组建的基本队伍中只是一名编外军官。他在操控战船方面表现出出类拔萃的本领，以水师统帅而闻名。他不是学者，但他胆识超群，也有指挥才干。他在江西屡屡战胜太平军，收复了赣北的大片区域，被拔擢为陕甘总督。从编外军官到总督，这在大清帝国是空前的纪录。
蒋益澧从湖州追逐太平军南下，与来自浙江的几支劲旅协同作战，于1864年9月18日在徽州包围了3万敌军，促使他们投降。在从敌军整编过来的部队里，有7000枝外国制造的来复枪。在整个秋季，太平军逐渐被赶出江西，涌入福建。刘典带领他的8000名湖南兵和大批江西部队推进到赣闽边界，配合左宗棠平定福建。左宗棠很快意识到，福建有很多麻烦在等着他。在攻占湖州之后，他立刻开始从陆地和海上向福建调兵遣将。陆军奉命在延平集结，走海路的部队奉命开往福州和泉州。
左宗棠请求朝廷解除他兼任的浙江巡抚一职，因为他要全力对付福建的太平军。他推荐蒋益澧出任巡抚，杨昌浚升任布政使——任命很快就下达了。他着手打理该省的财政事务，整顿厘金。厘金是官员们现在最欢迎的税种之一，货物只要交付了关税，在该省任何地方都可免除再次征税。他免除了所欠的赋税和捐输，确定了一定期限免除人头土地税的标准，以鼓励那些在荒废的土地上恢复耕种的人们，并且重新调整了该省的盐税。