伍秉鉴看谢绾不再言语，急得跺了跺脚，然后憋出一句，
“鲁公，伍某人在商路上也行走了五十多年，希望您信守承诺。”
然后拱了拱手，颤巍巍的向门口走去。
谢绾看着他的背影，追了一句，
“伍老先生，我一定不让清国沦入万劫不复。”
伍秉鉴停住脚步，转身又对谢绾一躬，随即离去。
1841年3月1日，英军继续向广州进攻，攻占沧州炮台。
3月13日，琦善因议和误国，被押解进京查办。由于新任清英战争总指挥，靖逆将军奕山、隆文尚未到任，杨芳暂领广东军务。
杨芳用女人秽物御敌，结果清军一败涂地。英军逆珠江而上，攻陷沿途炮台，占据广州十三行商馆。
此时广州进行中外贸易的旺季来临，英国和其它国家的商船停泊珠江口外，迫切要求开市贸易。义律也因兵力不足，无法轻易进攻广州。杨芳则因各省调集的兵勇没有到齐，亦不敢轻举妄动。在此情况下，义律与杨芳出于各自的考虑，于3月18日达成临时休战协议。
双方约定：“广州商业应当照常进行，商船应当到黄埔去卸货。省政府不得令英人具结，清国应当照常征收港口税和商税。凡鸦片及其它走私货物，如经查获，应予没收，禁止将人拘留或施以各种惩罚。”这样广州的和平维持了两个月。
在这两个月中，“姚巡捕等将女子剃发，并跟班送进（杨芳私宅）。杨芳之兵在外嫖者，将麻疯婆应之，两月以来，官兵之染麻疯者不少，而杨芳之子在外嫖者过于杨芳，时服药尚不能好。”
这种紧张的局面，还能玩儿女人，也是很沉得住气。
4月14日，在虎门陷落两个月后，奕山一行才抵达广州。
奕山为道光帝侄儿，此前任伊犁将军。奕山以“粤民皆汉奸，粤兵皆贼党”、“防民甚于防寇”，另在福建招募未经训练的士兵，又日夜饮酒作乐——此人比起同为满人的琦善，又荒诞多矣。
5月初，各省开赴广东的一万七千援军亦陆续抵达，合原驻之兵，广州清军达到两万五千。道光以为大军云集，着奕山“迅速督饬兵弁分路兜剿，务使该夷片帆不返”，“全将该夷驱逐，各地尽行收回”，一再督促发兵攻剿。
在道光帝的严令催促下，奕山等谋划夜袭、偷袭、火船等战术，突袭英国商馆、战舰，略有小胜，但给周边民船造成的损失更大，英船倒是一艘都没有沉，只是略微退避。
5月22日早晨英军两千四百人反攻。清军三路军队一哄而溃退；英军以蒸汽帆船一艘进至泥城港，施放火箭，烧毁聚泊在港内的清军师船、火艇六十余只。
23日，义律发出告示，限清军十二小时内退出广州城，否则就要率兵占据城池。当晚，英舰二十三艘开进虎门，掳掠战船和民船五十多艘，溯珠江至广州城下，炮攻西炮台、天字码头和东炮台，纵火焚烧城外民房。
24日，英军在广州登陆，清军望风溃逃，从广西采运而来的木筏材料和三十余艘油薪船，尽落入英军之手，英军乘势占据泥城炮台。一路从十三行商馆区登陆，占领商馆。奕山下令紧闭城门。
25日，英军继续登陆，扫除沿途的障碍。当日占领广州城北越秀山上的四方炮台，炮台清军阵亡五百名。