而后长江中游还有一堆地方武装坐在王陈两派之间骑墙，江州庐山一带大混战，严重毁坏自然风光。
公元559年6月，枭雄陈霸先病死。王琳趁机发起总攻。开始很顺利，把陈将吴明彻打得只身逃还。560年二月，王琳帅舟师顺江东下到了芜湖附近。北齐派出刘伯球，慕容子会领兵在西岸支援王琳。这时候宇文氏趁着王琳东走的空虚，派出数万人袭击郢州，王琳怕军心不稳，压下消息。2月14号，西南风大作，王琳领舟师顺风直逼建康。屯在芜湖的**在侯瑱的指挥下开进长江跟在他后来。占了梁军的上风口，反而使王琳处于劣势。王琳的军队此时犯了一个绝对错误，居然向**丢火炬，可逆风，反而烧了自己船。实在让人怀疑王琳是否紧张过度而思维混乱，当然也可能某一时间段风向有变。或者是军士私自的决定。从王琳为人来看，他的属下自由散漫。侯瑱趁势发起猛攻。梁军溃不成军。溺死了十之二，三，逃到岸上的被**追杀殆尽，西岸接应的齐军陷于芦荻烂泥中自相蹂践，刘伯球，慕容子会全被俘虏。至此，梁军全军覆没。王琳乘坐舴艋舟逃到湓城，还想收集离散军士，但此刻大家都保命要紧，再也没有人愿意跟他搞光复大业了，王琳只好带着妻妾、左右亲信十几个人逃奔北齐。同时抵达的还有小皇帝萧庄。萧庄后来病死在这异乡。
北齐的皇帝让王琳在合肥一带召募武人，军事威胁陈朝。王琳的侄女婿陈朝合州刺史裴景徽愿意作内应，再攻陈朝。王琳见新败，手下又都是新召的，犹豫不绝，裴景徽心急如焚等着度日如年，担心事情泄漏，干脆跑到齐国来了。
北齐皇帝就任命王琳为骠骑大将军、开府仪同三司、扬州刺史，镇守寿阳。等到王琳兵强马壮，蓄意待发了，同在齐国对陈前线的尚书卢潜又来拖他后腿。陈茜通信到寿阳，愿意和北齐和亲。卢潜很配合地把这封信上报上去，同时要求息兵。北齐皇帝同意，决定改变对陈方针。王琳一肚子气，和卢潜争执不断。562年初，北齐皇帝把王琳调到邺城去，任命卢潜为扬州刺史。
寓公王琳在邺城一晃就是十年多。南边陈茜病死了。他弟弟陈琐当了皇帝。北齐的皇帝是一个不如一个。落到无愁天子高纬手里，把国家玩得日益糜烂。宇文氏挑拨陈朝进攻北齐。好渔翁得利。公元五七三年，陈将吴明彻大举北攻。著名的美男子兰陵王就是这时候死的，他知道自己让皇帝高纬讨嫌，在家里称病，高纬想，敌军来了你还装歪！就把他杀死了。重担自然落到了熟悉南人的王琳身上。高纬另派了尉破胡与之配合。尉破胡开局不利，就被吴明彻击溃。吴明彻把王琳围在寿阳。在淝水筑堰灌城，城里人都得了水肿腹泻，死了十之六七。而齐将皮景和等带着十万大军屯在寿阳三十里外，居然不采取任何救援行动。王琳从七月守到十月，城陷，被从前得手下败将吴明彻俘虏。卢潜也一道当了囚徒。“援军”皮景和见势不利，溜得飞快。驼马辎重一股脑儿留给了**。
得知消息，无愁天子高纬终于面露愁色。他的宠臣却是伶俐：“就算我们齐国尽失黄河南岸，也还可作一龟兹国呢！”高纬转愁为喜。如此没心没肝的朝廷，真替王琳不值！
王琳被押到**军营，一路很多当地百姓哭着跟着。吴明彻军中不少是王琳当年的老部下，个个流着泪为他请命，争相送来生活日用品。吴明彻本来想把王琳槛送到建康，可一看这架势，吓坏了。万一有不要命的在半路上劫了囚车怎么办？心一横，派人追上囚车将王琳斩杀在寿阳东二十里。消息传开，哭声震天。田夫野老，知与不知，莫不为之流泣。有个老头儿拿着酒肉来到王琳身死之处，祭奠之后，将浸着王琳热血的，还戴着余温的土收集而去。尘封中，该有怎么样的一段往事啊！王僧辩流亡北齐的长子得知噩耗，登上高冢，对着南方痛哭而绝。
王琳被传首建康。他的头颅高悬市中，直视陈家三代朝廷。王琳故吏朱玚上书陈朝廷要求埋葬王琳的首级。吴明彻居然好几次梦见王琳向他求取首级，也开口帮着说话。陈朝皇帝同意了。于是王琳的尸首合一，被埋在寿阳附近的八公山侧。在这陈朝的领土上，上千人参加了这个陈朝世敌的葬礼。不久扬州茅知胜等五人悄悄挖出王琳的灵柩，秘密送到邺城。再次举行了隆重的葬礼。一代绝世偶像带着忠武王的谥号归于黄土。
王琳其人，在历史上争议很大，有人说他虚伪，不值得那么多人崇拜。我认为，他肯定是有政治野心的。从王琳的人际关系看，他总是和下级非常铁，而和上司搞不好，感觉不是个甘居人下之辈。但是他对梁朝的忠贞决不假。虽然人很有些政治家的