其后是刘邦称帝，再其后是臧荼造反。臧荼为自己的不老实付出了惨重的代价，刘邦亲率大军，一举灭之，捎带俘虏了栾布。
当时的梁王彭越闻得这个消息后，专程进京，在皇帝面前为栾布求情。就这样，栾布又捡回了一条命，并且成了彭越的属下。
没多久，彭越派栾布出使齐国。栾布前脚刚走，彭越自己犯事了，被刘邦逮住，斩尽三族。并且刘邦还不解气，割掉彭越脑袋悬挂于洛阳城楼下示众，并放出话来：收敛或看望彭越头颅者>
而就在此时，栾布回来了。
他跑到城楼下，对着彭越的脑袋述了半天职，然后烧纸祭拜，还大哭了一场。
当然，他也很快被绑了起来。
按理说，刘邦派几个人过来就地砍掉就可了事。然而，刘邦也许觉得这样不解气，因此亲自跑过来把栾布大骂了一阵，临了还催促道：“赶紧煮死他”（速烹之）。
随从们当即冲上去，拽着栾布就走。就在临锅那一跳时，他突然扭头冲刘邦吼：“我还有一句话要说！”
刘邦很有意思，一见有人和他对骂，立马来了劲，冲随从们吼：“把他拉回来。”
一干人只好架着栾布又跑了回来。栾布很硬气，劈头盖脸地骂了很长一段话，其中有这么一句——楚汉争锋，若无彭王，项氏不灭，你也当不了皇帝。
骂的过瘾后，他俩眼一瞪：现在可以烹了。
而刘邦却是那种拉住不走打着倒退的角色，挥了挥手，“放了他吧！”
就这样，栾布平白捡回了一条命。至此，他的倒霉蛋日子终于可以结束了。
不过令刘邦没有想到的是，他抽这么一次筋，却给他的孙子留下了一笔财富，这是他始料不及的。