随后林懿之跟着高祖东征西战，立下赫赫战功，没几年后高祖登基，林懿之便因此而得封为申国公。
曹家先祖吃味嫉妒也就嫉妒罢，谁知酒后失言竟然将自己的心思说了出来，因而这话便被有心人传扬了出去。
林懿之知道后，便说曹家先祖心眼有点小，谁知也不知这话怎地又被传了出去，还传成林懿之说曹家先祖眼大肚小，没有本事……两家便因此而结怨。
孝明帝元后早丧无子，那时申国公林业之父——老国公林越还健在，孝明帝曾私下问老国公关于立后一事，老国公出于皇权不受威胁方面的立场考虑，说道：“若是立曹氏为后，曹家掌管西北大军，这样岂不是会造成外戚专权？”
孝明帝却说二虎相争，渔瓮得利，只要他去世后，儿子萧煜做山观虎斗，让曹家和藩王斗，那么儿子的皇位岂不可保万无一失。
老国公又忧虑道，就怕与虎谋皮！孝明帝听了老国公的话，对于立曹氏为后不免有些犹豫。
然后老国公又说：“若是立曹氏为后，也不是不可，但西北军的军权就可要换人。”
为此当时朝廷争论不休，立后一事便被一再延后。
二人的话被孝明帝身边的太监暗地里传给了当时的曹贵妃——也就是如今的曹太后，因此曹太后不免也对老国公记恨于心。
最终病弱的孝明帝临去世时，立了曹氏为后，只是那时西北军领兵大将再换人的话却也已经来不及。