次年正月二十一日朱守谦抵达桂林。此时守谦年已十五有余。王府文武众官难以开喻。他就惹得两广地方的官员百姓们一片嗟叹怨恨声。朱元璋遂先将其召回南京管教，又废为庶人软禁于凤阳皇城。七年后他觉得侄孙儿态度有所改变，便重新恢复他的王爵，派他去云南当王，给予他的待遇本应为银质的靖江王册印改成了亲王规格的金印金册，俸禄也随之上涨。官属仪仗则达到了皇太子的规格。但朱守谦不谨宪度，狎比小人；性情乖戾，阴贼险狠，肆为yin虐，国人苦之，还作诗讥刺。引古牵今，内多含冤抱恨。朱元璋一怒之下，从而废其为庶人，“锢之京师”，不多久就重复了朱文正的老路。而他的长子朱赞仪则被朱元璋给收养了。
洪武三十年，刚刚十五岁的朱赞仪便随着十三位叔祖父（朱元璋之子：晋、燕、周、楚、齐、蜀、湘、代、肃、辽、庆、谷、秦十三王）一起长途游历（自湘、楚入蜀，历陕西，抵河南、山西、北平，东至大宁、辽阳，还自山东），不但在路途中增进彼此家人情谊，更广览山川，饱经劳苦。于是，朱赞仪在史书上留下了“恭慎好学”的美名。第二年，恢复为王世子。