接下来几天，不停的有更远地方的人听到消息赶来。人越聚越多，孙天泉和陈升感觉不能等了。在等下去，可能要出乱子。晚上清点了下人数，发现加上送回去的人，已经有600来人，再加上陈升单独召的50多个孩子，远远超出要招的人数了。商量了一下，停止招人，收拾下明天一早就走。
第二天一早天刚亮，还没人到营地等喝粥。丢掉不容易拿的东西，背上银子，粮食等重要物品，400多人就悄悄向东朝大海方向出发了。400多人虽然编了队，分别派人领着，还是走不快，等到午后停下休息吃饭时，赵家村之前等着考核，还有今天刚从远处赶来的人，追上来要求加入。有的甚至不要银子，能吃饱饭就跟着走。
孙天泉和陈升没办法，只好先管饭，再招了十几个人。走了4天才返回出发时的海边，这一路上又招了60多人。早就等候的船队放下多艘小船，用了一个下午才将所有人运到大海船及岛上。
晚上，核心人员开了一个会，庆贺顺利招够了人。应该是多招了人，连孩子全算上招了700多人，快超出一倍了。
孙天泉和陈升招人的消息，不久就传到了附近的县城，没有引起高层的重视。不过等传来赵家村发粥并聚集了大量人群时，县令以为有强人趁荒年，以招人名义聚集人群作乱。连忙关闭城门，派人上城守城。之后派人到赵家村打探消息，等打探消息的到了赵家村，孙天泉等前一天就领人走了，聚集的人群也几乎都散了。等消息传回，县令才发现虚惊一场，庆幸不已。
万历四十三年十二月二日，离开20来天的船队重新回到了小管岛，石原禀报了这段时间的情况：林千户还是在活动关系，没有确实的消息。私港处最近多出很多人在偷窥，石原怀疑是杨继兴的人。之前回家探亲的人至今还有3人没有返回，刘青等人之前通知提前归队时，有一个人明显暗示不会回来了，另外两个人不是出了事，就是也同样不打算回湄洲岛了。
出来这么久了，孙天泉归心似箭，不打算派人去抓人，也不打算再等了。石原上岸通知了林千户一声：等了这么长时间，孙管事实在等不起了。今年就不招人了，先回去，以后有需要在和林千户联系。林千户收了钱办不成事正不知道怎么办好呢，一听说孙天泉要走，也没向他要回银子，高兴的将石原送了出来。
第二天一早，船队离开小管岛，开始了南返。十二月正是西北风强劲，向南航行最好的月份。几天后，船队在经过今天连云港附近的海面时，一条小号福船触礁沉船，孙天泉和陈升虽然在第一时间安排小船去救援，船沉的太快，最后还是有20多人被沉船卷进了大海。
万历四十三年十二月二十八日，离开三个多月的陈升终于在新年前再次看到了湄洲岛的身影。