服了肉芝，又食朱草，并非毫无根基之人。我们三人一路同游，这些肉芝、朱草，独他一人得去，岂是等闲？而且前在东口、轩辕等处，口中业已露意；兼之林兄前在女儿国又有异梦；那歧舌通使又闻异人有唐氏大仙之称，以此看来，此人必是成仙而去。今已数日，岂有回来之理？我劝林兄不必找了。你就再找两月，也是枉然。”林之洋听了，虽觉有理；但至亲相关，何能歇心？仍是日日寻找。众水手也小知催过几十遍，要想回去，无奈林之洋夫妻务要等唐敖回来，才肯开船。
这日众水手因等的心焦，大家约齐，来至船中，向林之洋道：“这座大岭既无人烟，又多猛兽，我们每夜提著器械，轮流巡更，还不放心，何况唐相公一人独往？今已去了多日，即不遭猛兽之害，就是饿也饿死了，何能等到今日？我们再不开船，徒然耽搁。趁著顺风不走，一经遇了逆风，缺了水米，只顾等他一人，大家性命只怕都要送在此处了。”众人说之再再，林之洋只管搔首，毫无主意。吕氏在内说道：“你们众人说的也是。但俺们同唐相公乃骨肉至亲，如今不得下落，怎好就走？倘唐相公回来不见船只，岂不送他性命？你们既要回去，俺们也不多耽时日，就以今日为始，再等半月，如无消息，任凭开船就是了。”众人无可奈何，只得静静等候，每日怨声不绝。林之洋只作不知，仍是日日上山。不知不觉，到了半月之期，众水手收拾开船。林之洋心犹不死，务要约了多九公再到山上看看，方肯开船。多九公只得同了上山，各处跑了多时，出了几身大汗，走的腿脚无力，这才回归旧路。行了数里，路过小蓬莱石碑跟前，只见上面有诗一首，写的龙蛇飞舞，墨迹淋漓，原来是首七言绝句：逐浪随波几度秋，此身幸未付东流。
今朝才到源头处，岂肯操舟复出游！诗后写著：“某年月日，因返小蓬莱旧馆，谢绝世人，特题二十八字。唐敖偶识。”多九公道：“林兄可看见了？老夫久已说过，唐兄必是成仙而去，林兄总不相信。他的诗句且不必讲，你只看他‘谢绝世人’四字，其余可想而知。我们走罢，还去痴心寻找甚么！”回到船上，将诗句写出，给吕氏诸人看了。林之洋无可奈何，只得含著一把眼泪，听凭众人开船。兰音望著小蓬菜惟有恸哭；婉如、若花也泪落不止。登时扬帆往岭南而来。一路无话。
走有半年之久，于次岁六月到了岭南。多九公各自交代回去。林之洋同妻女带著兰青、若花回家，见了江氏，彼此见礼。众水手将行李发来。再细细查点唐敖包裹，所有衣履被褥都在行囊之内，惟笔砚不知去向
…。。