不久，海上风和日暖。女子哭着说：“你归去的日子快到了。”此时国王派人对王榭说：“您某日就可以回去，现在可以同家人道道别情了。”女子安排下酒宴，但却只是悲泣，说不出话来，那神态就像雨水冲洗后的娇花，露水沾湿的弱柳，真个是绿惨红愁，香消体瘦。王榭也觉得非常地悲伤。女子作了首告别诗，说：从来欢乐聚会只怕少，自古男女恩爱最终希今夜孤帐留下千年恨，梦魂牵绕应逐北风飞。
女子又说：“我从此不再渡海到北边去了。如果使你看见我不再是今天的样子，你将会憎恶我，哪有时间来怜爱我。我见你也会生出嫉妒之情。现今我不再北渡，愿老死在我的故乡。这里所有的东西，你都不能拿走，这不是我舍不得。”女子令侍女取来一丸灵丹，说：“这灵丹可以召还人的神魂，死去还未超过一个月的人，都可以使他复活。
方法是用一块明镜放在死者胸上，把灵丹安放在颈项上，再用东南方的艾枝作柱来灸烧，死者立刻活过来。这灵丹是海神秘藏而珍惜之物，若是不用昆仑玉盒装上，就不能渡越大海。”刚好女子有玉盒，女子交给王榭并把它拴在王榭的左臂上。然后两人大哭而别。国王说：“我国没有什么东西可赠送你的。”便取来纸笺，作诗道：
当初乘大船向南海航来，
漂流至此偶然作我乡客。
从此你我相见不再有期，
万里风烟迷漫云水相隔。
王榭告辞拜谢。国王命人取来飞云轩。飞云轩送到，原来是一鸟形的毡兜子。让王榭进入毡兜后，国王又命取来化羽池中的水，洒在王榭乘坐的毡兜上。又召来老公公、老婆婆两人，让他们扶助王榭归去。国王告诫王榭说：“你应当紧闭双目，很快就到了你家。不这样，即会堕入大海。”王榭闭上了眼睛，只听得风声、怒涛声在耳边掠过。
过了一段时间，王榭睁开眼睛，已然回到了自己的家，坐在家中堂上，王榭向四周看去，不见一人，只见屋梁上有双燕子在呢喃私语。王榭向上看去，才知自己曾经居住过的国家是那燕子国。不一会儿，家人出来慰问，都说：“听说你的船被大风狂涛毁坏，已经死了。为什么又突然归来了呢？”王榭说：“只有我一人抓住一块木板而活下来。”王榭也不告诉他们自己曾居住过的那一国家。
王榭只有一个儿子，他离家时才三岁。此时不见儿子，问家人，家人说：“死去已经半个月了。”王榭伤感哭泣不已，忽然想到女子所说的有关灵丹的话，命人打开棺材，取出尸体，按照女子所授的方法烧灸，儿子果然又活了过来。
到了秋天，二只燕子即将离去，它们悲鸣在庭户之间。王榭用手一招，它们飞来停站在王榭的手臂上。王榭取来纸笔，用小字写了一首绝句，系在燕子尾巴上，诗中说：
误到华胥神奇国里来，
娇美的人终日特怜才。
飞毡飘去从此无消息，
临风洒泪不知几百回。
来春燕子归来，直接落在王榭的手臂上，燕子尾巴上有一小纸柬。
取来一看，上面写有一首诗，是一首绝句。诗说：
从前的相逢真是命数相合，
而今的两地隔绝却是生离。
来年春天你纵寄来相思字，
阳春三月天南已无燕子飞。
王榭深自感到怨恨不已。第二年，燕子果真不再飞来，这件事也便流传在众人的口中，因之把王榭居住的地方称为乌衣巷。刘禹锡《金陵五咏》中有一首《乌衣巷》诗说：
朱雀桥边野草花，
乌衣巷口夕阳斜。
旧时王榭堂前燕，飞入寻常百姓家。
从此便可知道王榭的故事确实不是虚假的。