徐德言与乐昌公主日夜兼程地回到江南，他们原本只想隐姓埋名，在民间过上男耕女织、夫唱妇随的平静生活。但因为杨素打过招呼，江南的地方官员们便认为这是很好的谄媚机会，唯恐别人不知。在发还他们当年位于建康城的驸马府时，也要大张旗鼓地举行仪式。这样一闹腾，他们回来的消息，就传遍大江南北了。
本来，按照隋制，亡国的贵族是不可以回原籍的，恐其召集旧部谋反。因此，乐昌公主是唯一一个回到故国故都的陈氏王族，让人称奇。
正是由于他们特殊的身份和曲折离奇的经历，所以江南旧朝的丈人雅士、故旧属吏，都纷纷慕名前往拜访，游客侠士也以能面见他们夫妇为荣；平民百姓十分好奇，知道是前朝公主回来，也生了几分对前朝的复杂感慨；地方官吏更是有事没事就邀请他们赴宴。他们受到了空前的追捧，成为很多人的话题。这样，他们原本要平静生活在民间的希望落空，身心无法得到安宁，生活秩序完全被打乱。
为了回避，他们决定离开建康。两人变更了装束，迁到姑苏城外的一个小镇隐居下来。他们事先购置了三间茅屋，一个小小的院落，门前很远才是一条官道，平日往来的人也不多，繁华离他们远去。乐昌公主变卖了首饰，用青布包了头，布衣荆裙装扮，完全是一个江南农妇的形象了。徐德言变换了姓名，下河捕鱼，进山采樵，与世无争，日子安逸而闲适，这种普通百姓的平静生活，他们感到十分惬意而幸福。
好日子没过多久，他们的隐居生活就被好事者发现了，并受到了比先前更多的干扰。迫不得已，他们买了条船，索性以船为家，在江南水乡的河湖江流之间，过着漂泊不定的云游生活。
就在乐昌公主隐身江湖的那些年里，世道的盛衰兴亡，每时每刻都在演进，并伴随着血雨腥风。
这一幕幕的世事变化，仿佛走马灯似的在徐德言与乐昌公主眼前晃过。他们经历了陈、隋、唐三代，最终步入古稀之年，在唐太宗贞观十年，夫妻谢世之前，才向人们透露了他们的身世。地方官得知后，层层上报，待追封的牒书下达，他们已平静地双双离去，夫妻合葬一墓。陪葬他们的，就是那面见证了他们坚贞不渝爱情的铜镜。