“授人以柄，其祸不远，说不定什么时候，蒋某人便会对自己下手！”杜心五暗想。
不顾妻子阻拦，当晚，杜心五气愤地来到蒋介石的住处。卫兵将杜心五拦在门外，说委员长已经休息了。杜心五不容分说，拨开卫兵，径自闯了进去。果然，蒋介石已经躺在床上，手里正捧着一本《曾文正公文集》倚枕夜读。见杜心五疾步走进来，蒋介石赶紧坐起来问：“这么晚了，杜老有什么急事吗？”
杜心五在一张椅子上坐下来，看着蒋介石道：“委员长，杜某家里今日被人秘密查抄了。”
蒋介石面露惊讶道：“有这等事？钱物都损失了多少？”
杜心五道：“钱物倒是没有损失，窃贼偏偏只拿走了杜某的一摞书信。”
蒋介石笑了一下，意味深长道：“这么说来，那人并非一般的窃贼，杜老翰墨精湛，师法二王，旷达高古，对方定是奔着杜老的墨宝来了。”
杜心五没有笑，脸上显出严肃的神色，道：“那摞书信中有我与乡党林伯渠的三封通信。”
蒋介石敛了脸上的笑容，道：“林伯渠？共匪陕甘宁政府主席？你在与他通信？”
杜心五一脸坦然道：“我与林之通信，光明磊落，所言皆为国家救亡图存之计。我以为，外侮当前，同为中华民族同胞，同仇敌忾、共御外敌才是当务之急。”
蒋介石凝眉注目，面色严峻道：“杜老，本人对您一向是敬重的，但是，身为国民政府要员，私与共匪交结，如传言出去，叫人如何解释？”说罢，蒋介石将手中的书页合上，置于床头桌上，一脸不悦，“杜老，夜深了，您也该回府歇息了。这件事，我想还是请您回去三思吧。”
杜心五看着蒋介石，没有回答，良久，他站起身来，头也不回地走出了蒋介石的官邸。
次日，山城重庆雾霭浓重，朝天门码头上，轮船的鸣笛深沉激越，回荡在长江上空。杜心五携家眷登上了东下洞庭的汽轮。他站在船舷上，手扶栏杆，回望身后的山城，心底禁不住喟然长叹。
从蒋介石住处回来后，他毅然作出了辞官归家的决定。是夜，他万千感慨涌上心头，于是挥毫赋诗一首：浮生七秩意如何，望眼江山泪滂沱。冯唐易老徒遗恨．，李广难封訾言多。壮慨胸臆寄江水，梦魂龙泉剑新磨。啸傲一声乘风去，长江共我同哭歌。
杜心五凝视诗行良久，最后在诗题抬头处写上“代辞呈”三个字。写好后，他将诗作装入信封。凌晨，他来到陈布雷住处，将信封交予陈布雷，并嘱其转交蒋介石。
杜心五再度回到湘西慈利老家。故居庭院荒芜，蛛网满檐，踏上大门台阶，眼望门楣，朱漆斑驳，泥金褪色，杜心五不禁眼热鼻酸，潸然泪下。
傍晚时分，他独自一人来到父亲的坟头，默声坐在碑前，眼望碑上的夕阳残照，青须凝止，面容沉郁，身躯一动不动，宛如一尊石雕。
返家不久，一天，杜心五收到大汉奸周佛海寄来的一封书信，同时，收到周佛海一并寄来的三百块银元汇票。原来，早年留日期间，周佛海曾与杜心五相识，同为湖湘子弟，自然有过一番交谊。
周佛海书信云：“杜兄隆鉴：闻悉兄自渝辞官归梓，弟深为萦怀，以兄之雄才大略，理当驰骋海内，建功立业，今弟为国家民族计，奔走斡旋于国内国际之政坛，若兄能援弟以一臂，共襄国是大计，实乃弟之幸甚，国之幸甚，附信聊奉薄资，区区不成敬意，还望隆兄笑纳……”
杜心五看着信纸，再看着那张三百银元的汇票，鼻孔深处冷笑了一声，随后“嚓嚓”几下，将汇票撕得粉碎。撕罢，他忽又停住，将地上的纸片捡起来，拼在一起，另在一张纸上写下了一行文字：“卖国汉奸，遗臭万年，何面信函，原物奉还。”
辞官归家之后，杜心五并没有在家赋闲，凭借他的武林威望和社会影响，他在乡里积极组织抗日救国活动。因目睹蒋介石政府的昏庸与腐败，杜心五开始与共产党人密切联系，因此，他便成了蒋、汪政权的眼中钉肉中刺，南京和重庆皆欲除之而后快。好在他武功高强，数次都化险为夷。
全国解放前夕，杜心五为逃避敌特的追杀，由中共地下党保护，来到湖南省会长沙。新中国建立，他历任湖南省政协委员、中南军政委员会顾问。1953年7月8日，杜心五于长沙市北门寓所打坐时溘然长逝，享年84岁。