应该说，这时的辛弃疾，充满了建功立业的自信，从年轻时就立下的理想、领兵作战的韬略眼看就有实现的可能，他真的是跃跃欲试了！眼望着半壁江山，他充满了焦虑，也充满了渴望，渴望纵驰疆场。
然而令人遗憾的是，淳熙七年(1180)年底，朝廷来了一道调令，辛弃疾又被任命为隆兴知府兼江西安抚使，不得不离开湖南。
那么，面对这种种的误解和攻击，面对仕途中不断的风波，辛弃疾究竟如何想又如何做呢？中国的士大夫文人常常奉行儒道互补的人生哲学，就是将儒家思想和道家思想互相调剂补充。辛弃疾虽然是个不折不扣的儒家思想的积极实践者，但他对道家思想也有很深的体会和认同。面对着仕途中不断出现的风波和危机，辛弃疾当然也和其他的士大夫文人一样，希望能够从道家思想这里找到解决的良策。
既是报国无门，他便到江西修了一座带湖别墅，咀嚼自己的寂寞。
带湖吾甚爱，千丈翠奁开。先生杖履无事，一日走千回。凡我同盟鸥鹭，今日既盟之后，来往莫相猜。白鹤在何处，尝试与偕来。
破青萍，排翠藻，立苍苔。窥鱼笑汝痴计，不解举吾杯。废沼荒丘畴昔，明月清风此夜，人世几欢哀？东岸绿阴少，杨柳更须栽。
这回可真的应了他的号“稼轩”，要回乡种地了。一个正当壮年又阅历丰富、胸怀大志的政治家，却每天在山坡和水边踱步，与百姓聊一聊农桑收成之类的闲话，再对着飞鸟游鱼自言自语一番，真是“闲愁最苦”，“脉脉此情谁诉”？
约在第一次在江西为官（淳熙二年至三年任江西提刑）期间，辛弃疾就在江西上饶城外一里左右处买下了这块地皮。此处风景优美，有一个狭长如带的湖泊，名为“带湖”。他规划在此建造几十间房屋，开辟些菜地和稻田。由此可见，对于官场生活，辛弃疾早已是心生厌倦，只是，他的事业心又让他不愿轻言放弃而已。淳熙八年(1181)秋，辛弃疾在带湖旁的新居将要完工，此时他正在江西安抚使任上。
辛弃疾的追求从来不在于做一个词人。他由武而文，又由文而政，始终在出世与入世恫矛盾，在被用或被弃中受煎熬。他是贾谊、诸葛亮、范仲淹一类的时刻忧心如焚的政治家，对国家民族有一颗火热的心，也不怕谗言倾盆，明知不可为而为之。所以随时局起伏，他就大忙大闲，大起大落，大进大退：稍有政绩，便招谤而被弃；国有危难，便又被招而任用。
我常想，要是为辛弃疾造像，最贴切的题’目就是“把栏杆拍遍”，他一生大都是在被抛弃的感叹与无奈中度过的。历史的风云，民族的仇恨，正与邪的搏击，爱与恨的纠缠，这一切如地壳内岩浆的滚动鼓胀，冲击着他敲打着他。既然这股能量不能化作刀枪之力，不能化作施政之策，便只有一股脑儿地注入诗词，化作诗词。他并不想当词人，但武途政路不通，历史把他逼向了词人之道。
辛弃疾的改革与整顿，既是“不为众人所容”，终于就在他离开长沙的第二年，受到革职处分，被迫退隐。那一年，他才42岁。可以说，长沙既是辛弃疾仕官生涯的一个顶点，也是他人生的转折点。从此之后，他就转入了断断续续20来年的闲居生活。英雄还没老呢，却不得不任剑鞘蒙尘，也不得不受制于人。但他一刻也没有忘记过他的报国理想，所谓“位卑未敢忘忧国”，他的一颗心，始终在为大宋王朝跳动着。可除了一声声长啸，化为两行清泪，辛弃疾内心的无奈和痛苦自是无以言说。而他这位悲剧英雄明知不可为而为之的霸蛮精神，自此丰富并充盈到湖南人的性格里，使得湖南人的精神内蕴多姿多彩、深沉苍凉。
后来，宋廷向金国求和。开禧三年(1207)秋，金人以索取南宋权臣韩伲胄的首级为议和条件。韩大怒，再次对金用兵，并想请辛弃疾出山，以壮军威。而此时，辛弃疾病已沉重，最终“抱恨入地”。