可就在这时，麻烦来了。据《宋史》记载：“时枢府有不乐之者，数沮挠之。”“枢府”就是枢密院，是宋朝军队的最高领导机关和全国军务的总理部门。面对这来自上层的压力，辛弃疾的反应是：“行愈力，卒不能夺”，最终没有停止建军的行动。可由于南宋一直面临着金国的，威胁，时刻准备着战争，不得不养着大批的兵员，军费支出巨大。现在辛弃疾建设地方军队，从中央财政收入中再给他拨很多的经费，那就不太现实了。
《夷坚志》记载，在建造飞虎军的军营时铺砌道路需要大量石料。辛弃疾便下令调集全城在押囚犯，到长沙城北驼嘴山去开采，按罪行轻重定量，凿石量多质好者可以赎罪。为此，囚犯们个个争先恐后，所需的石块在很短的时间内备齐，而他连一两银子也没花。
为了筹措经费，辛弃疾还想了很多办法开辟财源，增加收入，他当时就实行过一项把“税酒法”变为“榷酒法”的改革。原来潭州的酒都在城外酿造，再送入城中去卖，入城时，官府根据酒的数量收税。辛弃疾便下令关掉那些酿酒的作坊，对酒实行官府垄断经营，这也就是所谓“榷酒法”。通过这种改革，官府这项收入大大增加了，可也导致一些人颇有怨言。于是，就有人向皇帝告状说，辛弃疾胆大妄为，利用建飞虎军的名义，在那里大搞摊派，搜刮民脂民膏，已经闹得民怨沸腾了！
宋孝宗知道建设军队需要花大钱，中央既然没有从财政上给辛弃疾很多支持，辛弃疾为了办成这事在地方上搞摊派，自然很有可能，如果因此又闹出什么事来，那就麻烦了。于是，他立即颁下御前金字牌，要辛弃疾马上停止飞虎军营的建设。“御前金字牌”是宋代专供皇帝用来传递紧急重要公文的木牌，是皇帝的御旨，日行五百里，其形制为木牌红漆上书黄金字，上面刻有“御前文字，不得入铺”的字样。因此，接到金字牌的官员必须立即服从皇帝的命令。现在，辛弃疾就收到了这么一面金牌，他已经投入了巨大心血的飞虎军创建工作便面临着半途而废的危险。
对皇帝的命令，辛弃疾当然不好正面对抗，但是，他却玩了个阳奉阴违的花招：他恭恭敬敬地收下了金字令牌，却“受而藏之”。然后，他不动声色地把负责监督工程建设的人叫来，下了一道死命令：一个月内，必须把飞虎军的营寨建好，否则军法处置。此令一下，那些负责工程的人自是急得睡不着觉，日夜施工，拼命地赶工期。不久，他们就发现了，一个难以克服的问题：当时秋雨绵绵，无法烧制屋瓦。主管只得苦着脸跑到辛弃疾那里汇报。辛弃疾问：“要多少瓦？”回答说，20万。辛弃疾说：“别担心，我有办法！”第二天，长沙城内外的居民便接到了一则通知：每户供应20片瓦，官府立付100文，限两天内收齐，送至飞虎军营地。这20片瓦对于每户人家来说，当然不是什么大不了的事，只需要从自家的屋檐上匀一匀。结果，不到两天，屋瓦便全部筹足。
一个月后，飞虎军的营寨完全建好了。这时，辛弃疾便赶紧打了一个报告，把建营的前后过程及收支账目详细加以陈述，并绘制了飞虎军营栅图，一并呈给了宋孝宗。皇帝一看，生米都已煮成熟饭了，账目也清楚得很，没什么好说的，自是不好追究了。
营垒筑成，辛弃疾又派人到广西购战马500匹。此时，飞虎军拥有步兵2000，骑兵500,都是壮健勇武之士。他亲自坐镇，督导操习，严申军纪，勉励将士忠君爱国，报国雪耻，而扰民者轻则罚，重则格杀勿论。飞虎军脱颖而出，很快成为当时沿江各地军队中最精锐的一支队伍，大有辛词“壮岁旌旗拥万夫”的气势。而且此后30多年里，飞虎军一直是长江一带一支有力的武装力量。飞虎军战无不胜，令金人闻风丧胆，称之为“虎儿军”，不敢轻易来犯。