孙立人觉得虽然不十分满意，也只有迁就，一个穷学生回来，总要找一个和自己志愿稍投合的工作。于是，7月，他就去见谷正纲，被任命为中央党务学校的学生大队军事训练队长和教官。
时值全国统一伊始，尚未有正式军服，国民政府只通令，自总司令至士兵，一律布衣。孙立人却身穿淡紫色之全套美式军服，头戴阔顶硬军帽，仪表堂堂。但学员当时看不起他，因为中国军队干部多为保定及黄埔出身，鄙视留学外国者。对留学欧美回来的，学员称之为“面包帮”；对留学日本的，叫“臭鱼帮”，加之孙立人对中国军队制式训练不甚熟悉，除发“大队立正”口令外，不见有其他表现。此时，学员们认为美国军队只是适于电影表演之少爷兵，并不佩服。于是，孙立人就常作特别讲话，论及美国军校两种好作风，一为老鼠制度，老生管新生，强调军人服从性；二为荣誉制度，各种考试无人监考，但发现作弊者，立即开除。
当时学校共有三个队，另两个队长，一个是黄埔毕业生，一个是日本士官毕业生。孙立人练兵上瘾，与其他两队比着练。他训练严格，与学员同在一起吃，同在一起打球。晚上自修，孙立人也亲临辅导，与学员感情很好。然而，中央党校政治环境相当复杂，时有种种明争暗斗的风潮，这对孙立人这样有民主主义思想的军人，自是困扰重重。
孙立人对政治毫无兴趣，他一生讨厌的就是政治，所以他不愿意与政治有关联。但在当时的环境里，政治和军事是分不开的，孙立人实际上反对狐群狗党，并不反对一个正正当当的党，但是大家喜欢搞小组织，小圈子，喜欢搞党派。对此孙立人最不满意，他觉得，我们就只有一个国家，为什么还要分？大家能做事的，哪儿都能做，为什么要靠背景？孙立人身在党校，心里关注北伐进程，他从报上得知，国民革命军节节胜利，心中非常高兴。他认识到只有打倒军阀，才能国家强盛，人民幸福。
1928年，蒋介石下令在南京小营成立了一个教导队，辖有一个步兵队，一个重兵器队，一个炮兵队，一个工兵队和一个通讯队。教导队由保定军校第一期毕业生、蒋介石器重的冯轶裴统辖，装备德国武器，并以德国顾问指导训练。它成为国民党军队中唯一多兵种现代化部队。
在中央党务学校的孙立人闻听新军成立，就坐不住了，他晋见蒋介石，请调到新军任职。
蒋介石上下打量一下孙立人，觉得面似书生的孙立人身上有一种活力与生气，而且敢作敢为，有冲劲，很像年轻时的自己。蒋介石心中一动，觉得孙立人可堪大用，遂写上“同意”答应孙立人的要求，将孙立人调到新军，任工兵营第3连排长。
1928年11月，孙立人到新军报到。由中央党务学校的上尉队长变成排长，孙立人并不难过，使他难过失望的是新军本身。新军名之曰新，实质却充满旧习。孙立人虽不满意，但军人以服从为天职，只有忍耐了。在新军，孙立人苦干、实干，事事都愿多干一点。一些人到新军是为混日子，为升官，不愿多卖力气，因而常请孙立人代值星，孙立人亦概不拒绝，乐意效劳。因此，孙立人在新军中人缘相当好。12月，当部队移防南京上清河时，孙立人已调升营副。
1929年4月，蒋介石为了扩大新军，下令将教导队扩为教导师，以冯轶斐为师长。孙立人调任教导师学兵连上尉连长。在这一职务上，孙立人练兵特长得到发挥，表现突出，升迁也快。
1929年8月，孙立人升为少校连长；11月至翌年1月任学兵营中校营副；1930年1月至5月又升为陆军教导师步兵第3团第3营中校营长。
但是，孙立人却感到新军实在没什么希望，就要求调离。蒋介石很爽快地同意了。1930年5月，孙立人调到陆海空军总司令部宪警教导队，任上校大队长。总队长是西点军校毕业的温应星，孙立人清华时的同学齐学启也任大队长。