可是，小学毕业后，胡琏因家境贫寒，没办法继续学习，胡景彦就给他聘了邻村姑娘吴秀娃为妻。胡琏跟吴秀娃拜了天地后，母亲王富女对他说：“儿既有才，可以去当个乡里的教师。”胡琏却说：“家有五斗粮，不作猴儿王。”又说，“儿可从商，来帮助家里。”母亲说：“我儿非经商之才，难以成功。要不去有钱人家，做个管家，你看可以吗？”胡琏昂着头说：“去给人做奴仆，岂大丈夫之所为！”这也不行那也不行，母亲生气地说：“那你究竟要干什么？”胡琏慨然说：“投军报国，这才是我的愿望！”
胡琏铁了心要投军。刚好天遂人愿，冯玉祥在河南招兵买马，胡琏便跑去参军，在国民革命军第2军冯子明部任文书。不久，他接到在广州当医生的亲戚的来信，对方劝胡琏南下广州投考黄埔军校，寻找出路。但胡家穷得实在拿不出旅费，胡琏的结发妻子吴秀娃卖了嫁妆，又提前卖了娘家的青苗，终于筹集了南下的盘缠。胡琏非常意外，也非常感动，当时就向吴氏发誓，将来发达了一定要报答她。
1925年中秋节前后，来自陕西华县乡下贫寒农家的18岁青年胡琏，终于到达当时中国革命的中心广州。在黄埔军校第四期开学典礼上，胡琏与张灵甫、林彪、刘志丹、袁国平、李弥、文强、唐生明等日后在中国大地上叱咤风云的人物们站在一起，聆听校长蒋介石的训话。
胡琏进黄埔军校后，先在入伍生团训练数月，后分配到第四期步兵科第7连学习。当时陈赓大将正在黄埔四期担任连长，胡琏成为陈赓的学生。胡琏非常勤快，也非常好学，在各项考核中成绩优良。因表现突出，他获准加入了中国国民党和“孙文主义学会”。
黄埔四期毕业时，正是1926年第一次大革命时期，学生们都参加了北伐战争。在陈诚、张治中、蒋鼎文等一流人物成为蒋介石的股肱之臣时，四期生还是“小兵辣子”。胡琏从排长干起，次年升连长，以后升营长、团附、团长。
1926年，以黄埔军校为主力的北伐军势如破竹，直捣两湖。因战斗频繁，北伐军急需补充一大批中下级军官，又因胡琏作战勇敢，战功卓著，颇受赏识，擢任排长。但是北伐之后，胡琏所在部队被遣散，胡琏也因此失业。
在穷困潦倒中，胡琏得知他的同乡、黄埔一期的关麟征时任南京警备司令部警卫第2团团长，于是远赴蚌埠投奔。关麟征亲自对这位小老乡进行了口试和实兵指挥测试，并认可了胡琏的才干，任命胡琏为第1连连长。陈诚当时是南京警备司令，所以这是胡琏加入“土木系”的开始（十一师的“十”、“一”两字合而为“土”，十八军“十”、“八”两字合而为“木”，故名“土木系”）。1928年8月，陈诚任第11师副师长，由于担任过黄埔军校教官，陈诚钟爱黄埔弟子，并在他的部队中大量罗致黄埔学生，用为中、下级军官。关麟征团并入陈诚师为第61团，胡琏仍任连长。
在中原大战中，胡琏所在的第11师奉命向归德进攻。冯玉祥部用密集的炮火反击，并以敢死队拼死抵抗。战斗异常激烈，一些士兵胆怯败退，胡琏拔出手枪高喊：“谁敢后退，我就枪毙谁！”
经过一场激战，胡琏的连队拼死守住了阵地。这一仗，胡琏的指挥能力和胆量给陈诚留下了深刻的印象，陈诚决定重用胡琏，提拔他为营长。
就在这个时候，胡琏经人介绍，与14师曾粤汉团长（后为被国民党授予少将军衔）的妹妹曾文瑜相识。1930年左右，胡琏喜新厌旧，把留在老家的糟糠之妻吴秀娃遗弃，把临别时发的誓言抛到九霄云外，迎娶了曾文瑜。
曾文瑜接受过新式教育，又颇会交际，后来又与蒋经国的夫人蒋方良打得火热，或许这也是胡琏后来飞黄腾达的一个原因。
胡琏的一次战斗影响了全局，蒋介石心血来潮要升他为少将，最后却没有了下文
1933年秋，蒋介石在南昌召集“剿共”部队师长、参谋长以上将领会议，部署实施第五次“围剿”计划。这次，蒋介石经过了5个月的充分准备，调集了超过100万的兵力，从9月中旬开始，对红军的赣南、赣西北、闽西、鄂南、闽浙赣边区，分北、西、南三路同时“围剿”。其中，主力北路军率先在9月28日占领了黎川。
10月，“剿共”东路军总司令蒋光鼐与蔡廷锴的第19路军与红军签订军事协定；10月下旬，蒋光鼐、蔡廷锴和陈铭枢、李济深等人在福州成立了“中华共和国人民政府”。
蒋介石闻“闽变”，决定了“先戡乱，再剿共”的策略，命令蒋鼎文、张治中、卫立煌各部立即由赣北入闽，进行镇压；同时命令陈诚率所部主力，由闽北的南城、南平间，东入赣南的黎川，将江西革命根据地和福建政府之间的连接点切断，防止两方联手作战，并掩护入闽各部之侧背安全。
陈诚指挥的北路军下辖第36军和第18军。12月中旬，第36军由黎川向其南的团村前进，并打算进出赣闽交界的关卡隘口；第18军由所部第11师派出第66团，向第36军东侧游击前进。胡琏此时担任该团团长。
在第36军出发南进的头一天，总指挥陈诚召集营级以上军官训话。训话结束时，白日西沉，天色将晚。第67师402营营长刘景蓉与胡琏是黄埔同年，一向很熟，他说道：“伯玉兄，到我那儿喝二两，叙叙旧。”胡琏也不推辞，两人勾肩搭背，向营部而去。
刘景蓉居然摸出一瓶陕西的西风酒，胡琏一见，喜出望外，不觉口水都流出来，一把抓过来，对着瓶口“咕嘟咕嘟”灌了几口。
刘景蓉笑着说：“伯玉，悠着点，别喝醉了。”
胡琏“咕嘟咕嘟”又是几口，用手擦着下巴上的酒，笑着说：“真得劲啊！出征以来，还是第一次。老弟，是不是心疼酒？”
“心疼我就不叫你来了，我是怕你喝多了误事！”
“放心！我酒喝得越多，仗就越打得好，不信？等着瞧。”
等司务长端上炖好的老母鸡时，一瓶酒都喝得差不多了，胡琏一人就干了大半瓶。他见到香喷喷的鸡肉，撕了一条大腿塞进嘴里就大嚼起来。哪知老母鸡肉粗，塞在牙缝里抠不出来，胡琏也顾不得许多，只管狼吞虎咽。
酒足饭饱，胡琏的头脑还清醒，看看窗外，月近中天，于是起身离开。他扯开喉咙，一路唱着：“三民主义，吾党所宗……”回到团部，胡琏躺在行军床上昏昏欲睡。
突然，电话铃急促地响了起来，胡琏猛一激灵，一个鹞子翻身跳了起来，抢过电话，听筒里传来师长黄维带有江西口音的声音：“胡团长，大战在即，你晚上到哪里去了？该不是去喝酒了吧？”
“嘻嘻……师座，知我者师长也。”胡琏听出不对劲，想缓和对方的情绪。
“少废话，贻误军机休怪我无情！按计划，你立即率部出发！”在寒夜中，黄维的声音是冷冰冰的。
胡琏的酒还未醒，但他不敢怠慢，擦把脸便传令出发。走了大约两三个时辰，前方响起了枪声，双方各自抢占有利地形，“乒乒乓乓”地接上了火。胡琏命令第3营第9连连长杨宝毅占领前面东沅寨的制高点。
打到天明，枪声渐息。胡琏借着酒劲，从土坡后面探出脑袋，正在观察，“啪”的一声，一颗子弹从他的左颊钻进，又从右颊飞出，顿时满嘴鲜血，卡在牙缝中的鸡肉也不知去向，他吐了几口，全是碎牙。
陕西人不能见血，一见挂彩就不要命。胡琏挥着枪，大叫：“出击！”说着飞身跃出，带领全营冲锋。
第11师是蒋介石麾下第一王牌，装备精良，训练有素，能打硬仗。打了几个时辰，红军便退了下去。胡琏用一条毛巾连嘴带后脑勺都裹了起来。
中午时分，红军大队人马又来进攻，战事更加激烈，双方你来我往，反复冲杀，血肉横飞。胡琏渐渐抵挡不住，而东沅寨受到红军的强攻，死伤较多，己支持不住。胡琏正准备分两路撤退，就听有人喊：“援兵到！”他回头一望，只见远处有一批人马赶到，旗帜鲜明，行列整齐。原来是第1营营长乔九龄率部赶到。
乔营长气喘吁吁地举手报告：“报告团长，1营奉令，来此集合！”
正在这时，又见东沅寨方向，第3营第9连正在撤退下山。胡琏当即决定：“命司号长吹第9连停止号；令第2、第3营迅即向东沅寨集结，其余人员随我上山。”
夕阳落山，暮霭沉沉，胡琏带着部队赶到山顶，只见在离寨顶不到100米的地方，黑压压的红军也蜂拥而至，无数明亮的刺刀闪着幽光。他不由脱口而出：“好险啊！”
居高临下，两个营一起投出手榴弹，一阵狂炸，然后所有轻重机关枪疯狂扫射，红军措手不及，坚持片刻便退了下去。胡琏终于稳住了阵地。
与胡琏争夺东沅寨的红军，是董振堂所部。该部原来是冯玉祥西北军主力部队，属于国民革命军系列。北伐胜利后，蒋、冯交恶，冯玉祥进行反蒋战争，在中原大战中与陈诚第11师交过手，知道对方的头不好剃。中原大战以冯玉祥失败而告终，蒋介石收编了西北军中的精锐，编为第26路军，孙连仲为总指挥，并调其到江西前线“剿共”。该部在董振堂等人的领导下，在宁都举行了战场起义，参加红军，被编为红5军团。这支红军此次奉令去合围周浑元部，没想到被胡琏所阻，对手火力优良，且占有地利，难以与其硬拼，因此被迫撤了回去。
这时，有三个电话兵，带着一部电话机，在黑暗中跑过来，高声喊道：“陈总指挥要团长讲话。”胡琏接过听筒，陈诚问：“胡团长吗？与你交战的对手是哪一支部队？什么番号？”
胡琏大吃一惊，只觉得后脊梁汗津津的。他是糊涂官判糊涂案，从天明打到黑夜，是一出《三岔口》，对手是谁，他根本不知道。胡琏心想：坏了，这下又够喝一壶的，一顿臭骂是少不了的。
没料到，陈诚笑了：“你打的是老对手董振堂部，打得好，对此次战役贡献很大！”
胡琏放下电话，伸着舌头说：“好家伙！真是阴阳怕懵懂，不知对方的实力，瞎打一阵，居然镇住了对方。”
原来，就在胡琏部担任游击的同时，团村方向的第36军周浑元部，进入红1军团林彪部和红3军团彭德怀部的伏击圈；而红军的第5军团董振堂部负责截断团山通黎川的补给线，并以主力攻击团山之北，配合林、彭部，集中优势兵力，歼灭周浑元部。正在这节骨眼上，5架敌机前来解围，一阵机枪扫射和俯冲轰炸，打开一条血路；再加上董振堂部不幸受阻于胡琏，未能赶来，周浑元在遭受重大损失的情况下，死里逃生。
在这盘棋上，胡琏成了关键的一颗“卒”，既“别”了“马腿”，又挡住了“相眼”，阻止了红军和福建政府军队的联系，使之无法协同作战。想不到这样一次小小的战斗，竟起到了影响全局的作用，因糊涂得福。更为有趣的是，他面颊上的伤痊愈后，脸上落下两个对称的酒窝，不仔细看，还以为是在哪个美容院做的美容手术呢。
蒋介石对及时阻止红军与第十九路军的“合流”，未能酿成不可收拾的“巨祸”，十分满意。团村战役结束后，他问陈诚：“守东沅寨的部队是谁？”
“是第11师第66团，团长叫胡琏，是黄埔四期的，才26岁。”
“好！好！少年有为，是我的臂膀也，才堪大用！”蒋介石心血来潮，写下手令：“胡琏升少将团长。”一般的团长都是上校，师长才是少将。胡琏听说后，沾沾自喜，但左等右等，却不见命令。
一天，师长黄维将胡琏唤到团部，说：“你升少将的命令已到团部，但陈总指挥觉得你还年轻，还需历练，所以收回成命。”他压低声音道，“师参谋长叶佩高，还有另外两个团长王严和马励武都比你资深学优，怕摆不平啊。”
原来，黄维是黄埔一期的，又毕业于陆军大学，是个典型的“穿黄马褂（黄埔）、戴绿帽子（陆大）”的，也不过是个少将师长，他也不想让胡琏爬得太快，和陈诚一嘀咕，于是胡琏的少将军衔没了。
胡琏心里有数，但不想得罪上司，只好说：“若蒙师座栽培，往后的机会有的是，我当努力立功就是！”但他暗下狠心，一定要在战场上再比高低。