第二天，事情出现了变化。明军没有丝毫松懈，于凌晨再次发起了猛攻，而战局的发展与麻贵设想的一摸一样，日军虽顽强抵抗，但在明军的火炮猛攻下，逐渐不支，而更出奇的是，就在双方僵持不下时，城内突起大火，乱上加乱的日军再也扛不住了，随即撤往内城高地。
日军盘踞的地方，叫做岛山营，此地建于陡坡上，城墙由石块筑成，极其坚固，是加藤清正的杰作。日军城池依山而建，不但高，而且陡，云梯架不上，弓箭也射不到，火炮虽有效果，但面对石头城，杀伤力有限，加上敌军防守严密，明军仰攻一天，毫无建树，只能收兵回营。
弓箭火炮都不顶用，云梯又太短，也只有爬了。于是自十二月二十五日开始，在炮火的掩护下，明军开始爬山。
二十六日，明军休息，朝军奉命爬山，被击退。二十七日，明军继续爬山，未果。二十七日夜，经过商议，明军决定改变策略，以炮火掩护，准备柴草，借火箭射入城，发动火攻。二十八日，大雨。就在二十八日下午，麻贵得知了一个消息——小西行长就要来了。
形势越来越严重了，目前久攻不下，士气不振，如果让敌军成功会师，明军就有被分割包围的危险。许多将领纷纷建议，应尽早撤退。经过慎重考虑，麻贵终于做出了决定——围城。
这是一个让所有人都吃惊不已的抉择，但麻贵坚信，自己是正确的。他敏锐地意识到，如果就此撤退，敌军将趁势追击，大败不可避免，虽然日军援军已到，但决定战斗成败的，却是城内的敌人。只要残敌覆灭，胜利仍将属于自己。
于是他调整了作战部署，派部将卢继忠率军三千堵住江口，组织火炮弓箭，加强防御。高策则带兵监视釜山及泗川日军，其余部队集结于城下，断绝敌人的一切补给！
麻贵的决定是明智的。因为此时明军处境不佳，日军却更惨，基本上算是山穷水尽。之前日军有两万余人，战斗死伤已达四五千人，躲入城的，由于没有粮食衣被，许多都冻饿而死，到万历二十六年(1598)正月初一，城内仅余四千余人。
正月初二，外海的日本援军发起了潮水般的进攻，明军拼死作战，终于遏制了日军。
正月初三，日军发动猛攻，明军在付出重大伤亡后，再次抵挡了进攻，但士气已极度低落，开始收缩阵地。
正月初四，麻贵做出决定，撤退。事情已经很明显，敌人异常顽强，此战已无胜利可能，如不立即撤退，必将全军覆灭。在随后的军事会议上，麻贵做出了具体的撤退部署——城北右路明军先行撤退，其他部队随后跟上，部将茅国器率军殿后。而统领城北明军的任务，他交给了杨镐。
在接到撤退命令后，杨镐带队先行，开始一切都很顺利，部队有条不紊地行进着，但随着部队的行进，越来越多的明军得知了撤退的消息，特别是受伤及患病的士兵，唯恐被丢下，开始喧哗起来。
杨镐慌乱了。惊慌失措的杨镐做出了毁灭性的决定——逃跑。领导有跑的权力，下属自然没有不跑的义务。一个跟着一个，明军很快大乱，四散奔逃。沿海日军趁机登岸追击，明军大败，伤亡惨重，余部退回庆州。蔚山之战就此失败。
此战，明军伤亡共计两万余人，进攻受挫，战线收缩至王京，而日军损失也高达一万余人，无力发动反击，朝鲜战局再度进入了僵持状态。
蔚山战役之后，日本方面力不从心，很想和谈。打到今天，独占朝鲜是不敢想了。然而明朝却是死硬派，根本就没想过谈判，别说割地赔款，连路费都不打算出，且毫无妥协退让的意思。
谈是谈不拢了，可要打也打不起来。日军虽然人多，但之前被打怕了，只是龟缩在沿海地区，不敢进犯。明军倒是很有进取精神，总想赶人下海，无奈兵力实在太少，有心而无力，只能在原地打转。
等着等着，日军开始吃不消了。因为他们部队太多，国内供养不起，只能陆续往回拉人，在朝日军人数随即减至八万。与此同时，明朝军队却源源不断地开入朝鲜，加上麻贵之前整顿的新军，总数已达七万。