还在1972年3月，蒋介石就做了前列腺手术，并由此转为慢性前列腺炎。蒋经国就任行政院长的第二个月，即1972年7月，蒋介石先患感冒，而后引起肺炎，于是进入荣民总医院，在这里住了一年零四个月之久，从此，蒋介石的健康便一蹶不振。
1973年元旦，病中的蒋介石照例发表致同胞文告。10月10日，双十节，他又照例发表“国庆”文告。在这些文告中，仍然表示其反共的态度决不改变，仍然是那些早已听厌的高调：“纵使我们的权利蒙上一层悲痛的面纱，我们的气氛暂时受到安抚逆流的毒化，我们决不会气馁，我们不会迷失方向与道路。”蒋介石发表这些文告的目的，除了表示他反共的决心外，主要为了向外界表示，他没有病，他还是台湾的统治者。
蒋介石住院期间，对外高度保密。他本应辞职，以副总统代理其职，但他一直没有这样做，为的是让蒋经国接班有更充分的准备时间。
1973年7月，他第四个孙子蒋孝勇结婚时，他还与他们合照，让报纸公开刊载，以向公众证明他的健康状况和并没有暗中引退。
1974年夏天，蒋介石的病情一度好转，他每天可以在花园散步，并与家人讨论政治及国际形势，似乎十分轻松与愉快。但到年底，台湾发生流行性感冒，蒋介石偶感风寒，再度患感冒而转为肺炎，这次病得十分厉害，身体虚弱到了十分严重的程度。由于蒋介石治疗慢性前列腺炎而长期服用抗生素，所以此次肺炎很难治愈。
1975年1月9日，蒋介石在睡眠中发生心肌缺氧症，虽经抢救转危为安，但由于肺炎未愈，不时发烧。3月29日，蒋介石病情转危，他高烧不退，已不能起床，他自知年事已高，多病并发，不可能治愈了。于是，他让国民党中央委员会副秘书长秦孝仪拿来笔和纸。
他口授遗嘱，让秦孝仪记录，后由宋美龄、严家淦、蒋经国、倪文亚、田锦、杨亮功、朱俊贤等签字。遗嘱如下：
余自束发以来，即追随总理革命，无时不以耶稣基督与总理信徒自居，无日不为扫除三民主义之障碍，建设民主宪政之国家，艰苦奋斗。近二十余年来，自由基地，日益精实壮大，并不断对大陆共产邪恶……展开政治作战。反共复国大业，方期日新月盛，全国军民、全党同志，绝不可因余之不起，而怀忧丧志！务望一致精诚团结，服从本党与政府领导，奉主义为无形之总理，以复国为共同之目标。而中正之精神，自必与我同志、同胞相左右。实践三民主义，光复大陆国土，光复民族文化，坚守民主阵容，为余毕生之志事，实亦即海内外军民同胞一致的革命职志与战斗决心，惟愿愈益坚此百忍，奋励自强，非达成国民革命之责任，
