自从打内战，蒋介石落败而逃到台湾后，一直以风景优美阳明山士林山区的一栋平房为官邸，过着隐居式的生活。他到了晚年喜欢穿中国传统式的长袍马褂，在个性思想上保持着标准的中国人的风范，而无西化气息。他的生活习惯是，清晨6时起床，早晚吃米饭或一片面包，加蔬菜汤；中餐是便饭，一盘瘦肉，一盘蔬菜，或依家乡的口味，一块咸鱼及一碗汤；晚上，多半同友人和来宾共进晚餐。
1972年2月，台湾6年召开一次的“国大”举行第五届会议，选举总统。3月21日，85岁的蒋介石再次当选为第五届总统，严家淦当选为副总统。但就在这期间，蒋介石因前列腺肥大动了手术，后转为慢性前列腺炎。
同年5月20日，蒋介石、严家淦宣誓就任。仪式后两人到总统府阳台上接受20万人群的欢呼。但担任电视实况转播的台湾电视公司播控室的职员，不知是怎么搞的，在转播欢呼画面时，居然在荧幕下端出现了莫名其妙的汉字对白字幕：“大可不好了……”这样一句话，好像是谁在诅咒总统似的。后来蒋孝武亲自查明，是电视台职员工作上的纰漏。但此事却在迷信的人们包括党国元老的心目中留下了阴影，其兆头好比宣统皇帝登基时摄政王载沣说的“快了！快了！快完了！”作为基督教徒的蒋介石，心里也很忌讳，感到“触霉头”。事也凑巧，灾祸接踵而来。
7月，蒋介石因患重感冒住院，病情迅速恶化，转为成肺炎，好不容易将病情控制住。8月6日，蒋介石移入荣民医院疗养，在阳明山士林外双溪官邸的岔路口上发生意外车祸。从此蒋介石的身体一蹶不振，宣布避不见客，基本上处于退休状态。
在这之后蒋介石的身体时好时坏。到1975年初，蒋介石再度患了肺炎，又引发心脏病，一日重似一日。转眼到了4月5日清明节，家家户户祭祖扫墓，悼念亡灵，按民间古老的说法，这一天对病人而言，是危机重重的时刻，蒋介石竟然也应验了这个说法。
早晨，蒋经国来到病床前请安时，见蒋介石已起坐于轮椅上，并且面带笑容，这是久已不见的笑容了。蒋介石还向蒋经国问及清明及张伯苓先生百岁诞辰之事。当蒋经国走时，听见父亲嘱咐到：“你应好好休息”一语，心中忽有说不出的感触，整日有不安之感，心中烦躁。
待到晚上8时半，蒋经国第三次来到病床前探望时，见其父病情已开始恶化，到11时20分，心脏开始衰竭。虽经名医全力急救，还是乏回生之术，于11时50分停止呼吸，与世长辞，终于没有过了清明节的夜晚，终年88岁。
