1909年7月，张之洞病。8月，病势加重。摄政王载沣亲至张家慰问，张之洞一片赤心，试图利用最后的机会规劝载沣，促其幡然醒悟，以振朝纲，但载沣只是不痛不痒地说：“中堂有名望，公忠体国，好好为国珍重。”张听后，从枕席上挣扎着起来答道：“公忠体国不敢当，廉正无私，不敢不勉。”张之洞话中有话，意在讽谏载沣要“廉正无私”，不要任用亲贵，可惜主政者浑浑噩噩，不以为意，再多的言语不过鸡同鸭讲。载沣走后，陈宝琛问张之洞：“监国之意若何？”张长髯抖动，无他言，惟叹息道：“国运尽矣！盖冀一悟而未能也。”
当年，津浦铁路督办吕海寰、总办李德顺因强占及廉价收购土地之事为人参劾并遭撤职，载沣在召见军机大臣时提议由唐绍仪接任督办，张之洞以为不可，曰：“唐绍仪不洽舆情，未便继任。”载沣冷笑道：“中堂以乡绅重望，如以为可，谁还能说不可。”张回奏称：“朝廷用人，如不顾舆情，恐怕要激起民变。”载沣说：“有兵在，还怕什么民变。”张愤然：“国家养兵，岂是用来打老百姓的？”君臣不欢而散。张之洞出而咳血，长叹道：“不意闻亡国之言！”次日即病，不再入朝。“国运尽矣！”就在载沣前来看望的当晚，大失所望的张之洞在说完最后一句话后溘然长逝，享年72岁。
临终前，张之洞告诫护持病榻前的子孙们：“勿负国恩，勿堕家学，必明君子小人义利之辨，勿争财产，勿入下流。”按张的幕僚辜鸿铭回忆，张家实则无财产可争，张之洞殁后，“债累累不能偿，一家八十余口，几无以为生。”
张之洞在病危时已经写好遗折，做最后一次进谏：“当此国步维艰，外患日棘，民穷财尽，百废待兴，朝廷方宵旰忧勤，预备立宪，但能自强不息，终可转危为安。所有因革损益之端，务审先后缓急之序，满汉视为一体，内外必须兼筹，理财以养民为本，恪守祖宗永不加赋之规，教战以明耻为先，无忘古人不戢自焚之戒，至用人养才尤为国家根本至计，务使明于尊亲大义，则急公奉上者自然日见其多。”
“满汉一体，内外兼筹，教战明耻，尊亲大义”，字字珠玑无人理。从之后的历史来看，张之洞的循循善诱并不起作用。当时的朝局，“亲贵尽出专政，收蓄猖狂少年”，亲贵掌权，实则为“旗门掌权”，“满人敢于为此，实归国留学生为朝官者有以教之耳。”可惜的是，亲贵不识时务，留学生不解国情，在帝国的变革越走越快、离心力也越来越大的情况下，已近衰亡的张之洞又能如何。
张之洞去世的当年，大学士、管学大臣孙家鼐去世；次年，大学士、原军机大臣鹿传霖去世，同年，“出洋五大臣”之一、原军机大臣戴鸿慈去世。
回首百年，岁月沧桑，正所谓：
一代老臣凋谢尽，
国运兴衰岂相同；
咳血长哀黄鹤去，
世上已无张之洞。
