1928年，蒋、冯、阎、李发动第二次北伐，集中兵力解决山东问题。4月30日，北伐军三面包围济南城。张宗昌让出商埠一带交给日军接防，然后出逃。5月1日，北伐军攻入济南。5月3日，日军借机制造了震惊中外的“济南惨案”，大肆虐杀济南军民。
后来张宗昌部队全部瓦解后，见东山再起无望，张于1930年夏赴日本当了寓公。“九一八”事变后，张宗昌于1932年初从日本回国，并打起“抗日”招牌，希图重返山东，卷土重来。此时，正值韩复榘任山东省主席，他怎能容下张宗昌这个心头之患。韩复榘亲自赶到泰山普照寺，与正住在这里的冯玉祥密商杀张方案，决定由冯玉祥旧部将领郑金声的养子郑继成去刺杀张宗昌。
郑继成者，济南城北华山人也，系国民革命军第二集团军第八方面军副总指挥郑金声的侄子，也是他的过继儿子。1927年11月，郑金声被张宗昌杀害。郑继成早就发誓要为先父报仇，如今机会来了，郑继成欣然领诺。
不久，张宗昌被几个所谓把兄弟骗至济南“旧地重游”。韩复榘也假意隆重接待，每日都有酒肉宴请。1932年9月3日，郑继成与好友陈凤山提前埋伏在济南火车站内。这天下午，张宗昌带两个护兵要回北平。6点左右开车前，张宗昌站在车厢口向送行者招手告别时，身穿灰色大褂的陈凤山从人群中一跃而出，举枪瞄准张宗昌喝道：“我打死你个王八蛋！”
但枪未打响。身高近两米的张宗昌见势不妙，随身携带的新式德国造手枪又在饯行宴会上送了别人，只好掉头就跑。跑到餐车尽头，张宗昌启门跳下，向北逃命。此时四面枪声大作，郑继成、陈凤山紧追不放，追至三站台北面7股道时，连向张开数枪，击中要害，张宗昌随即毙命。
张宗昌死后，山东各界纷纷电请南京政府赦免郑继成的杀人罪。翌年1月，郑继成被赦免，后被送进陆军大学将校班学习，抗日战争开始时，郑继成在第三战区司令长官冯玉祥将军麾下任军法总监。
张宗昌在济南火车站被刺毙命后，曾长时间露天暴尸。《济南文史精华》王丕廉撰文说，张曾在济南火车站被暴尸三天。实际情况是，张宗昌暴尸一天后于1932年9月4日移柩馆驿街西首皖新街安徽乡祠。
