1928年4月，国民党开始第二次“北伐”。蒋介石所率北伐军节节胜利，很快就攻入了山东。日本驻济武官酒井隆为了阻止北伐军继续北进，他立即以“山东局势混乱、保护日本侨民利益”为借口，写信给日本陆军参谋总长，要求军部出兵山东。日军参谋本部根据酒井隆的报告和请求，借口保护侨民，于4月下旬，派遣日军第六师团五千余人从青岛登陆，入侵山东。日军第六师团在青岛成功登陆后，星夜兼程，终于在4月底赶到济南城外。
4月21日，日本军国主义者借保护侨民之名，派遣驻天津的3个步兵中队抵济南。25日至27日，日军又连续在青岛登陆，沿胶济铁路运兵济南市，到28日，驻济日军已达3000余人。日军在济南商埠以纬四路为中心线，划为东西两个“警备区”，构筑工事，架设路障，实施戒严。
4月30日，北伐军迫近济南郊区，奉系军阀张宗昌及其所部渡河北逃。5月1日，北伐军进入济南，方振武被任命为济南卫戍司令。当蒋介石所率北伐军开进济南城后，酒井隆即唆使早已做好准备的日军四处寻衅。日军随意捕捉北伐军的士兵。5月2日上午，第一军第二十三团营长阮济民等数人徒手行经纬五路时，被日军堵截后当场全部杀害。蒋介石命令北伐军各部“约束士兵，不准开枪还击”。而且准备“绕道北伐”，这更加助长了日军的嚣张气焰。
日军蓄意挑衅，与北伐军发生冲突。5月3日上午9时，北伐军宣传员做街头宣传时，被日军开枪射击，当场打死打伤多人。日本军队向靠其驻扎的国民党第四十军第三师第七团的两个营发动攻击，突遭袭击，使两个营完全丧失抵抗能力，损失惨重。日军强行占领邮电局、电报局等要害部门，炸毁电台，大肆屠杀中国士兵及市民，日军所到之处，凡遇中国人，不分男女老幼，不论是兵是民，一律开枪射击。日军还随意闯入民宅，强奸妇女，抓走并杀害居民。日军又开炮轰炸商埠，房屋被炸裂焚烧，一时枪炮声四起，马路上血肉横飞、尸体满街。枪炮声、呻吟声、哭喊声响成一片。
5月3日，日军还将国民党交涉署包围，强行收缴交涉署枪械。晚9时，又将战地政务委员会外交处主任兼特派山东交涉员蔡公时及署内职员共18人捆绑起来毒打。蔡公时据理向日军提出抗议，怒斥日军暴行，竟被日军残无人道地将其耳鼻割去，继又挖去舌头眼睛。然后将18人剥光衣服，鞭打后用机枪扫射，除一人侥幸逃出外，蔡公时等17人惨遭杀害。从5月3日夜开始，日军大举出动以搜索北伐军和便衣队为名，沿街洗劫，疯狂屠杀中国军民。
5月4日晨，北伐军在济南城抓获13名走私鸦片的日本毒贩，按照中国法律将他们处死。酒井隆借机再次给陆军省和参谋本部拍电报，夸大事实，宣称日本无辜侨民被杀害，并将数目扩大了20多倍。国民党军全部撤出商埠区。日军得寸进尺，继续扩大事态，不断增兵济南。5月5日，除李延年、邓殷藩两团留守济南外，其余国民党军队全部撤出济南。
5月7日，日方向蒋介石发出最后通碟：(一)惩办华方反日高级将领;(二)立即解除济南方面华军的全部武装;(三)维护中日亲善邦交，禁止华方反日、排日及有伤两国睦谊的一切宣传活动;(四)胶济铁路沿线两侧与济南城关商埠在20华里以内，不准中国军队驻扎;(五)立即将辛庄、张庄兵营全部让出，作为缓冲，便于严密监视华军行动，并观察华方有无和平诚意。
5月8日，不待国民党的正式答复，日军开始向蒋军进攻。9日，对济南城发动了总攻。日军以猛烈的炮火轰炸南圩子门、杆石桥、林祥门、普利门等各地。当夜，国民党守军不得不退入城内，日军跟踪前进，并在顺河街、西城根各街放火，特别是西城根的一条街，房屋全被焚烧。这条街上的居民被烧死、被强奸投河自杀的，无一幸存。事后，济南人民为纪念国耻，抗议帝国主义的侵略罪行，1929年5月，这条街改名为“五三街”。
在“五三惨案”中，日本侵略军丧尽天良，疯狂残杀我国军民，其罪行累累，罄竹难书。5月7日，商埠六大马路东口李子清家，有百余名难民在内避难，11时，一队日军冲进大门，用刺刀刺杀13人，将尸体运走。5月10日，角楼赵家庄，日军挨户搜查，见青年或穿草鞋者，不是刺死就是枪毙。遇难者有李明海，崔姓兄弟2人，13岁儿童王小子等，还有22人被日军活埋。5月11日，西关江家池陆军医院内收容蒋军伤员、病号约百余人，日军进入，挨屋杀人，医生、护士均被刺死，每人身上致少被刺l0刀，共杀死82人。
同日，西关东流水一家共18人藏在家中，被日军搜出，一同拉出全部刺死，血从家里雨沟流出，一直流到河里。在菜市北门里有4名中国警察，被日本人捉住，用铁丝捆住，用刺刀满身乱刺，至全身有百余刀痕。
从5月8日到10日，城里的国民党守军顽强抵抗，战斗相持三昼夜。11日，国民党守军奉命放弃济南。李延年、邓殷藩的两个团分别由老东门、新东门退出，向仲宫山地转移。日军对突围部队进行围攻袭击，李延年团排长杨冠英率全排士兵为掩护部队突围，与日军展开白刃战，重创日军，终因寡不敌众而全部壮烈殉国。日军正式占领济南。
日军占领内城后，抢劫财物，焚毁建筑，强奸妇女，枪杀战俘，屠戮百姓，罪恶令人发指。据不完全统计军民死伤总数达六千余人，财产损失不计其数。直到1929年5月，日军才在内外压力下撤离济南。这是日本帝国主义对中国人民欠下的一笔血债。
“五三惨案”的发生暴露了日本帝国主义蓄谋已久的侵华野心，它使济南人民蒙受了巨大的痛苦和灾难。今天，“五三惨案”虽已过去了86年，但是这沉重的历史印记却永远铭刻在我们心里。近年来，日本的一些右翼势力和政客在对待侵华战争历史问题上文过饰非，含糊其词，极力为日本军国主义的侵略罪行进行辩解和遮掩，他们矢口否认过去那惨绝人寰的侵略罪行，这是全世界人民所决不容忍的。日本侵略者野蛮、残暴地屠杀中国人民，其罪行累累，铁证如山。“五三惨案”就是以它血和泪的控诉，对日本侵略者的最有力的见证之一。我们决不允许否认和歪曲侵略历史，决不允许军国主义卷土重来，我们要世世代代都要牢记这段历史，牢记这悲惨的教训，决不能让历史的悲剧重演。
济南市政府自1999年起，在每年的5月3日上午10时至10时30分，都要在市区内鸣响防空警报，以寄托人们对死难同胞的哀思，警示国人勿忘国耻。
