自杀前，黄百韬拿出名片一张，在背后写上“黄百韬尽忠报国”，交给国民党第25军副军长杨廷宴，请其转交蒋介石。至此，黄百韬兵团12万人，全部被华东野战军歼灭。望眼欲穿的援兵没来，12万大军丧失殆尽，黄百韬完全失去顽抗的最后勇气和信心了。“22日黄昏，黄百韬指挥156师残部，企图向西北方向突围。”徐法全回忆，因为40公里之外，就是企图增援而被解放军阻击的李弥兵团。
当黄百韬逃至尤家湖南面的一片苇塘时，解放军“全歼黄兵团，活捉黄百韬”的喊杀声又起。当时就在黄百韬身边的国民党第25军代理军长、后来被俘的楚轩吾回忆：“黄百韬这时已经完全失去了最初的镇静。他像一头被囚在笼子里的野兽一样。披着军大衣在深沟中转来转去。不许任何人向他转达解放军的劝告和递送打到阵地上来的传单。”彻底绝望之际，黄百韬拔枪自杀。
楚轩吾回忆：“这一枪他是从嘴里打进去的，因而保持了面部的完整。鲜血翻着泡沫从他嘴里流出来，他两眼老泪横流地看着我，已经什么话也说不出来了。”楚轩吾回忆：“我将他的头紧紧抱在怀中，他眼睛中的神色在迅速地消失，猛然头一歪，手枪哗啦一声掉在了冻硬的土地上，黄百韬就这样死在我的怀中，我将他慢慢放在地上。脱下大衣覆盖在他的脸上。”自杀前，拿出名片一张，在背后写上“黄百韬尽忠报国”，交给国民党第25军副军长杨廷宴，请其转交蒋介石。
至此，黄百韬兵团12万人，全部被华东野战军歼灭。据战后化装逃跑的杨廷宴回忆，黄百韬临死前对他说：“我有三不解：(一)我为什么那么傻，要在新安镇等待第44军两天;(二)我在新安镇等两天之久，为什么不知道在运河上架设军桥;(三)李弥兵团既然以后要向东进攻来援救我，为什么当初不在曹八集附近掩护我西撤。”对黄百韬而言，他的“三不解”，永远不可能找到答案。
在黄百韬的追悼会上，蒋介石痛哭“黄埔精神不死”。“这是一个笑柄。”王楚英说，因为黄百韬并不是黄埔军校毕业生，蒋介石的意思是希望以黄埔军校生为主的嫡系之中，也有人能如黄百韬一样战死沙场，成全黄埔军校的面子。具有讽刺意味的是，1个月之后，蒋介石的黄埔好学生——第12兵团司令黄维，就是不“杀身成仁”，活生生地成了解放军的俘虏。
