此关隘东有鸿沟连接淮河、泗水，北依邙山毗邻黄河，南临索河连嵩山，西过虎牢关接洛阳、长安，地势险要，交通便利。
作为河洛盆地的东边险要，洛阳的门户，荥阳是历史上的军事重镇，兵家必争之地。荥阳虎牢关因周穆王在此牢虎而得名，又称汜水关、成皋关、古崤关。
公元前205年夏，项羽在彭城大败汉军，刘邦退到荥阳。公元前203年，刘邦出兵，守将曹咎率部出城，兵败自杀而亡，刘邦顺利攻取了荥阳成皋。项羽调兵前往救援，但刘邦闭城不出，项羽因为粮缺兵乏，不得不被迫提出“中分天下，割鸿沟以西为汉，以东为楚”的要求，荥阳鸿沟就成了“楚河汉界”。
位于荥阳黄河南岸广武山上的鸿沟沟口宽约800米，深达200米，现在鸿沟两边还有当年两军对垒的城址，东边是霸王城，西边是汉王城。
此后，刘邦兵分两路，一路仍在荥阳同项羽相持，一面派大将韩信抄楚军后路，占领河北、山东一带。汉军兵马和粮草源源不断，而楚军后援越来越少，最终战争发生了逆转。
东汉初平元年(190年)正月，各地群雄起兵讨伐董卓，群雄包括勃海太守袁绍、后将军袁术、冀州牧韩馥、豫州刺史孔伷、兖州刺史刘岱、河内太守王匡、陈留太守张邈、广陵太守张超、东郡太守桥瑁、山阳太守袁遗、济北相鲍信等。
三国演义中，讨伐董卓的战斗主要在荥阳进行。虎牢关前，先是华雄击败先锋孙坚的部队，又接连斩了济北相鲍信的弟弟鲍忠，袁术的骁将俞涉、韩馥的上将潘凤等人，联军在此遭受挫折。这时刘备手下关羽温酒斩华雄，逆转了形势。接下来，董卓派李傕、郭汜引兵五万，把住汜水关;自己则率军十五万，同李儒、吕布、樊稠、张济等守虎牢关。三国第一武将吕布出场，八路诸侯人马无法招架并连折大将。个危机时刻，刘关张演绎了一段荡气回肠的“三英战吕布”，为八路诸侯赢得了宝贵胜利。吕布败退，虎牢关和汜水关失守，洛阳失去门户，董卓为了避开诸侯的锋芒，竟然决定放弃洛阳，迁都长安。
三国演义上这一段故事虽然是虚构，但是为人们千古传诵。
唐朝统一战争中，王世充和窦建德是隋末的两大割据力量，当时与唐三分天下。
武德三年(620年)秦王李世民率军进攻占据洛阳的王世充。李世民鉴于洛阳城坚，王世充兵强，在攻克磁涧后，即分兵阻断其南北救援道路，自率主力屯于邙山包围洛阳。
王世充派人向窦建德求救，当时在河北建立夏朝的窦建德亲率10万大军救援洛阳。李世民一边围困住困兽王世充，一边占据虎牢关天险，消耗敌军实力。
当年项羽就是在这里耗了2年，强势变成了衰势，窦建德强攻虎牢关数战不利，唐夏两军在虎牢关对峙了足足一个月。谋士凌策向窦建德建议，北渡黄河，甩开唐军主力，进攻山西。这样一则开拓疆士，二则入无军守之境，三则唐兵闻讯必从洛阳撤兵，可解王世充之围。然而，窦建德执意在虎牢关与唐军决战。
李世民不断骚扰夏军，又派王君郭袭击夏军粮道，夏军士气渐衰，人心浮动。最后，唐军趁夏军疲惫时发起猛攻，将夏军击败，俘获窦建德。王世充见大势已去，开城投降。
这一仗，李世民消灭了两大割据力量，取得了河南、河北的统治权。可以说是一战定天下!
