公元1271年，崛起于漠北草原的蒙古族建立了元朝。元统治者定都于华北平原的北端大都（今北京）。由于“元都于燕，去江南极远，而百司庶府之繁，卫士编民之众，无不仰给予江南”（《元史•食货志》），于是南粮北调运道的通畅与否便成了元朝政权能否巩固与维持的首要问题。元初，江南的粮食主要经过海路北运，自长江口的刘家港（今江苏太仓浏河镇）出海，绕山东半岛东端入渤海，在大沽进入海河，北循白河至芦沟河、白河汇合处的张家湾，再转至通州（今北京通县）入仓存储。这条海上运输线虽在费用上较陆运和内河航运节省许多，但因海上“风涛不测，盗贼出没”（《元史•河渠志》），运输安全受到严重威胁，加之通州到大都之间不通水路，不得不依靠陆运，以致民夫“不胜其瘁”，“驴畜死者，不可胜计”（《元史•河渠志》）。这就使得重新开通一条纵贯南北的大运河成为迫切的需要。
于是，元政府一方面，对可利用的原有运河进行了全面的疏浚和整修。这些河段主要包括直沽（今天津市）至临清的御河，扬州至淮安的淮扬运河，镇江至杭州的江南运河。由于战争的破坏和年久失修等原因，这些水道普遍淤塞破损严重，经过全面治理，得以重新畅通。另一方面，开凿了新的运河。鉴于元朝统治中心北移，中原地区已丧失隋唐时的重要地位，新的运河已无需再远道绕经河南等地。因而开凿大都至通州、临清至济州之间的运河，成为南北水道贯通的关键工程。首先，开济州河以通泗、济。经过充分的勘查准备，工程于至元十九年（公元1282年）十二月初开工，第二年八月“济州新河成”（《元史•世祖纪》）。济州河起自济州（今济宁市）南面，北到须城（治所在今东平县）安山，长75公里，以汶水和泗水为水源。济州河凿成后，南方的粮船可沿淮扬运河北上，由济州河循大清河（古济水）到渤海，再由界河（海河）口上溯白河抵通州。但是，由于大清河的水量偏少，落差又小，还有潮汐顶托，泥沙容易淤积，导致粮船经常搁浅，从而不得不“舍舟而陆”，改从“东阿旱站运至临清，入御河”（《元史•食货志》）。为了解决这段陆运艰难的问题，开凿东平至临清的运河——会通河被提到了议事日程。
至元二十六年（公元1289年），开凿会通河的工程正式动工，是年六月便告竣工通航。这条新河南起须城安山，接济州河向北，经聊城，到临清接卫河，全长125多公里。济州河、会通河的建成，打通了一条捷径，使运粮的漕船可以从徐州直接北上直达通州，不必再绕道河南，省去了300多公里的路程。然而，从通州到北京的这段路程却阻碍重重。若走水路，惟有坝河水道可以通漕，但坝河运输能力有限，且常常水浅难行；若走陆路，不但费用很高，而且十分艰难。因此，凿通通州至大都的水路，又成当务之急。
在著名水利专家郭守敬的主持下，元朝在大都和通州之间开挖了一条长82公里的运河——通惠河。通惠河分为两段，一为引水河道，起自昌平白浮村，终至瓮山泊（今北京昆明湖）；二为通航段，自瓮山泊以下穿大都城至通州高丽庄入白河。这条运河的凿成，对建都于今北京的元朝来说，具有特殊重要意义。至此，北起大都（今北京）、南至杭州，由通惠河及白河、御河（隋代的永济渠北段）、会通河、济州河、里运河（即以前的邗沟）、江南运河等水道组成的全长1700多公里的京杭大运河（元代称重新开通的大运河为京杭大运河，以别于隋朝开凿的南北大运河）全线贯通。
京杭大运河的开通，具有划时代的历史意义。它把原来张开如折扇状的南北大运河，改造成为直线型的京杭大运河，大大方便了南北之间的交通运输，开创了南北经济、文化交流的新时代。
