据说在成吉思汗下葬的时候，为了保密，弄了上万匹战马在下葬的地方把土踏实了，并且将一颗独立的树木当做了墓碑。为了以后能给寻找到墓地，于是便在下葬的位置当着一头母骆驼的面将母骆驼的亲生小骆驼给沙子，然后将骆驼血洒在墓地上。第二年春季绿草发芽，墓地的位置就与其他位置没什么两样了。在这种情况下，后人在祭祀成吉思汗时，便牵着那峰母骆驼前往。母骆驼来到墓地后便会因想起被杀的小骆驼而哀鸣不已。祭祀者便在母骆驼哀鸣处进行隆重的祭奠。可是，等到那峰母骆驼死后，就再也没人能够找到成吉思汗的墓葬了。
成吉思汗一生都在征战中，于1227年率军攻打西夏时因病身亡。据说遵从成吉思汗“秘不发丧”的遗命，他的遗体被送回故乡后，深埋陵墓，然后千军万马不停踩踏，因此从地表根本看不出他的遗体究竟在哪里。随着时间的流逝，当初的坟地已被掩盖在茂密的森林下面。所以现在，成吉思汗真正的葬身之地成为一个解不开的谜。现位于内蒙古自治区伊金霍洛旗的成吉思汗陵，并不是成吉思汗真正的葬身之处，而是1954年建立的一个象征性陵寝。
那么成吉思汗的遗体到底埋葬在哪里?至今没有一个准确可信的说法。
据《马可·波罗游记》记载，成吉思汗遗体安放在阿勒泰山上。成吉思汗在率兵远征西夏时死于甘肃清水县，他临终前命令秘不发丧，以免涣散军心。诸将于是把他的灵柩运回蒙古安葬，“在把君主的灵柩运往阿勒泰山的途中，护送的人将沿途遇到的所有人作为殉葬者”。中国史书中的记载内容不详，或说“起辇谷”，或说“不儿罕山”(今蒙古人民共和国的大肯特山)。
中国新疆博物馆的考古学者在新疆北部阿勒泰山脉所在的青和县三道海附近，发现了一座人工改造的大山，怀疑这是成吉思汗的葬身陵墓，但也未能确认。
其实不只成吉思汗，元朝君主的陵墓都未能得到确切考证，这与元代的丧葬风俗有关。元朝虽然入主中原，却仍然保留了蒙古习俗，如在葬制习俗上，贵族仍实行秘密深埋习俗。据史料记载，蒙古贵族死后不起坟，埋葬之后，“以马揉之使平”，然后在这片墓地上，当着母骆驼的面，把子骆驼杀死，淋血在地上，派千骑士兵守护。到来年的春天，草生长茂盛之后，士兵迁帐撤走，而一般人所看到的只是茫茫草原，不知其墓地所在。如果皇帝要祭祀时，就拉着那只母骆驼引路，若见到母骆驼悲鸣之处，就算是墓地了。由于墓地上无任何标志，也就无法辨认灵柩真正所在地(《草木子》)。
相传1226年，成吉思汗率兵征讨西夏时，路经蒙古西南部高原(鄂尔多斯高原)的时候，来到了这个地方。这时正是春光明媚的时节，一片迷人的景色吸引了他，使他久久不忍离去。他在沉思很久之后，对周围人说：“我看这个地方太美了，死后就把我葬在这里吧!”果然，在西征的第二年(1227年)，他就病死在清水县军中了。他的遗体由诸王和那颜(蒙古贵族首领)按照他生前的愿望，千里迢迢运到这里安葬。从此，人们便把这里称为伊金霍洛，意为“主人的陵园”。
成吉思汗陵的现有建筑，是新中国成立以后重新修建的。1939年抗日战争时期，德王秘密派遣蒙奸、汉奸进行阴谋活动，企图将成吉思汗陵盗窃去归绥。内蒙古广大人民得知这一消息后，提出了强烈抗议。在广大人民和抗日爱国人士沙王等提出迁移的呼吁下，国民党政府被迫成立移陵委员会，和沙王等人一起办理移陵之事。成吉思汗陵于1939年5月开始迁移，先迁到了甘肃省榆中县兴隆山，在榆中县放置了11年后，又移植到青海省塔尔寺。新中国成立以后，应内蒙古各族人民的要求，于1954年春，由内蒙古自治区组成迎接成吉思汗灵柩回蒙的代表团，专程前往塔尔寺，同年4月1日将灵柩接回伊金霍洛。中央拨专款80万元，重建了陵园。
