在蒙古军队进攻北京的初期，曾经砸毁盗掘金陵，但是，金陵在元代并没有衰败。金、元之间虽是敌国，但元立国后，特别是忽必烈定都北京之后，一直奉金为正朔，元人处处以是金的继承人自居。所以，金陵在元代还维持着祭祀等礼仪。“道陵苍茫”在元代能作为“京西八景”之一，也就是证明。
金陵衰败是从明朝开始的。
明天启以前，金陵也享受祭祀的，天启元年才罢金陵祭祀。之后，大规模的对金陵的破坏也开始了。
据清康熙二年圣祖仁皇帝御制碑文载：
“金朝房山二陵，当我师克取辽阳，故明惑形冢之说，渭我朝发祥渤海，气脉相关。天启元年，罢金陵祭祀，二年拆毁山陵断地脉。三年又建关庙于其地，为厌胜之术。从来国运之兴衰，关乎主德之善否。上天降鉴，惟德是与。有德者昌，无德者亡，与山陵风水原无关涉。有明末造，政乱国危，天命已去。其时之君臣，昏庸迷谬，罔知改图，不思修德勤民，挽回天意，乃轻信虚诞之言，移咎于异代陵寝，肆行摧毁。迨其后，流寇猖獗，人心离叛，国祚以倾。既与风水无与，而前此厌胜之摧毁，义何救于乱亡乎。古之圣王掩骼埋脔，泽及枯骨。而有明君臣乃毁及前代帝王山陵，其桀谬实足贻讥千古矣。”
本来还是“翁仲半存行殿迹，莓苔尽蚀古碑阴”(见明朝人储罐《大房山金源诸陵》诗)的金陵，在天启二年(1622)和三年(1623)时遭到毁灭性破坏，先是毁陵断脉，把金陵的地面建筑全部砸毁，然后扒开地宫墓道，掘开地宫，把要六、七个人才能抬动的大石头、栏杆、护板、石柱等向墓道和地宫中推砸。当时不仅帝陵区遭到这样的破坏，连处在丰台区的乌古论窝论墓及城近郊的金墓都被破坏了。他们甚至把太祖睿陵所依的九龙山的“主龙”龙脉就是最突出的一条山脊，“龙头”部分砍掉半拉，在“咽喉”部位挖了一个深洞，里面填满了鹅卵石，以为这样“砍龙头”、“刺龙咽”，就能把女真人气运给灭了。
天启三年(1623)，十分崇拜武圣关公的明王朝，在金陵原址上修了多处关庙，想以此来压住金女真人的“王气”。现存关庙遗址在睿陵的主龙脉上有一座，道陵享殿基址上有一座。另还修有“皋塔”，就是和岳飞一起抗金的牛皋，在这里被奉祀。
皋塔遗址还有2米多高，正方形，边长3米多。当地老百姓传说是牛皋坟，而睿陵是“气死兀术，笑死牛皋”的地方。
明朝之所以要这样干，是因为崛起于关东的满族，是女真人的后裔，所建国号就叫“后金”，在和明朝的数次战争中，都把明朝击败，特别是萨尔浒之战和辽阳、锦州之战更把明朝打得一败涂地。于是有人出主意说，后金之所以这样兴盛，就是因为他们的祖坟埋在大房山这块宝地，“王气太盛”的缘故，必须毁陵断脉才能打败他们。于是，明王朝便掘毁了金陵。
清朝入关后，顺治在北京原明故宫登基，又一次“定鼎于燕”，不久，便开始修复被毁坏的金陵。当年，清太宗皇太极四次挥兵入关，打到靠近北京的地方，曾到金陵去参拜祭祖，证明那时各陵陵位还能认出的。但天启三年(1623)后。金陵便荡然无存了。所以顺治朝修陵的时候，只把遗迹还较明显的睿陵、兴陵修复了，其它诸陵未动，对睿、兴二陵的修复，也是象征性的。乾隆年间，乾隆作了一首“望大房山歌”，慨叹金陵被毁之事。并下旨按金陵所存遗迹再作补修措施并整修睿、兴二陵。乾隆十七年(1752)二月，直隶总督方观承遵旨，相度金陵，并进行了修复。
经顺治和乾隆的两度修缮，金陵虽远未恢复原貌，但帝陵陵园的面目还是初步得到恢复。当时对坤厚陵(即诸后妃陵)也进行了修整。“荒草寻飘乎”的局面(乾隆《望大房山歌》)得到改观。
清初，又以山西流民50户为守陵户，每岁春秋致祭享。金世宗二十四世孙麟庆在道光年间专程到房山拜陵，并把这段经历写在他所著的《鸿雪姻缘图记》中。
“麟庆为世宗旁支二十四代孙，久切瞻依，顾因职守攸羁，未克诣陵一拜。且闻山老林密中多虎穴，癸卯秋，遇僧裕泉于宏恩寺，快谈路径，惟老头子(当地对虎的称呼)须防。时以奉使期迫，不果往。
兹于乙巳八月。率两儿，偕裕泉，邀陵户，携竹片及火器，寻路诣陵，始伸夙愿。
乃叩拜甫毕，大风呼来。木叶簌簌有声，陵户呼曰：虎至!急登殿台望之，遥见—羚羊窜过西岭，—虎下饮于溪。陵户曰：此守陵神虎也，不可惊。须臾，风返虎去。”
这段拜陵的描述是很精彩的。不但文字精彩，书中所附图，为我们展示了道光年间睿陵、兴陵的状况。
当时这两座陵以院墙围着，没有大门，沿山路而上便达御路，过了御路便是享殿碑亭，再往前即文中所说的殿台。殿台有石砌台阶，并围着石栏杆。这个地方当是睿陵。睿陵两侧，修筑一道墙，中间开一门，前有碑亭，后有享殿，该是兴陵，兴陵的规模略小于睿陵。
麟庆看到的情况应是乾隆年重修后的情况。他还记述。乾隆十八年(1753)时，乾隆皇帝“亲至睿陵展谒”，命“大学土阿克敦祭兴陵，命金裔完颜氏子孙陪祀”。麟庆的曾祖勉斋公任笔帖式，也参与了祭祀盛典，并得到赏赐。
但这次祭祀也是金陵最后—次受到皇帝亲自派人的祭祀了，以后，房山地方官每年对金陵也只是象征性地祭祀一番，以至于山老林深，连入陵的路都不好找。清王朝灭亡后，金陵惨遭盗劫的历史又开始了。当时军阀混战，各自为政，民不聊生，当然谁也不会想到保护文物。就在陵户集中的房山车厂村，出了以盗墓为生的土匪刘振山，外号“小老虎”。他纠集了上百人，对大房山所有的古墓公开进行盗掘，最显眼的睿陵、兴陵自然首当其冲，这两座陵的宝顶都被挖出—个大洞，后来干脆一劈两半，但三合土宝顶下面竟空空如也，再往—挖就是地表石头了。这时人们才知道清代重修的陵并未修到原陵址上，坟头只是个样子。所以，当时还流传着清朝对金陵是“明修暗盗”的传说。
金陵没入管了，陵户繁衍的后代也不能因看陵而领到钱粮，便在陵区开荒种地，猎羊猎兔。周围的村民也开始大肆砍伐陵园内的松柏树木，拆毁享殿亭楼，撤下木料、砖瓦、石块盖自家的房子，汉白玉修了猪圈，琉璃瓦砌到了院墙上。清代没有修复过的道陵、思陵、裕陵等，更是损毁严重，连地面痕迹都很难找到了。1937年著名的清陵大盗孙殿英专门到金陵巡查，也准备对金陵动手，因为觉察到油水不大，才使金陵免遭一场劫难。
解放前无人管理的金陵，解放后除有几个历史学家偶而谈到外，便成为被人遗忘的角落。就像《辞海》这样权威的辞书所记述的金陵，也只是从县志上抄的几句话。所以，对金陵的破坏一直在延续，到了“文化大革命”，金陵这片废墟更是在劫难逃，推土机、拖拉机全开上来造田，“向荒山要粮”，各种石人、石兽、栏杆、台阶都被砸毁后砌到梯田上。华表被炸烂，残砖碎瓦被推到两侧的山沟里，太祖陵区被“建成”数层大型梯田。文物干部在1981年循记载往访，如无人带路，怎么也想不到这就是曾辉煌一时的金太祖陵区。
可以说，金陵的衰败到此时，便达到了极致。
