没有抚养权的一方可以到法院要求变更抚养权，而不抚养的一方严重的可能会构成遗弃罪。有下列情形之一的，可以要求变更抚养关系：
(1)与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的;
(2)与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的;
(3)十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的;
(4)有其他正当理由需要变更的。
二、起诉变更抚养权的流程是什么?
1、原告起诉
2、法院受理后将起诉书副本送达被告
3、被告在十五日内提交答辩状,法院在五日内将答辩状副本送达原告如果被告不提交答辩状,不影响审理
4、决定开庭审理的案件,法院在三日前通知当事人并公告
5、法庭调查阶段包括:当事人陈述;告知证人的权利义务，证人作证，宣读未到庭的证人证言;出示书证、物证和视听资料;宣读鉴定结论;宣读勘验笔录。
6、法庭辩论包括:原告及其诉讼代理人发言;被告及其诉讼代理人答辩;第三人及其诉讼代理人发言或者答辩;互相辩论。 法庭辩论终结，由审判长按照原告、被告、第三人的先后顺序征询各方最后意见。
7、法庭辩论终结，应当依法作出判决。判决前能够调解的，还可以进行调解，调解不成的，应当及时判决。
8、判决宣告
对方不抚养孩子的这种状况不能是自己假想出来的，请求变更抚养权是一定要有对方不抚养孩子的证据才行，而且不能因为自己想要回孩子的抚养权，就去伪造对方不抚养孩子的假象。换句话说，对方不抚养孩子的情况属实的话，变更抚养权的可能性是极大的。
延伸阅读：
