违反抚养义务承担的法律责任主要是民事责任，如果情节严重可能承担刑事责任。
在我国，根据婚姻家庭方面的法律规定及相关司法解释，对未成年子女直接抚养权义务的确立主要有以下原则：
3、哺乳期后的子女，以双方协商优先，不能达成协议时，以子女的权益和双方的具体情况进行判决为补充为原则;
4、对十周岁以上的未成年子女随父或随母生活发生争执的，以适当考虑未成年子女的意见为原则。
《婚姻法》第三十六条规定：“离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。”
《婚姻法》第二十一条规定：“父母对子女有抚养教育的义务;父母不履行抚养义务时，未成年的或不能独立生活的子女，有要求父母付给抚养费的权利。”第三十七条规定：“离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议;协议不成时，由人民法院判决。关于子女生活费和教育费的协议或判决，不妨碍子女在必要时向父母任何一方提出超过协议或判决原定数额的合理要求。”
关于不尽抚养义务的处罚规定，《最高人民法院关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》规定，在司法实践中两周岁以下的子女，一般随母方生活。但母方患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活;有抚养条件不尽抚养义务，而父方要求子女随其生活的;因其他原因，子女确无法随母方生活，或随母方生活将会影响对子女健康成长的，以及父母双方协议两周岁以下子女随父方生活，且父方具有相应抚养能力，并对子女健康成长无不利影响的，则由父方直接抚养。
《最高人民法院关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》规定，未成年子女的抚养费包括未成年子女的子女生活费、教育费、医疗费等费用。未成年子女的抚养费的数额，根据子女生活学习的实际需要、父母双方的负担能力以及当地的实际生活水平确定。
《刑法》第二百六十一条规定：对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。
父母抚养未成年子女，这属于法定的义务，同时也是作为父母的责任。但现实中却经常出现父母不履行抚养义务的情况，这不仅会对子女的健康成长造成影响，其实父母也是要承担一定的责任，严重的情况是甚至还会被认定为刑事犯罪，受到相应的刑事处罚。
延伸阅读：
自愿放弃孩子抚养权有效吗?
