如果对方已按照约定支付违约金，是需要退还本金的；
当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
未支付价金的违约责任：当事人一方未支付价款或者报酬的，对方可以要求其支付价款或者报酬。
当事人一方不履行非金钱债务或者履行非金钱债务不符合约定的，对方可以要求履行，但有下列情形之一的除外：
(一)法律上或者事实上不能履行;
(三)债权人在合理期限内未要求履行。
质量不符合约定的，应当按照当事人的约定承担违约责任。对违约责任没有约定或者约定不明确，依照《民法典》的规定仍不能确定的，受损害方根据标的的性质以及损失的大小，可以合理选择要求对方承担修理、更换、重作、退货、减少价款或者报酬等违约责任。
当事人一方不履行合同义务或者履行合同义务不符合约定的，在履行义务或者采取补救措施后，对方还有其他损失的，应当赔偿损失。 当事人一方不履行合同义务或者履行合同义务不符合约定，给对方造成损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益，但不得超过违反合同一方订立合同时预见到或者应当预见到的因违反合同可能造成的损失。
有定金的：收受定金的一方不履行约定的债务的，应当双倍返还定金。
因不可抗力不能履行合同的，根据不可抗力的影响，部分或者全部免除责任，但法律另有规定的除外。当事人迟延履行后发生不可抗力的，不能免除违约责任。
综合上面所说的，合同当事人只要没有按规定履行合同的条款，那么必定就会承担违约的责任，但只要履行了违约的义务之后，那么也需要按合同的约定退还之前所存在的本金，这是需要由双方来进行协商，如果协商不好的话，那么也是可以通过诉讼的方式来解决。
延伸阅读：
合同违约后诉讼时效中止吗？
劳动合同违约责任有哪些？
仓储合同违约责任法条是怎么规定的
