遗赠扶养协议的撤销主体是双方当事人、司法部门等，对于遗赠扶养协议的撤销应当根据实际来进行处理：
1、双方协商同意，致协议解除。
如果遗赠扶养协议当事人一方的情况发生变化(包括遗赠人另有亲属扶养或扶养人丧失扶养能力)，一方当事人有正当理由，可以要求双方协商解除协议。
如系遗赠人提出解除协议的，遗赠人应对扶养人已尽的义务在经济上给予适当补偿;如系扶养人提出解除协议的，遗赠人一般不给予扶养人经济补偿。
2、一方无正当理由不履行，致协议解除。
扶养人或集体组织与公民订有遗赠扶养协议，扶养人或集体组织无正当理由不履行，致协议解除的，不能享有受遗赠的权利，其支付的供养费一般不予补偿。
遗赠人无正当理由不履行，致协议解除的，则应偿还扶养人或集体组织已支付的供养费用。
二、遗嘱扶养协议的法律效力是什么?
遗赠扶养协议是双方的法律行为，只有在遗赠方和扶养方双方自愿协商一致的基础上才能成立。凡不违反国家法律规定、不损害公共利益、不违反社会道德准则的遗赠扶养协议即具有法律约束力，双方均必须遵守，切实履行。任何一方都不能随意变更或解除。如果一方要变更或解除，必须取得另一方的同意。而遗嘱是遗嘱人单方的法律行为，不需要他人的同意即可发生法律效力。遗嘱人不仅可以单方面订立遗嘱，而且还要以随时变更遗嘱的内容，或者撤销原遗嘱，另立新遗嘱。
在司法实践中，对于遗赠扶养协议的具体撤销以及认定情况，都是需要由双方当事人根据实际来进行办理的，必须在达成一致意见的情况下才可以进行认定，如果一方不履行义务，那么必然对另一方造成了权利侵犯，可以起诉要求撤销处理。
延伸阅读：
