不可以，不给别人也可以进行起诉要回。除非有法律规定的特殊情形，如因不可抗力导致的违约。
1、买售人应当仔细阅读本合同内容，对合同条款及专业用词理解不一致的，可向当地房地产开发主管部门咨询，如无异议视为双方同意内容。
2、在签订合同前，出卖人应当向买受人出示应当由出卖人提供的有关证书、证明文件。
3、合同条款应该严格遵守有关法律、法规之规定，并由中华人民共和国建设部和国家工商行政管理局负责解释。
购房合同的主要内容包括以下几方面：
1、甲方土地使用依据及商品房状况，包括位置、面积、现房、期房等;
2、房价，包括税费、面积差异的处理、价格与费用调整的特殊约定等;
3、付款约定，包括优惠条件、付款时间、付款额、违约责任等;
4、交付约定，包括期限、逾期违约责任、设计变更的约定、房屋交接与违约方责任等;
5、质量标准，包括装饰、设备的标准、承诺及违约责任和基础设施、公共配套建筑正常运转的承诺、质量争议的处理等;
6、产权登记和物业管理的约定;
7、保修责任;
8、乙方使用权限;
9、双方认定的争议仲裁机构;
10、违约赔偿责任;
11、其他相关事项及附件，包括房屋平面图、装饰、设备标准等。
二、违约金法律定义
当事人完全不履行或不适当履行债务时，必须按约定给付对方的一定数额的金钱或者金钱以外的其他财产。违约金是合同经济方式的一种，也是对违约的一种经济制裁。违约金的设立，是为了保证债的履行，即使对方没有遭受任何
财产损失，也要按法律或合同的规定给付违约金。违约金的标准依法定或双方在合同中书面约定。违约金有两种：
1、惩罚性违约金，其作用全在惩罚，如果对方因违约而遭受财产损失，则违约一方除支付违约金外，还应另行赔偿对方的损失。
2、补偿性违约金，是对合同一方当事人因他方违约可能遭受的财产损失的一种预先估计，给付了违约金，即免除了违约一方赔偿对方所遭受的财产损失的责任;即使损失大于违约金，亦不再补偿。
综上所述，如果购房合同已经签署完毕，双方当事人都需要严格遵守，如果存在违约行为不可以不支付违约金，否则对方可以通过法律手段强制要求承担违约责任，若是双方对于违约金额没有明确约定并且存在争议时，可以通过向人民法院起诉进行判定。
延伸阅读：
根据我国合同法的规定，出现下列情形之一的...
在我国的合同法中，第97条有明确的规定 ...
