要看是不是违章建筑，是的话就要拆除。国有土地上的违章建筑，主要指违反《城乡规划法》等未获得规划许可或者违反违规许可，擅自在自己享有建设用地使用权的土地上建造的建筑物。
《国有土地上房屋征收与补偿条例》第二十四条第二款是这样规定的，“市、县级人民政府作出房屋征收决定前，应当组织有关部门依法对征收范围内未经登记的建筑进行调查、认定和处理。对认定为合法建筑和未超过批准期限的临时建筑的，应当给予补偿；对认定为违法建筑和超过批准期限的临时建筑的，不予补偿。”
延伸阅读：
国有土地上厂房征收补偿条例
国有土地上企业拆迁如何补偿
国有土地上企业拆迁流程是什么
