看具体情况来判定：
其一、养殖场如果手续健全，即土地经过确权，有土地所有权的，则该养殖场不算违章建筑。
其二、没有任何手续而私自建场养殖，则属于违章建筑。
《土地管理法》第四条规定，国家实行土地用途管制制度。 国家编制土地利用总体规划，规定土地用途，将土地分为农用地、建设用地和未利用地。严格限制农用地转为建设用地，控制建设用地总量，对耕地实行特殊保护。 前款所称农用地是指直接用于农业生产的土地，包括耕地、林地、草地、农田水利用地、养殖水面等；建设用地是指建造建筑物、构筑物的土地，包括城乡住宅和公共设施用地、工矿用地、交通水利设施用地、旅游用地、军事设施用地等；未利用地是指农用地和建设用地以外的土地。 使用土地的单位和个人必须严格按照土地利用总体规划确定的用途使用土地。
延伸阅读：
养殖场拆迁有补偿吗？
承包地上建的养殖场是违建吗？拆迁没有补偿吗？
养殖场拆除有补偿标准吗
