《行政处罚法》规定，执法人员与当事人有直接利害关系的，应当回避。
所谓与本案有直接利害关系，是指执法人员本人是当事人;或者是本案当事人的近亲属，案件处理的结果可能对其权益产生影响等情况。所谓可能影响公正处理的其他关系，是指除上述有利害关系以外的关系，如朋友关系、师生关系等，有可能利用这些关系影响对案件的公正处理的情况。
行政处罚的设定是指国家有权机关在行政处罚立法上的权力配置。根据《行政处罚法》和其他法律、法规的规定，行政处罚的设定权限划分如下：
1、全国人民代表大会及其常务委员会是国家最高权力机关和立法机关，可以设定任何种类行政处罚。限制人身自由的行政处罚，只能由法律设定。
2、国务院是最高行政机关，可以依法设定除限制人身自由以外的行政处罚。法律对违法行为已经作出行政处罚规定的，行政法规不得超越法律规定的给予行政处罚的行为、种类和幅度的范围另行作出行政处罚规定。
3、地方性法规可以设定除限制人身自由、吊销企业营业执照以外的行政处罚。法律、行政法规对违法行为已经作出行政处罚规定的，地方性法规不得超越法律、行政法规规定的给予行政处罚的行为、种类和幅度的范围另行作出行政处罚规定。
4、国务院各部、委制定的规章可以在法律、行政法规规定的给予行政处罚的行为、种类和幅度的范围内作出具体规定;尚未制定法律、行政法规的，部委规章可以设定警告或者一定数量罚款的行政处罚。罚款的限额由国务院规定。国务院可以授权具有行政处罚权的直属机构按照本条的情形规定行政处罚。
5、省、自治区、直辖市人民政府和省、自治区人民政府所在地的市人民政府要严格的按照法律规定的程序来进行
在现实生活当中，如果因为某些行为违反了行政法律的规定，那么行政机关是可以对此作出一定的处理，比如说进行行政处罚的，但是不管是哪一种处罚的方式，都必须严格按照法律所规定的程序来进行，并且有利害关系还需要回避。
