1、侵犯的行政关系的性质不同。行政违法侵犯的是行政关系的合法性;行政不当侵犯的是行政关系的合理性。
2、范围不同。行政违法则既可能发生在自由裁量行为中，也可能发生在羁束行为中;而行政不当仅发生在自由裁量行为中，不发生在羁束行为中。
3、责任不同。行政不当并不必然导致行政责任，只有在法律规定的条件下，行政主体才承担相应的行政责任，而且即使行政不当行为人必须依法承担行政责任，一般承担补救性行政责任，特殊情况下也可能承担惩罚性行政责任;但行政主体的行政行为如果是违法的，违法行为人必须承担由此引起的行政责任(包括补救性行政责任和惩罚性行政责任)。
4、法律效力不同。行政不当并非绝对无效。根据我国《行政诉讼法》第5条的规定，人民法院在行政诉讼中，对具体行政行为作合法性审查，不做合理性审查。根据我国《行政复议法》的规定，行政复议机关在行政复议中可以审查行政行为的适当性，对明显不当的具体行政行为作出撤销、变更和责令重作的复议决定;而行政违法行为一概无效，对行政管理相对人没有拘束力，而且自违法行为发生之日起行政行为就没有效力。
(一)根据违法的程度，行政违法可以分为实质性行政违法和形式性行政违法。
前者是指不具备行政行为实质要件的行政违法，如主体不合格、内容不合法、超越职权、滥用职权等;后者则是不具备行政行为形式要件的行政违法，如行为的作出不符合法定程序、行为的表现形式不符合法律规定的要求等。
区分实质行政违法与形式行政违法具有重要的法律意义。首先，从法律效力看，实质违法一般属无效行为，从该行为发生之时即没有法律效力，而形式违法一般属可撤销行为，它经有效补救可转化为有效行为;其次，从法律后果看，实质违法所引起的法律后果主要是承担惩罚性行政责任(如行政处罚、行政处分)，而形式违法所引起的法律后果主要是承担补救性行政责任(如撤销违法)。
(二)根据违法的范围，行政违法可以分为内部行政违法与外部行政违法。
前者是指内部行政主体的行政违法，如上级行政机关对下级行政机关的越级指挥;后者则指外部行政主体的行政违法，如公安机关非法拘留公民。
内部行政违法与外部行政违法在救济手段上是有区别的：内部违法仅限于行政救济，不受司法审查;而外部违法不仅可借助于行政救济，还可借助于司法救济。
(三)根据违法的形式，行政违法可以分为作为行政违法与不作为行政违法。
前者表现为积极地作出行政法律规范所禁止的行为，如税务机关违法征收税款;后者则表现为拒不作出行政法规范所要求的行为，如工商机关对企业申请营业执照不予答复。
作为违法与不作为违法均是行政法律的规范对象。就行政诉讼而言，作为违法可以成为行政诉讼的对象，不作为违法同样可以成为行政诉讼的对象。
综合上面所说的，行政违法与行政不当都是属于违法未按规定实施自己的行为，但对于这两种所存在的区别是很大的，一种是属于行政条款上的违法，一种是属于行政条款上合法但处理不当，但只要造成不必要的后果必然也会承担法律的责任。
