行政权力不是无限制的，虽然说行政处罚是带有强制性的，但是我国的行政处罚法就是行政处罚最重要的参考依据。在行政处罚法当中也明确规定了某些情况下，行政机关对行政处罚相对人必须要从轻处罚的。下面我们就一起来了解一下，应当依法从轻或者减轻行政处罚的依据是什么?
《行政处罚法》之所以作出从轻、减轻或免予行政处罚的规定，主要基于以下几点考虑。首先，在我国处罚本身不是目的，如果用较轻的处罚能够达到目的，那么采用较重的处罚事实上会扩大处罚成本。其次，恰当地使用从轻、减轻或免于处罚，更容易使人改过自新。再其次，违法行为客观上有情节轻重之分，有危害大小之别，如果处罚不分轻重，既不能体现过罚相适应的原则，也不公正。最后，根据情节、后果轻重来处罚，更能够发挥行政处罚催人向善的导向作用，更能够体现行政处罚的法规制定初衷。
《行政处罚法》第二十七条规定：当事人有下列情形之一的，应当依法从轻或者减轻行政处罚：
1、主动消除或者减轻违法行为危害后果的;
2、受他人胁迫有违法行为的;
3、配合行政机关查处违法行为有立功表现的;
应该引起注意的是，对经济困难的违法当事人，不能因收缴其罚款难度大，为了提高结案效率，而予以从轻或者减轻处罚。因为“经济困难”不是从轻、减轻或者免予处罚的法定条件。对经济确有困难、一时难以缴纳罚款的当事人该如何处理?《行政处罚法》第五十二条作出明确规定：“当事人确有经济困难，需要延期或者分期缴纳罚款的，经当事人申请和行政机关批准，可以暂缓或者分期缴纳。”
二、不予行政处罚的情形。
《行政处罚法》第二十五条规定，不满十四周岁的人有违法行为的，不予行政处罚，责令监护人加以管教。
未满14周岁的自然人，在生理、智力上尚未发育成熟，还不具备了解自己行为的性质、意义和后果的能力，也不具备自觉地控制自己行为和对自己行为承担责任的能力。所以，不满14周岁的人有违法行为的，不予行政处罚，责令其监护人加以管教。
《行政处罚法》第二十六条规定，精神病人在不能辨认或者不能控制自己行为时有违法行为的，不予行政处罚，但应当责令其监护人严加看管和治疗。间歇性精神病人在精神正常时有违法行为的，应当给予行政处罚。
《行政处罚法》第二十七条规定，违法行为轻微并及时纠正，没有造成危害后果的，不予行政处罚。
由此可见，应当依法从轻或者减轻行政处罚的情形主要是包括以上四种的。比如说是受到别人的胁迫才做出了某些违法行为，在事后自己也有主动的消除造成的危害后果，或者帮助行政机关提供了重要的线索有立功表现的，行政机关必须要结合实际情况，从轻或者减轻行政处罚的。
延伸阅读：
行政处罚中没收非法财物可以折抵罚金？
医疗纠纷的行政处罚的种类
工商行政处罚程序的主要流程？
