一、证据不足不起诉应当行政处罚吗
不受到起诉，因为检察院认为其罪行尚不构成犯罪，做出不起诉决定，故而退回有行政单位进行行政处罚。
行政处罚是指行政机关或其他行政主体依法定职权和程序对违反行政法规尚未构成犯罪的相对人给予行政制裁的具体行政行为。
1.行政处罚是以对违法行为人的惩戒为目的，而不是以实现义务为目的。这一点将它与行政强制执行区别开来。行政强制执行的目的在于促使义务人履行义务。
2.行政处罚的适用主体是行政机关或法律、法规授权的组织。这一点使它与刑罚区别开来。刑罚的适用主体是人民法院。
二、哪些情况是《刑法》规定不需要判处刑罚或者免除刑罚
第一种：犯罪情节轻微的。根据《刑法》第三十七条的规定，对于犯罪情节轻微的，可以免予刑事处罚。
第二种：已在国外受到刑事处罚的。根据《刑法》第十条的规定，在我国领域以外犯罪的、而且在外国已经受过刑罚处罚的人，如果就同一犯罪事实在我国再次接受审判，那么我国法院可以根据具体情况对其免除处罚。
第三种：聋哑人或者盲人犯罪的。根据《刑法》第十九条的规定，又聋又哑的人或者盲人犯罪的，可以根据具体情况从轻、减轻或者免除处罚。
第四种：正当防卫或者紧急避险超过必要限度的。根据《刑法》第二十条第二款，和第二十一条第二款的规定，正当防卫或者紧急避险超过了必要限度，造成损害的，是需要承担刑事责任的，但是应当根据具体情况减轻或者免除处罚。
第五种：犯罪预备、犯罪中止的。根据《刑法》第二十二条第二款和第二十四条第二款的规定，为了犯罪准备工具、制造条件，但是尚未着手实施犯罪行为的;或者虽然已经开始实施犯罪行为，但是在犯罪过程中自动放弃犯罪或者自动有效防止犯罪结果发生的，根据具体情况可以免除处罚。
第六种：属于从犯、胁从犯的。根据《刑法》第二十七条第二款和第二十八条的规定，在共同犯罪中起次要或者辅助作用的——也就是说属于“从犯”的，或者被胁迫参加犯罪的——就是说属于“胁从犯”的，可以根据具体情况免除处罚。
第七种：自首、立功的。根据《刑法》第六十七条第一款和第六十八条的规定，犯罪以后自动投案并且如是供述自己罪行的，如果所犯罪行较轻，可以免除处罚;另外，对于有重大立功表现的，也可以根据具体情况免除处罚。
不管嫌疑人是犯了很大的罪行，还是很小的，都是要根据国家的法律法规进行立案侦查，只有足够的证据才可以惩罚嫌疑人，证据不足的情况下，不可以进行刑事处罚，但是确实是有违法行为，那么嫌疑人不刑事处罚，就得收到行政处罚。
延伸阅读：
公安行政处罚书模板内容有什么?
行政处罚简易程序是怎样的?
