海关行政处罚记录会一直在，行政处罚卷底保存在行政机关，由作出处罚的行政机关来整理有关文件和材料，并归档保存。行政处罚是指行政主体依照法定职权和程序对违反行政法规范，尚未构成犯罪的相对人给予行政制裁的具体行政行为。行政处罚特征是:实施行政处罚的主体是作为行政主体的行政机关和法律法规授权的组织;行政处罚的对象是实施了违反行政法律规范行为的公民、法人或其他组织;行政处罚的性质是一种以惩戒违法为目的、具有制裁性的具体行政行为。
1.行政处罚是以对违法行为人的惩戒为目的，而不是以实现义务为目的。这一点将它与行政强制执行区别开来。行政强制执行的目的在于促使义务人履行义务。行政主体在法律特定的行政管辖权内，对尚未构成犯罪的有一般违法行政的管理相对人(被管理的组织或自然人)，依法所作的一种制裁。制裁的目的是为了维护社会治安和社会秩序，保障国家的安全和公民的权利。
2.行政处罚的适用主体是行政机关或法律、法规授权的组织。这一点使它与刑罚区别开来。刑罚的适用主体是人民法院。
行政处罚与刑罚的区别：制裁的性质不同;适用的违法行为不同;惩罚程度及适用的程序不同;制裁机关不同;处罚形式不同。
3.行政处罚的适用对象是作为行政相对方的公民、法人或其他组织，属于外部行政行为。这一点将它与行政处分区别开来。行政处分只能适用于行政机关的工作人员或其他由行政机关任命或管理的人员。
4.行政处罚的前提是行政相对方实施了违反法律规范的行为，而非违反了刑法、民法等其它法律规范的行为。
海关行政处罚的具体适用情况，是需要严格基于有关法律规定来进行认定的，特别是不同的行政违法事实和后果所认定的结果是不同的，但最终都是作出行政处罚决定的， 如果存在二次违法的，可以会加重处罚，具体情况结合实际而定。
延伸阅读：
违法生产经营的食品货值金额不足一万元的，...
对于盗伐林木的违法行为所必然接受的行政处...
