银行不仅是一个在社会上盈利的私人组织而是因为涉及到了国家的金融秩序方面而在法律层面上有了特殊的权力性质，而国家在赋予银行特殊的行政处罚权力的同时也必须做出措施防止其滥用，因此就需要根据严格的标准在程序和自由裁量的对象上进行规范。
一、如何规范银行行政处罚裁量权？
(一)建立规范人民银行行政处罚自由裁量权的基准制度。即严格依照相关法律、法规、规章规定的情形，对执法领域发生违法行为的种类，按照不同违法行为的事实、性质、情节、社会危害程度和行政管理相对人主观过错等因素划分若干行为阶次，将法律规定的行政处罚自由裁量空间也相应划分为若干裁量阶次，并据此对不予处罚、从轻或者减轻处罚、从重或者加重处罚等据以作出裁量的情节确定相对细化、合理、统一的标准，从而相对缩小行政裁量的范围，把执法的随意性限制到最小化，减小裁量的自由度和随意性。
(二)严格执行人民银行行政处罚程序中有效约束自由裁量权的各项制度。一是陈述、申辩制度。在作出行政处罚决定之前，应当告知当事人依法享有陈述、申辩等权利，认真审查当事人陈述、申辩提出的事实、理由和证据，避免行政自由裁量权行使不公正、不合理;二是听证制度。凡法定需举行听证的情形，应告知当事人有权要求举行听证，并保障当事人听证活动中享有的各项权利;三是集体讨论制度，对重大行政处罚案件要严格按照规定进行集体讨论;四是裁量说明制度。对于作出的行政处罚决定，行政执法机构应当就违法行为的事实、性质、情节、社会危害程度和当事人主观过错等因素及最终选择的处罚种类、幅度等情况作出详细说明，以便于当事人进行陈述和申辩，并防止自由裁量权的专横行使。
(三)建立行政指导案例。人民银行将其各级分支机构以往行政处罚活动中有典型意义的案例进行遴选，对法律规定较大裁量幅度、处罚中易产生差异的案件进行点评、指导，向全系统进行发布，作为该行政执法机关以后行政处罚的参考，将有利于统一执法标准、规范自由裁量权的行使，力求做到同案同处理，有利于实现法律的公平公正。
(四)增强执法人员的法治观念，提高规范自由裁量权行使的自觉性和能力。一是增强执法人员的法制意识。通过加强法律法规学习使其能够正确把握法律法规的宗旨、范围和界限，善于把具体案件实践与法律原则融合贯通，把握分寸，正确定性;二是增强执法人员的政治、职业道德等综合素质。全面提高执法人员的思想品质、文化素养、业务能力、思维判断能力和工作责任意识，使其在执法工作中能以公共利益为执法的最高利益和最后目的，把对国家负责与对法律负责、对管理相对人负责结合起来，实事求是、坚持原则、秉公尽责，不谋私利，具备规范行使自由裁量权的自觉性。
(五)加强执法监督，保障自由裁量权的规范行使。一是通过严格落实执法案卷评查制度、重大案件报备制度、错案追究制度等加强对行使自由裁量权的监督，对不规范行使自由裁量的行为进行通报，对情节严重的进行处理;二是探索建立自由裁量权行使过程的公开制度，接受当事人和社会公众的监督;三是对行政自由裁量权的实施引入执法问责制，因行使行政自由裁量权失当引起显失公平、错案或者复议、诉讼败诉的追究相关当事人责任。
综上所述，之所以既然给银行一定的权力去裁量其做出的行政处罚又要限制其裁量的限度，是因为银行直接掌握着金融的秩序应该有必要对某些破坏犯罪者进行相应地处罚，但是银行毕竟不是政府也不应该把政府的职能也包揽在日常的运营之中。
延伸阅读：
行政处罚自由裁量权的基本原则是什么
税务行政处罚法全文包含的内容有哪些?
行政处罚法实施细则包括哪些
