教育部印发的《督学管理暂行办法》指出，各级教育督导机构要对督学工作进行管理，对督导工作完成情况、参加培训情况、廉洁自律情况等进行考核。
中小学校责任督学是基层教育督导的主力军。对责任督学履行挂牌督导职责的态度、表现、成绩等情况进行全面、科学、准确地评定或评审，是责任督学管理的重要环节，不仅能激发责任督学的内驱力，调动责任督学的积极性，帮助责任督学完善自我，还可以促进责任督学之间的相互学习，有利于提高基层教育督导的质量效能。
但是，从实践层面看，责任督学考评还存在“你好我好他好”、大而化之等虚化、弱化现象，责任督学考评尚不到位、不充分。完善责任督学考核评价制度，对责任督学实施有效的考核评价，教育督导机构必须有作为、善作为。
一是上下结合。责任督学考评，不是教育督导机构的“独角戏”。教育督导机构不能高高在上，更不能搞“一言堂”，而是要充分听取教育行政部门及其内设机构、督学责任区、中心校（集团校）、教育局、学校、教师、学生及家长、公众的意见、建议，有效采集考评信息，上下结合，提高相关方的考评参与度、精准度，增加考评结果的信度、效度。
二是内外结合。教育督导机构是责任督学的“娘家”，是责任督学的“自己人”。教育督导机构单方面考评责任督学，说到底还是内部考评。责任督学服务的是学校、家长乃至公众，是责任督学考核的“第二方”“第三方”，是责任督学考评的重要“外人”。考评责任督学，教育督导机构既要尊重责任督学的自评意见、报告，依据责任督学履职数据资料，拿出考核意见；又要充分听取有利害关系的“第二方”（学校、教师、学生等）以及无利害关系的“第三方”（公众及有关组织）的意见、建议，内外结合，有效整合，形成合力。
三是长短结合。聚焦于“学”，开展经常性督导，是责任督学的主要工作。责任督学的履职形态决定了责任督学考评不能只是“秋后算账”“年底决算”，而是要长短结合，精准发力，有效施评。教育督导机构可运用挂牌督导工作群，对责任督学履职情况随时点评；可利用月度例会总结工作，对督学责任区、责任督学进行月度考评；每年年终，按照责任督学考核标准细则，对照责任督学的工作表现，通过工作留痕、调查问卷、师生座谈、评价打分等形式对责任督学的思想觉悟、工作态度、业务能力、廉洁、自律、工作成效等进行年度综合考评；还可以辅以季度考评、半年考评。长短结合，疏密相间，发力精准，以考评促进责任督学有效履职。
四是虚实结合。数据说话，资料支撑，量化打分，不是责任督学考评的全部。责任督学之间的专业成长差异，还要通过“虚”的方式来体现，如责任督学的公众口碑、受学校欢迎的程度、教育督导研究能力、教育督导写作水平等。这就要求教育督导机构做好“有心人”，练好责任督学考评的“虚”功夫，虚实结合，给责任督学恰切的认定。
教育工作有一定的模糊性，教育督导工作也不例外。有些考评指标，不能作“非此即彼”的判断，只能作既非“是”也非“不是”的判断，具有典型的模糊性，只能运用“虚”的方式来评价。至于考评结果，可以“等级+分数+评价意见”的方式呈现，既指出亮点，又切中要害，还开出“药方”。
