(一)
编者:从2013年至今,歌路营一直在关注农村寄宿学校和留守儿童,提供的服务从新1001夜睡前故事到视频课程、校园环境美化等多个产品, 并在5年中进行了多轮的试测、效果评估和产品迭代,我们根据监测的效果和用户的第一手反应,不断在思考和研究:教育公益组织提供什么样的产品和服务才能真真实实的产生效果呢?
这份报告分为上下两部分刊出,本周的主要内容围绕多轮的产品测试和评估结果,从中提炼总结出一些规律,下次刊出的内容将从歌路营在真实服务过程中的需求发现、实施细节等方面提出我们的观察思考。
农村寄宿学校这几年发生了很大的变化,国家一直在大力投资农村教育的硬件设施。从2010年国家实行“薄改计划”以来,中央财政已对农村薄弱学校的教学装备投入专项资金超过2000亿,地方政府配套投入超过4000亿。截至2015 年,“三通两平台”工程中的“校校通”已升至85%。教学楼、宿舍楼、多功能教室、教师周转房、硬化操场、学校信息化建设,几乎成为了现在乡村学校的标配。但是有了这些硬件投入,农村教育的问题是否迎刃而解?
我们在关注产品科技含量的同时,是否更应该探讨产品是否对孩子有效?产品是否能够落地,真正的被使用起来?
作为一家专注于服务农村寄宿学校的教育公益组织,五年以来,歌路营也一直在不断探索、研发、测试和评估。最终我们发现,一款好的农村学校教育产品,不一定需要昂贵炫酷的硬件配置,庞大的系统、复杂的界面和操作,相反歌路营则提出农村教育产品一定要“好、低、实”:
“好”就是内容要好,受老师和学生欢迎,对他们的身心成长和学业进步有好处;
“低”就是要接地气、低成本、低科技、易操作;
“实”就是设备实用和皮实,考虑所有产品、项目落地的每一个细节,保证学校每天(注意这里强调的是每天、每天、每天,重要的话说三遍)能够使用起来。
在歌路营的5年实践里,我们已经将符合这三点原则的产品推广到全国28个省的3400所农村学校里,每天服务着近百万学生,我们也通过不断的评估测试,发现只有符合这三点基本原则的产品才能真正对学生产生作用。
5年多轮测试产品和干预是否有效,从评估结果发现了重要规律:
在五年的探索中,我们首先推出了“新1001夜睡前故事项目”,利用安装在宿舍的小喇叭、校园功放和网络播放器,每天早上播放音乐叫醒孩子起床,晚上给寄宿生们播放一个15分钟的睡前故事。随后,我们又推出了120节心理故事课程和420节学科补充的视频课程,利用学校自有的多媒体设备(白板、电视、电脑等),让学生自主收看学习心理故事视频和课后视频等。这些项目都有一个共同的特点,那便是充分利用学校现有的资源、多媒体设备和网络,即使用一些信息化手段工具,也往往是本着“两低”的原则。
五年里,我们做过多轮次比对测试(总体涉及评估学校数字超过200所,测试学生人数超过2万人),比如究竟是在宿舍装喇叭,还是给孩子发送移动端设备更能被学校接受?在学校安装配置一个炫酷PAD 教室,还是在教室里装个电视或者利用教室现有多媒体设备播放,最终对学生的干预效果更好?
安装在宿舍的小喇叭
评估结果都证明这三个项目对学生的心理健康水平提升、校园关系改善和学习兴趣促进的效果非常明显,同时多轮的测试无例外地显示出几条很有意味的规律,即:
第一,产品的内容和形式要“好”,受老师和学生喜爱。
不管是睡前故事还是视频课,多次的评估均显示,歌路营的所有产品内容深受学生的喜爱,喜爱率均高达90%以上。如图1所示,2017年歌路营在贵州13所学校410名住校生中开展了睡前故事的评估,结果显示,93.4%的学生喜欢听睡前故事,并且有87.7%的孩子表示听完故事后心情更好了。同样的情况也在视频课上得到了检验,90%以上的孩子喜欢并且愿意继续观看课后视频课(图2、3)。
我们采访学生、老师时,常常得到这样的反馈:
“我很喜欢睡前故事,印象最深的是《想家》,因为这个故事也发生在我身上。”“我喜欢科技发明类的视频,因为它们很好玩,我从来都没有见过,太有意思了!”“你们的内容很有趣,不仅学生喜欢,我们老师也很喜欢而且孩子们晚上听故事,然后安安静静睡觉,就不用我们一遍一遍管。”“孩子们很愿意上视频课,总是问我们这周什么时候上,表现得积极,课上也看得很认真,偶尔能听到几个孩子讨论哪个更有趣。”
孩子喜欢是孩子主动行动和改变的一个最大的驱动力。这也是为什么歌路营一直主张农村教育产品最首要的是要“符合孩子的天性”。不管是睡前故事还是课后视频,我们都选取了贴近孩子生长生活环境,以及符合孩子当下心理需要的故事内容,并以一种有趣的,甚至视觉化的方式呈现出来。这既符合孩子身心发展的特点,受孩子喜欢,也能以更柔性化的方法达到教育和引导孩子的目的,从而让孩子喜欢待在学校,愿意主动去学习,更有效地吸收有益于成长的教育内容,最终才可能达到改善孩子身心健康水平,有效促进学业表现等一系列教育目标。
当然,与此同时产品的内容也要对学校和老师的教育教学带来帮助,这样才能顺利推进到学校中。例如,新1001夜睡前故事项目。项目一实施,老师们首先发现孩子们睡前吵吵闹闹的现象少了,老师对宿舍管理的压力减少很多,同时发现孩子们会把故事中听到的新内容和词汇带到写作中,因此老师就会很欢迎故事项目落地,不少老师反映每天晚上他们也很喜欢和孩子们一起听故事。
第二,“低”就是产品模式要简单接地气、低成本、低科技、易操作。
产品的技术和操作难度越低,学校维护和管理成本越低越受学校欢迎;相反被闲置的可能性越高。歌路营在心理故事视频和课后教育视频的项目上,曾采用过更具科技含量的产品——提供PAD教室给学校,学生在课余时间通过PAD观看各类视频,并自主答题加深对内容的理解。虽然学校和教育局对此都表现出极大热情,但是多次的测试显示,实际的使用和开放远没有达到预期。学校的平均视频观看完成率仅为40%左右。
孩子们在PAD教室观看视频
后来,我们又比较了采用PAD观看和采用电视观看视频的效果,结果发现使用PAD观看视频的学校仅能保证每周观看1次,观看完成率平均只有30%;而使用电视观看视频的学校每周至少观看3-4次,观看完成率平均达到70%(图4)。
总结起来使用PAD观看未能达到预期的原因如下:1)占用教室空间;2)担心用电安全;3)担心设备损坏、丢失;4)技术含量太高,老师不太会用;5)大量的平板和线路增加了老师管理负担和压力;6)增加设备维护成本;7)学校需要排进课程表等等。因此,我们也就不难理解,为什么在农村学校配置的“高科技教室”往往沦为展示窗。
孩子们在教室观看电视播放的视频
而相对的,电视模式因其操作简单,与操作普通播放器一样技术难度不高,任何老师都能轻易上手,甚至也能让学生自主播放和管理,有效的减轻了老师的使用难度和管理压力,尤其在寄宿学校,中午、下午、晚上的空余时间比较多,使用电视等在教室内的设备,就可以有效利用多时段的空余时间播放,在实际中该模式更受学校老师的欢迎。
第三,“实”就是设备实用和皮实,使用能落实,保证学校每天实际在使用
产品可触及学生的频次,即实际开放使用频次与干预的最终效果呈强烈正相关关系。也就是说,产品使用越频繁,如保证每天开放和使用的小组,与开放程度一般的小组及完全不开放的小组相比,干预效果差距非常显著。以睡前故事为例,我们在2015年到2016年的第一阶段的大规模评估中发现,与没有故事的学校和有故事但并没有每天播放的学校相比,每天播故事的学校,其住宿生的校园霸凌比例显著降低,降低幅度为8.65%(图5)。
图5 睡前故事中期调研之校园霸陵百分比
同样的,我们再来看一组使用心理故事视频课的评估结果。同样是使用PAD观看视频,观看频次较高的,观看完成率达到60%的学校,相比完成率为30%和10%以下的学校,其学生心理问题的检出率就越低,心理状况得到改善的比例越高。
而在课后视频课的不同观看模式的比较测试中,我们也发现观看频次更高的TV组,在实验后的阅读成绩高出PAD组0.6个标准差。这些数据都告诉我们,一个好的农村教育产品要显现效果,最重要的是要保证产品可触达使用者,保证产品的开放率和使用频次。换句话说,一个产品内容再好,但如果使用有难度,就不会用人愿意持续的使用它,那么这个产品想要达到的目标和效果就无法实现。这也是为什么,在课后视频课的项目上,歌路营最终选择了利用学校多媒体设备或者安装电视来进行播放的原因。
满足用户的痛点需求,贴近用户的真实使用情景,通过测试与评估不断调整与迭代产品和服务,总结其中的规律,再进行反复的验证,最终发现农村学校中什么产品有效果......歌路营的探索思考还在持续进行中,欢迎大家与我们一起讨论,也欢迎大家继续关注《歌路营五年经验——揭秘什么样的产品能产生效果 ?(下)》
(二)
编者:在上一篇文章中,我们围绕歌路营五年中的多轮产品测试和效果评估,总结了一些教育公益组织在为农村寄宿制学校提供产品和服务时的规律,包括:1)产品的内容和形式受老师、学生喜欢;2)产品模式要简单、接地气、低成本、易操作;3)产品设备要实用,能落地并且保证每天使用才能真正对孩子产生效果。本篇文章 ,歌路营将从推广模式、产品持续改进、实施细节等方面继续提出一些思考。
寄宿学校空白点很多,但找到大规模可持续推广模式很难。
大多数农村寄宿制学校的一天除了每天6-7节课外,空余时间很多,但是真正能够有效利用的时间和提供的课外内容很少,形成了很多空白。因此,寄宿学校普遍的难点和重点就在于怎么利用好这些时间,让学生喜欢学校、喜欢学习,同时又减低对老师的教育管理压力。
例如:从学校稀缺的教育内容来看,英语、阅读、科学、音乐和美术普遍缺失。
从教育环境上看, 校园美化、班级美化甚至是寄宿制学校的宿舍美化缺口很大。
丰富的课外活动和乡土自然教育也是学生喜欢但学校难以开展的,如故事、视频课、游戏、舞蹈、趣味运动、园艺活动、乡土教育、食育教育、自然体验等等。
除此之外,少数民族地区的双语教学内容也是迫切的需求。
目前,已经有不少公益项目在为此努力,比如民间美术进课堂、乡土教材、游戏体育课程、住校社工...商业领域可借鉴的教育内容就更多了,但是是否有了内容就可以顺利进入学校,解决农村教育的问题呢?
歌路营5年的工作经验表明,产生合适农村学校的教育内容是重要,但只是第一步,而产品服务模式能否真正落地,产品是否得到验证被证明有效,是否寻找到了适应大规模推广的模式,项目成本和财务可持续性,甚至还有内部运营系统和基础设施是否完备,专业化管理是否到位等系列问题更是关键影响因素和难点。
在多轮测试中找到关键影响因素不断改进。
正如上篇文章中提到,歌路营在新一千零一夜产品的产生过程中和视频产品的试点阶段测试过多轮,产品的形态也有了很大改变,从安装PAD教室,学生个人使用到利用多媒体、电视设备集体进行播放。
在不同地域和学校的比对测试中,每一轮都会依据真实数据和学生反馈进行反思和调整,最终推翻了项目初期设计的PAD教室模式,找到了播放率与产品有效性的重要关系,从而采用了看起来不那么时髦和高大上的TV模式。
同样,新一千零一夜项目通过大规模随机科学评估也证明了这一点。在随后的工作中,歌路营一边在进行学校数量的持续大规模推广,一边为保证播放率,从产品介绍、标准化手册、流程、信息化管理系统直至客户服务等一系列环节不断进行调整,经过两年多的改进,最终让我们从数据的真实中看到了变化。
法国启蒙思想家伏尔泰说过,使人疲惫的不是远方的高山,而是鞋子里的沙子。同理,农村产品是否能真正落地往往是不易察觉的一系列细节决定。
一方面,农村老师在使用信息技术上不熟练(如下图所示),越是乡村、偏远地区的学校老师的信息化能力越差。因此歌路营睡前故事的这样简单的终端软件--播放器下载安装、设置、连网之类的工作一直困难重重,成为了推广中耗时耗力的最大瓶颈。如果再推广视频,或者在线教育这类对信息化软硬件要求都很高的项目,其中的难度可想而知。
(数据来源于孟肖的论文:《信息技术在农村小学教学中的应用现状与对策研究》)
除了老师的软性能力差以外,硬件的问题依然很多。事实上,许多农村学校网络都很不顺畅、信息化水平依然有待提高。具体说:
首先是网络覆盖问题。学校网络通常不是全校覆盖,每个班级和宿舍、老师宿舍没有联网的情况非常普遍。因此,新一千零一夜故事在宿舍播放常常要重新在宿舍楼内进行联网。
其二是网速问题。学校的网络带宽和机构服务器的带宽都会影响音频、视频的下载速度。常规状态下,农村很多学校的下载速度平均在200k/s或者更低,如果是下载音频的话,只需要2分钟下载一个故事,但如果下载10分钟左右的一堂视频微课就需要30分钟到1小时左右,如果在线直播要求更高。上千个音频故事,500多节视频课如果顺利下载播出难度可想而知。
其三是网络成本问题。根据我们的了解,不少农村学校的网络总带宽不足100M,有的甚至只有10M,而且是由十几台电脑共享,成本却达到每年1万元以上。如果让学校提高带宽来实现产品的顺利使用,那么学校的生均经费是否能够支持也是挑战。
其四是系统兼容性问题。当用户不断增加时就会发现学校的电脑系统有各种各样的版本,有的仍在使用XP系统,内存基本在2-3G左右。这就意味着播放器需要兼容不同的系统版本,而像视频课这类产品还需要考虑到电脑能否承载运行的问题。
Aha社会创新学院的顾远说过,好的教育创新必须充分考虑“在地性”原则,具体包括方案的可购性、可获取性、可用性、可靠性、可持续性以及可接受性。而我们认为,在乡村教育上,产品可用,符合学生、老师、学校的需求;产品可靠,能就地取材,减少操作复杂性和维护成本;产品可接受,能够嵌入当地生活真实的环境、习惯等。
实事求是面对每一个细节,认真全力去解决现实中每一个问题,不好高骛远,不凭空想象、不回避问题,是一家农村教育机构应有的最基本的工作态度,愿与大家共勉。