本篇部分观点来自于
罗伊·波洛克,安德鲁·杰斐逊的6DS法则
培训管理者需要给企业管理层提供可靠的相关数据,说明培训带来的价值。
这样,企业领导才能制定合理的资源分配决策。
每一次评估都应该根据评估结果提供明确的建议。
如果评估不可靠,评估就失去了意义;
如果评估结果不可行,评估就无法发挥作用,甚至会导致错误、有害的决策。
帮助企业实现目标的培训项目千差万别,
所以同一种方式评估所有的学习项目,显然是不正确的想法。
由于大量变量的存在,大多数项目都是独一无二的;
所以我们可能用同样的方法评估所有的项目。
但是,我们仍然可以归纳出一些原则,制定和执行项目评估方案。
我们总结了下面4个标准和你分享:
1
相关性
即评估内容必须与业务目标和项目的逻辑模型有着明确直接的联系。
这一点可以说人尽皆知的常识,我们都不好意思在拿出来说事了,可大家在实际工作中还是会经常忽略它。
关于这点,大家最常犯的错误就是把“反应层级”的学员反馈评分当成评估项目结果的证据。
如果我们的目标是吸引人们再次做一件事,如看电影,去逛街或看场演唱会,那么我们的确可以根据这些反馈数据评估活动效果。
但是企业投资培训项目并不是为了获得娱乐价值;
这些项目是为了解决问题,抓住业务机会,改善服务,提升效率,学员们对项目价值的看法,并不能帮助企业回答这个问题:项目是否实现了业务目标。
那什么样的数据是相关的?
相关的评估是指那些与业务目标相关并且得到出资人(企业管理层领导)认可的评估。
我们在决定评估内容的时候,一定要与企业出资人共同商定。
培训管理者不能只靠自己的主观想法去判定“客户”的需求和价值观。
根据培训项目目标,我们可以收集的相关数据种类包括行为观察、反馈意见、业务指标、预测数据或这些方式的结合。
例如培训项目的预期目标是改善客户满意度,那么你需要评估客户满意度方面的变化,如客户对收到的服务质量的看法。
数据种类 |
举例 |
收集方式 |
业务指标 |
销售数据
生产数据
质量指标
停工损失
营业额 |
从业务信息系统中获得 |
行为观察 |
合理的流程
电话礼仪
销售技巧
教练技巧
人际交流技巧 |
对观察者进行调研
直接观察,公开/隐蔽
录像
演示/角色扮演
模拟 |
预测数据 |
节约的时间
应用的次数
财务效益 |
调研
访谈 |
反馈意见 |
服务质量
评分
领导效能
演示水平
改善程度
项目价值 |
调研
网络访谈
评分服务
访谈
焦点小组
学习转化支持系统 |
外部事件 |
表彰
诉讼官司
负面评价 |
监管机构
法律部门
网络舆情监控 |
企业故事 |
成功故事
关键时间
案例 |
调研
访谈
学习转化支持系统 |
工作成果 |
业务规划
电脑代码
文案写作 |
审计
专家分析
专栏评分 |
我们应该根据具体的项目选择相关的评估指标和合适的收集方式,
但基本原则是一样的:对成功的定义达成一致看法,然后寻找或设计可靠准确的评估方式。
2
可靠性
即所收集数的数据,目标受众是可靠而值得信赖的,
即使你的评估具有相关性,但提供数据的可靠性有所,或者说领导对你提供的数据、分析有所怀疑,那评估就无法发挥作用。
从自身经历出发,我们可能更容易理解“可靠性”。我们每天被朋友圈、亲友群的推销、拉票、文章信息轰炸。有些是你相信的愿意阅读的,有些被你直接扔到一边。
你在这里用到的标准,很可能跟你的领导在评估你建议所用的标准是相似的。
从心理学角度来讲,可能你没意识到,你在评估时参考的关键因素之一,是事物的结果与你已经相信的事物的匹配程度。
人们更愿意接受那些能够支持他们观点的数据,而不是那些与我们观念背道而驰的信息。
这就意味着,如果有人一开始就对培训的价值抱有怀疑态度,那么他们对你提供的评估结果会更加苛刻。
我们在推进新的培训项目时尤其要注意。
其它影响可靠性的因素包括:
数据量:
比较样本数越大,真实性越高,但是这里有一个边际递减效应,从这个点开始,收集额外数据所耗费的成本就会超过这些数据带来的价值。
我们只需证明人们对培训存疑的地方,提供的数据量应该刚好能供管理层决策。至于绝对证据,我们既没有能力提供,也没有必要提供。
避开普遍偏差:
如选择性偏差,只愿意收集正面反馈;
汇报形偏差,学员认为负面评价可能给自己招来麻烦(虽然不一定有),那么他们可能美化自己的答案,或者选择“政治正确”的回答。
根据企业和培训项目的具体情况,做好这两点;
一些挫折或负面反馈,不但可以帮助我们改善培训,同样有助于增加评估可靠性。
3
令人信服
即评估应该是明确的、有说服力、让人印象深刻的.
每个评估都应该提供明确的行动建议,作为培训管理者,在学习项目中我们就是专家,需要明确地告诉管理层数据对未来行动有哪些影响,确保快速有效地制定决策。
我们应该在总结的一开始就清晰直观地提出自己的建议,现有的所有证据是支持我们观点的,而不要把建议放在最后。
企业管理层经常受到大量信息的轰炸,要确保我们的评估信息在众多背景中突出需要具备这几个特征:简单、具体、出乎意料、情感上引起共鸣、故事形式。
例如,去年有一篇爆款文章“北京,有2000万人在假装生活”
简单、清晰的观点加上出人意料的切入点;
如果我们的评估是领导“朋友圈”中的一条信息,其结果会更具体、更有效、更难忘。
企业倾向于在报告中剔除故事,因为感觉会很不严肃,这是种错误的倾向,
无论使用何种方法收集和分析数据,都要找机会将那些说明性强的故事包括进来,从而使人们记住所要传达的信息。
4
高效性
高效是所有业务流程都必须具备的一项重要内容,
只有满足了相关性、可靠性和令人信服的三个原则的前提下,评估才可能是高效的。
反过来说,如果评估内容不对,评估不可能事高效的。
德鲁克说过:世界上最多此一举的事,就是高效地评估本不需要评估的东西。
评估本身需要耗费时间和资源,所以高效是很有必要的。
评估只要能为决策者提供支持即可。我们的目标是用最小的成本产出相关、可靠的信息。
如果日常商业运营和个人绩效评估中,或学习转化系统中已经收集了数据,学习成果评估的一些指标则可以使用这部分数据,可以节约时间和成本;
如果还需要评估经营绩效的其它方面,则可以寻找自动化的方式收集数据;
对于大型培训项目,则可从所有学员中随机抽样收集数据,因为收集所有学员的相关数据会增加成本,但抽样量超过一定比例后,结果就具备了可预测性;
如果你不熟悉人口抽样的详细内容和需要注意的误区,请寻求专家或机构的帮助。
没有任何一种方法可以评估所有类型的学习项目。但上述的四点可以为大家提供衡量标准。