作者简介:李宝值(1987—),男,黑龙江佳木斯人,博士,助理研究员,主要研究方向为农村人力资源开发。E-mail: lbzjms@126.com
从国内外文献综述视角,首先梳理了国外一般化职业培训绩效评估体系的研究起点、发展动力以及演进路径,并构建了一个兼容多种模型划分方式的总体分类框架,然后总结中国职业农民培训绩效及其影响因素研究,最后从理论和实证2个角度提出4项研究建议,为这一问题的深入探讨提供参考。
The present study constructed a general classification framework and provided suggestions for future research from the perspective of literature review at home and abroad. Firstly, by combing the starting point, dynamics and evolutionary path in general training evaluation research, a general framework was constructed. Then, evaluation results and its influencing factors of Chinese vocational farmer training were summarized. Finally, suggestions derived from above analysis were proposed from both theory and practice.
培育新型农业经营主体是深入实施乡村振兴战略的重要举措, 而新型职业农民培训是加快构建新型职业农民队伍的关键所在。2016年中央财政投入15亿元用于培训100万名新型职业农民。在如此大规模投入之下, 政府迫切需要准确了解培训绩效, 既用于判断培训目标的完成程度, 也作为优化今后培训资源配置的决策依据。在理论上, 无论是在链式培训模型还是环式培训模型中, 培训绩效评估都是不可或缺的环节[1]。其主要作用在于:一是判断培训效果是否达到预期, 培训收益是否与投入相匹配, 以及培训所学能否应用于实践[2]; 二是设计并实施更有效的培训项目, 帮助组织者在后续培训课程的开发中做出更优决策[3]; 三是改善培训效果, 培训评估可以提高学员的学习意识, 使学员更加积极地接受培训[4]。基于此, 本文首先梳理了国外一般化职业培训绩效评估体系的研究起点、发展动力以及演进路径, 并构建了一个兼容多种模型划分方式的总体分类框架, 然后总结了我国职业农民培训绩效及其影响因素研究, 最后从理论和实证2个角度提出4项研究建议。
目前, 国外鲜有研究专门讨论职业农民培训绩效评估, 且多侧重于对一般化培训绩效评估体系的构建。这既有现实层面的原因, 例如国外职业培训多集中于非农部门, 也有理论层面的考虑, 比如职业培训绩效的基础分析框架具有一定通用性。下文根据相关文献演进的逻辑顺序分别介绍研究起点、发展动力及演进路径, 最后构建一个兼容多种划分方式的总体分类框架。
早在1959年, Kirkpatrick[5]便提出了关于培训绩效评估体系构建的基本思想。尽管遭受过若干质疑, 但该模型仍然获得了广泛应用, 被认为是最流行的培训绩效评估模型之一[6]。因为该模型既满足了培训评估的系统性要求, 又提升了培训评估的实践意义[7]。同时, 该模型简化了复杂的培训评价过程, 简明扼要地抓住了培训绩效评估的核心内容[8]。
该理论认为培训绩效可以从4个层级加以评估, 分别为反应(reaction)、学习(learning)、行为(behavior), 以及结果(results)。从含义上看:第一层级反应指学员对培训的主观评价, 通常表现为学员对培训的满意度; 第二层级学习指学员从培训中获取知识和技能的程度; 第三层级行为指学员因参加培训而出现的职业行为改变, 也被称为迁移(transfer), 是近年来十分流行的研究主题; 第四层级结果指培训对于学员所在组织效益的影响。从视角上看, Kirkpatrick本人强调了个体与组织的差别, 前2个层级属于个体层面, 后2个层级属于组织层面。后续研究拓展出另外2种视角:一是内外之分[9], 即将反应与学习视为内部类型, 因为它们关注在培训项目内发生了什么, 而将行为和结果视为外部类型, 因为它们刻画的是培训结束后的变化; 二是远近之分[10], 即将反应和学习归为短期类型, 而将行为和结果归为长期类型。
K氏模型在取得广泛应用的同时, 也遭遇了若干质疑, 这些质疑成为后续研究发展的重要推力。
1.2.1 关于模型假定的质疑
K氏模型假定4个评估层级之间依次呈现单向线性作用关系。但越来越多的经验研究发现, 4个层级之间的关系或者不显著, 或者呈非线性[11]。进一步而言, 该假定也暗示着反应层级可以作为其他层级的代理测度, 这不仅会强化单独使用反应层级的滥用趋势, 而且还会弱化其他层级的存在意义, 从根本上威胁K氏模型4分法的必要性。更重要的是, 这种独宠反应层级的评估导向, 容易诱导培训供给方将精力局限于如何迎合学员的主观感受(特别是愉悦感), 而不是如何真正让学员学有所得、学以致用、用之有效, 从而导致培训出现娱乐功能超过教育功能的异化[12]。实际上, 许多真正的成长进步都不是一个轻松愉快的过程, 正所谓“ 良药苦口利于病” “ 梅花香自苦寒来” 。
1.2.2 对于模型理论性的质疑
越来越多的研究表明, 培训绩效受到各种因素的影响[13], 例如培训前期因素、学员个体因素, 以及贯穿培训前、中、后期的环境因素。但是K氏模型没有提及与解释培训绩效的影响因素及其作用机制, 也没有扎实的理论基础, 所以K氏模型也被认为只是一种分类体系(taxonomy)[11], 导致评估风险增加或评估结果失效。例如, 大量的经验研究批判了K氏模型对环境类影响因素的忽视[14]。这种忽视等同于默认环境因素对每个学员的迁移行为具有相同影响, 从而导致无法根据评估结果作出有效判断:即使获知行为层级的评估结果不佳, 也无法进一步判定究竟是因为培训本身存在问题, 还是因为环境因素限制了所学的应用, 进而误导培训管理者作出错误决策, 或弱化有效培训, 或强化无效培训。
在上述质疑的有力推动下, 后续研究并没有采用完全抛弃K氏模型的“ 激进” 式变革, 而是呈现出“ 继承+修正” 的“ 渐进” 式演化形态。主要有2条演进脉络:一条是“ 继承式” 演进, 表现为评估层级的增加和评估层级的细化; 另一条是“ 修正式” 演进, 既包括总结型(summative)模型与形成型(formative)模型的区分, 也包括结果性评估(evaluation)与有效性评估(effectiveness)的分化。
1.3.1 评估层级的增加
K氏模型虽然提到了企业层面的培训绩效, 但并未提供具体指标, 这也成为后续研究的一个发展方向。新增评估层级主要落脚于企业经济收益或社会价值, 例如以投资回报作为第五评估层级[15]。不过该模型受限于2个约束:一是其假定由学员所在单位开展培训, 因而并不适用于第三方培训; 二是净收益难以有效测度或从其他因素中分离出来。为此, 控制组方法和前沿分析方法得以应用。但是这些仅仅增加评估层级的研究进展依然属于分类体系, 是介于理论初始阶段和最终证实阶段的中间状态[16]。
1.3.2 评估层级的细化
对于评估层级的细化集中于反应层级和学习层级。反应通常被细分为情感型反应和效用型反应[17], 前者指学员在培训中的享受程度, 后者指学员在多少程度上相信培训所学。学习层级通常被细分为3个维度:认知型, 技能型, 情感型[18]。其中, 认知型学习包括口头知识及其整理和组织, 技能型包括所学技能本身与展示所学技能的过程, 情感型包括情感和动机的变化。但是由于难以实践应用, 这种细分并未被实践者广泛采用[19]。
1.3.3 总结型与形成型的区分
不同于K氏模型及其“ 继承式” 演进对培训结果的重视, 另一个重要演进方向是对整个培训过程的强调。这些研究将培训评估分为2种类型:总结型和形成型[20]。其中, 总结型评估主要回答培训是否有效这一问题, 侧重对培训效果的综合性评估, 从而判断培训是否达到初衷。该类研究可以划分为3个阶段[10]:第一阶段(1950s— 1980s), 是以K氏4层评估模型为代表的实践导向型研究; 第二阶段(1980s— 2000s), 是以投资回报(ROI)浪潮为代表的过程驱动型研究; 第三阶段(2000s— ), 属于理论导向的综合性研究, 涌现出更先进的统计分析方法、问卷和模型。与此对应, 形成型评估主要回答如何提高培训质量这一问题, 侧重对整个培训流程的评估, 并由此提出培训项目的改进方案。代表性研究包括CIRO模型[21]和CIPP模型[22], 其中:CIRO模型包括环境、输入、反应, 以及结果4个层级; CIPP模型包括环境、输入、过程, 以及产出4个层级。
1.3.4 结果性评估与有效性评估的分化
上述关于形成型和总结型的区分是对培训过程的强调, 而从更宏观的视角来看, 培训过程属于培训绩效影响因素的范畴, 所以一个更加彻底的修正方向是将培训绩效影响因素纳入培训绩效评估模型。由此, 后续研究强调了结果性评估和有效性评估的区分[19], 前者侧重评估培训结果, 而后者侧重分析这些结果形成的原因。
有效性评估的早期代表性研究来自NS模型[23]。该模型强调了个体特征中动机因素和环境好感度的作用, 旨在说明即使培训被较好地设计和实施, 但如果学员知道他们的同伴或领导对于培训持负面态度, 那么学员的学习和转移动机就会下降, 最终削弱培训绩效; 然而, 由于过于复杂, 该模型难以应用于实践[24]。不同于K氏模型和NS模型分别处于简洁和烦琐的两极, BF模型[25]兼具过程化特征与结构化特征。该模型将培训迁移过程概括为3大部分:培训输入, 培训结果, 迁移状态。培训输入包括了由能力、人格、动机构成的学员特征, 由学习规则、培训顺序、培训内容构成的培训设计, 以及由外部支持和使用机会构成的工作环境。培训结果包括在培训过程中的学习成果及其在培训结束时的保留情况。迁移状态指培训所学在实践工作中的一般化应用及其持续情况。
更加彻底地完善来自Holton模型[11]。为克服K氏模型在因果性和完整性上的局限, 该模型将培训绩效重新划分为3个层级— — 学习结果、个体绩效、组织绩效, 并分别从能力、动机、环境氛围3个角度构建了培训绩效影响因素体系。其中, 动机类因素包括学习动机、迁移动机、预期效用, 能力类因素包括个人能力、迁移设计、组织目标联系度, 而环境类因素包括反应、迁移氛围、外部事件。在Holton模型提出之初, 缺乏相应的分析工具来测度模型中的构念, 所以该模型的实证检验直到后来才逐渐得以实施。基于对该模型提出后近10 a的实证研究的总结, 修正后的Holton模型得以形成[26]。修正的内容主要围绕动机展开:一是吸收了人格特征因素影响学习动机的最新进展, 包括五型人格理论、目标设置理论、心理控制源理论; 二是用“ 通过学习改进工作的动机” (MTIWL)取代了学习动机和迁移动机。在模型内容调整之外, 修正的另一个重点是推动研究的实证化, 主要是通过总结相关文献, 构建了新型量表与构念体系。
随着培训绩效评估模型的日益增多, 如何梳理各个模型之间的逻辑关系, 并在更宏观层面上构建一个系统性分类框架变得十分必要。目前, 主要有3种划分方式:第一种是形成型和总结型的区分; 第二种是结果性和有效性的区分; 第三种是过程模型(process)、层级模型(hierarchical), 以及中介模型(mediational)的区分[24]。过程模型更加关注培训过程及其对培训绩效的影响, 强调培训设计者与投资者在评估中的角色, 描述了培训决策的重要因素; 层级模型强调培训绩效的种类划分, 通常将培训结果进行结构化和层级化的区分; 中介模型则侧重个体特征与组织目标的因果。
综合对比上述3种主流的模型分类方式不难发现, 它们之间既有重合又有区别, 但鲜有研究梳理它们之间的逻辑关系, 本文用图1加以表示。纵向坐标轴的右侧和左侧分别代表培训结果与影响因素, 左侧横向坐标轴的上下两侧分别代表培训过程与其他因素。在此框架下, 不同象限的组合构成了不同的培训绩效评估模型划分方式。第一象限和第四象限的组合代表总结型模型、结果型模型、层级型模型, 例如K氏模型、ROI模型、ROE模型; 第一象限和二象限的组合代表过程型模型和形成型模型, 例如CIRO模型、CAPIO模型、CIPP模型; 4个象限的总体组合代表有效性模型和中介模型, 例如NS模型、BF模型、Holton模型。
总之, 尽管学界提出了多种模型, 但是K氏模型仍然最为流行。究竟使用哪种模型, 没有固定的评判标准, 需要结合研究目的与模型特点来进行选择, 同时也要考虑培训组织或评估组织的成熟度与环境制约[27]。
与国外研究从分类体系到因果模型的演进趋势一致, 关于职业农民培训绩效评估的国内研究可以概括为2方面:首先是培训绩效的直接评估, 具体可分为2类, 一种是基于实践归纳的单级指标设置, 另一种是基于层次分析法(AHP)等统计方法的多层级指标体系构建; 其次是培训绩效的影响因素分析, 主要有2种思路, 一种是通过定性分析和描述性统计分析, 探索农民培训绩效增长的制约因素并提出对策建议, 另一种是通过问卷调查和计量模型估计影响因素的作用效果, 并通过完善计量方法来提高参数估计的准确度和可信度。
2.1.1 单级指标设置研究
主要包括2种类型。一种以培训机构为主体, 关注培训项目的实践工作。如:李玉高等[28]认为培训绩效的评估内容应包括培训内容、培训方式、接受培训农民情况、环境及其他因素; 黄耀如[29]认为应包括组织评价、农民评价、专家评价、台账评价, 以及财务评价; 齐乃敏等[30]提出了资金使用情况、项目管理情况, 以及绩效目标情况; 姜明伦等[31]设置了4个指标— — 绿色证书培训人次、实用技术培训人次、学历教育培训人数、职业技能培训人数。另一种以农民为主体, 关注农民参与培训后的变化情况。如张景林等[32]较早地提出了收入增长、农户应用技术能力、组织化程度。后续研究在此基础上进行了拓展:一方面是主观指标的拓展[33, 34], 如受训内容、施训主体、培训师资、参训时间、训后效益、培训方式、掌握应用技术等方面的主观满意度; 另一方面是客观指标的拓展[35, 36, 37], 例如新技术采用项数、农作物产量增加、生态效益、收入增长效果等。
2.1.2 指标体系构建研究
主要包括2种类型。一种是基于培训绩效内容差异的横向拓展。如:高翠玲等[38]将培训绩效划分为3个维度— — 人才效益、经济效益和社会效益, 并由此构建了包含11个指标的指标体系, 采用参与式农村评估(PRA)与权值因子判断表来确定指标权重; 刘蕾[39]设置了培训项目建设和培训项目结果2个一级指标, 下设7个二级指标, 采用矩阵对偶比较法对指标赋予权重; 宋玉兰等[40]构建了包含6个准则层指标和17个要素层指标的指标体系, 并用模糊层次综合评价法(AHP-FCE)确定权重。另一种是基于培训过程时间维度的纵向延伸。例如:高翠玲[41]按照培训流程顺序设置了3个二级指标— — 需求评估、过程评估和效果评估, 下设4个三级指标和31个四级指标; 张伶等[42]按照“ 学以致用” 的顺序设置了4个二级指标— — 反应成果、认知成果、迁移成果及维持成果; 周静[43]基于“ 培训即时效果— 培训后期效果” 的顺序, 建立了包括3个一级指标(培训满意度、私人收益、社会收益)和18个二级指标的指标体系。
2.1.3 绩效制约因素研究
主要分为2类。第一类是农民自身因素, 主要包括农民相对分散而难以组织化集中培训[44], 农民的文化程度与科技素质偏低、思想认识不到位[45], 农民无力投资职业培训[46], 农民关于培训效益的短视化[47]。第二类是培训供给因素。一是政府因素。如相关法制保障还需加强[48], 监管机制有待完善[49], 政府将培训者数量等同于效益[47], 多部门培训统筹协调不够[50], 缺乏总体部署、资源利用不合理[43], 培训经费投入不足[51], 农民培训补助标准过低[45], 政府和相关职能部门宣传不到位[52]。二是培训机构管理因素。如培训机构将培训通过率等同于效益[47], 注重数量和规模而忽视质量和特色[46], 部分经济实力薄弱的机构运转困难[53], 培训机构师资力量薄弱[54], 基层农业技术人员严重不足且年龄老化严重[55], 培训与劳动力市场对接不足[56], 培训后续服务不足[57]。三是培训内容与方式因素。如培训内容难以满足农民需求[49], 缺乏针对性和应用性[44], 培训内容的直观性、实用性和时效性较差[46], 农民所需的新型培训项目匮乏[53], 培训方式单一死板[43], 时间安排不合理[45], 农忙时节开展培训导致农民没有时间参加[58]。
2.1.4 绩效影响因素的计量分析
代表性研究来自徐金海团队。他们将农民培训绩效分解为经营能力提升、新技术采用项数、农业收入提高、组织化程度, 并通过计量模型研究培训机构服务供给对培训绩效的影响。如徐金海等[58]基于江苏省540份样本的问卷调查, 借助多元回归和结构方程模型表明, 对经营能力提升有显著正向影响的是培训方式, 对采用新技术项数有显著正向影响的是培训内容, 对产量增加幅度有显著正向影响的是培训时间和培训内容, 对收入提高有显著正向影响的是培训时间。在同一分析框架下, 徐金海等[35]利用167份江苏省调查问卷和Logit回归模型, 发现对经营能力提升具有显著正向影响的是培训内容, 对新技术采用项数具有显著正向影响的是培训方式, 对农业收入提高具有显著正向影响的是培训方式、培训内容, 对总绩效具有显著正向影响的是培训内容。作为近期研究的代表, 姜明伦等[31]将培训绩效操作化为绿色证书培训人数、实用技术培训人次、学历教育培训人次、职业技能培训人次, 基于宁波市107份调查问卷, 采取Box-Cox变换方法发现, 对平均合格率具有显著正向影响的是使用多媒体投影仪和开展田间示范, 而外聘教师具有显著负向影响。
国内相关研究已取得丰富成果, 但仍可从以下几个方面加以发展。一是新型职业农民培训绩效研究的理论框架有待完善。关于农民培训绩效的内涵尚未达成共识, 已被广泛应用于其他行业的培训绩效评估模型尚未在新型职业农民培训研究中得到广泛应用, 尚未构建出获得广泛共识的符合我国实际情况的理论分析框架。二是相关实证研究鲜有说明测评时点与培训时点的时间距离, 降低了研究结论的可比性, 且无法全面分析绩效的动态变化过程及其影响因素。有些研究甚至颠倒了培训实施与绩效测评的时间顺序, 导致因果关系的解释失效。三是已有研究往往缺少差异化视角, 对于农民类型、培训需求类型、培训供给类型、培训绩效类型的区分与对比有待加强。四是相关研究较少关注体现“ 学以致用” 的培训迁移和“ 用之有效” 的经济效应, 而这些绩效在20世纪90年代后已成为国外研究热点。如何对接这些理论进展与中国新型职业农民实际特征, 成为完善理论构建和补充经验证据的重要切入点。五是用于影响因素分析的计量方法较为单一, 且应用不够规范, 往往出现重要解释变量遗漏, 或未对分类变量进行虚拟化处理等问题。
总体而言, 职业农民培训绩效评估研究已取得大量成果, 基于一以贯之的研究演进脉络, 今后研究在以下几个方面的发展值得期待。
第一, 基于培训范式转变的职业农民培训绩效评估体系发展。职业农民培训绩效评估体系的发展根植于培训范式的转变。作为培训八大范式[59]的最新进展, 学习与绩效(L& P)范式和社会化学习能力(SLC)范式均强调, 随着学习型组织的建立与媒介科技(如互联网)的发展, 人们可以跨越时空障碍, 从各式各样的人身上学习。农民培训领域不断涌现的新型培训模式与不断扩大的培训绩效内涵对传统培训绩效评估模型提出了新的挑战。如何评判新兴的培训过程, 如何评估更广义的学习行为和学习绩效, 如何解释新型培训绩效的差异, 对于这些问题的回答将成为推动职业农民培训绩效评估体系发展的关键所在。
第二, 基于中国情景的职业农民培训绩效评估理论构建。国际主流职业培训绩效评估模型多是基于欧美发达国家情景, 而较少考虑以中国为代表的发展中国家。两者不仅在宏观层面的历史文化、制度背景、管理体制方面存在明显区别, 而且在微观层面的培训过程和结果上也具有重大差异。例如国外职业培训往往是学员所在企业提供资助或进行组织, 且多集中于非农私有部门。此外, 在培训绩效类型方面, 已有理论往往忽略了收入的异质性, 而中国在城镇化加速发展和农民兼业化普遍存在的背景下, 农民收入存在明显的结构差异。
第三, 基于支撑条件日益成熟的职业农民培训绩效评估重心迁移。美国培训与发展协会对于K氏模型中不同层级的使用频率进行了调查, 发现各层级实施频率随着层级增长而下降[60]。但同时, 无论是培训机构还是评估机构都对行为层级和结果层级的应用价值十分重视[61]。这说明行为和结果层级实施频率低下不是因为没有价值, 而是由于受到了某些因素的制约。随着这些制约因素逐渐得以消解, 培训绩效评估的重心将进一步从培训感受与考试成绩发展至“ 培训迁移” 与“ 培训效应” 。这种研究重心的迁移对于新型职业农民而言具有重要现实意义。培训迁移范畴内的技能提高关乎现代农业的可持续发展, 培训效应中的收入增长涉及小康社会的全面建成。
第四, 基于实证工具创新应用的职业农民绩效评估模型检验。理论构建和实证检验是研究发展的双轮驱动, 而在职业农民培训绩效评估研究乃至一般化的培训绩效评估研究中, 实证研究的发展相对滞后于理论构建。一是需要收集更广泛的数据, 既包括横向上样本数量的扩充, 也包括纵向上动态数据的记录。二是需要开发更具信度的问卷量表。在各个培训绩效类型中, 只有培训迁移的问卷量表较为完善, 例如在行为迁移层级中从迁移环境发展而来的学习迁移系统清单(LTSI)。如何进一步提高问卷的效度与信度仍需深入研究[62]。三是需要应用更先进的统计方法。因为农民参与培训并不是一个随机行为, 某些不可观测特征(如动机和能力)既影响培训机会获得和实际参与, 又影响收入水平, 所以获取真实培训效应的关键就在于处理这种培训参与的自选择性。单纯基于最小二乘法所得的估计结果往往是被高估的, 因此, Heckman两步法、工具变量法, 以及固定效应模型等高级计量方法亟须应用。此外, 考虑到影响培训绩效的因素众多且多有主观指标, 结构方程模型的应用值得进一步推广。当然, 多种高级方法的混合使用也是一种发展趋势[63]。
The authors have declared that no competing interests exist.
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|
[22] |
|
[23] |
|
[24] |
|
[25] |
|
[26] |
|
[27] |
|
[28] |
|
[29] |
|
[30] |
|
[31] |
|
[32] |
|
[33] |
|
[34] |
|
[35] |
|
[36] |
|
[37] |
|
[38] |
|
[39] |
|
[40] |
|
[41] |
|
[42] |
|
[43] |
|
[44] |
|
[45] |
|
[46] |
|
[47] |
|
[48] |
|
[49] |
|
[50] |
|
[51] |
|
[52] |
|
[53] |
|
[54] |
|
[55] |
|
[56] |
|
[57] |
|
[58] |
|
[59] |
|
[60] |
|
[61] |
|
[62] |
|
[63] |
|