重点播报：
“职教高考”制度建设背景下职业能力评价方法的研究
发布时间:2019-07-25 22:14 来源:未知 作者:赵志群 黄方慧
我要收藏
摘要：高质量的职业能力评价是建立“职教高考”和职业技能证书制度 (1+X) 的基础性工作。职业能力评价包括考试和能力测评, 采用质性、量化和混合式方法。混合式测评是未来职业能力测评发展的方向。建立科学的“职教高考”制度需要从职业能力研究和考试学等视角, 对职业能力评价与工作绩效的相关性、职教考试模型构建和能力测评智能化评分等关键问题进行研究。
进入21世纪后, 我国职业教育取得了巨大的成就, 但是质量保障问题始终没有得到彻底解决, 特别是招生考试和人才培养质量评估方法和技术问题。一方面, 高职院校越来越多采用“文化素质+职业技能”或“职业能力测试+推荐注册入学”等多种形式的“职教高考”, 但效果还不令人满意。研究发现, 高职招生考试存在一些问题, 表现在命题质量不高, 缺乏综合考查维度, 考试的区分度、信度和效度难以保证[1];考试标准含糊, 技能测试打分随意, 考试结果缺乏公平性等方面。由于没有组织起有效的技能测试, “职教高考”的内容仍然是文化课和专业理论, 这显然违背了职业教育人才培养目标的要求, 造成中职学校对技能课教学不重视, 不但影响中职的专业教学水平, 也无法满足人民群众对高质量职业教育的需求。另一方面, 教育部门对人才培养质量缺乏整体把握。职教学生学业评价主要通过校内课程考试和职业资格 (等级) 鉴定实现, 达不到大规模质量监控的信度和效度要求。一些地方尝试通过专业测评建立教学质量监控系统, 但是遭遇方法上的困难。新公布的《国家职业教育改革实施方案》 (简称《实施方案》) 至少有3处明确提出了有关职教人才评价的要求:一是建立“职教高考”制度, 完善“文化素质+职业技能”的考试招生办法;二是启动“1+X证书”试点;三是以学习者的职业道德、技术技能水平为核心, 建立职业教育质量评价体系。实现以上目标的重要基础性工作是技术技能人才的职业能力评价。
职业能力评价是社会组织根据特定职业 (或岗位) 的资格和能力要求, 采用一定测量工具对特定人群进行的评价、测量和评估。在职业教育中, 学习者通过课程学习和工作场所的非正式学习获得职业能力, 对学习成果的评价即为职业能力评价, 包括考试和能力测评两种方式。职业能力评价的质量对学生的就业和升学、企业招聘以及职业院校发展具有重要的影响, 但同时也是一个世界性的难题。只有达到一定质量标准, 即满足信度、效度、区分度和客观性等技术指标的要求, 职业能力评价的结果才有意义。
一、职业能力评价的基本方式
考试是最基本和常用的职业能力评价方式, 包括职业技能 (资格) 鉴定考试、毕业/结业考试和技能大赛等。
1.职业技能 (资格) 鉴定考试。职业技能 (资格) 鉴定考试是职教考试的主要方式, 不同国家技能鉴定制度有所不同, 但大都采用“知识+实践技能”的考核方式。我国职业技能鉴定考试包括理论和实践考核两个部分, 它以国家职业标准为参照, 采用笔试、现场考核、典型作业、模拟操作等形式。对很多职业而言, 手工技能技巧具有重要意义, 技能技巧考试主要采用专家观察评分法。对于隐性知识和工作道德范畴的内容, 一般通过对工作过程和结果的观察进行考评。
观察是最古老的能力评价方法。人力资源管理中常用观察法进行绩效评估, 如按照关键事件法, 主管人员根据员工平时表现出的最佳或不良记录进行绩效评价。随着人类工作活动复杂程度的提高, 除了那些特别简单的动手操作行为 (如伐木或点钞等) 之外, 通过主观性较强的观察法得出结果的信度越来越低。按照《实施方案》的定义, “职业技能水平”应“反映职业活动和个人职业生涯发展所需要的综合能力”, 因此, 仅靠观察法, 是不可能支撑起“职教高考”的历史重任的。
2.毕业与结业考试。缺乏毕 (结) 业考试是我国职教质量保障制度的一个重大缺陷。很多采用“2+1”和“2.5+0.5”培养模式的职业院校, 学生在实习后往往没有任何质量检验就直接领到了毕业证, 这在很大程度上影响了职教学历证书的含金量。国际上, 德国工商行会 (IHK) 和手工业行会 (HWK) 的职业教育毕业考试 (Abschluβprüfung) 久负盛名, 它在考试结构、内容和组织实施方面构建了完整的体系。近年来, 强调综合化和过程导向的新型毕业考试模式在德国取得了较大突破, 可以更有效应对“工业4.0”的挑战。人社部支持的广州市高级工技能等级鉴定考试改革项目, 借鉴了能力测评理念和部分方法, 是我国相关领域的重要探索。如果能在结构、内容、组织实施及评价等方面构建一套完整的职业院校毕业考试体系, 实现考试结构、命题、形式、时间、组织、考场场地和设备管理、考场规则、阅卷评分和成绩分析全过程的标准化, 则为“职教高考”, 特别是职教会考制度的建立提供重要的基础。
3.技能大赛。技能大 (竞) 赛是一种特殊的技能考试, 全国性职业技能大赛包括全国职业院校技能大赛和人社部主办的在职职工技能大赛。世界技能大赛是全球最有影响的技能竞赛, 它与我国的技能大赛在赛项设置、评分标准等方面有很多不同。前者依据职业发展情况设置赛项, 重视产品质量和技术精度;后者围绕教学标准及生产实际设置项目, 强调工艺难度。从评分标准上看, 世界技能大赛使用CIS系统, 包括主观分和客观分, 而我国的技能大赛没有明确区分主观分和客观分, 成绩评定一般由赛项裁判组负责。相比之下, 世界技能大赛的标准更严格, 是对专业技术水准和职业素质的全方位检验, 这对我国职教高考制度的建设有重要的启发。
4.“职教高考”的发展方向。由于职业教育专业 (职业) 种类繁多, 在大规模的“职教高考”中建立统一的技能考试模型不科学, 也是不现实的。研究发现, 发达国家职教考试有一个共同发展趋势是:更多采用“表现性评价”方式, 即考生“在特定情境中运用获得的知识完成某项任务, 以考查其知识技能掌握程度, 或问题解决、交流合作和批判性思考等多种复杂能力的发展状况”。表现性评价是基于建构主义理论的自然、直接和完整的评测, 其特点是:考试在具体情境中进行, 考试内容综合化程度较高, 考生按自己的方式做出反应, 具有开放性特征, 这克服了传统标准化测验仅考查低水平书本知识和孤立内容的弊端, 也使考试在很大程度上发展成为一种能力测评。
二、职业能力测评的方法及其发展
现代社会对人才提出了更高要求, 能力评价不仅关注人的能力发展结果, 还关注能力发展的过程。这样, 能力评价在“考试”基础上发展出第二种方式, 即“能力测评”。二者区别是:“考试”针对教学标准, 考察对学习内容的掌握程度, 有对错之分, 反映的是“课程的效度”;“测评”评价与特定工作相关的认知特征和认知水平, 针对职业能力发展状况, 只有水平高低之分而没有标准答案, 反映的是“职业的效度”。职业能力测评用于评估学生应用知识和技能解决实际问题的能力, 测评的主要内容是职业认知能力, 测评方法有基于质性数据的、量化的和混合式方法。
(一) 基于质性数据的能力测评方法
人力资源管理最先开始进行能力测评方法的开发研究, 典型的是基于胜任特征模型的方法, 如“工作胜任力测评法” (Job Assessment Method, JACM) 和“行为锚定修正法” (Modified Bars Method) 等。这些方法建立在质性数据获取基础上, 尽管建有能力模型, 但是由于没有系统的量化工具和流程, 致使操作灵活性很大甚至过大, 不适合直接用来进行影响重大的大规模人员选拔。
作为职业教育强国, 德国开发实施了数十种职业能力测评方法, 其中很多对“职教高考”有重要的参考价值, 这可以分为以下类型。
1. 行动导向的测评方法。
如Kasseler能力分类模型法按照专业能力、方法能力、社会能力和个人能力建立能力分类体系, 针对员工在工作行动中表现出的创新性等个性特征进行评价。此方法在实际工作环境中进行, 用于小范围组织内部诊断, 但很难对常规职业能力进行有效测评, 也无法进行普适化处理。
2. 单项能力评价方法。
针对特定能力的评价方法, 如学习潜能评价中心法 (Lernpotential-Assessmen Center, LP-AC) 采用来自客户和竞争对手的问题, 通过模拟工作情境评估领导者的学习和发展潜能, 用两次测试体现的学习能力差异预测取得工作成就的前景。此类方法可用于人员选拔, 但对空间、时间有特定要求, 需要的人力、物力成本较大。
3. 能力总结与汇总方法 (Competence balance) 。
这是一大类职业院校的形成性职业能力评估方法, 用于过程性评估, 如能力护照、学生能力坊、学习档案评估法等。“能力护照” (Qualipass) 是指学生总结描述自己已掌握的能力和知识, 包括实习、社团活动和创新活动成果, 上传到学校网站上获得评价结果, 并积攒绩点。“学习档案” (Portfolios) 评估中, 学习者有意识地搜集证据, 记录和反省自己在所定领域的进步, 用可靠的证据记录取得的进步并获得绩点。此类方法的缺陷是结果缺乏可比性。如果评估者过于谦虚、夸张或不诚实, 评价结果的可信度就会很低。尽管可通过外部因素进行一些修正, 但这些方法更多还是作为其他评估方法的补充。
总的来讲, 基于质性数据的职业能力测评方法存在以下问题: (1) 过程复杂, 成本高昂; (2) 缺乏对指标体系信效度验证, 多数量化检验都是基于简单能力模型, 没有涉及模型未涵盖的特征; (3) 对评价人员专业要求很高, 而且行为描述、分类和选定能力指标时难度很大。因此, 此类方法对于“职教高考”来说主要是参考和补充性质的。
(二) 职业能力测评的量化方法
为避免考官个人主观影响并提高评价结果的信度, 人们采用量化方法对能力进行测评, 如智力量表测量等。但是, 职业能力是个体的心理特性, 很难采用纯量化方法进行评价。特别是在开放性和互动性较强的“次级” (secondary) 工作领域, 如维修和护理等, 即工作者必须根据不断变化的具体情况做出决定。因此, 量化与质性相结合的混合式方法成为能力测评的最佳途径。
(三) 混合式职业能力测评方法
混合式测评方法是目前采用和研究较多的职业能力评价方法, 国际有影响的有ASCOT、SOLO和COMET等方法, 他们均采用心理测量技术建立了职业能力模型和测评模型。
1. ASCOT技术支持的技能与能力测评法。
ASCOT (Technology-based Assessment of Skills andCompetences in VET) 是德国联邦教研部支持的职业能力测评研究项目。它按项目反应理论建立能力模型, 将专业能力划分为“一般认知能力”“跨职业相关工作能力”和“职业专业能力”3个维度, 将能力内容划分为“孤立的知识和技能”“系统关联”“理论构建”和“科学化程序”并最终形成指标体系。ASCOT有两类测评任务, 即“专业任务”和“关联任务”, 前者针对特定职业, 后者对应通用能力和一般策略性要求。ASCOT的创新在于: (1) 按照《国际教育分类标准》 (ISCED 2006) 和《国际职业分类标准》 (ISCO 2008) 建立确定国际化的工作任务分析流程; (2) 能力模型针对一般认知能力, 不涉及具体职业内容, 具有跨职业特性; (3) 利用虚拟测试情境开展测评节省成本, 提高了效度和被试参与测试的兴趣。
从测评效度要求看, ASCOT存在以下问题: (1) 能力模型突出认知特征, 没有充分考虑职业学习的规律; (2) 网络测试系统的工作导航为被试提供完成任务的线索, 与真实工作情境不符, 降低了测评效度; (3) 能力要求碎片化和行为化倾向明显, 对测试题目 (Item) 简单的“对”或“错”判断, 没有反映真实工作世界中解决方案的复杂性要求。这说明, 项目反应理论不完全适用于职业能力测评, 事实上, 该方法在德国受到了科学界和企业实践的双重质疑。
2. SOLO可观察学习结果结构法。
SOLO (Structure of the Observed Learning Outcome) 是香港大学开发的以等级描述为特征的分类理论和混合式评价方式, 其基础是皮亚杰的认知发展阶段论。SOLO关注“思维结构”, 通过解答问题或完成任务的表现特征实现人的思维发展的可视化;不同专业的问题据此进行思维层次划分, 可以显示被试对某一具体问题的认识水平, 有利于检测教学效果。SOLO能力测评针对学习内容设计, 兼顾知识技能点和能力考查, 符合职业教育关注人的发展和岗位胜任力的双重目标要求。但从现有文献看, 这种测试在本质上还是一种技能测试, 而且没有考虑“去情境化”问题。按照多元智能理论, 能力具有很强的领域 (domain) 特殊性特征;从“情境无涉”向“情境关联”转变, 是能力测评方法发展的根本趋势, 这是必须考虑的问题。
3. COMET职业能力测评。
COMET (Competence Measurement) 能力测评是由德国不莱梅大学和北京师范大学等联合开发的大规模职业能力诊断工具。它以“从初学者到专家” (from novice to expert) 的能力发展逻辑规律为基础, 建立了包含“级别”“内容”和“行动”3个维度的跨职业的能力模型, 其中级别维度为测评结果提供解释框架, 内容维度确定测评内容范围, 行动维度确定完成测试任务的过程。测评采用开放性测试题目, 反映职业实践共同体的典型工作任务。职业能力级别分4个等级, 即名义能力、功能性能力、过程性能力和整体化的设计能力, 职业学习内容分为4个范围, 即职业入门教育、职业关联性教育、职业功能性教育和知识系统化的专业教育。COMET用8个能力指标对任务解决方案进行解释和评价, 这8个指标是:直观性/展示;功能性;使用价值导向;经济性;企业生产流程和工作过程导向;社会接受度;环保性;创造性。
2017—2018年, 教育部职教中心研究所在制定《高等职业教育专业评估试点方案》时采用了COMET方法, 对高职学生综合职业能力进行试验性测评, 在模具设计与制造等4个专业, 选择东中西部地区代表性省份不同发展历史和发展水平的高职院校进行。实践证明, COMET能力测评结果与相关效标相比有很高的一致性, 可以较好区分不同院校学生职业能力的发展水平, 不但为行政部门提供有关人才培养质量的实证依据, 也可以为职业院校加强内涵建设提供建议。开放性的测试题目不但被企业认可, 而且很受学生欢迎。
以职业资格考试作为效标, COMET能力测评结果与效标相关性得到了验证, 但是在对COMET能力测评的预测效度进行检验时发现, 不同专业的职业认知能力对职业行动的影响机制存在差异, 特别是对设计性较强的工作, 如软件开发和检修等, “设计型行为”与“目的理性型行为”有较大差别。对COEMT能力测评提出的挑战还包括:是否或如何在此基础上进行能力考试?如果在大规模的“职教高考”和专业评估中开展职业能力测评, 开放性问题的评分费工费时, 未来是否可以利用其他技术手段如人工智能技术实现自动评分?
三、职业能力评价方法的展望
目前的职业能力评价方法存在很多问题, 在技术上还无法完全支撑起高质量、系统化的“职教高考”, 这主要表现在: (1) 各种技能考试测试 (包括技能大赛) 存在很多理念和技术方面的问题, 既没有满足测试信度和效度要求, 也不能被社会所认可; (2) 一些能力测评工具如COMET方案具有先进理念和技术, 但由于缺乏实操部分而受到怀疑, 需要通过企业的实际绩效评价验证其效度; (3) 先进的能力测评方法均采用开放式题目, 其评卷过程需要大量的人力和时间投入, 这限制了其大范围的推广; (4) 实践中, 职业院校大量的学习过程性数据没有被充分利用。针对这些问题, 今后需要从能力研究、考试学和大数据视角对职业能力评价方法进行深入研究。
1.提高能力测评和技能考试对工作绩效预测效度的研究。鉴于目前职业技能 (资格) 鉴定本身的质量问题, 以技能鉴定为效标进行的能力评价内容效度检验没有实际意义, 应与工作绩效进行直接对接。今后的理论研究应将工作绩效作为比对指标, 对能力测评、技能考试与用人单位实际绩效评价结果进行相关性研究, 即: (1) 分析能力测评无法测量但对绩效产生重要影响的因素, 提高能力测评的预测效度; (2) 分析当前通行的行为主义导向技能考试能测量和不能预测的绩效影响因素; (3) 在对比分析结果上确定综合能力考试的理论模型。
2.“职教高考”的专业考试模型开发。在COMET能力测评方案基础上, 构建“职教高考”或职业教育机构毕业考试模型。建议借鉴德国IHK和HWK职业教育毕业考试的经验, 研究既能保证专业内容效度, 又能满足考试科学性要求的试题模型, 建立标准化考试组织流程和评分模式 (包括笔试、实操和口试) , 探究全方位呈现考试结果的方式。通过毕业考试与能力测评的相关性分析, 确认两者功能互补项目, 并进行相应的理论建构, 建立职教高考的专业考试实施方案。
3.职业能力测评的自动评分研究。教育部专业评估预测中的能力测评资料都被即时扫描和存储, 很多职业院校也有日常学习电子化记录, 这可以成为智能化能力测评的数据基础。针对开放式题目的自动评分研究目前还是空白, 但这已经是自然语言处理领域中的重要研究课题, 它在信息检索、知识产权保护、考试作弊预防等领域有着重要的应用。能力测评评分基于已有的“解题空间”进行, 如果能建立一个参考资料集合, 采用文本相似度计算方法, 就可以对参照资料集合与学生答案文本的相似度进行分析。机器学习、深度学习等人工智能技术的突破, 特别是自然语言处理、复杂网络分析等技术的发展, 为大规模职业能力测评的智能化评分提供了技术基础。
