省级期刊论文发表基于操作日志的流程知识仿真考评方案研究

　　省级期刊论文发表推荐杂志《广东通信技术》是广东省唯一的综合性通信技术刊物，由广东省电信有限公司主管、广东省电信有限公司研究院、广东通信学会联合主办、是广东省科技期刊中发行最大的刊物，多次荣获信息产业部、广东省优秀科技期刊奖。以全新的视角关注通信领域的前沿技术、市场热点和经营理念，注重应用技术和前沿技术的探讨和交流，诠释通信管理的宏观政策，解读通信运营的热点问题。
　　摘要：随着各应用系统的复杂化，企业需要针对使用系统的员工进行培训考核。为降低培训考核的成本，提高各业务培训的效率，提出了一种面向流程型业务知识即流程知识的实训仿真系统以及流程知识实训考核的自动测评框架与流程，在系统操作日志的基础上将员工的操作结果和操作序列综合考虑作为评分依据并给出客观的评价。实现了评分结果的相对客观、公正，大大提高了企业员工在实际操作中培训考核的工作效率。

　　关键词： 省级期刊论文发表,业务流程,仿真培训,流程知识,自动测评

　　Scheme for simulation evaluation of process knowledge based on operation log

　　XUE Ting?yu1， L? Zheng?quan2， ZHANG Jie?ping1， XU Yan2

　　(1. Glorious Sun School of Business and Management， Donghua University， Shanghai 200051， China;

　　2. Shanghai Municipal Electric Power Company， Shanghai 200438， China)

　　Abstract： As the complexity of the application systems， companies need to train and assess their staff who use the systems. To reduce the cost of training and examination， and improve the efficiency of business training， a process?oriented professional knowledge training simulation system and automatic exam evaluation frameworks and processes for business training is put forward. With the help of the system operation log and the operation sequence， an objective training evaluation to the staff is made. The simulation evaluation scheme achieved relative objectivity and impartiality， significantly improved the efficiency of practical training and examination of process?oriented knowledge.

　　Keywords： business process; simulation training; process knowledge; automatic evaluation

　　0 引言

　　传统针对应用系统培训考核存在诸多的弊端：

　　(1) 考生进行流程业务过程的考试结果无存储记录，不能审核;

　　(2) 流程业务操作的题型不记录考生的操作步骤和时间，无法考察考生在完成过程性知识点过程中的正确与否;

　　(3) 考核结果的批阅方式仍然采取人工进行批阅，费时费力且容易出错。

　　针对以上情况，为不断提高工作效率，提升服务水平，规范化、标准化培训考核，本文提出一个仿真培训考核方案，其特点是针对流程业务题型能够实现：

　　(1) 流程业务题型题库的管理;

　　(2) 题型数据的初始化;

　　(3) 记录考生在进行系统操作过程中的流程日志;

　　(4) 记录考生考试答题的操作时间;

　　(5) 支持仿真培训功能;

　　(6) 根据评分规则实现考生答案的自动评分，提高批阅效率，尤其是面对大量试卷时做到统一标准，短时间内完成批阅。

　　1 国内外仿真考评系统研究现状

　　国内外虽然拥有各种仿真考评系统，但基于流程知识的仿真培训考核操作过程中的自动评分却很少涉及。计算机自动评分(Computer Automated Scoring，CAS)是指使用计算机程序来模拟人工评分的标准及内部过程，对开放式题目和表现性活动进行评分及反馈。最早的CAS系统产生于教育领域，如对学校或者培训机构的认证考试，文献[1?3]就是针对教学考卷考试知识点的自动评分。随着理论和技术的发展，CAS发展到多个领域，运用于航海、建筑、技能考核等，但是这些领域往往针对需要员工进行现场实地操作的业务，如文献[4?7]。自动考评在电力行业的应用也较为广泛，但大部分考评系统只对实务型业务开展。目前，各领域操作的流程越来越重要，对业务操作的序列性也越发的重视。虽然目前有针对流程性业务的培训系统，但是流程性业务知识培训后的考评却较少涉及，虽然文献[8]提到了仿真系统的自动测评技术，但是却没有利用操作过程中系统活动日志为依据来进行判断。本文利用系统的操作痕迹即操作日志，根据仿真系统中存储的答案为每一类型流程题型设计一个自动评分规则，完成业务流程操作的仿真培训自动评分。　　2 系统流程与结构模型设计

　　2.1 系统流程设计

　　针对本文提出的研究方案，以构建新型流程知识仿真考核系统，提高现代应用程序培训考核质量为宗旨，服务于引进了新型复杂应用需要进行人员培训的电力公司。

　　根据图1的流程图，本文设计的流程知识仿真培训考核系统相对于传统计算机应用考试系统，其仿真试题题库存储、考试环境准备、评判试卷、成绩汇总等工作都由系统支持，提高了培训考评的公平公正。

　　流程题型业务仿真界面即流程题型考核界面与实际操作系统界面具有完全相同的操作环境;逻辑包含流程业务逻辑和评分规则，流程知识业务逻辑是与考核知识点相对应的业务流程逻辑，评分规则是题目评分的算法细则;数据域包括初始化数据，考试输入数据，期望输出结果即题目所对应的答案结果数据，考生输出结果即考生输入数据依流程逻辑所产生的结果;结果包括获取考试环境数据即获取考试场次编号、考生编号等环境数据，记录考试操作痕迹即记录考题所要求的操作过程痕迹，输出答题结果即输出考试结果和答题、操作记录。

　　3 基于操作日志的流程知识培训考核关键问题

　　3.1 基于操作日志的流程知识测评自动化模型

　　业务流程是由若干相互关联的、按照一定时间和逻辑顺序组成的活动集合，而活动是由相应的角色通过利用各种资源来执行有相应的输入、处理规则和输出组成。流程业务题型就是在业务流程的基础上，根据业务之间的关联以及时间或逻辑顺序在系统中进行操作的一种题型，操作中涉及到的各种知识即流程知识。

　　本仿真系统的考核主要针对考生的流程题型的操作进行评判，考生的操作导致系统状态的变化。因此，对考生考试过程中的操作序列的提取主要通过存储考生在进行流程考试操作过程中的操作日志到数据库中来实现。同时，将考生的操作直接定义为事件来表示考生的操作序列，用四元组表示事件E(M，D，S，P)。其中 M为操作模块，D为操作日志，通过操作日志可以反映考生的操作顺序和操作时间，S为进行操作后后续模块状态，P表示进行该操作需要的参数即初始化数据。当对所有的操作都定义成事件的标准形式后，把每道题的最简正确操作序列存入数据库的评分规则库中，这样就完成了正确答案的操作序列表示。

　　在事件E中，日志D的结构是由考生的操作顺序以及操作过程中的时间组成，即D可以表示为D(H，T)。H表示在日志中存储的考试的操作步骤，即各操作之间的顺序，H的存储方式是一个三维数组，为H(Iv，V，Ov)，V表示业务流程活动，Iv表示活动V的输入数据，Ov表示活动V的输出数据;T表示考生操作完流程耗费的时间。如D中存储的信息可以是(((0，s，Os)，(Ia，a，Oa)，(Ic，c，Oc)，(Ic，e，Oc))，10 min)，表示考生完成流程走的步骤是s→a→c→e，完成流程花费的时间为10 min，最终结果是Oc。其中，s代表start，e代表end。

　　本文自动测评结合操作序列和操作结果一同进行测评。因此本文提出的实操题型的自动测评模型如图3所示。

　　图3中的推理机利用事先设定好的每个操作步骤的评分标准实现对考生的合理评分。动态数据库主要存储考生操作过程中的相关信息，如初始状态、推理规则等，可以在系统推理或成绩计算过程中动态生成或删除。

　　3.2 基于操作日志的流程知识考评方案

　　在进行自动评分过程中，首先抽取待评试卷，从规则库中找出每道题对应的规则组成待用规则集存入动态数据库。待用规则即正确答案，对于基于结果或序列的操作所表示的分别是正确答案或最简操作步骤。

　　在确定了操作测评的自动化模型以及评分流程后，评分的算法主要是：判断正确答案的操作序列是否出现在考生的操作步骤中，根据考生操作日志判断考生的操作顺序是否正确。由于正确答案的操作序列存在多个可能，需逐个比对，只有均不符合才能判定考生的操作不全对。若答题有时间限制，查看答题时间是否有超出规定答题时间，若超出则根据评分条件进行相应的减分。具体流程如图4所示。

　　图4 实操考核自动评分流程

　　3.3 基于操作日志的流程知识自动评分规则

　　自动评分的规则主要通过考生的操作日志，比较实际操作过程与标准过程的差异来进行。评分规则的设置原理为操作到某一步多少分，得出正确结果多少分，然后计算总得分。每一个类型的题都有自己的评分规则，即每一类型的业务操作流程都有一个评分规则，每道题的评分规则是事先定义好存放在规则库中。图5是本系统中提出的评分规则的评分过程图，根据每个题型的得分标准进行相应的评分，最终得出流程的总分。

　　图5 操作步骤评分过程

　　4 实例研究

　　某电力公司在系统中进行业务流程考核，用流程日志记录每个考生的操作痕迹，包括考试答题操作时间，操作先后顺序等信息。当考生完成上一步操作后，操作序列存取考生操作的事件信息，将这一步的结果传递到下一步的初始数据中进行数据装载。每一步的操作都有一个操作序列存取考生的操作题目、操作日志、操作结果和初始数据信息。之后根据自动评分流程将考生的操作序列和题目的标准操作序列进行比对，将期望输出结果跟考生实际结果比较得出考生实操的最终分数。

　　在实际操作过程中，假设考生在考试过程中的操作步骤为sacmge，那么对该考生该业务中考试的操作日志D中存储的操作路径H为((0，s，Os)，(Ia，a，Oa)，(Ic，c，Oc)，(Im，m，Om)，(Ig，g，Og)，(Ig，e，Og))，上一活动的输出是下一活动的输入，即Os与 Ia相同，而考生操作这一流程的时间为10 min，因此，D的存储信息为(H，10 min)。而规则库中存储的这一业务的正确操作路径为sacfge，即正确操作路径为H1((0，s，Os)，(Ia，a，Oa)，(Ic，c，Oc)，(If，f，Of)，(Ig，g，Og)，(Ig，e，Og))，同时业务规定在进行操作花费的时间不得多于15 min。因此，该流程存于规则库中的正确答案应为(H1，15 min)。评分规则此时比较实际操作过程与标准过程的差异。根据评分规则，该考生的前两步正确，但是c之后的活动应为f，而考生的操作是c?>m，遍历考生接下来的所有操作均无f，系统扣除该步骤分。再对比标准答案中，f的下一活动为g，同时遍历考生日志得到g，遍历到e结束。而考生的操作时间为 10 min<15 min，没有超出该题的时间限制，不需扣除超时分数。

　　因此，虽然考生最终结果跟标准答案一样，但操作过程中却有错误，没有完全掌握业务流程知识。而基于操作日志的仿真考评方案就能根据考生的操作序列进行比对，真正起到考察考生流程知识点掌握情况以及熟练程度，帮助考生针对性的进行再培训。

　　5 结语

　　本文给出了操作序列表示方法和测评的自动化模型，在此基础上建立考核自动评分流程。同时结合实例构建出有效的自动评分方案。该系统在实际中的应用，克服了传统流程性考试人工评分的不足，实现相对、客观，提高了流程业务知识点考核的工作效率，同时也降低了业务培训考核的成本。随着现代计算机技术的不断进步，面向流程性业务题型的自动阅卷技术也将不断成熟，必将在今后的仿真培训考核系统中发挥越来越重要的作用。

　　参考文献

　　[1] 严可，胡国平，魏思，等.面向大规模英语口语机考的复述题自动评分技术[J].清华大学学报：自然科学版，2009(z1)：1356?1362.

　　[2] 李学俊.基于人工智能的主观题自动评分算法实现[J].江南大学学报：自然科学版，2009(3)：292?295.

　　[3] 李莉，张太红. LSA在中文短文自动判分系统中的应用研究[J].计算机工程与应用，2007(20)：177?180.

　　[4] 项曙光，岳金彩，李玉刚.过程仿真培训成绩的自动评定及其实现(Ⅱ)：培训成绩自动评分的实现[J].计算机仿真，1999(5)：6?10.

　　[5] 傅