阅卷评分问题.docx

阅卷评分问题.docx

《阅卷评分问题.docx》由会员分享，可在线阅读，更多相关《阅卷评分问题.docx（20页珍藏版）》请在冰豆网上搜索。

阅卷评分问题

评分专用页

编号：

学员评阅记录：

评阅队号

评分

备注

教员评阅记录：

阅卷评分问题

摘要

本文采用随机分配的方法，建立离差比模型对原始成绩进行标准化，接着对每位评委赋予不同权重，得到论文最终成绩，最后对模型不断优化改进。

针对问题一，根据不重复评阅、各评委和各组合评阅量尽量一致原则，首先采用名额分配方法法分配评委，分别基于随机移位方法和随机组合方法建立随机分配模型，并利用MATLAB软件模拟数据，依据上述三个原则，分析可得随机组合分配模型的可靠性优于随机移位分配模型。

针对问题二，本文首先采用算数均值方法作为最终成绩，但该方法受单一评委的影响大。

接着本文建立差比模型，根据不同评委相同1分对总分贡献度不同的思想，得到评委各自的标准化分，然后根据每位评委评阅同一论文与各自标准化分均值的偏离程度赋予不同的权重，进而求得论文的最终成绩。

针对问题三，本文首先对评委整体评阅成绩偏离度进行排序，利用占比的方法赋予其绝对权重，再根据三位评委的绝对权重转化为其实际权重。

接着综合考虑评委在整体评阅成绩偏离程度和单一论文偏离程度共同作用的影响，各自权重赋予不同系数，进而求得论文的最终成绩，最后应用实例对模型进行验证。

针对问题四，本文首先对原始分标准化过程进行改进，基于成绩分布接近于正态分布这一思想，将不同评委的分数整体平移到同一水平。

再运用问题三模型，求得各自专家的初始权重，综合考虑初始权重和论文赋予的单一权重共同作用的效果，进而求得最终成绩。

本文的特色在于应用实例对模型进行检验，验证模型适用性，更加直观形象。

关键词：

随机分配离差比模型综合权重

1问题的重述

信息化条件下，如何较为客观评价一次考试或者考核成绩成为确定人才培养最终效果的重要依据。

很多时候，我们的各项成绩确定往往需要多项指标共同确定，以建模竞赛为例，假设有篇论文提交，个阅卷评委，要求每一篇论文需要被多个（以3个为例）阅卷评委审阅打分，现实的情况是，不同的阅卷评委的评分标准不尽相同，有的评委阅卷比较严格，每一分都有自己的想法；也有的评委评分比较随意，所有的分都差不多，等等。

问题一：

建立一个合理的分配模型，首先确定每一位阅卷评委的具体阅卷论文是哪些？

问题二：

建立一个可视化的分数回收模型，实时收集专家打分，如何将三个成绩规范为一个标准分？

最后形成每一篇论文的最终成绩。

问题三：

在评分过程中，由于不同专家评分特点或是其他原因导致多个（以3个为例）成绩差异较大，此时如何修正模型？

问题四：

你有没有更好的评分策略，提出自己的想法并修改模型。

比如在问题一中如何人工调控来让误差尽可能减小。

2模型的假设

（1）假设评委评阅每篇论文时间相同。

（2）假设评委评阅过程中互不干扰。

（3）假设论文成绩服从正态分布。

（4）假设每位评委在评阅过程中标准保持不变。

（5）假设论文编号加密，评委不因学校产生评阅标准偏差。

（6）假设论文评分采用百分制。

3符号说明

符号

含义

评委总数

论文总数

位评委3人评阅组合数

、

论文编号循环移位数

第篇论文评委成绩的算数均值

第篇论文三位评委标准分的均值

每位评委的权重

初始权重系数

评阅中的权重系数

每位专家的实际权重

评委评分的均值

分配后论文的剩余数

4问题一模型的建立与求解

4.1问题一的分析

在评阅过程中，假设各评委阅卷速度相等，因此，为保证阅卷总时间达到最小，必须尽量保证各评委的阅卷数量相等或尽量一致，防止出现个人阅卷数过多并且考虑到评阅熟练度，评委最好只评阅单类论文。

在分配过程中，必须保证论文不被同一评委评阅2次，三名评委不能一起搭档评阅过多论文。

为简化分析和模型建立，本文假设将论文编码加密，评委无法判断所阅论文是否属于其所在学校论文，首先根据、、、论文数量,将评委按比例随机分配至其中一组，实际中基本很少存在按整数划分评委数量，因此引入常用的名额分配方法法，即各组取完整数部分后，按小数部分大小，逐个分配剩余评委。

方法一，取其中一组分析，将论文随机进行分组，每组论文数量与评委数相等，多余论文先不于考虑，第1轮评阅将每组论文随机分配给评委，第2轮、第3轮在第1轮基础上进行移位再分配，剩余论文考虑方法同理。

方法二为更优模型，首先对评委进行排列组合，再将论文随机分配给每个组合，直至论文分配完毕，尽量保证每个组合的阅卷数量一致。

4.2基于随机分配的模型建立

4.2.1模型的准备

论文总数为，评委总数为，其中论文存在4个题目类型，根据题目可将论文数分为、、、，分别为、、、论文数量，其对应评委数目为、、、，其中初步数据为

，，，

利用法，按照各数据小数部分大小，分配剩余评委，

假设,即按照、、、顺序分配剩余评委，倘若分配到评委即在原有数据上加1，

4.2.2随机移位分配模型的建立

取组研究，其中论文数量为，评委数量为，给论文逐个编号，并按照评委数量进行分组，每组论文数量与评委数量相等，每组论文随机生成，其中组数为

每次评阅中，按组将论文分配给评委评阅，论文随机分配至各组，因此不具备特殊性。

每篇论文需要被评委评阅3次，因此，组论文需要经过3轮评阅，故建立矩阵，其中表示第个评委，表示第组论文，第1轮评阅如图1所示

由于还需要2轮评阅，第2轮、第3轮评阅分别从第1篇论文到第篇论文循环移位位、位，其中满足以下条件

其图2如下

考虑剩余论文时，可知剩余论文数为

剩余论文评阅方法与上述方法一致，由于剩余论文数少于评委数，因此，至多3轮评阅就能完成，若分配不均，某一评委至多评阅3份论文，对总体评阅过程滞后性影响不大，故忽略评阅剩余论文过程中评委评阅量不一致的问题，仍然运用上述随机移位分配模型。

4.2.2随机组合分配模型的建立

取组研究，其中论文数量为，评委数量为，首先对评委进行排列组合，共有组合数

将论文随机平均分配给各组合，每个组合评阅论文数量

剩余论文数为

将剩余论文随机分配给组合，所分配到的组合评阅数加1。

4.3模型的结果与评价

利用MATLAB软件编程，代入真实数据实验，为便于观察，采用论文数与评委数呈整数倍关系的数据，例如、、、，分别根据随机移位分配方法和随机组合分配方法，可得评阅分配表1、2如下：

表1随机移位分配生成数据表

评委

第一次评阅

第二次评阅

第三次评阅

1

16

4

14

12

13

10

5

6

19

7

18

3

2

15

1

11

2

16

4

14

12

9

8

17

20

3

7

18

3

19

15

1

11

2

13

10

5

6

4

8

17

20

9

7

18

3

19

16

4

14

12

5

10

5

6

13

8

17

20

9

15

1

11

2

表2随机组合分配生成数据表

组合

1,2,3

1,2,4

1,2,5

1,3,4

1,3,5

1,4,5

2,3,4

2,3,5

2,4,5

3,4,5

论文编号

18

15

5

8

4

1

19

6

14

10

7

3

2

9

20

11

13

12

17

16

观察表1、2可知，随机移位分配方法和随机组合分配方法情况下，都不存在评委重复评阅一份试卷的现象，但随机移位分配时，同一组合存在评阅量较大现象，例如号评委组合共同评阅了4份论文，组合却没有共同评阅过论文，结果并不合理可靠，而随机组合分配时，各组合评阅量达到一致，较上种方案更为合理可靠。

5问题二模型的建立与求解

5.1问题二的分析

阅卷完成之后，应该根据评委所给出的初始分，对其进行客观、相对公平的预处理，使其尽可能标准化地合成每份论文的最终成绩。

由于同一份论文由三个不同的评委进行评阅，不同评委评阅同一份论文是有差异的，并且其差异性是不可消除的。

单独考察一个评委，他所给出的所有论文的分数，只能代表每份论文在他心目中的地位，或者说是他所改论文在他心目中的一个排序，体现在分数上只表示两份论文的差异性。

即不同评委给出同样的一分，对其标准总分的贡献是不相同的。

如果直接用三个评委所给分数的均值进行比较论文的优劣，这样是有失公允的。

故本文建立离差比模型，对每位评委的评分进行预处理，继而根据每位评委与预处理均值的偏离程度赋予不同的权重，偏离程度较小的评委说明其评分可信度较高，故赋予较大的权重。

5.2模型的建立

Step1：

传统评分模式：

算数平均分

传统评分模式的不足：

传统评分模式易受干扰，一旦一个评委评分过程中与其他评委的评分相差较大，会导致整体评分偏高或偏低，从而影响整体评分的公平公正，误差较大，故不适宜采取此种评分模式。

Step2：

为减小或消除不同评委所给评阅成绩带来的差异性，本文采取离差比模型，以达到此目的。

设在评阅过程中，参与评阅同一份论文的三位评委在评阅所有论文过程中所给出的分数区间为：

其中,,,分别为三位评委对论文号给出的分数，，，为三位评委在评阅过程中各自给出的最低分，，，为三位评委在评阅过程中各自给出的最高分。

三位评委在评阅论文号时所给出的分数在其各自对应的极差之间所占的比例为：

（其中）

三位评委比例的均值：

三位评委调整后的分值（标准分）：

三位评委标准分的均值：

Step3：

设第份论文分别由、、三位评委进行单独评阅，相互之间并不影响。

每位评委标准分相对于标准分均值的偏差为，，，那么每位评委所占的权重为：

Step4：

论文号为的论文最终成绩为：

5.3问题二的结果分析

利用离差比模型可以很好地消除传统阅卷模式即求算数平均值所带来的评阅评委整体给分的差异性，对初始分进行预处理之后，使得每位评委评分进一步合理公正，再进一步根据每位评委评分与标准分的差值大小，分析每位评委评分的可信程度，进而对评委赋予不同的权重，从而得到最终论文成绩。

6问题三模型的建立与求解

6.1问题三的分析

在评分过程中，由于不同评委评分特点或者其他原因导致多个自身所评阅论文与他人评阅成绩差异较大，而模型三只是根据某一篇论文评分的偏离程度对评委赋予不同的权重，偶然性太强，无法真实反映评委整体评阅成绩与他人的差异性，可能赋予权重较低的评委只是在这一篇论文与整体偏离程度较大，而整个评阅过程中偏离程度却较小，因而不能只依靠某一篇论文的评分的偏离程度对评委就赋予权重，应综合各评委在整体评阅过程中评阅成绩与他人评阅成绩的偏离程度以及该篇论文的偏离程度，对这两者偏离程度本文认为重要性相同，进而赋予权重，减少偶然性，增强评分模型的公平性。

6.2综合权重模型的建立

Step1：

假设每位评委在评阅过程中，所评阅的论文数相同，评委所改的所有论文中，每一篇论文评阅调整分与标准分的偏差为，评委所改的所有论文中，每一篇论文评阅调整分与标准分的偏差为，计算出每位评委在整体评阅过程中的整体偏差和，即

Step2：

根据每位评委评阅分的整体偏差和，从大到小依次排序，即整体偏差和最小的排名为，排名越大的赋予权重较大，假设评委在所有评委中排名为，即在整体排名中所占百分比为

Step3：

对其赋予相应的绝对权重为

Step4：

假设在评阅同一篇论文时，三位评委的整体绝对权重为

Step5：

因同一篇论文三位评委整体绝对权重之和大于1，故应对整体绝对权重进行归一化，其对应的整体实际权重为：

Step6：

本文认为整体偏差程度与单一偏差程度的重