基于AHP的课程调查问卷设计

              林志强，鄢睿丞^*，苏耀峰，黄剑梅

（国防科技大学 信息通信学院，湖北，武汉430010）

［摘  要］课程问卷调查是开展学情分析及了解课程教学效果的有效手段。课程调查问卷质量的好坏直接决定了调查结果的全面性、针对性以及有效性。一直以来，课程调查问卷中存在问题设置缺乏理论支撑的现实问题，难以全面客观的对学生课前基础及课后掌握程度进行有效分析。针对这一问题，提出一种基于层次分析法（AHP）的课程调查问卷设计方法。首先构建课程调查问卷内容体系，然后自上而下逐层分析各类问题的权重，继而明确问卷中各类调查问题的数量。利用此方法对某装备课程进行了调查问卷设计，通过分析问卷结果验证方法的可行性及有效性。

［关键词］课程调查问卷；层次分析法；学情分析；教学效果

［基金项目］2021年度国防科技大学信息通信学院教育教学研究重点项目“基于虚拟仿真的XX装备教学研究”（ZY21A007）。

［作者简介］林志强(1990-),男，吉林桦甸人，硕士，国防科技大学信息通信学院讲师，研究方向为装备效能评估；鄢睿丞(1984-),男，湖北襄阳人，博士，国防科技大学信息通信学院讲师(通信作者)，研究方向为智能化指挥信息系统；苏耀峰（1982-），男，河南巩义人，硕士，国防科技大学信息通信学院副教授，研究方向为指挥信息系统运维保障。

［中图分类号］G642 ［文献标识码］A

1 引言

课程问卷调查是指教师通过制定关于教学主体和教学客体相关情况的问卷，要求被调查者据此进行回答以收集教学资料的方法，主要用来进行教情分析和学情分析。课程问卷是开展调查的基础，形式为一组与课程调查目标有关的问题表格。按照调查时间进行分类，课程调查问卷一般分为课前调查问卷、课中调查问卷及课后调查问卷。课前调查问卷主要用来对学生的基本情况进行摸底，从而进行针对性教学；课中调查问卷主要用来分析学生某一阶段的学习情况，以此来调节教学难度、进度以及方法；课后调查问卷主要用来对教学效果进行研判，为下一轮教学优化调整提供参考和借鉴。

本质上来讲，问题是课程调查问卷的核心，而问题设计的好坏，直接影响到调查结果的可靠性和有效性。因此，正确而恰当的设计出问题至关重要。在进行问题设计时通常需要遵循的原则主要包括：合理性原则、逻辑性原则、清晰性原则以及层次性原则^[1]。合理性原则是指在问题设计时应该秉持客观中立的态度，设计的问题不能带有某种倾向性或暗示性，同时应该紧扣调查目标，避免偏离主题。逻辑性原则是指在问题设计时应该注意问题之间的逻辑关联性，由浅入深，循序渐进。清晰性原则是指在问题设计时语言描述要做到清晰规范，不能出现模糊的概念或者存在歧义的表述。层次性原则是指在问题（选择题）答案设计时要有一定的梯度，可参照李克特量表（五分量表）进行设置，便于作答和统计。

上述原则对于课程调查问卷设计具有一定的指导意义，但并不能具体明确如何进行问卷设计。目前,大部分课程调查问卷主要是教师依据教学经验进行设计的，存在的主要问题是主观性比较强，可能出现调查问题冗余、冲突、深度不够等现象，同时各类问题数量的确定尚无科学方法指导。为了解决这些问题，本文提出了一种基于AHP的课程调查问卷设计方法，即首先构建具有树状结构的课程调查问卷内容体系，再通过构造判断矩阵来求取各类调查问题的权重，最后利用权重来确定问卷中各类调查问题的数量。

2 层次分析法概述

层次分析法（Analytical Hierarchy Process, AHP）是由美国著名运筹学专家Saaty于20世纪70年代提出的一种综合定性与定量分析的多准则决策方法^[3]。这种方法条理清晰、使用方便、科学性强，能够充分利用决策者的经验来对解决问题的方案进行抉择，适用于一些难于完全用定量的方法来分析的复杂问题，目前在效能评估领域得到了广泛的应用。

2.1 基本思想

层次分析法的基本思想是将复杂的问题分解为若干层次，在比原问题简单得多的层次上逐步进行分析。主要思路是根据决策目的和研究对象，把目标逐层分解为多个相互独立且完备的组成因素，得到一个自上而下的层次结构模型，下层因素隶属于某一上层因素，上层因素对下层因素有支配作用。通过按层分析，获得各因素的权重，最终进行方案的优劣性排序^[4]。

2.2 主要步骤

层次分析法在应用过程中的一般流程主要包括六个步骤。

首先，根据决策的目的以及研究对象对决策目标进行明确，梳理出影响目标决策的全部因素；其次，分析各目标因素之间的关系，构建树状目标因素层次结构模型；其三，邀请领域专家对同一层次各因素之间的重要程度进行对比，建立判断矩阵；其四，计算判断矩阵的最大特征值，求出判断矩阵的一致性指标和随机一致性指标，进而得出随机一致性比例，利用随机一致性比例对判断矩阵进行一致性分析，若满足一致性，则进行下一步，若不满足一致性，则返回上一步重新构建判断矩阵；其五，利用判断矩阵求出各目标因素的权重；最后，依据目标因素权重，对目标因素的重要程度进行排序，完成决策。

3 课程调查问卷设计流程

利用层次分析法来进行调查问卷设计的流程主要包括构建课程调查问卷内容体系、求解调查问卷判断矩阵以及调查问卷题目数量设置三个步骤。

3.1 课程调查问卷内容体系

课程调查问卷内容体系是开展问卷设计的基础，一般来说课程调查问卷的内容应该包含三个板块，分别是课程板块、教师板块以及学生板块。其中课程板块主要是指课程的教学内容，涵盖课程的各知识单元；教师板块主要包括教学理念、教学方法、教学设计、教学水平等方面；学生板块分为学生信息、学习动机、学习收获、学习效果等几个部分^[1,2]。

3.2 调查问卷判断矩阵求解

根据课程调查问卷内容体系可知，调查问卷判断矩阵主要包括：对于课程调查问卷内容而言与之有关的课程板块、教师板块、学生板块等因素形成的判断矩阵；对于课程板块而言各知识单元形成的判断矩阵；对于教师板块而言教学理念、教学方法、教学设计、教学水平等因素形成的判断矩阵；对于学生板块而言学生信息、学习动机、学习收获、学习效果等因素形成的判断矩阵。由于上述四个判断矩阵的求解方法基本相同，因此以各知识单元形成的判断矩阵为例进行简要介绍。

假设课程一共有n个知识单元，分别为S₁, S₂, …, S_n，构造各知识单元形成的判断矩阵需要邀请教学专家对各知识单元之间的相对重要性进行评判。若用b_ij(i=1, 2, …, n；j=1, 2, …, n)表示知识单元S_i对于知识单元S_j的相对重要性，其取值通常以数字1~9及其倒数作为标度^[5]，取值越大表示相对重要性越凸显，则可构造出判断矩阵B=(b_ij)_n×n。

判断矩阵的一致性检验以及各知识单元相对于课程板块权重的计算，需要求解出判断矩阵的最大特征值λ_max及其对应的特征向量W。正规化求和法是一种计算判断矩阵最大特征值及其对应的特征向量的常用方法^[6]。首先，利用最大特征值计算一致性指标CI，然后通过查表，获取随机一致性指标值RI，最后计算随机一致性比例CR=CI/RI，当CR<0.1时认为判断矩阵具有满意的一致性，此时各知识单元相对于课程板块的权重即为特征向量W，否则需要对判断矩阵进行调整。

3.3 调查问卷题目数量设置

从课程调查问卷内容体系的层次结构分解粒度来看，问卷中涉及的调查问题类别共有n+8个（n为课程知识单元个数）。各类调查问题的数量依赖于预设的总调查问题数量N₀以及最下层各调查问卷因素对于最上层调查问卷目标的权重α_i (i=1, 2, …, n, n+1, …, n+8)，其中α₁~α_n分别为知识单元S₁~S_n的权重，α_n+1~α_n+8分别对应教学理念、教学方法、教学设计、教学水平、学生信息、学习动机、学习收获、学习效果各因素的权重。

对于预设的总调查问题数量N₀，若取值太小则问卷的体量不够，造成问卷的全面性不足；若取值太大，一是造成问卷中可能出现问题冗余，二是造成被调查人员由于填写耗时过长而产生厌烦情绪。根据专家经验，一般来说预设的总调查问题数量N₀取值在20到40之间比较合适。

由于最下层各调查问卷因素权重的计算方法大同小异，在此以各知识单元对于课程调查问卷内容的权重（α₁~α_n）计算为例进行介绍。假设中间层因素课程板块、教师板块、学生板块对于课程调查问卷内容的权重分别为ω₁、ω₂、ω₃，则有

其中W_i为知识单元S_i对于课程板块的权重。

在课程调查问卷中，知识单元S_i设置的数量M_i为

式中表示四舍五入取整。

4 课程调查问卷设计实例

本节以一门本科教育必修课《×××技术与装备》的调查问卷设计实例进行介绍。由于课程专业性、岗位指向性较强，课前为了了解学生的基本信息、学生对本门课程涉及知识的了解程度，以及对于教学方式的主观偏好，设计了课前调查问卷；课后为了掌握学生的学习效果、授课教师的教学效果，便于后续对课程进行改进，设计了课后调查问卷。

课前调查问卷目的在于“前测”，问卷中课程板块设置的问题主要涉及一些比较浅显基本概念；课后调查问卷目的在于“后测”，需要与“前测”形成闭环，问卷中课程板块设置的问题与课前调查问卷有对应关系，涉及内容深度和专业性较强。课前调查问卷中教师板块设置的问题主要侧重于对学生喜好或倾向的教学理念、教学方式进行了解，学生板块设置的问题主要集中于了解学生的学习意愿，学习兴趣和更高效的学习方式；课后调查问卷中教师板块设置的问题更倾向于了解教学效果、解学设计和教学意见建议，学生板块设置的问题偏重于了解学习收获和学习效果。

由于利用AHP法对课前和课后调查问卷中各类问题数量进行设计的过程基本一致，所以此处以《×××技术与装备》课程的课后调查问卷设计为例。首先邀请教学专家对课程板块、教师板块以及学生板块两两进行比较，得出的判断矩阵B₀，经计算此判断矩阵的随机一致性比例为0.0032<0.1，满足一致性条件，得到课程板块的权重为0.65，教师板块的权重为0.23，学生板块的权重为0.12。

《×××技术与装备》课程共有5个知识单元，同样邀请专家对这五个知识单元的重要性进行两两对比，得出的判断矩阵B₁。经计算此判断矩阵的随机一致性比例为0.0095<0.1，满足一致性条件，得到知识单元一的权重为0.11，知识单元二的权重为0.36，知识单元三的权重为0.22，知识单元四的权重为0.10，知识单元五的权重为0.21。同理可计算对于教师板块和学生板块而言各下层因素的权重。经计算，教学理念对于教师板块的权重为0.13，教学方法对于教师板块的权重为0.18，教学设计对于教师板块的权重为0.32，教学水平对于教师板块的权重为0.37；学生信息对于学生板块的权重为0.10，学习动机对于学生板块的权重为0.21，学习收获对于学生板块的权重为0.40，学习效果对于学生板块的权重为0.29。

预设的总调查问题数量N₀=30，利用公式(1)(2)可计算出最底层各因素知识单元一、知识单元二、知识单元三、知识单元四、知识单元五、教学理念、教学方法、教学设计、教学水平、学生信息、学习动机、学习收获、学习效果对于最顶层调查问卷内容设计总目标的权重分别为：0.0715、0.234、0.143、0.065、0.1365、0.0299、0.0414、0.0736、0.0851、0.012、0.0252、0.048、0.0348；在问卷中设置的问题数量分别为：2、7、4、2、4、1、1、2、3、0、1、1、1。

为便于获得学生对于课程的真实评价，在课后调查时采用纸质匿名调查问卷，共计回收76份问卷，其中有效问卷76份，问卷有效率达到100%。经过统计分析，并与课前调查问卷进行对比，得到的结论是：①学生通过本课程学习知识的掌握程度较好；②学生更倾向于理论和实践相结合的教学方式；③学生普遍认为交流研讨及合作学习的效率较高；④学生对课程教学总体水平比较认可；⑤多数学生认为课程需要在增加装备操作时间方面进行改进提高。

5 结语

课程调查问卷作为一种了解学生学习情况，教师教学效果的辅助手段，在教学评价以及教学改革中发挥了重要作用。长期以来，凭借经验进行课程调查问卷设计暴露出很多弊端，尤其是调查问卷内容体系构建缺乏完备的指导理论，问卷中各类问题数量的确定缺少行之有效的方法，使得调查结果的全面性、针对性以及有效性难以得到保证。为了解决上述问题，本文提出了一种基于AHP的课程调查问卷设计方法。首先借鉴自上而下逐层分解细化的系统工程思想构建了课程调查问卷内容体系，使得在进行问卷内容设计时有了可以参考的框架，接着利用层次分析法构造判断矩阵来求取各因素的权重，使得问卷中各类问题数量的确定有了科学的方法可循，最后通过《×××技术与装备》课程调查问卷设计实例验证了所提方法的可行性及有效性。

[参考文献]

[1]甄雪燕. 中外医学史教学方法调查问卷设计的体会[J]. 中国中医药现代远程教育，2019，17(7)：15-16.

[2]屈正庚. 基于层次分析法的精品资源共享课有效性[J]. 系统仿真技术，2018，14(1)：68-73.

[3]李志猛，徐培德，刘进，冉承新. 武器系统效能评估理论及应用[M]. 北京：国防工业出版社，2013：88-89.

[4]周华任，张晟，穆松等. 综合评价方法及其军事应用[M]. 北京：清华大学出版社，2015：54-58.

[5]杨良斌. 信息分析方法与实践[M]. 长春：东北师范大学出版社，2016：75-77.

[6]谭跃进，陈英武，罗鹏程，程志君. 系统工程原理[M]. 北京：科学出版社，2017：214-215.

Design of Course Questionnaire based on Analytic Hierarchy Process

LIN Zhi-qiang, YAN Rui-cheng, HUANG Jian-mei, SU Yao-feng

(College of Information and Communication, National University of Defense Technology, Wuhan, Hubei 430010, China)

Abstract: Course questionnaires are an effective means to analyze the learning situation and to understand the effectiveness of the course teaching. The quality of the course questionnaire directly determines the comprehensiveness, pertinence and effectiveness of the survey results. For a long time, it is difficult to analyze the students' pre-course foundation and post-course mastery in a comprehensive and objective way. To address this problem, this paper proposes a course questionnaire design method based on Analytic Hierarchy Process (AHP). First, it constructs the content system of the course questionnaire, then analyzes the weight of various questions layer by layer from top to bottom, and then clarifies the number of various survey questions in the questionnaire. Finally, it uses this method to design the questionnaire for a course in actual teaching. The results of the questionnaire were analyzed to verify the feasibility and validity of the method.

Key words: course questionnaire; Analytic Hierarchy Process; learning analysis; teaching effectiveness