第六讲 案例分享

　　本讲主要通过两个案例展示如何把研究问题转化为一份合格的问卷。这两个案例都是开放教育领域内已经完整并成功做过的，希望大家通过这两个案例，能够了解如何设计一份能够应用于开放教育调查研究的调查问卷。

　　第一个案例，开放教育毕业生质量评价。

　　从主题上看，毕业生的质量评价，属于态度性调查。该调查的目的有三个：即对电大开放教育试点的人才培养模式效果和人才质量作出评价；探索开放教育的规律和存在的主要问题，改进后续的教学和管理工作；了解社会对电大毕业生质量的认知状况。要实现这三个目的，调查内容就需要包括三方面：社会用人单位对开放教育试点的毕业生质量评价，毕业生的自评，毕业生对电大教学质量的评价。同时也决定了问卷的调查对象包括开放教育试点的毕业生及其用人单位。

　　如何将调查内容转化为一个详细的调查指标体系的呢？（1）在研究过程中，课题组首先通过文献调研确定指标内涵，主要查阅了学术界关于人才培养目标和质量规格的界定，了解人本主义、建构主义以及发展心理学的相关理论，并将这些理论与开放教育和远程教育融合，确定开放教育试点毕业生质量以及教学质量描述维度，然后召集相关领域的专家研讨形成“开放教育毕业生质量评价指标体系”，采用Delphi法确定每个指标的权重。（2）把调查指标体系里面的每个指标转化为具体的问题，也就是问题设计了。在这个调查中，主要采用了李克特五级量表式的选择题。（3）加上填写对象的基本信息，以及问卷最后附加的开放式题目，按照相应的顺序排列组合，就完成了问卷的编制。（4）为了检验所设计的问卷是否能够有效准确的反映研究问题，还需要开展问卷试测。课题组将全国的电大分为6大片区，每个片区选取了试测的代表，进行了试调研，根据回收数据的信度和效度检验结果，修订了问卷，形成了问卷的最终版。

　　在此展示当初问卷的信度和效度分析结果。

　　信度分析就是对毕业生质量评价调查问卷的可靠性及其测量维度的所有指标的一致性进行分析，并以信度系数小于0.7的为不合格问卷，大于0.70的为合格问卷，大于0.8的为较好问卷，0.9以上的为好问卷的评价标准，来检验电大毕业生追踪调查问卷及其操作的整体质量。

　　依据信度系数的评价标准，根据信度分析结果，问卷《电大毕业生质量调查表》总的内部一致性信度系数达到0.9295，表明该问卷总体信度是比较好的。其中，能力维度的信度系数0. 8614，思想品德维度的信度系数0.8213，均为比较好；知识维度的信度系数0.7894，业绩维度的信度系数0.7934，均为合格。由此我们得出结论：《电大毕业生质量调查表》具有可靠性，思想品德、知识、能力和业绩各维度具有一般或较好的内部一致性。

　　依据信度系数的评价标准，《电大人才培养方式调查表》问卷总的内部一致性信度系数达到0.9436，表明该问卷的总体信度是很高的。其中，学习支持服务维度的信度系数0.9021，是好的；教学组织形式维度的信度系数0.8794，是比较好的；课程设置维度的信度系数0.7555，教学资源维度的信度系数0.7159，均达到合格。由此我们得出结论：《电大人才培养方式调查表》具有可靠性，课程设置、教学资源、教学组织形式和学习支持服务各维度具有一般、较好或好的内部一致性。

　　依据信度系数的评价标准，《电大教学效果调查表》问卷总的内部一致性信度系数达到0.9190，表明该问卷总体信度是好的。其中，能力信度系数0.8664，业绩维度的信度系数0.8296，是比较好的；知识维度的信度系数0.7596，也达到合格标准。由此我们得出结论：《电大教学效果调查表》具有可靠性，知识、能力和业绩各维度具有一般或较好的内部一致性。

　　效度分析就是对毕业生质量评价调查问卷的准确性及其测量维度的所有指标的有效性进行分析，并以因素(子)载荷大于0.4；拟合指数中比较拟合指数(CFI)和非赋范拟合指数(TLI)大于0.9，近似误差均方根（RMSEA）小于0.08(越小越好)作为评价标准，来检验电大毕业生质量评价调查问卷及其操作的整体质量。

　　依据结构效度的评价标准，《电大毕业生质量调查表》中思想品德、知识、能力和业绩四个维度的项目因素载荷大都在0.60以上，这说明这些项目能较好的测量它所在的维度。同时，问卷中思想品德、知识、能力和业绩各维度之间的相关系数均达到0.60以上，存在着比较高的相关度，这符合结构方程模型验证性因素分析假设的要求。而且《电大毕业生质量调查表》的比较拟合指数 CFI和非赋范拟合指数TLI值分别为0.949，0.941，均大于0.90；近似误差均方根RMSEA值为0.052，小于0.08。这表明整体模型与调查数据的拟合程度是非常好的。这说明《电大毕业生质量调查表》具有很好构想效度。

　　依据结构效度的评价标准，《电大人才培养方式调查表》中课程设置、教学资源、教学组织形式和学习支持服务四个维度中大部分项目的因素载荷都在0.40以上，这说明这些项目能较好的测量它所在的维度。同时，课程设置、教学资源、教学组织形式和学习支持服务各维度之间的相关系数均达到0.60以上，存在着比较高的相关度，这符合结构方程模型验证性因素分析假设的要求。而且《电大人才培养方式调查表》的比较拟合指数 CFI和非赋范拟合指数TLI值分别为0.886，0.874，均小于0.90，但已比较接近；RMSEA值为0.063，小于0.08。这表明整体模型与调查数据的拟合程度还可以，是可以接受的。这说明《电大人才培养方式调查表》具有较好构想效度。

　　依据结构效度的评价标准，《电大教学效果调查表》中知识、能力和业绩三个维度的项目因素载荷大都在0.40以上，这说明这些项目能较好的测量它所在的维度。同时，知识、能力和业绩各维度之间的相关系数均达到0.70以上，存在着比较高的相关度，这符合结构方程模型验证性因素分析假设的要求。而且《电大教学效果调查表》的比较拟合指数 CFI和非赋范拟合指数TLI值分别为0.956，0.946，均大于0.90；RMSEA值为0.058，小于0.08。这表明整体模型与调查数据的拟合程度是非常好的。这说明《电大教学效果调查表》具有很好构想效度。

　　综上所述，通过应用全国电大的调查数据和SPSS11.0、AMOS软件，对《电大毕业生质量调查表》、《电大人才培养方式调查表》和《电大教学效果调查表》三个调查问卷的信度、效度再次分析结果：这三个问卷具有好的和比较好的信度、效度，这说明通过这三份问卷调查所得的结果具有可靠性和准确性。

　　第二个案例，日本放送大学所开展的学生课程评价。

　　日本放送大学成立于1983年，现在的办学层次涵盖了本科、硕士、博士层次的高等教育，主要采用广播电视、面授、在线教学的教学方式。

　　日本放送大学的学生每学完一门课程之后，都会收到一份课程评价问卷，通过学生的反馈来收集学生对该课程教学的满意度。由此我们看出该调查的性质也属于态度性调查，调查目的是了解课程教学的满意度，为课程的后续改进与更新提供参考意见。为了达成这样的调查目的，调查内容包含了两部分：一是学生的课程学习参与度，这部分属于事实性调查，了解学生在课程学习过程中的参与程度，通过学生的自我评价来完成，题型设计采用了选择题，便于后期的数据统计。第二部分内容是课程学习满意度，这部分内容属于态度性调查。题型设计采用了李克特五级量表式选择题。该调查的对象是所有参与课程学习的学生。

　　展示问卷。问卷的标题是“××年度 学生课程评价调查表（本科）”，然后是课程基本信息，包括课程名称、课程编号。

　　下面是课程评价部分，首先是让学生对自己课程学习的表现进行自评，了解学生课程学习的参与度。然后是课程评价，分别从课程的难易程度、内容量、广播电视教学、印刷教材、通信指导和课程考试等方面进行测评，之后是5个问题，对课程进行总体评价。后面还附加了三个开放式题目，学习课程的收获、课程改进的方面、对学校教学方面的意见和建议。此处需要说明的是，大家看到此份问卷的李克特5级量表的选择题，只有四个选项，这又是为什么呢？其实大家仔细看看就会发现，给出的四个选项分别对应五级量表选项的前两项和后两项，中间那个一般的选项被省略了。这样做的目的是为了避免填写问卷的人一顺到底都给出中间选项，让填写者必须给出一个态度选择，从而可以提高问卷填写的质量和数据有效性。接下来，有一个关于课程的通信指导和课程考试的调查，了解学生的课程评价完成度。然后是学生的基本信息，包括学生种类、性别、年龄、职业。最后是致谢语，感谢学生的配合。