教程 ·
问卷信效度太低怎么提高?CITC 和删除后 α 这张表逐列拆解
问卷信效度分析结果怎么读:CITC 题项-总分相关、删除该题后 α 系数逐列拆解,信效度多少合适、太低怎么提高、能不能改数据全部讲清楚,演示数据 N=300。
问卷信效度太低怎么提高?先看信度表里的 CITC 和"删除该题后 α"这两列:CITC 明显偏低的题项拖累了整体信度,删掉它重新算一次,α 通常就能回到可接受区间。
这一页解决什么
算信度算到一半心态崩了:某个维度的 Cronbach's α 只有 0.6 出头,论文要求"最好 0.7 以上",是数据有问题、题目出得不好,还是这个维度本来就该低?对着表发呆半天,连删题还是删样本都拿不准。
上一篇信效度分析怎么做讲的是怎么把这张信度表跑出来;这一篇讲的是表跑出来之后怎么读——尤其是很多人对着表却没注意到的"删除该题后 α"那一列,以及信效度到底多少才算合适、太低了能不能提高。跑这张表用的不只是 SPSS,Stata、R 同样能算出同样的 CITC 和删除后 α,这篇讲的是怎么读结果,跟用什么软件跑出来无关。
产品界面全景:顶栏的定位语是"SPSS、R、Stata 能做的,对话就能完成",右侧是十几种可选的分析方法,底部对话框可以直接打字提需求——下面这张信度表就是这样跑出来的。
这张信度表还有这些列:CITC 和"删除该题后 α"怎么读
用演示数据(模拟问卷 N=300,20 题 5 维度,非真实论文数据)走一遍:社会影响(SI)维度 4 道题整体 α=0.628,卡在"勉强及格"和"偏低"之间,能不能用还要看学科惯例和量表来源。真正该看的是每题 CITC(题项-总分相关):SI1 至 SI3 分别 0.584、0.495、0.576,都正常;唯独 SI4 只有 0.066,远低于 0.3 这条常用线。
CITC 说的是"这道题跟同维度其余题目合不合群"——把这道题的得分和该维度总分做相关,相关越低,说明这道题测的方向和其余题目越不是一回事。表格里另一列常被忽略的是"删除该题后 α":这一列直接告诉你,如果把这道题拿掉,整个维度的 α 会变成多少,不用自己另外再算一遍。
SI4 问的是"学校或院系明确要求使用 AI 工具",偏"制度强制",跟其他三题讲的"身边人认同"不是一回事,难怪相关性掉到几乎为零——删掉 SI4 后,这个维度的 α 会从 0.628 回升到 0.785,直接跨进"良好"。这个数不用另外再跑一遍,信度表里"删除该题后 α"那一列本来就给出来了,很多人对着表却没注意到它。
| 题项 | CITC | 备注 |
|---|---|---|
| SI1 | 0.584 | 正常 |
| SI2 | 0.495 | 正常 |
| SI3 | 0.576 | 正常 |
| SI4 | 0.066 | 远低于 0.3 常用线 |
| SI 维度 α(删除 SI4 前) | 0.628 | — |
| SI 维度 α(删除 SI4 后) | 0.785 | 跨进"良好"区间 |
数据来源:ChatSRS 信度分析结果截图,演示数据 N=300,SI 维度 4 道题的 CITC 与删除后 α 均为产品实测原始输出,本文未做任何换算。
信度三线表连同 AI 解读文字:SI1-SI4 的 CITC 完整可见,解读文字里直接给出"删除 SI4 后该维度 α 将由 0.628 提升至 0.785",关键数字用荧光笔高亮标出。
这不是拍脑袋删题,而是有 CITC 数字做依据,论文方法部分能直接写"根据修正后题项-总分相关系数,SI4 与其他题项相关性过低(CITC=0.066),予以删除"。
信效度多少合适:SI 维度这个 0.628 算不算够
信效度多少合适,学界有一套约定俗成的阈值,最常引用的是 Nunnally(1978):
| 信度水平 | 数值范围 | 来源 |
|---|---|---|
| 可接受(Acceptable) | alpha >= .70 | Nunnally (1978) |
| 良好(Good) | alpha >= .80 | Nunnally (1978) |
| 优秀(Excellent) | alpha >= .90 | Nunnally (1978) |
| 探索性研究最低可接受 | alpha >= .60 | DeVellis (2017) |
对照这张表,SI 维度删除 SI4 前的 0.628,正好落在 DeVellis 探索性研究最低线(.60)之上、Nunnally 可接受线(.70)之下——这是"能不能用"最容易吵起来的灰色地带,不是简单一句"不合格"能打发的,能不能用还要看学科惯例和量表来源本身是不是探索性质。删除 SI4 之后的 0.785,则已经越过可接受线、落进"良好"区间。
问卷信效度太低怎么提高:删题的判断路径与边界
信效度低了怎么提高,最常见的第一反应是"要不要重新收集数据"或者"要不要换个统计方法"——大多数情况下都不用到这一步。"信度系数够不够 → 看合群度 → 揪出问题题 → 删不删"这条判断路径,我们整理成了一张图,判断路径都在上面,不用每次都重新想一遍:
判断路径:先看维度整体 α 够不够,再看题项级 CITC 合不合群,最后决定删不删——案例数字就是本文这份 SI 维度数据(α=0.628、CITC=0.066、删除后 α=0.785)。
具体拆开是三步:
- 先看维度整体 α 够不够:SI 维度算出来是 0.628,低于 Nunnally 的可接受线(.70)。
- 再看题项级的 CITC:SI4 的 CITC=0.066,接近于 0,说明这道题测的和其余题项不是一回事。
- 删掉这道 CITC 明显偏低的题后重新计算:SI 维度的 α 从 0.628 升到 0.785,回到可接受区间之上。
什么时候删题反而有害? 不是每一道 CITC 偏低的题都能直接删。已经发布的量表信度只有 0.6,删哪道题能救回来?那一篇讲得更细:如果用的是原作者验证过的成熟量表,随意删题会破坏量表本身的结构效度——题目往往是原作者反复验证过的设计,删题相当于改变了这个量表要测的构念,这种情况下更谨慎的做法是先查是不是翻译或文化适应的问题,而不是直接删题了事。另外,一次也只该删一道最差的题、重新跑一次分析,而不是把所有不达标的题一次性全删掉——删掉一道题会改变其余题目之间的相对贡献关系,原本正常的题目,CITC 也可能跟着变化。
删到什么程度就该怀疑量表设计本身? 同一篇里给出的参考线是:如果删除的题项超过总题项数的 20%-30%,这已经不只是"个别题目质量问题",而是要重新审视这份量表是否适合当前的研究对象,或者要不要整体换一份量表。本文这次的 SI 维度总共 4 道题,只删了其中 CITC 明显偏低的 1 道;但如果同一份问卷里好几个维度都要靠删题才能勉强达标,就是该往"怀疑整个量表设计"这个方向想的信号,而不是逐个维度硬删下去。
提醒一下:α 多少算够、CITC 多低要删,不同学科期刊要求不完全一样,0.3 只是常用参考,拿不准还要结合量表来源文献和导师意见;AI 给的判断也要自己复核。
图里这张信度表是在 ChatSRS 里跑的,SI4 那段"删掉它 α 就从 0.628 升到 0.785"的判断是它自己写的原文,一个字没改动。上面那张判断路径图我们自己也在反复用,不用每次都重新想一遍这套逻辑该怎么走。
什么情况下不适用
信度分析只能说明题项内部一致,不代表问卷设计没问题,方法用得对不对还要结合自己的研究设计判断,AI 给的结果建议自己核对一遍。
除此之外,还有几种情况光看这张信度表是不够的:
- 信度不等于效度。CITC 和删除后 α 都合格,只能说明维度内部题目彼此一致,不代表这份问卷真的测到了你想测的构念;效度是另一件事,需要单独验证,可以参考信度和效度有什么区别?。
- 单题维度不该跑这张表。只有一道题的维度不该计算 Cronbach's α,删题判断路径也无从谈起,这类情况通常改用重测信度而不是内部一致性系数。
- 量表结构本身有问题时,删题只能救到一定程度——上一节已经说过,删除比例一旦偏高就不该继续逐题删下去,而要回头审视量表设计或翻译。
- 工具只负责算数字,不负责替你做研究判断。不管是 ChatSRS、SPSS、Stata 还是 R,算出来的都只是 CITC 和 α 这两个数字;这道题该不该删、这份问卷是否适合你的研究设计,始终是研究者自己的责任。
效度侧怎么读:同一道 SI4,在因子分析里单独成了一个因子
上面那一节说"效度是另一件事,需要单独验证"——这一节就把这另一件事读完。
效度问的是:这 20 道题有没有真的分成你设想的那几组。做法是把 20 道题一起丢进因子分析,让数据自己重新分组,再看每道题落到了哪一组上。
说明:这几节的数字来自另一份演示数据(同样是模拟问卷:300 份作答、5 个维度 20 道题,题号从 PU1 排到 BI4;因量表题有少量缺失,因子分析按完整案例纳入 289 份)。它和上面几节用的演示数据各跑各的,两份数据之间没有做过任何合并或换算,所以 SI 维度的 α 与 CITC 数值不完全相同。
在这份数据里,信度侧和效度侧同时把手指向了 SI4:
| 看的角度 | 指标 | SI4 的数字 | 这个数字在说什么 |
|---|---|---|---|
| 信度侧 | 校正项目-总分相关(CITC) | 0.110 | 和同组另外三道题几乎不相关 |
| 信度侧 | 删除该题后 α | 0.745 | 拿掉它,SI 维度 α 由 0.623 提高到 0.745 |
| 效度侧 | 旋转后因子载荷(因子 5) | 0.963 | 它自己单独占住了一个因子 |
| 效度侧 | 共同度 | 0.938 | 这道题的信息被提取出的因子解释得很充分——只是解释它的那个因子由它一题独占 |
数据来源:ChatSRS 同一会话内的信度分析与效度分析结果截图,演示数据 300 份作答、效度分析实际纳入 289 份完整案例。全部为产品实测原始输出,本文未做任何换算。同一份数据里 SI1、SI2、SI3 的 CITC 分别是 0.476、0.559、0.517,SI 维度 α 为 0.623。
这一层是整篇里最硬的地方:两种方法从两个完全不同的角度,指向了同一道题。
CITC 问的是"这道题跟自己组里另外三道题合不合群",只看组内;因子载荷问的是"把 20 道题全部打散重新分组,它会跟谁站在一起",把整份问卷都摊开看。两条互相独立的路子得出同一个结论,比任何单一指标都站得住脚——只有 CITC 偏低,还可以争辩是不是抽样波动;两边同时指过来,就说明这道题测的东西本身和其余三道不一样。
产品自己的表述是:
最明显的问题是 SI4。该题的载荷主要集中在因子 5,且载荷高达 0.963,而 SI1~SI3 集中在因子 3,说明 SI4 所测量的内容与前三道社会影响题存在明显差异。结合题目内容,SI1~SI3主要测量来自同伴、教师和周围人的社会影响,而 SI4 测量的是学校或院系的制度性要求,因此 SI4 更像"组织或制度环境"题项,而不是个人感受到的社会影响。
所以它给的处置有两条路,删题并非唯一选项:
将 SI4 删除,或者将其作为"学校制度支持/组织环境"单独测量,不纳入 SI 社会影响维度。
这份效度数据是怎么一步步跑出来的(第二句指令原文、KMO、Bartlett、总方差解释和完整的载荷矩阵),写在信效度分析怎么做那一篇。
效度不达标时,盯这三处
效度侧的表比信度表宽得多,但真正要盯的就三处:
一、载荷落错了因子。 一道题的最高载荷落在你没预期的那一列,归属就出问题了——SI4 属于最极端的一种,干脆自己单独成了一个因子。另一种形态是跨因子载荷:同一道题在两个因子上载荷都不低,说明它同时沾着两个构念。这份数据里产品的核查结论是:
从交叉载荷看,没有发现其他题项出现绝对值超过 0.40 的明显跨因子载荷。ATT 和 BI 部分题项在 PU 因子上的次高载荷略有升高,例如 BI4 为 0.287,但仍低于 0.40,暂不构成严重交叉载荷问题。
二、共同度太低。 共同度说的是这道题的信息有多少被提取出来的因子解释掉了;数值太低,说明这道题基本游离在整个因子结构之外。产品这次的载荷表下方带着一行注「加粗载荷表示绝对值 > 0.4;斜体共同度表示 < 0.4」,而它的结论是「各题共同度均高于 0.40,说明 20 道题都能被提取出的公共成分较好地解释」。
三、归属和理论对不上。 这一种最容易被忽略:每道题的载荷都很漂亮,可分出来的组跟你的理论框架对不上号。这份数据里 ATT 使用态度和 BI 使用意愿就合并成了同一个因子,产品的判断是「这并不代表 ATT 和 BI 在理论上必然是同一构念,但说明当前样本下二者的区分效度不足」,处置建议是:
对 ATT 与 BI 暂时保留理论上的两个维度,但在论文中如实报告其探索性因子分析出现合并现象,并进一步通过 CFA 比较"五因子模型"和"ATT、BI 合并的四因子模型"。
因子数或因子归属跟设计对不上时具体怎么处置,探索性因子分析怎么调数据那一篇拆得更细。
论文里这一段怎么写
把上面这些数字按学术报告的惯例串成一段,大致是这个形状(数字全部来自本文这份演示数据,N=300、因子分析有效样本 289):
本研究对 20 个量表题项进行探索性因子分析。KMO 取样适切性量数为 0.897,Bartlett 球形度检验显著(χ²=3163.218,df=190,p<0.001),表明数据适合进行因子分析。按特征值大于 1 的标准提取 5 个因子,累计解释总方差 71.64%,有效样本为 289。旋转后因子载荷矩阵显示,PU、PEOU 与 SI1~SI3 分别聚合于预期因子,载荷依次为 0.770~0.825、0.819~0.856、0.802~0.819;SI4 单独形成一个因子,载荷为 0.963。该结果与信度分析相互印证:SI4 的校正项目-总分相关仅为 0.110,删除该题后 SI 维度 α 由 0.623 提高至 0.745。据此将 SI4 从社会影响维度中剔除,或改作组织制度环境题项单独处理。ATT 与 BI 题项合并于同一因子,本研究如实报告该现象,并拟通过验证性因子分析比较五因子模型与四因子模型。
写的时候有两点别漏:
- 方法要交代清楚。这次跑的是 PCA 加 Varimax 旋转,产品自己也标注了「更准确地说是主成分结构探索;若研究重点是潜在构念效度,后续可使用共同因子方法并进行 CFA,以对五维理论结构作更严格的验证」。方法写错,后面的结论都会被质疑。
- 有效样本量要跟着报。本文这份数据因为量表题有少量缺失,因子分析实际纳入的是 289 份完整案例,产品把占比(96.3%)也一并报了出来;论文里报 300 会与分析实际用到的样本对不上。
常见问题
信效度低怎么修改数据?
不能。信度低不是数据本身"写错了",能调整的只有该不该保留某道题,不是回头改问卷作答的原始数字。CITC 明显偏低的题项,删掉它、重新算一次 α,是唯一站得住脚的处理方式;直接改动原始作答数据,不管有没有改善最终的 α 数字,都是学术诚信问题,一旦被发现后果很严重。
删完题之后还要不要重新报告一遍信度?
要。文中的判断路径是"整体 α 够不够 → 题项 CITC 合不合群 → 删不删 → 删完要不要重新验证"这四步,删题不是最后一步。本文示例里 SI4 删除后,α 从 0.628 升到 0.785,写进论文方法部分的应该是删题后重新算出来的这个 0.785,而不是删除前的 0.628。另外要注意,一次也只该删一道最差的题、重新跑一次分析,不要把所有不达标的题一次性全删掉。
不同学科、不同期刊对 CITC 和 α 的要求都一样吗?
不完全一样。0.3 只是 CITC 最常被引用的参考线,Nunnally(1978)的 .70 也只是"可接受"这一档的约定俗成标准,不是所有学科、期刊或导师都严格按这条线卡。拿不准的时候,优先看自己所用量表原始文献里给出的信度标准,其次看导师或目标期刊的具体要求,AI 给出的判断同样建议自己核对一遍再采信。
只有一道题的维度也能算 Cronbach's α 吗?
不能。Cronbach's α 衡量的是同一维度内多道题之间的一致性,只有一道题的维度没有"内部"可言,算出来的数字没有意义,删题判断路径也无从谈起。这类只有单题的维度,通常应该改用重测信度,而不是套用内部一致性系数。
因子分析里一道题单独成了一个因子,一定要删吗?
不一定。本文效度演示数据里的 SI4 就是这种情况(在因子 5 上载荷 0.963,共同度 0.938),产品给的处置是两条路:删除它,或者把它作为"学校制度支持/组织环境"单独测量、不再纳入原来的社会影响维度。选哪条要看这道题对你的研究问题有没有独立价值——如果学校层面的制度要求本身就是你想讨论的变量,把它单列成一个题项比直接删掉更有用。无论走哪条路,论文方法部分都要写清楚依据,并把处理后重新算的信度和结构结果一并报告。
读懂你自己的那张信度表
准备好去标识的问卷数据和已经跑出来的信度结果后,可以登录 ChatSRS 对着自己的 CITC 和删除后 α 核对一遍。判断路径按"整体 α 够不够 → 题项 CITC 合不合群 → 删了以后 α 有没有真的回升"这三步走,结果同样建议逐项核对后再写进论文。
相关文章推荐
本文演示数据为模拟问卷(N=300,5 个维度 20 道题,其中社会影响 SI 维度 4 道题),非真实论文数据。具体功能、数据处理规则和价格以当前产品页面与真实输出为准。