Kappa分析(Kappa Analysis)是一种用于评估分类一致性或信度的统计方法,尤其适用于两名或多名评估者(raters)对同一组对象进行分类时,判断其一致性是否超出随机预期。它由Jacob Cohen在1960年提出,常用于医学、心理学、社会科学等领域。
核心概念
目的:
衡量评估者之间的一致性(Inter-rater reliability)。
排除单纯由随机因素导致的一致性,提供更严格的评估。
Kappa系数(κ):
κ < 0:无一致性。
0-0.20:轻微。
0.21-0.40:一般。
0.41-0.60:中等。
0.61-0.80:高度一致。
0.81-1:几乎完全一致。
κ = 1:完全一致。
κ = 0:一致性等于随机预期。
κ < 0:一致性比随机预期还差(罕见)。
取值范围:-1 到 1。
一般标准(Landis & Koch, 1977):
破坏性测试中做 Kappa 分析,主要是为了评估不同检验人员之间在判断结果上的一致性,尤其适用于计数型数据(如合格/不合格)。由于样品在测试过程中会被破坏,无法重复测量,因此方法上有一些特别的设计。以下是常见的做法:
Kappa 分析在破坏性测试中的基本流程
1. 样本准备
- 通常选取约 50 个样本,确保覆盖合格与不合格的情况。
- 样本应来自同一批次,确保其一致性。
- 每个样本只能测一次,因此需多人对不同样本进行盲测。
2. 评价人员安排
- 通常安排 3 位检验员,每人独立判断所有样本。
- 每个检验员对每个样本只做一次判断(因为样本会被破坏)。
3. 数据记录与分析
- 记录每位检验员对每个样本的判断结果(如 OK/NG)。
- 使用统计软件(如 Minitab)进行 Kappa 分析,计算一致性指标。
4. Kappa 值解释
- Kappa > 0.75:一致性良好
- 0.4 < Kappa ≤ 0.75:中等一致性
- Kappa ≤ 0.4:一致性较差,需要改进
Po
:观察到的实际一致性比例。
Pe:随机预期下的一致性比例(通过边际分布计算)。
附加指标(可选)
- 误判率:将合格品误判为不合格的比例
- 漏判率:将不合格品误判为合格的比例
- 有效性:判断结果与基准一致的比例(建议 ≥90%)
用焊接强度作为例子,我们可以设计一套适用于破坏性测试的 Kappa 分析方案。这里的关键在于,虽然每个试样只能被测一次,我们仍然可以通过合理的抽样和评价人员分配来进行一致性分析。
焊接强度破坏性测试中的 Kappa 分析步骤
1. 样本准备
- 准备约 50~60 个焊接样本,覆盖强度差异较明显的区间(包括“合格”与“不合格”边缘案例)。
- 样品来自相同材料和工艺条件,以排除其他变量干扰。
2. 判定标准设定
- 明确合格判定的强度阈值(例如 ≥180N 被判定为合格)。
- 如使用“拉力破断”法,可设置“断裂载荷”作为主要判断依据。
3. 评价方式(采用照片或视频)
- 由于测试具有破坏性,可在施加拉力前拍摄高分辨图像或录像焊点。
- 测试完成后,采集残余结构和断面图像。
- 让多位检验员仅根据图像对焊点是否“合格/不合格”作出判断。
4. 数据收集与分析
- 建立一个判断矩阵:列出每个检验员对所有样本的判断。
- 使用统计工具(如 Minitab、Excel 插件、Python 等)计算 Cohen’s Kappa 或 Fleiss’ Kappa(如检验员超过 2 人)。
5. 结果解释与改进建议
- 若 Kappa < 0.4,应优化培训、判定标准、图像清晰度等环节。
- 可进行再次盲测验证改进效果。
小贴士
- 图像必须具备足够判读性,包括:焊点大小、气孔/裂纹情况、变形区域等。
- 若有机器读数(如测试设备输出数值),也可对比“主观判断”与“数值标准”的符合性。
1715