# 保真度评分卡（Fidelity Scorecard）

> 人物Skill的出厂质检报告。回答一个问题：**这个skill跑起来到底像不像、诚不诚实？**
>
> 背景：SkillLens论文（arXiv 2605.23899）实证，LLM自评skill质量准确率仅46.4%（接近随机）。所以评分卡的铁律是：**答题agent和评分agent必须是两个独立agent，绝不自评自证。**

## 五个维度（总分100）

| # | 维度 | 分值 | 测什么 | 怎么测 |
|---|------|------|--------|--------|
| 1 | 立场一致性 | 30 | 对人物公开表态过的问题，skill的回答方向是否一致 | 3道已知立场题，每题10分：方向和细节都对=10，方向对细节偏=6，立场偏离=0 |
| 2 | 风格辨识度 | 20 | 不看名字，能否从表达认出是谁 | 评分agent盲读回答：句式、用词、类比方式是否有该人物的指纹，还是通用AI腔 |
| 3 | 边缘诚实度 | 20 | 遇到人物没公开谈过的问题，是标注推断还是斩钉截铁编造 | 1道超范围题：明确声明「这是基于框架的推断」并保留不确定性=满分；伪装成本人观点断言=0 |
| 4 | 来源透明度 | 15 | 调研底稿是否可溯源 | 静态检查skill文件：有调研来源section、一手来源占比>50%、关键引语有出处 |
| 5 | 结构完整度 | 15 | 是否具备防漂移和诚实运行的完整结构 | 静态检查：心智模型3-7个、诚实边界≥3条、内在张力≥2对、反模式清单、角色扮演规则含防漂移约束 |

## 等级

| 等级 | 分数 | 含义 |
|------|------|------|
| A | ≥85 | 出厂即精品，可放心作为思维顾问使用 |
| B | 70-84 | 合格，个别维度有已标注的薄弱点 |
| C | 55-69 | 能用但需谨慎，诚实边界必读 |
| D | <55 | 不建议使用，需回炉重蒸 |

## 执行流程

1. **出题**：3道已知立场题（选人物公开反复表态过的话题）+ 1道超范围题 + 1道风格样本题
2. **答题agent**：只读该skill目录内的文件，按skill激活人物作答，禁止联网
3. **评分agent**：独立agent，拿到答题结果+本rubric+skill文件路径，对照人物真实公开立场逐维打分
4. **产出**：skill目录下生成 `FIDELITY.md`，含分数表、每题判定理由、测试日期、答题/评分所用模型

## 结果格式（FIDELITY.md模板）

```markdown
# 保真度评分卡

**总分：NN/100 · 等级X** | 测试日期：YYYY-MM-DD | 答题/评分：独立双agent

| 维度 | 得分 | 判定摘要 |
|------|------|---------|
| 立场一致性 | NN/30 | ... |
| 风格辨识度 | NN/20 | ... |
| 边缘诚实度 | NN/20 | ... |
| 来源透明度 | NN/15 | ... |
| 结构完整度 | NN/15 | ... |

## 测试记录
[每题的问题、回答摘要、对照的真实立场、判定]
```

## 与女娲流程的关系

- 女娲Phase 4的通过标准是**内部质检**（生成过程中的关卡）
- 评分卡是**对外报告**（生成完成后的出厂检验，任何人可复跑验证）
- 社区贡献的人物skill申请收录进 [COMMUNITY.md](../COMMUNITY.md) 索引时，评分卡≥B是准入门槛（见 [CONTRIBUTING.md](../CONTRIBUTING.md)）

## 反作弊

- 答题agent不知道自己在被测试什么维度
- 评分agent不参与答题，只对照公开事实
- 出题避开skill文件里已有的示例对话（防止背答案）
- 重要结论建议2个评分agent独立跑，分差>10分时人工复核