Kaynağa Gözat

Phase 2 诊断改为加权短板优先排序(issue #18 建议三)

把「找出得分最低的维度」改为「找出加权短板最大的维度」:
weighted_gap = weight × (10 - score),相近(差距 ≤ 1.0)时回退原始分升序。

依据 issue #18 实战数据:dim9(权重6)原始分最低被 R1 优先修,
而 dim8(权重23)加权短板最大(11.5)却 4 轮未动,
低权重维度制造了进步幻觉。同步更新 HL-3 与反例黑名单第 8 条措辞。

issue #18 的建议一(执行型测试)与建议二(dim8 拆分)涉及
rubric 结构变更,未采纳,留待决策。

Refs #18

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
alchain 1 ay önce
ebeveyn
işleme
6d435f8634
1 değiştirilmiş dosya ile 8 ekleme ve 5 silme
  1. 8 5
      SKILL.md

+ 8 - 5
SKILL.md

@@ -186,12 +186,15 @@ for each skill:
     round += 1
 
     # Step 1: 诊断
-    找出得分最低的维度(结构或效果都算)
+    找出加权短板最大的维度:weighted_gap = weight × (10 - score),结构或效果都算
+    # 为什么不用「原始分最低」:低权重维度会制造进步幻觉——issue #18 实战中
+    # dim9(权重6)原始分最低被优先修,而 dim8(权重23)加权短板最大(11.5)却 4 轮未动
+    # 加权短板相近(差距 ≤ 1.0)时,回退为原始分升序
     # HL-3 警告:dim2/dim3/dim4 是相关簇,修一个时另两个常跟着涨
-    # → 不要因为 dim3 最低就单独修,要看整簇短板再决定是否同步改
+    # → 不要因为 dim3 短板最大就单独修,要看整簇短板再决定是否同步改
 
     # Step 2: 提出改进方案
-    针对最低维度,生成1个具体改进方案:
+    针对维度,生成1个具体改进方案:
       - 改什么(具体段落/行)
       - 为什么改(对应rubric哪条)
       - 预期提升多少分
@@ -294,7 +297,7 @@ timestamp	commit	skill	old_score	new_score	status	dimension	note	eval_mode
 
 - **HL-1(dim4)显性视觉标记是杠杆**:加 🔴 CHECKPOINT / 🛑 STOP,靠「必须」措辞不行——LLM 解析时扫描视觉标记。4 行改动撬动 dim4 +3 分
 - **HL-2(dim3)if-then 三段式 fallback 表**:把「症状/解法」两列升级为「触发条件 / 一线修复 / 仍失败兜底」三段式。SkillLens failure-mechanism encoding 维度的落地
-- **HL-3(Phase 2 诊断)维度相关簇警告**:dim2/3/4 是相关簇——修 dim3 时 dim2 常跟着涨。「找最维度」时同时看相关簇短板再决定是否同步改
+- **HL-3(Phase 2 诊断)维度相关簇警告**:dim2/3/4 是相关簇——修 dim3 时 dim2 常跟着涨。「找最大加权短板维度」时同时看相关簇短板再决定是否同步改
 - **HL-4(Phase 2 退出)触顶自动 break**:连续 2 轮 Δ < 2 分 → break 进 Phase 3。+0.15 是停手信号不是继续信号;硬凑 MAX_ROUNDS=3 引入 over-engineering
 
 ---
@@ -366,7 +369,7 @@ timestamp	commit	skill	old_score	new_score	status	dimension	note	eval_mode
 | 5 | **轮内改多个维度** | 多变量同时变,分数升降无法归因到具体改动 | 每轮 1 个维度;相关簇(dim2/3/4)改其一时观察另两个是否跟涨 |
 | 6 | **dry_run 比例 > 30%** | dim8 实测维度形同虚设,分数虚高(早期 40 次记录 67% dry_run,0 revert) | 强制至少 1 个真实 full_test;dry_run 多的优化在 results.tsv 显式打 ⚠️ |
 | 7 | **静默跳过异常** | 遇到 git/tsv 异常时静默继续,破坏 ratchet 完整性 | 异常表 10 条 fallback 必须先告知用户再处理 |
-| 8 | **忽视维度相关性单独优化** | dim2/3/4 是相关簇,单独优化 dim2 时常发现已被前轮 dim3 修复推到顶 | 找最维度时同时看相关簇短板,决定是否同步改 |
+| 8 | **忽视维度相关性单独优化** | dim2/3/4 是相关簇,单独优化 dim2 时常发现已被前轮 dim3 修复推到顶 | 找最大加权短板维度时同时看相关簇短板,决定是否同步改 |
 
 **触发场景**:每轮 Phase 2 改动前对照本表一次。任一反模式命中 → 改方案重写。