|
|
@@ -186,12 +186,15 @@ for each skill:
|
|
|
round += 1
|
|
|
|
|
|
# Step 1: 诊断
|
|
|
- 找出得分最低的维度(结构或效果都算)
|
|
|
+ 找出加权短板最大的维度:weighted_gap = weight × (10 - score),结构或效果都算
|
|
|
+ # 为什么不用「原始分最低」:低权重维度会制造进步幻觉——issue #18 实战中
|
|
|
+ # dim9(权重6)原始分最低被优先修,而 dim8(权重23)加权短板最大(11.5)却 4 轮未动
|
|
|
+ # 加权短板相近(差距 ≤ 1.0)时,回退为原始分升序
|
|
|
# HL-3 警告:dim2/dim3/dim4 是相关簇,修一个时另两个常跟着涨
|
|
|
- # → 不要因为 dim3 最低就单独修,要看整簇短板再决定是否同步改
|
|
|
+ # → 不要因为 dim3 短板最大就单独修,要看整簇短板再决定是否同步改
|
|
|
|
|
|
# Step 2: 提出改进方案
|
|
|
- 针对最低维度,生成1个具体改进方案:
|
|
|
+ 针对该维度,生成1个具体改进方案:
|
|
|
- 改什么(具体段落/行)
|
|
|
- 为什么改(对应rubric哪条)
|
|
|
- 预期提升多少分
|
|
|
@@ -294,7 +297,7 @@ timestamp commit skill old_score new_score status dimension note eval_mode
|
|
|
|
|
|
- **HL-1(dim4)显性视觉标记是杠杆**:加 🔴 CHECKPOINT / 🛑 STOP,靠「必须」措辞不行——LLM 解析时扫描视觉标记。4 行改动撬动 dim4 +3 分
|
|
|
- **HL-2(dim3)if-then 三段式 fallback 表**:把「症状/解法」两列升级为「触发条件 / 一线修复 / 仍失败兜底」三段式。SkillLens failure-mechanism encoding 维度的落地
|
|
|
-- **HL-3(Phase 2 诊断)维度相关簇警告**:dim2/3/4 是相关簇——修 dim3 时 dim2 常跟着涨。「找最低维度」时同时看相关簇短板再决定是否同步改
|
|
|
+- **HL-3(Phase 2 诊断)维度相关簇警告**:dim2/3/4 是相关簇——修 dim3 时 dim2 常跟着涨。「找最大加权短板维度」时同时看相关簇短板再决定是否同步改
|
|
|
- **HL-4(Phase 2 退出)触顶自动 break**:连续 2 轮 Δ < 2 分 → break 进 Phase 3。+0.15 是停手信号不是继续信号;硬凑 MAX_ROUNDS=3 引入 over-engineering
|
|
|
|
|
|
---
|
|
|
@@ -366,7 +369,7 @@ timestamp commit skill old_score new_score status dimension note eval_mode
|
|
|
| 5 | **轮内改多个维度** | 多变量同时变,分数升降无法归因到具体改动 | 每轮 1 个维度;相关簇(dim2/3/4)改其一时观察另两个是否跟涨 |
|
|
|
| 6 | **dry_run 比例 > 30%** | dim8 实测维度形同虚设,分数虚高(早期 40 次记录 67% dry_run,0 revert) | 强制至少 1 个真实 full_test;dry_run 多的优化在 results.tsv 显式打 ⚠️ |
|
|
|
| 7 | **静默跳过异常** | 遇到 git/tsv 异常时静默继续,破坏 ratchet 完整性 | 异常表 10 条 fallback 必须先告知用户再处理 |
|
|
|
-| 8 | **忽视维度相关性单独优化** | dim2/3/4 是相关簇,单独优化 dim2 时常发现已被前轮 dim3 修复推到顶 | 找最低维度时同时看相关簇短板,决定是否同步改 |
|
|
|
+| 8 | **忽视维度相关性单独优化** | dim2/3/4 是相关簇,单独优化 dim2 时常发现已被前轮 dim3 修复推到顶 | 找最大加权短板维度时同时看相关簇短板,决定是否同步改 |
|
|
|
|
|
|
**触发场景**:每轮 Phase 2 改动前对照本表一次。任一反模式命中 → 改方案重写。
|
|
|
|