chore(freeze): snapshot demo state before Plan-07 hardening work

Freeze current submission/demo baseline:
- casan-next-plans/: full task-level plan set (Plan 00 index + 02/04/06/07/08/09/12, QA, slide deck)
- optimize-docs/video-steps/: per-vector scene breakdown (commands/screen-text/script) + start-tmux
- run-all.sh / scorecard.sh / map-live.sh: REAL=1 live-battery wiring
- regenerated evidence + audit/telemetry logs from live REAL=1 run
- submission README + video recording guide updates
- dry-run pipeline logs for 001-okr-web-app

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
thanhnv
2026-07-03 22:03:44 +09:00
co-authored by Claude Opus 4.8
parent fabd5f8783
commit fbcef967e5
182 changed files with 3865 additions and 341 deletions
@@ -0,0 +1,81 @@
# KẾ HOẠCH 04 — Khép vòng tự cải tiến (`casan improve`)
> Hôm nay: ngưỡng tự canh (cost-spike/circuit) [có] + báo cáo KPI/drift [có] + hành động cải tiến cần người [chưa tự động]. Kế hoạch: thêm lệnh `casan improve` **đề xuất** cải tiến tự động, **người duyệt** rồi mới áp, mọi thay đổi vào audit. Task-level, chưa thực thi.
>
> Phụ thuộc: **01** (CLI/config), **05** (CI để chạy định kỳ). Không tự retrain model.
## Cơ sở đã có [có]
- `cost-spike-detect.sh`: ngưỡng = `median × mult` (tự canh theo dự án).
- `circuit-breaker-check.sh`: đếm fail liên tiếp → `CIRCUIT_OPEN`.
- `drift-detect.sh`: so golden, ra report JSON.
- `business-kpi-report.sh`: `baseline→current→target`, `improvement_ratio`, `target_met`.
- Telemetry: `provider-usage.jsonl`, audit chain, drift report.
## Nguyên tắc (an toàn governance)
- **Đề xuất ≠ áp dụng:** `--dry-run` chỉ sinh diff; `--apply` cần người duyệt.
- **Không tự nới lỏng bảo mật:** đề xuất *siết* threshold được ưu tiên; đề xuất *nới* phải có lý do + duyệt cấp cao.
- **Có bằng chứng:** mọi thay đổi ghi audit-chain (H5) → cải tiến cũng rollback được (H7).
- **Nguồn dữ liệu là telemetry thật**, không phải phỏng đoán.
---
## Phân loại đề xuất cải tiến
| Loại | Nguồn tín hiệu | Ví dụ đề xuất | Chiều an toàn |
|---|---|---|---|
| Tinh chỉnh threshold | cost-spike/circuit history | median trôi → cập nhật baseline; fail nhiều → giảm threshold | siết = tự động; nới = cần duyệt |
| Bổ sung corpus | ca H4 để lọt / judge trượt | thêm mẫu tấn công mới vào redteam-corpus | luôn an toàn (tăng phủ) |
| Cập nhật golden | spec đổi hợp lệ → drift báo động giả | cập nhật golden theo spec mới | cần duyệt (tránh che drift thật) |
| Leo thang model | step bị H3 REJECT lặp | đề xuất model mạnh hơn cho step đó | cần duyệt (chi phí) |
| Điều chỉnh KPI target | improvement_ratio ổn định vượt target | nâng target | cần duyệt |
---
## Tasks
| Task | Việc | File | Verify | Done khi |
|---|---|---|---|---|
| 4.1 | Định nghĩa schema "improvement proposal" (loại, lý do, diff, mức rủi ro) | mới `config/improve-schema.yaml` | proposal mẫu hợp lệ | schema chốt |
| 4.2 | `casan improve --dry-run`: đọc telemetry → sinh **danh sách proposal** (không ghi) | `bin/casan`, mới `improve.sh` | chạy ra proposal + diff, KHÔNG đổi file | dry-run an toàn |
| 4.3 | Bộ luật đề xuất threshold từ median/fail history | `improve.sh` | dữ liệu mẫu → đề xuất đúng hướng | luật chạy |
| 4.4 | Bộ luật gom **ca trượt** (H4 lọt/judge REJECT) → đề xuất mẫu corpus | `improve.sh` | ca trượt mẫu → sinh mẫu corpus | có đề xuất corpus |
| 4.5 | `casan improve --apply --proposal <id>`: cần cờ duyệt của người | `bin/casan` | thiếu duyệt → từ chối áp | glate duyệt hoạt động |
| 4.6 | Áp xong ghi audit-chain (H5) + tạo checkpoint (H7) | logging | audit có bản ghi cải tiến; rollback được | truy vết + hoàn tác |
| 4.7 | Báo cáo xu hướng qua nhiều lần chạy (dashboard) | `generate-agentops-dashboard.py` | biểu đồ improvement_ratio theo thời gian | có xu hướng |
| 4.8 | Chặn tự nới lỏng: proposal "nới bảo mật" bắt buộc nhãn `security-sensitive` + duyệt cấp cao | `improve.sh` | proposal nới → yêu cầu duyệt cao | rào chắn hoạt động |
---
## Luồng khép vòng
```mermaid
flowchart LR
T["Telemetry thật<br/>usage · audit · drift · KPI"] --> DRY["casan improve --dry-run<br/>sinh proposal + diff"]
DRY --> REV{"Người/governance<br/>duyệt"}
REV -- "REJECT" --> T
REV -- "APPROVE" --> APP["casan improve --apply<br/>ghi config/ + domain/"]
APP --> AUD["audit-chain (H5) + checkpoint (H7)"]
AUD --> RUN["lần chạy sau tốt hơn"]
RUN --> T
style DRY fill:#fff0c0,stroke:#b9770e
style REV fill:#e6d6ff,stroke:#6c3483
style APP fill:#d0ffd0,stroke:#1e8449
```
## Rủi ro
| Rủi ro | Giảm thiểu |
|---|---|
| Tự nới lỏng bảo mật | 4.8 nhãn security-sensitive + duyệt cao; siết mới auto |
| Che drift thật khi cập nhật golden | 4.5 cần duyệt + lý do; audit lại |
| Đề xuất rác/nhiễu | ngưỡng tín hiệu tối thiểu (đủ mẫu mới đề xuất) |
| Áp nhầm | 4.6 checkpoint → rollback |
## Tiêu chí HOÀN THÀNH
- [ ] `casan improve --dry-run` sinh proposal có diff, KHÔNG đổi file.
- [ ] `--apply` chỉ chạy sau duyệt; ghi audit + checkpoint.
- [ ] Đề xuất "nới bảo mật" bị chặn nếu chưa duyệt cấp cao.
- [ ] Dashboard hiển thị xu hướng improvement qua các lần.
- [ ] Không có nhánh nào tự retrain / tự nới mà không có người.
> Ranh giới trung thực: đây là **continuous improvement có người trong vòng lặp** + tự động hoá phần *đề xuất/đo*, KHÔNG phải AI tự tiến hoá.