docs: re-score from a real full run (155/0) after H5 hardening
Ran all 7 suites sequentially on 2026-07-04 @ 00aabfa with Vault dev live so KMS
runs (not skips): run-casan4 35 · adversarial 44 · phase1-track-a 25 ·
phase2-track-c 29 · phase3-evidence 7 · phase-h5-approval 8 · phase-h5-infra 7
= 155 PASS / 0 FAIL; security-gate PASS=11 FAIL=0.
- scoring-run-report.md: fair re-score — H5 76→80 (approval-identity + KMS live
rotate/non-exportable + WORM), lowest harness now H6=79, avg ~80.7/100, Level 4.
Evidence lists the live KMS + WORM results.
- CASAN_HARDENING_STATUS.md: new Phase 4 (C4 approval-identity, B3 KMS, C5 WORM =
implemented+tested); test inventory 140→155 (7 suites); planned→partial for
KMS/approval/WORM with honest remaining gaps (live IdP, S3 WORM store, KMS default).
- Plan-07 §2: key-mgmt 2.5→4, policy-approval 2.5→4, external-audit 1.5→3.5;
header now H5 76→80, lowest harness H6.
- INDEX row, README claim boundary, video-guide Q&A: 155 checks, H5=80, lowest H6=79.
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 4.8
parent
00aabfac4d
commit
2af67ef6a5
@@ -102,7 +102,7 @@ CASAN_ROOT="$PWD" bash ../../optimize-docs/video-steps/scorecard.sh
|
||||
|
||||
| Giám khảo hỏi | Trả lời |
|
||||
|---|---|
|
||||
| "H4/H5/H6 = 100 có thổi phồng không?" | "Điểm là (5/5 control × 20). Mỗi control chống một tấn công THẬT và **fail-able** — nếu tôi gỡ control, gate thành ✗. Con số đáng tin là số test đối kháng pass, không phải 100." |
|
||||
| "H4/H5/H6 = 100 có thổi phồng không?" | "100 chỉ là **độ phủ control** của scorecard (mọi control đều chạy & chặn được, fail-able). Điểm **trưởng thành công tâm** theo rubric tôi chấm thấp hơn: H4=80 · H5=80 · H6=79 (dải 'Good', ~80.7/100), vì production còn thiếu live-IdP/WORM-store/HSM/sandbox-isolation. Xem `evidence/scoring-run-report.md`. Con số đáng tin là **155 test đối kháng pass** (chạy thật 2026-07-04, KMS live) + điểm công tâm ~80, không phải 100. Harness thấp nhất giờ là H6=79 (H5 đã nâng 76→80)." |
|
||||
| "cost-spike D1 dùng số gõ tay?" | "D1 là seed để minh hoạ logic. Money-shot (REAL=1) chạy 4 step thật, token do agent-metrics ĐO từ artifact — spike đến từ dữ liệu thật." |
|
||||
| "Recall 0.85 của 9B ở đâu ra?" | "Chạy `phase3-redteam-metrics.sh` LIVE trên camera → số thật của 9B. 0.85 là số dự án tự báo; regex = 0.00 trên paraphrase mới (tự chạy)." |
|
||||
| "Đây có phải Level 5?" | "Không — tôi tuyên bố Level 4 chứng minh được. Level 5 cần IdP/WORM/telemetry API/dashboard hosted — đó là roadmap." |
|
||||
|
||||
Reference in New Issue
Block a user