thanhnvandClaude Opus 4.8
2af67ef6a5
Ran all 7 suites sequentially on 2026-07-04 @ 00aabfa with Vault dev live so KMS
runs (not skips): run-casan4 35 · adversarial 44 · phase1-track-a 25 ·
phase2-track-c 29 · phase3-evidence 7 · phase-h5-approval 8 · phase-h5-infra 7
= 155 PASS / 0 FAIL; security-gate PASS=11 FAIL=0.
- scoring-run-report.md: fair re-score — H5 76→80 (approval-identity + KMS live
rotate/non-exportable + WORM), lowest harness now H6=79, avg ~80.7/100, Level 4.
Evidence lists the live KMS + WORM results.
- CASAN_HARDENING_STATUS.md: new Phase 4 (C4 approval-identity, B3 KMS, C5 WORM =
implemented+tested); test inventory 140→155 (7 suites); planned→partial for
KMS/approval/WORM with honest remaining gaps (live IdP, S3 WORM store, KMS default).
- Plan-07 §2: key-mgmt 2.5→4, policy-approval 2.5→4, external-audit 1.5→3.5;
header now H5 76→80, lowest harness H6.
- INDEX row, README claim boundary, video-guide Q&A: 155 checks, H5=80, lowest H6=79.
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
5.2 KiB
CASAN — Bộ Kế hoạch Chi tiết (Index)
Bộ kế hoạch task-level, CHƯA thực thi cho việc chuyên nghiệp hoá CASAN Harness. Mỗi file là một mảng độc lập, có thể giao cho người/nhóm khác nhau.
Tài liệu gốc (tổng quan):
CASAN_HARNESS_PACKAGING_PLAN.md.
Danh mục kế hoạch
| # | File | Mảng | Phụ thuộc | Ưu tiên |
|---|---|---|---|---|
| 01 | CASAN_PLAN_01_RESTRUCTURE.md |
Tái cấu trúc thư mục Phase 0→6 | — (nền tảng) | Cao |
| 02 | CASAN_PLAN_02_LLM_SOURCEGEN.md |
Nối LLM thật vào sinh source (thay template) | 01 (một phần), 03 | Cao |
| 03 | CASAN_PLAN_03_CLOUD_PATCH.md |
Patch cloud/OpenAI (bỏ stub) | — | Cao |
| 04 | CASAN_PLAN_04_SELFIMPROVE.md |
Khép vòng casan improve |
01, 05 | Trung |
| 05 | CASAN_PLAN_05_CICD.md |
CI/CD + phát hành package | 01 | Trung |
| 06 | CASAN_PLAN_06_ONBOARD.md |
Onboard dự án thật thứ 2 | 01, 05 | Cao (chứng minh reuse) |
| 07 | CASAN_PLAN_07_PRODUCTION_HARDENING.md |
Báo cáo production-readiness + vá đường lọt H4/H5/H6 + Track C (ngoài lõi) | — (Track A độc lập) | Cao (bảo mật) |
Thứ tự trong Plan-07: Track A (quick wins) → Track C-MVP = C1 Tool-authz + C2 Supply-chain + C3 Data-exfil + C6 Sandbox (minimum bar trước khi cho agent ghi code/chạy test production-like) → Track B + C-Governance/Ops (production nghiêm túc). | 08 |
CASAN_PLAN_08_CONTEXT_COMPRESSION.md| Nén prompt/context giảm token (H1.5 cross-cutting dưới H1/H6) | 01, 07, 03 | Trung (tối ưu, sau Plan-07 core) | | 09 |CASAN_PLAN_09_EVIDENCE_PACK.md| Evidence Pack & Certification (proof pack mỗi run) | nhẹ (gom H1–H7) | Cao (đúng phương châm) | | 10 |CASAN_PLAN_10_TRACEABILITY_EVAL.md| Traceability REQ→code→test + H3 Evaluation (gộp ý "11") | 02, 09 | Cao (khác biệt nhất) | | 12 |CASAN_PLAN_12_DOMAIN_PACK.md| Domain Pack SDK — onboard bằng khai báo | 01, 06 | Trung–Cao (reuse thật) | | — |CASAN_PLAN_FUTURE_PHASES.md| Backlog phase sau (B1–B6: approval workflow · state machine · model benchmark · governed memory · auto-remediation · platform KPI) | các plan nền | Vision (chưa làm) |
Thứ tự thực thi đề xuất (khi được duyệt)
flowchart LR
P01["01 Restructure<br/>(nền)"] --> P03["03 Cloud patch"]
P01 --> P05["05 CI/CD"]
P03 --> P02["02 LLM source-gen"]
P05 --> P06["06 Onboard dự án 2"]
P01 --> P06
P02 --> P04["04 Self-improve"]
P05 --> P04
P07["07 Hardening<br/>Track A → C-MVP (song song, ưu tiên bảo mật)"]
P07 --> P08["08 Context compression<br/>(sau Plan-07 core)"]
P09["09 Evidence Pack<br/>(đáng làm sớm)"] --> P10["10 Traceability + H3 Eval"]
P01 --> P12["12 Domain Pack SDK"]
P06 --> P12
style P01 fill:#d0e8ff,stroke:#2c3e91,stroke-width:2px
style P06 fill:#d0ffd0,stroke:#1e8449
style P07 fill:#ffd6d6,stroke:#c0392b,stroke-width:2px
style P09 fill:#fff0c0,stroke:#b9770e,stroke-width:2px
Quy ước chung mọi file
- Nhãn: [có] tồn tại thật · [demo] mẫu · [mới] cần làm · [chưa tự động] có đo, người quyết.
- Mốc an toàn: mọi phase đụng harness phải giữ 35/35 harness + 43/43 adversarial PASS.
- Verify: mỗi task có lệnh kiểm chứng + tiêu chí Done. Không đánh dấu Done nếu chưa xem output.
- Không bypass: cấm
--no-verify,SKIP_*, hardcode verdict (đã cócircuit-breaker-check.shquét). - Đường dẫn tuyệt đối: script dùng
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"để không gãy khi di chuyển.
Trạng thái tổng (cập nhật khi chạy)
| Kế hoạch | Trạng thái | Ghi chú |
|---|---|---|
| 01 Restructure | ⬜ chưa bắt đầu | |
| 02 LLM source-gen | ⬜ chưa bắt đầu | |
| 03 Cloud patch | ⬜ chưa bắt đầu | |
| 04 Self-improve | ⬜ chưa bắt đầu | |
| 05 CI/CD | ⬜ chưa bắt đầu | |
| 06 Onboard | ⬜ chưa bắt đầu | |
| 07 Production hardening | 🟡 Track A ✅ + C-MVP ✅ + H5-hardening ✅ (B + C7 + IdP/WORM-store chưa) | Track A 25/25 · Track C-MVP 29/29 · H5-hardening (C4 approval-identity 8/8 + KMS live + C5 WORM = infra 7/7). Điểm công tâm: H5 76→80, harness thấp nhất giờ H6=79, ~80.7/100. Track B + C7 + live IdP/WORM-store còn [planned]. Chi tiết: CASAN_HARDENING_STATUS.md · evidence/scoring-run-report.md |
| 08 Context compression | ⬜ chưa bắt đầu | H1.5 cross-cutting; làm sau Plan-07 core (nén thêm bề mặt rủi ro) |
| 09 Evidence Pack | 🟢 MVP ✅ (7/7) | casan pack/verify-pack → evidence-pack.sh: 12-file pack + manifest + signed head + certified-run gate, tamper-evident. Chi tiết: CASAN_HARDENING_STATUS.md |
| 10 Traceability + H3 Eval | ⬜ chưa bắt đầu | Khác biệt nhất; lõi = ma trận REQ→code→test |
| 12 Domain Pack SDK | ⬜ chưa bắt đầu | Cần Plan-01 xong trước |
| Future phases (B1–B6) | 💤 vision | Backlog CASAN_PLAN_FUTURE_PHASES.md — chưa xây |