thanhnvandClaude Opus 4.8
2af67ef6a5
Ran all 7 suites sequentially on 2026-07-04 @ 00aabfa with Vault dev live so KMS
runs (not skips): run-casan4 35 · adversarial 44 · phase1-track-a 25 ·
phase2-track-c 29 · phase3-evidence 7 · phase-h5-approval 8 · phase-h5-infra 7
= 155 PASS / 0 FAIL; security-gate PASS=11 FAIL=0.
- scoring-run-report.md: fair re-score — H5 76→80 (approval-identity + KMS live
rotate/non-exportable + WORM), lowest harness now H6=79, avg ~80.7/100, Level 4.
Evidence lists the live KMS + WORM results.
- CASAN_HARDENING_STATUS.md: new Phase 4 (C4 approval-identity, B3 KMS, C5 WORM =
implemented+tested); test inventory 140→155 (7 suites); planned→partial for
KMS/approval/WORM with honest remaining gaps (live IdP, S3 WORM store, KMS default).
- Plan-07 §2: key-mgmt 2.5→4, policy-approval 2.5→4, external-audit 1.5→3.5;
header now H5 76→80, lowest harness H6.
- INDEX row, README claim boundary, video-guide Q&A: 155 checks, H5=80, lowest H6=79.
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
73 lines
5.2 KiB
Markdown
73 lines
5.2 KiB
Markdown
# CASAN — Bộ Kế hoạch Chi tiết (Index)
|
||
|
||
> Bộ kế hoạch **task-level, CHƯA thực thi** cho việc chuyên nghiệp hoá CASAN Harness. Mỗi file là một mảng độc lập, có thể giao cho người/nhóm khác nhau.
|
||
>
|
||
> Tài liệu gốc (tổng quan): `CASAN_HARNESS_PACKAGING_PLAN.md`.
|
||
|
||
## Danh mục kế hoạch
|
||
|
||
| # | File | Mảng | Phụ thuộc | Ưu tiên |
|
||
|---|---|---|---|---|
|
||
| 01 | `CASAN_PLAN_01_RESTRUCTURE.md` | Tái cấu trúc thư mục Phase 0→6 | — (nền tảng) | Cao |
|
||
| 02 | `CASAN_PLAN_02_LLM_SOURCEGEN.md` | Nối LLM thật vào sinh source (thay template) | 01 (một phần), 03 | Cao |
|
||
| 03 | `CASAN_PLAN_03_CLOUD_PATCH.md` | Patch cloud/OpenAI (bỏ stub) | — | Cao |
|
||
| 04 | `CASAN_PLAN_04_SELFIMPROVE.md` | Khép vòng `casan improve` | 01, 05 | Trung |
|
||
| 05 | `CASAN_PLAN_05_CICD.md` | CI/CD + phát hành package | 01 | Trung |
|
||
| 06 | `CASAN_PLAN_06_ONBOARD.md` | Onboard dự án thật thứ 2 | 01, 05 | Cao (chứng minh reuse) |
|
||
| 07 | `CASAN_PLAN_07_PRODUCTION_HARDENING.md` | Báo cáo production-readiness + vá đường lọt H4/H5/H6 + Track C (ngoài lõi) | — (Track A độc lập) | **Cao (bảo mật)** |
|
||
|
||
> **Thứ tự trong Plan-07:** **Track A** (quick wins) → **Track C-MVP** = C1 Tool-authz + C2 Supply-chain + C3 Data-exfil + C6 Sandbox (**minimum bar** trước khi cho agent ghi code/chạy test production-like) → Track B + C-Governance/Ops (production nghiêm túc).
|
||
| 08 | `CASAN_PLAN_08_CONTEXT_COMPRESSION.md` | Nén prompt/context giảm token (H1.5 cross-cutting dưới H1/H6) | 01, 07, 03 | Trung (tối ưu, sau Plan-07 core) |
|
||
| 09 | `CASAN_PLAN_09_EVIDENCE_PACK.md` | Evidence Pack & Certification (proof pack mỗi run) | nhẹ (gom H1–H7) | **Cao (đúng phương châm)** |
|
||
| 10 | `CASAN_PLAN_10_TRACEABILITY_EVAL.md` | Traceability REQ→code→test + H3 Evaluation (gộp ý "11") | 02, 09 | Cao (khác biệt nhất) |
|
||
| 12 | `CASAN_PLAN_12_DOMAIN_PACK.md` | Domain Pack SDK — onboard bằng khai báo | 01, 06 | Trung–Cao (reuse thật) |
|
||
| — | `CASAN_PLAN_FUTURE_PHASES.md` | Backlog phase sau (B1–B6: approval workflow · state machine · model benchmark · governed memory · auto-remediation · platform KPI) | các plan nền | Vision (chưa làm) |
|
||
|
||
## Thứ tự thực thi đề xuất (khi được duyệt)
|
||
|
||
```mermaid
|
||
flowchart LR
|
||
P01["01 Restructure<br/>(nền)"] --> P03["03 Cloud patch"]
|
||
P01 --> P05["05 CI/CD"]
|
||
P03 --> P02["02 LLM source-gen"]
|
||
P05 --> P06["06 Onboard dự án 2"]
|
||
P01 --> P06
|
||
P02 --> P04["04 Self-improve"]
|
||
P05 --> P04
|
||
P07["07 Hardening<br/>Track A → C-MVP (song song, ưu tiên bảo mật)"]
|
||
P07 --> P08["08 Context compression<br/>(sau Plan-07 core)"]
|
||
P09["09 Evidence Pack<br/>(đáng làm sớm)"] --> P10["10 Traceability + H3 Eval"]
|
||
P01 --> P12["12 Domain Pack SDK"]
|
||
P06 --> P12
|
||
|
||
style P01 fill:#d0e8ff,stroke:#2c3e91,stroke-width:2px
|
||
style P06 fill:#d0ffd0,stroke:#1e8449
|
||
style P07 fill:#ffd6d6,stroke:#c0392b,stroke-width:2px
|
||
style P09 fill:#fff0c0,stroke:#b9770e,stroke-width:2px
|
||
```
|
||
|
||
## Quy ước chung mọi file
|
||
|
||
- **Nhãn:** [có] tồn tại thật · [demo] mẫu · [mới] cần làm · [chưa tự động] có đo, người quyết.
|
||
- **Mốc an toàn:** mọi phase đụng harness phải giữ **35/35 harness + 43/43 adversarial PASS**.
|
||
- **Verify:** mỗi task có lệnh kiểm chứng + tiêu chí Done. Không đánh dấu Done nếu chưa xem output.
|
||
- **Không bypass:** cấm `--no-verify`, `SKIP_*`, hardcode verdict (đã có `circuit-breaker-check.sh` quét).
|
||
- **Đường dẫn tuyệt đối:** script dùng `SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"` để không gãy khi di chuyển.
|
||
|
||
## Trạng thái tổng (cập nhật khi chạy)
|
||
|
||
| Kế hoạch | Trạng thái | Ghi chú |
|
||
|---|---|---|
|
||
| 01 Restructure | ⬜ chưa bắt đầu | |
|
||
| 02 LLM source-gen | ⬜ chưa bắt đầu | |
|
||
| 03 Cloud patch | ⬜ chưa bắt đầu | |
|
||
| 04 Self-improve | ⬜ chưa bắt đầu | |
|
||
| 05 CI/CD | ⬜ chưa bắt đầu | |
|
||
| 06 Onboard | ⬜ chưa bắt đầu | |
|
||
| 07 Production hardening | 🟡 Track A ✅ + C-MVP ✅ + H5-hardening ✅ (B + C7 + IdP/WORM-store chưa) | **Track A 25/25 · Track C-MVP 29/29 · H5-hardening (C4 approval-identity 8/8 + KMS live + C5 WORM = infra 7/7)**. Điểm công tâm: H5 76→80, harness thấp nhất giờ H6=79, ~80.7/100. Track B + C7 + live IdP/WORM-store còn [planned]. Chi tiết: `CASAN_HARDENING_STATUS.md` · `evidence/scoring-run-report.md` |
|
||
| 08 Context compression | ⬜ chưa bắt đầu | H1.5 cross-cutting; làm **sau** Plan-07 core (nén thêm bề mặt rủi ro) |
|
||
| 09 Evidence Pack | 🟢 MVP ✅ (7/7) | `casan pack`/`verify-pack` → `evidence-pack.sh`: 12-file pack + manifest + signed head + certified-run gate, tamper-evident. Chi tiết: `CASAN_HARDENING_STATUS.md` |
|
||
| 10 Traceability + H3 Eval | ⬜ chưa bắt đầu | Khác biệt nhất; lõi = ma trận REQ→code→test |
|
||
| 12 Domain Pack SDK | ⬜ chưa bắt đầu | Cần Plan-01 xong trước |
|
||
| Future phases (B1–B6) | 💤 vision | Backlog `CASAN_PLAN_FUTURE_PHASES.md` — chưa xây |
|