docs: restore casan-next-plans roadmap into docs/plans (was wrongly deleted)
The plan set (Plan-00..18, backlog/hardening/QA status, team allocation) is the ONGOING roadmap, not a finished competition artifact — restored from history into docs/plans/. Plan-01 (restructure) marked ✅ done; the rest remain to do. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
thanhnv
co-authored by
Claude Opus 4.8
Claude Opus 4.8
parent
18997caf49
commit
fa3dd94c76
@@ -0,0 +1,81 @@
|
||||
# KẾ HOẠCH 09 — CASAN Evidence Pack & Certification
|
||||
|
||||
> Mỗi lần CASAN chạy xong sinh một **gói bằng chứng** đóng gói toàn bộ verdict của H1–H7 + red-team + cost + traceability, trả lời trực tiếp câu: *"Tại sao tôi tin output này?"* bằng **proof pack**, không bằng cảm tính.
|
||||
>
|
||||
> Status 2026-07-06: **🟡 MVP done + governance-report tie-in.** Evidence Pack MVP
|
||||
> (`evidence-pack.sh`, 13-file pack, hash+ký) đã có (`phase3-evidence-pack` 7/0).
|
||||
> Bổ sung **unified governance evidence report** `.specify/scripts/bash/governance-report.py`
|
||||
> gộp traceability + RBAC + RAI + control-plane audit-integrity + self-improve thành 1
|
||||
> artifact **certified-run** (tampered audit ⇒ NOT_CERTIFIED). Test
|
||||
> `phase-governance-report-tests.sh` **5/0 (WSL)**, nối CI. Còn: render HTML one-page + badge đẹp.
|
||||
>
|
||||
> Nhãn: [có] tồn tại thật · [đo] đã kiểm chứng · [mới] cần làm.
|
||||
> Phụ thuộc: **nhẹ** — chủ yếu *gom* dữ liệu H1–H7 đã có; nối tốt hơn nếu có Plan-01 (đường dẫn) và Plan-10 (traceability).
|
||||
|
||||
## 1. Vì sao đây là plan đáng làm nhất tiếp theo
|
||||
- **Đúng tim CASAN:** "AI không được tin mặc định — mọi quyết định phải có bằng chứng, audit, test, rollback".
|
||||
- **Rẻ:** phần lớn dữ liệu đã tồn tại rời rạc ([có]: audit chain, provider-usage, test report, dashboard, drift report). Plan này **tổng hợp + chuẩn hoá + ký**, không phải xây control mới.
|
||||
- **Ăn điểm trình bày:** giám khảo hỏi "vì sao tin output?" → mở **Evidence Pack**.
|
||||
|
||||
## 2. Cấu trúc gói bằng chứng (mỗi run)
|
||||
```
|
||||
CASAN_EVIDENCE_PACK/<run-id>/
|
||||
run-summary.json # kết quả tổng: verdict, level, pass/fail mỗi harness
|
||||
h1-context-report.json # context checked, token budget, (nén nếu có)
|
||||
h2-tool-audit.json # tool nào gọi, input, outcome
|
||||
h3-eval-scorecard.json # judge/drift/faithfulness + (traceability nếu Plan-10)
|
||||
h4-security-report.json # injection/secret/PII, rc, mode
|
||||
h5-audit-chain-proof.json # hash-chain + chữ ký + verify result
|
||||
h6-cost-telemetry.json # token thật, cost-spike, budget
|
||||
h7-orchestration-report.json # checkpoint/rollback/retry
|
||||
redteam-result.json # ca đối kháng: block_rate
|
||||
benign-fp-report.json # false-positive rate (Plan-07 A6)
|
||||
artifact-manifest.json # hash mọi artifact cuối (full, không nén)
|
||||
decision-log.md # người-đọc-được: đã APPROVE/REJECT/BLOCK gì, vì sao
|
||||
evidence-pack.sig # chữ ký toàn gói (tamper-evident)
|
||||
```
|
||||
|
||||
## 3. Tasks
|
||||
|
||||
### Track 1 — Thu thập & chuẩn hoá (MVP)
|
||||
| Task | Việc | Nguồn [có] | Verify | Done |
|
||||
|---|---|---|---|---|
|
||||
| 1.1 | Định schema `run-summary.json` (verdict/level/harness pass-fail) | tổng hợp | schema hợp lệ | có schema |
|
||||
| 1.2 | Trích H4/H5/H6 report từ log hiện có | security/audit/usage logs | 3 file sinh đúng | có report |
|
||||
| 1.3 | Trích H1/H2/H3/H7 report | trace/tool/eval/rollback logs | 4 file sinh đúng | có report |
|
||||
| 1.4 | `artifact-manifest.json`: hash mọi artifact cuối | artifact dir | hash khớp file | manifest đúng |
|
||||
| 1.5 | `decision-log.md` người-đọc-được | boss log + verdict | liệt kê quyết định + lý do | log rõ |
|
||||
|
||||
### Track 2 — Certification (ký & xác minh)
|
||||
| Task | Việc | Verify | Done |
|
||||
|---|---|---|---|
|
||||
| 2.1 | Gộp pack → tính hash tổng → **ký** (dùng H5 sign-audit-head) | `evidence-pack.sig` sinh ra | có chữ ký |
|
||||
| 2.2 | `casan verify-pack <run-id>`: kiểm chữ ký + hash từng phần | sửa 1 file → verify FAIL | tamper-evident |
|
||||
| 2.3 | Nhúng verdict red-team + benign/FP (Plan-07) vào pack | 2 file có mặt | đủ bằng chứng bảo mật |
|
||||
| 2.4 | Nối traceability (nếu Plan-10) vào `h3-eval-scorecard.json` | có REQ→code→test | (tuỳ Plan-10) |
|
||||
|
||||
### Track 3 — Trình bày
|
||||
| Task | Việc | Verify | Done |
|
||||
|---|---|---|---|
|
||||
| 3.1 | `casan pack-report`: render pack → HTML/1 trang tóm tắt | mở xem được | có view đẹp |
|
||||
| 3.2 | Badge "Certified run" khi mọi gate PASS + ký hợp lệ | run pass → badge | có chứng nhận |
|
||||
|
||||
## 4. Rủi ro
|
||||
| Rủi ro | Giảm thiểu |
|
||||
|---|---|
|
||||
| Pack chứa secret/PII | chạy pii-mask/secrets-scan trước khi đóng gói |
|
||||
| Pack bị sửa | ký toàn gói (2.1) + verify (2.2) |
|
||||
| "Certified" nhưng gate SKIP | badge chỉ cấp khi KHÔNG có gate SKIP quan trọng |
|
||||
|
||||
## 5. Tiêu chí HOÀN THÀNH
|
||||
- [ ] Mỗi run sinh Evidence Pack đủ 12 file + chữ ký.
|
||||
- [ ] `casan verify-pack` phát hiện mọi sửa đổi.
|
||||
- [ ] Pack chứa red-team + benign/FP; không lộ secret/PII.
|
||||
- [ ] Có view 1 trang + badge "Certified run" (chỉ khi không SKIP gate quan trọng).
|
||||
- [ ] Không tụt 35/35 + 43/43.
|
||||
|
||||
## 6. Ghi chú trung thực
|
||||
Toàn bộ là **[mới]** (đóng gói), nhưng **dựa trên dữ liệu [có]** — không phóng đại. Badge "Certified" phải trung thực: chỉ cấp khi bằng chứng đầy đủ, không có gate bị bỏ qua âm thầm.
|
||||
|
||||
---
|
||||
_Liên quan: `CASAN_PLAN_10_TRACEABILITY_EVAL.md` (nội dung scorecard) · `CASAN_PLAN_07_PRODUCTION_HARDENING.md` (red-team/FP) · `CASAN_PLAN_01_RESTRUCTURE.md` (CLI/đường dẫn)._
|
||||
Reference in New Issue
Block a user