# KẾ HOẠCH 09 — CASAN Evidence Pack & Certification

> Mỗi lần CASAN chạy xong sinh một **gói bằng chứng** đóng gói toàn bộ verdict của H1–H7 + red-team + cost + traceability, trả lời trực tiếp câu: *"Tại sao tôi tin output này?"* bằng **proof pack**, không bằng cảm tính.
>
> Status 2026-07-06: **🟡 MVP done + governance-report tie-in.** Evidence Pack MVP
> (`evidence-pack.sh`, 13-file pack, hash+ký) đã có (`phase3-evidence-pack` 7/0).
> Bổ sung **unified governance evidence report** `.specify/scripts/bash/governance-report.py`
> gộp traceability + RBAC + RAI + control-plane audit-integrity + self-improve thành 1
> artifact **certified-run** (tampered audit ⇒ NOT_CERTIFIED). Test
> `phase-governance-report-tests.sh` **5/0 (WSL)**, nối CI. Còn: render HTML one-page + badge đẹp.
>
> Nhãn: [có] tồn tại thật · [đo] đã kiểm chứng · [mới] cần làm.
> Phụ thuộc: **nhẹ** — chủ yếu *gom* dữ liệu H1–H7 đã có; nối tốt hơn nếu có Plan-01 (đường dẫn) và Plan-10 (traceability).

## 1. Vì sao đây là plan đáng làm nhất tiếp theo
- **Đúng tim CASAN:** "AI không được tin mặc định — mọi quyết định phải có bằng chứng, audit, test, rollback".
- **Rẻ:** phần lớn dữ liệu đã tồn tại rời rạc ([có]: audit chain, provider-usage, test report, dashboard, drift report). Plan này **tổng hợp + chuẩn hoá + ký**, không phải xây control mới.
- **Ăn điểm trình bày:** giám khảo hỏi "vì sao tin output?" → mở **Evidence Pack**.

## 2. Cấu trúc gói bằng chứng (mỗi run)
```
CASAN_EVIDENCE_PACK/<run-id>/
  run-summary.json          # kết quả tổng: verdict, level, pass/fail mỗi harness
  h1-context-report.json    # context checked, token budget, (nén nếu có)
  h2-tool-audit.json        # tool nào gọi, input, outcome
  h3-eval-scorecard.json    # judge/drift/faithfulness + (traceability nếu Plan-10)
  h4-security-report.json   # injection/secret/PII, rc, mode
  h5-audit-chain-proof.json # hash-chain + chữ ký + verify result
  h6-cost-telemetry.json    # token thật, cost-spike, budget
  h7-orchestration-report.json # checkpoint/rollback/retry
  redteam-result.json       # ca đối kháng: block_rate
  benign-fp-report.json     # false-positive rate (Plan-07 A6)
  artifact-manifest.json    # hash mọi artifact cuối (full, không nén)
  decision-log.md           # người-đọc-được: đã APPROVE/REJECT/BLOCK gì, vì sao
  evidence-pack.sig         # chữ ký toàn gói (tamper-evident)
```

## 3. Tasks

### Track 1 — Thu thập & chuẩn hoá (MVP)
| Task | Việc | Nguồn [có] | Verify | Done |
|---|---|---|---|---|
| 1.1 | Định schema `run-summary.json` (verdict/level/harness pass-fail) | tổng hợp | schema hợp lệ | có schema |
| 1.2 | Trích H4/H5/H6 report từ log hiện có | security/audit/usage logs | 3 file sinh đúng | có report |
| 1.3 | Trích H1/H2/H3/H7 report | trace/tool/eval/rollback logs | 4 file sinh đúng | có report |
| 1.4 | `artifact-manifest.json`: hash mọi artifact cuối | artifact dir | hash khớp file | manifest đúng |
| 1.5 | `decision-log.md` người-đọc-được | boss log + verdict | liệt kê quyết định + lý do | log rõ |

### Track 2 — Certification (ký & xác minh)
| Task | Việc | Verify | Done |
|---|---|---|---|
| 2.1 | Gộp pack → tính hash tổng → **ký** (dùng H5 sign-audit-head) | `evidence-pack.sig` sinh ra | có chữ ký |
| 2.2 | `casan verify-pack <run-id>`: kiểm chữ ký + hash từng phần | sửa 1 file → verify FAIL | tamper-evident |
| 2.3 | Nhúng verdict red-team + benign/FP (Plan-07) vào pack | 2 file có mặt | đủ bằng chứng bảo mật |
| 2.4 | Nối traceability (nếu Plan-10) vào `h3-eval-scorecard.json` | có REQ→code→test | (tuỳ Plan-10) |

### Track 3 — Trình bày
| Task | Việc | Verify | Done |
|---|---|---|---|
| 3.1 | `casan pack-report`: render pack → HTML/1 trang tóm tắt | mở xem được | có view đẹp |
| 3.2 | Badge "Certified run" khi mọi gate PASS + ký hợp lệ | run pass → badge | có chứng nhận |

## 4. Rủi ro
| Rủi ro | Giảm thiểu |
|---|---|
| Pack chứa secret/PII | chạy pii-mask/secrets-scan trước khi đóng gói |
| Pack bị sửa | ký toàn gói (2.1) + verify (2.2) |
| "Certified" nhưng gate SKIP | badge chỉ cấp khi KHÔNG có gate SKIP quan trọng |

## 5. Tiêu chí HOÀN THÀNH
- [ ] Mỗi run sinh Evidence Pack đủ 12 file + chữ ký.
- [ ] `casan verify-pack` phát hiện mọi sửa đổi.
- [ ] Pack chứa red-team + benign/FP; không lộ secret/PII.
- [ ] Có view 1 trang + badge "Certified run" (chỉ khi không SKIP gate quan trọng).
- [ ] Không tụt 35/35 + 43/43.

## 6. Ghi chú trung thực
Toàn bộ là **[mới]** (đóng gói), nhưng **dựa trên dữ liệu [có]** — không phóng đại. Badge "Certified" phải trung thực: chỉ cấp khi bằng chứng đầy đủ, không có gate bị bỏ qua âm thầm.

---
_Liên quan: `CASAN_PLAN_10_TRACEABILITY_EVAL.md` (nội dung scorecard) · `CASAN_PLAN_07_PRODUCTION_HARDENING.md` (red-team/FP) · `CASAN_PLAN_01_RESTRUCTURE.md` (CLI/đường dẫn)._