thanhnvandClaude Opus 4.8
4918012199
- Plan-01 marked ✅ DONE (INDEX table + P3 tier + BACKLOG row + plan header). - Plan-06 / Plan-12 dependency on 01 satisfied → 🔓 unblocked (headers + BACKLOG rows). - Repoint command/path refs in all plans (except Plan-01's migration narrative): .specify/{scripts,tests,security,config,templates,governance} -> packages/casan-harness/...; golden-runs/traceability-map/docs-input -> apps/okr/domain/...; `cd AINative_OKR_CASAN5` -> `cd $(git rev-parse --show-toplevel)`; fix relative links + Plan-13 control-plane location. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
82 lines
5.3 KiB
Markdown
82 lines
5.3 KiB
Markdown
# KẾ HOẠCH 09 — CASAN Evidence Pack & Certification
|
||
|
||
> Mỗi lần CASAN chạy xong sinh một **gói bằng chứng** đóng gói toàn bộ verdict của H1–H7 + red-team + cost + traceability, trả lời trực tiếp câu: *"Tại sao tôi tin output này?"* bằng **proof pack**, không bằng cảm tính.
|
||
>
|
||
> Status 2026-07-06: **🟡 MVP done + governance-report tie-in.** Evidence Pack MVP
|
||
> (`evidence-pack.sh`, 13-file pack, hash+ký) đã có (`phase3-evidence-pack` 7/0).
|
||
> Bổ sung **unified governance evidence report** `packages/casan-harness/scripts/bash/governance-report.py`
|
||
> gộp traceability + RBAC + RAI + control-plane audit-integrity + self-improve thành 1
|
||
> artifact **certified-run** (tampered audit ⇒ NOT_CERTIFIED). Test
|
||
> `phase-governance-report-tests.sh` **5/0 (WSL)**, nối CI. Còn: render HTML one-page + badge đẹp.
|
||
>
|
||
> Nhãn: [có] tồn tại thật · [đo] đã kiểm chứng · [mới] cần làm.
|
||
> Phụ thuộc: **nhẹ** — chủ yếu *gom* dữ liệu H1–H7 đã có; nối tốt hơn nếu có Plan-01 (đường dẫn) và Plan-10 (traceability).
|
||
|
||
## 1. Vì sao đây là plan đáng làm nhất tiếp theo
|
||
- **Đúng tim CASAN:** "AI không được tin mặc định — mọi quyết định phải có bằng chứng, audit, test, rollback".
|
||
- **Rẻ:** phần lớn dữ liệu đã tồn tại rời rạc ([có]: audit chain, provider-usage, test report, dashboard, drift report). Plan này **tổng hợp + chuẩn hoá + ký**, không phải xây control mới.
|
||
- **Ăn điểm trình bày:** giám khảo hỏi "vì sao tin output?" → mở **Evidence Pack**.
|
||
|
||
## 2. Cấu trúc gói bằng chứng (mỗi run)
|
||
```
|
||
CASAN_EVIDENCE_PACK/<run-id>/
|
||
run-summary.json # kết quả tổng: verdict, level, pass/fail mỗi harness
|
||
h1-context-report.json # context checked, token budget, (nén nếu có)
|
||
h2-tool-audit.json # tool nào gọi, input, outcome
|
||
h3-eval-scorecard.json # judge/drift/faithfulness + (traceability nếu Plan-10)
|
||
h4-security-report.json # injection/secret/PII, rc, mode
|
||
h5-audit-chain-proof.json # hash-chain + chữ ký + verify result
|
||
h6-cost-telemetry.json # token thật, cost-spike, budget
|
||
h7-orchestration-report.json # checkpoint/rollback/retry
|
||
redteam-result.json # ca đối kháng: block_rate
|
||
benign-fp-report.json # false-positive rate (Plan-07 A6)
|
||
artifact-manifest.json # hash mọi artifact cuối (full, không nén)
|
||
decision-log.md # người-đọc-được: đã APPROVE/REJECT/BLOCK gì, vì sao
|
||
evidence-pack.sig # chữ ký toàn gói (tamper-evident)
|
||
```
|
||
|
||
## 3. Tasks
|
||
|
||
### Track 1 — Thu thập & chuẩn hoá (MVP)
|
||
| Task | Việc | Nguồn [có] | Verify | Done |
|
||
|---|---|---|---|---|
|
||
| 1.1 | Định schema `run-summary.json` (verdict/level/harness pass-fail) | tổng hợp | schema hợp lệ | có schema |
|
||
| 1.2 | Trích H4/H5/H6 report từ log hiện có | security/audit/usage logs | 3 file sinh đúng | có report |
|
||
| 1.3 | Trích H1/H2/H3/H7 report | trace/tool/eval/rollback logs | 4 file sinh đúng | có report |
|
||
| 1.4 | `artifact-manifest.json`: hash mọi artifact cuối | artifact dir | hash khớp file | manifest đúng |
|
||
| 1.5 | `decision-log.md` người-đọc-được | boss log + verdict | liệt kê quyết định + lý do | log rõ |
|
||
|
||
### Track 2 — Certification (ký & xác minh)
|
||
| Task | Việc | Verify | Done |
|
||
|---|---|---|---|
|
||
| 2.1 | Gộp pack → tính hash tổng → **ký** (dùng H5 sign-audit-head) | `evidence-pack.sig` sinh ra | có chữ ký |
|
||
| 2.2 | `casan verify-pack <run-id>`: kiểm chữ ký + hash từng phần | sửa 1 file → verify FAIL | tamper-evident |
|
||
| 2.3 | Nhúng verdict red-team + benign/FP (Plan-07) vào pack | 2 file có mặt | đủ bằng chứng bảo mật |
|
||
| 2.4 | Nối traceability (nếu Plan-10) vào `h3-eval-scorecard.json` | có REQ→code→test | (tuỳ Plan-10) |
|
||
|
||
### Track 3 — Trình bày
|
||
| Task | Việc | Verify | Done |
|
||
|---|---|---|---|
|
||
| 3.1 | `casan pack-report`: render pack → HTML/1 trang tóm tắt | mở xem được | có view đẹp |
|
||
| 3.2 | Badge "Certified run" khi mọi gate PASS + ký hợp lệ | run pass → badge | có chứng nhận |
|
||
|
||
## 4. Rủi ro
|
||
| Rủi ro | Giảm thiểu |
|
||
|---|---|
|
||
| Pack chứa secret/PII | chạy pii-mask/secrets-scan trước khi đóng gói |
|
||
| Pack bị sửa | ký toàn gói (2.1) + verify (2.2) |
|
||
| "Certified" nhưng gate SKIP | badge chỉ cấp khi KHÔNG có gate SKIP quan trọng |
|
||
|
||
## 5. Tiêu chí HOÀN THÀNH
|
||
- [ ] Mỗi run sinh Evidence Pack đủ 12 file + chữ ký.
|
||
- [ ] `casan verify-pack` phát hiện mọi sửa đổi.
|
||
- [ ] Pack chứa red-team + benign/FP; không lộ secret/PII.
|
||
- [ ] Có view 1 trang + badge "Certified run" (chỉ khi không SKIP gate quan trọng).
|
||
- [ ] Không tụt 35/35 + 43/43.
|
||
|
||
## 6. Ghi chú trung thực
|
||
Toàn bộ là **[mới]** (đóng gói), nhưng **dựa trên dữ liệu [có]** — không phóng đại. Badge "Certified" phải trung thực: chỉ cấp khi bằng chứng đầy đủ, không có gate bị bỏ qua âm thầm.
|
||
|
||
---
|
||
_Liên quan: `CASAN_PLAN_10_TRACEABILITY_EVAL.md` (nội dung scorecard) · `CASAN_PLAN_07_PRODUCTION_HARDENING.md` (red-team/FP) · `CASAN_PLAN_01_RESTRUCTURE.md` (CLI/đường dẫn)._
|