Files

T

thanhnvandClaude Opus 4.8 fa3dd94c76 docs: restore casan-next-plans roadmap into docs/plans (was wrongly deleted)

The plan set (Plan-00..18, backlog/hardening/QA status, team allocation) is the ONGOING
roadmap, not a finished competition artifact — restored from history into docs/plans/.
Plan-01 (restructure) marked ✅ done; the rest remain to do.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-08 14:46:50 +09:00

5.3 KiB

Raw Blame History

KẾ HOẠCH 09 — CASAN Evidence Pack & Certification

Mỗi lần CASAN chạy xong sinh một gói bằng chứng đóng gói toàn bộ verdict của H1–H7 + red-team + cost + traceability, trả lời trực tiếp câu: "Tại sao tôi tin output này?" bằng proof pack, không bằng cảm tính.

Status 2026-07-06: 🟡 MVP done + governance-report tie-in. Evidence Pack MVP (evidence-pack.sh, 13-file pack, hash+ký) đã có (phase3-evidence-pack 7/0). Bổ sung unified governance evidence report .specify/scripts/bash/governance-report.py gộp traceability + RBAC + RAI + control-plane audit-integrity + self-improve thành 1 artifact certified-run (tampered audit ⇒ NOT_CERTIFIED). Test phase-governance-report-tests.sh 5/0 (WSL), nối CI. Còn: render HTML one-page + badge đẹp.

Nhãn: [có] tồn tại thật · [đo] đã kiểm chứng · [mới] cần làm. Phụ thuộc: nhẹ — chủ yếu gom dữ liệu H1–H7 đã có; nối tốt hơn nếu có Plan-01 (đường dẫn) và Plan-10 (traceability).

1. Vì sao đây là plan đáng làm nhất tiếp theo

Đúng tim CASAN: "AI không được tin mặc định — mọi quyết định phải có bằng chứng, audit, test, rollback".
Rẻ: phần lớn dữ liệu đã tồn tại rời rạc ([có]: audit chain, provider-usage, test report, dashboard, drift report). Plan này tổng hợp + chuẩn hoá + ký, không phải xây control mới.
Ăn điểm trình bày: giám khảo hỏi "vì sao tin output?" → mở Evidence Pack.

2. Cấu trúc gói bằng chứng (mỗi run)

CASAN_EVIDENCE_PACK/<run-id>/
  run-summary.json          # kết quả tổng: verdict, level, pass/fail mỗi harness
  h1-context-report.json    # context checked, token budget, (nén nếu có)
  h2-tool-audit.json        # tool nào gọi, input, outcome
  h3-eval-scorecard.json    # judge/drift/faithfulness + (traceability nếu Plan-10)
  h4-security-report.json   # injection/secret/PII, rc, mode
  h5-audit-chain-proof.json # hash-chain + chữ ký + verify result
  h6-cost-telemetry.json    # token thật, cost-spike, budget
  h7-orchestration-report.json # checkpoint/rollback/retry
  redteam-result.json       # ca đối kháng: block_rate
  benign-fp-report.json     # false-positive rate (Plan-07 A6)
  artifact-manifest.json    # hash mọi artifact cuối (full, không nén)
  decision-log.md           # người-đọc-được: đã APPROVE/REJECT/BLOCK gì, vì sao
  evidence-pack.sig         # chữ ký toàn gói (tamper-evident)

3. Tasks

Track 1 — Thu thập & chuẩn hoá (MVP)

Task	Việc	Nguồn [có]	Verify	Done
1.1	Định schema `run-summary.json` (verdict/level/harness pass-fail)	tổng hợp	schema hợp lệ	có schema
1.2	Trích H4/H5/H6 report từ log hiện có	security/audit/usage logs	3 file sinh đúng	có report
1.3	Trích H1/H2/H3/H7 report	trace/tool/eval/rollback logs	4 file sinh đúng	có report
1.4	`artifact-manifest.json`: hash mọi artifact cuối	artifact dir	hash khớp file	manifest đúng
1.5	`decision-log.md` người-đọc-được	boss log + verdict	liệt kê quyết định + lý do	log rõ

Track 2 — Certification (ký & xác minh)

Task	Việc	Verify	Done
2.1	Gộp pack → tính hash tổng → ký (dùng H5 sign-audit-head)	`evidence-pack.sig` sinh ra	có chữ ký
2.2	`casan verify-pack <run-id>`: kiểm chữ ký + hash từng phần	sửa 1 file → verify FAIL	tamper-evident
2.3	Nhúng verdict red-team + benign/FP (Plan-07) vào pack	2 file có mặt	đủ bằng chứng bảo mật
2.4	Nối traceability (nếu Plan-10) vào `h3-eval-scorecard.json`	có REQ→code→test	(tuỳ Plan-10)

Track 3 — Trình bày

Task	Việc	Verify	Done
3.1	`casan pack-report`: render pack → HTML/1 trang tóm tắt	mở xem được	có view đẹp
3.2	Badge "Certified run" khi mọi gate PASS + ký hợp lệ	run pass → badge	có chứng nhận

4. Rủi ro

Rủi ro	Giảm thiểu
Pack chứa secret/PII	chạy pii-mask/secrets-scan trước khi đóng gói
Pack bị sửa	ký toàn gói (2.1) + verify (2.2)
"Certified" nhưng gate SKIP	badge chỉ cấp khi KHÔNG có gate SKIP quan trọng

5. Tiêu chí HOÀN THÀNH

Mỗi run sinh Evidence Pack đủ 12 file + chữ ký.
casan verify-pack phát hiện mọi sửa đổi.
Pack chứa red-team + benign/FP; không lộ secret/PII.
Có view 1 trang + badge "Certified run" (chỉ khi không SKIP gate quan trọng).
Không tụt 35/35 + 43/43.

6. Ghi chú trung thực

Toàn bộ là [mới] (đóng gói), nhưng dựa trên dữ liệu [có] — không phóng đại. Badge "Certified" phải trung thực: chỉ cấp khi bằng chứng đầy đủ, không có gate bị bỏ qua âm thầm.

Liên quan: CASAN_PLAN_10_TRACEABILITY_EVAL.md (nội dung scorecard) · CASAN_PLAN_07_PRODUCTION_HARDENING.md (red-team/FP) · CASAN_PLAN_01_RESTRUCTURE.md (CLI/đường dẫn).

5.3 KiB Raw Blame History Unescape Escape