From d8583fdb2e51cf7ea0e7f9011c5d44143fdb71f2 Mon Sep 17 00:00:00 2001 From: thanhnv Date: Sat, 4 Jul 2026 22:56:03 +0900 Subject: [PATCH] =?UTF-8?q?docs(plan-07):=20re-score=20=C2=A72=20readiness?= =?UTF-8?q?=20table=20after=20Track=20A=20+=20C-MVP=20+=20Evidence=20Pack?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Update the 0–5 production-readiness table with Baseline → Nay per dimension and point to the fair 0–100 report. Trio H4/H5/H6 ~3.0 → ~3.7/5 (per-harness fair score 76–80/100); Track C dims lifted (tool-authz 2→4, supply-chain 1→3.5, data-exfil 2→4, sandbox 1→2.5 scaffold, +Evidence Pack 4). Governance/Ops (C4/C5/C7) still 1–2.5 [planned]. Honest headline: ~80/100 avg, lowest H5=76, CASAN Level 4 at threshold. Source: evidence/scoring-run-report.md. Co-Authored-By: Claude Opus 4.8 (1M context) --- .../CASAN_PLAN_07_PRODUCTION_HARDENING.md | 50 +++++++++++-------- 1 file changed, 28 insertions(+), 22 deletions(-) diff --git a/casan-next-plans/CASAN_PLAN_07_PRODUCTION_HARDENING.md b/casan-next-plans/CASAN_PLAN_07_PRODUCTION_HARDENING.md index 45fc60e..d444a18 100644 --- a/casan-next-plans/CASAN_PLAN_07_PRODUCTION_HARDENING.md +++ b/casan-next-plans/CASAN_PLAN_07_PRODUCTION_HARDENING.md @@ -19,32 +19,38 @@ ## 2. Thang điểm sẵn sàng production (0–5, cao = tốt) -| Chiều | Điểm | Hiện trạng [có/đọc code] | Khoảng trống | -|---|---|---|---| -| Phủ phát hiện (detection) | 3 | Regex + normalize + semantic tùy chọn | Đa ngôn ngữ, encoding, homoglyph | -| Fail-safe | 4 | artifact-scan fail-closed rc=2; nhưng semantic **SKIP** khi vắng model | SKIP âm thầm hạ trần | -| Toàn vẹn/chống giả mạo (H5) | 3 | hash-chain + ký RSA HEAD | Telemetry chưa trong chain; mutation ngoài wrapper; khóa | -| Kiểm soát chi phí (H6) | 3 | cost-spike `median×mult` + circuit-breaker | Slow-boil, dưới-ngưỡng, cold-start, thiếu trần tuyệt đối | -| Quan sát (observability) | 3 | telemetry + dashboard | Toàn vẹn telemetry, cảnh báo thời gian thực | -| Đa domain/i18n | 2 | Tuned OKR + tiếng Anh | Corpus VI/JA, domain khác | -| Quản lý khóa | 2 | vault-kms [có] | HSM/rotation/tách quyền ký | -| Phủ kiểm thử | 4 | 35/35 + 43/43 [đo] | Thiếu test cho các vector mới bên dưới | +> ✅ **CẬP NHẬT 2026-07-04 — Track A + C-MVP + Evidence Pack ĐÃ LÀM + TEST (140 checks, 0 fail).** +> Bảng dưới có cột **Baseline → Nay**. Điểm chấm CÔNG TÂM (0–100, theo `casan_harness_assessment.md`): +> **H4 = 80 · H5 = 76 · H6 = 79 · trung bình 7 harness ~80/100 · harness thấp nhất H5=76 → CASAN Level 4 (chạm ngưỡng)**. +> Nguồn: `00_SUBMISSION_PACKAGE/evidence/scoring-run-report.md`. Chi tiết implemented-vs-planned: `CASAN_HARDENING_STATUS.md`. -**Điểm trung bình (phạm vi H4/H5/H6) ~3.0/5 → "tốt cho demo/PoC, CHƯA đạt chuẩn production đầy đủ".** +| Chiều | Baseline | **Nay** | Đã đóng (đã test) | Còn hở | +|---|:--:|:--:|---|---| +| Phủ phát hiện (detection) | 3 | **4** | homoglyph · zero-width · fullwidth · base64/hex · tool-output scan | đa ngôn ngữ VI/JA · split-injection (Track B) | +| Fail-safe | 4 | **4.5** | `CASAN_SECURITY_STRICT` fail-closed — hết "semantic SKIP âm thầm" | — | +| Toàn vẹn/chống giả mạo (H5) | 3 | **4** | telemetry vào manifest **ký RSA** (sửa 1 token → MISMATCH) | HSM/KMS · WORM ngoài | +| Kiểm soát chi phí (H6) | 3 | **4** | trần tuyệt đối/call + ngân sách tích luỹ + cold-start (ngoài median×mult) | hard-cap per-provider live | +| Quan sát (observability) | 3 | **3.5** | telemetry toàn vẹn (ký) | alerting realtime · dashboard hosted | +| Đa domain/i18n | 2 | **2.5** | benign corpus VI/JA/EN đo được (FP 0%) | detection vẫn chủ yếu EN (Track B) | +| Quản lý khóa | 2 | **2.5** | khoá ký **off-repo** + ký telemetry | HSM/rotation/tách quyền ký (Track B) | +| Phủ kiểm thử | 4 | **4.5** | **140 test** (35+44+25+29+7) đối kháng | thêm ca đa ngôn ngữ khi làm Track B | -> ⚠️ **Phạm vi rộng hơn (theo review):** các chiều **ngoài 3 harness lõi** hiện còn rất thấp và được xử lý ở **Track C**: +**Điểm trung bình (H4/H5/H6 mở rộng) ~3.0 → ~3.7/5; chấm công tâm per-harness ~3.8–4.0/5 (76–80/100).** -| Chiều (Track C) | Điểm | Khoảng trống | -|---|---|---| -| Tool authorization / action gating | 2 | mới có allowlist tên tool, chưa gate hành động (V17) | -| Supply-chain (dependency code sinh ra) | 1 | chưa scan package/lockfile/CVE/SBOM (V18) | -| Data-governance / anti-exfil | 2 | secret/PII có, nhưng chưa chặn rò qua cloud/log/artifact (V19) | -| Policy governance / approval | 2 | thiếu versioning + reviewer bắt buộc (V20) | -| External append-only audit | 1 | audit còn local, dễ rotate mất (V21) | -| Runtime sandbox | 1 | chưa cô lập code/test sinh ra (V22) | -| Incident response | 1 | chưa có severity/owner/kill-switch (V23) | +> ⚠️ **Phạm vi rộng hơn — các chiều NGOÀI 3 harness lõi (Track C):** -**→ Sẵn sàng production *nghiêm túc* thấp hơn ~3.0 nếu tính cả Track C.** Track A nâng H4/H5/H6 lên ~3.8–4.0; Track B+C mới đủ production toàn diện. +| Chiều (Track C) | Baseline | **Nay** | Đã đóng (đã test) | Còn hở | +|---|:--:|:--:|---|---| +| Tool authorization / action gating | 2 | **4** | `action-gate.sh` gate HÀNH ĐỘNG (V17) — .env/rm-rf/curl\|bash BLOCK, dep→approval | — | +| Supply-chain (dependency sinh ra) | 1 | **3.5** | `supply-chain-gate.sh` (V18) — typosquat/postinstall/denylist + dep-diff | CVE/OSV scanner live chưa nối | +| Data-governance / anti-exfil | 2 | **4** | `data-exfil-guard.sh` (V19) — secret→cloud BLOCK, PII→audit mask | — | +| Evidence Pack (Plan-09) | — | **4** | `casan pack/verify-pack` — manifest ký, tamper-evident, certified-gate | KMS sign · hosted store | +| Policy governance / approval | 2 | **2.5** | có outcome `REQUIRE_APPROVAL` + approver định danh | versioning + reviewer workflow (C4) [planned] | +| Runtime sandbox | 1 | **2.5** | `sandbox-run.sh` scaffold (V22) — chặn ssh/egress/forkbomb/write-outside + ulimit | **cô lập kernel thật** (container/nsjail) [planned] | +| External append-only audit | 1 | **1.5** | ký chain local | WORM ngoài runtime (C5) [planned] | +| Incident response | 1 | **1** | — | severity/owner/kill-switch (C7) [planned] | + +**→ C-MVP (C1+C2+C3 + Evidence Pack) ~3.8/5 [đã làm]; sandbox mới scaffold; C-Governance/Ops (C4/C5/C7) vẫn ~1.5–2.5 [planned].** Track A + C-MVP đưa trio H4/H5/H6 lên **~3.8–4.0/5 (76–80/100)**; **Track B + C-Governance/Ops + sandbox isolation thật** mới đủ production toàn diện. ## 3. Bảng đường lọt (tóm tắt từ threat-model)