update doc/log
This commit is contained in:
@@ -0,0 +1,39 @@
|
||||
# CASAN — Chấm điểm CÔNG TÂM · Bản 1/2: TRƯỚC KHI THI (Mốc 1)
|
||||
|
||||
> Chấm theo `casan_harness_assessment.md` (rubric: 0–30 GAP · 31–60 Partial · 61–80 Good · 81–100 Strong=production).
|
||||
> **Mốc 1 = bản mang đi thi** — build tại thời điểm nộp, **trước nhánh `feat/plan07-track-a-hardening`**.
|
||||
> Không phải log chạy-live: đây là đánh giá trưởng thành của đúng build đã dự thi, có bằng chứng test đối kháng đứng sau.
|
||||
|
||||
## 1. Build được chấm
|
||||
| | |
|
||||
|---|---|
|
||||
| Mốc | **1 — mang đi thi** (trước `feat/plan07-track-a-hardening`) |
|
||||
| Quy mô | **37 script** · đủ 7 harness mức demo/PoC |
|
||||
| Model | Ollama `ornith:9b` (local) |
|
||||
| H4/H5/H6 | **~3.0/5** (self-assessment dự án, `CASAN_HARDENING_STATUS.md §4`) |
|
||||
|
||||
## 2. Bằng chứng test đối kháng (thật, 0 lỗi)
|
||||
- **79 test PASS / 0 FAIL**: `run-casan4-harness-tests` **35** + `adversarial-harness-tests` **44**.
|
||||
- H4: injection trực tiếp/paraphrase→semantic/obfuscation, secret in+out, PII, artifact-scan (indirect); H4 recall model 0.85 > regex 0.00.
|
||||
- H5: hash-chain + ký RSA head (tamper→MISMATCH, re-forge→anchor fail), separation-of-duties, least-privilege, rate-limit, secrets-scan, no-bypass, tool-audit.
|
||||
- H6: cost-spike (median×mult, positive+negative), drift, hallucination-scan, telemetry token thật.
|
||||
|
||||
## 3. Điểm CÔNG TÂM theo rubric — Mốc 1
|
||||
| ID | Harness | Điểm | Band | Chứng minh (đã có ở bản thi) | Chưa có (kéo điểm xuống) |
|
||||
|----|---------|:--:|---|---|---|
|
||||
| H1 | Context | **82** | Strong- | pipeline-context pointer store, context-validate | chưa log-levels/redaction, chưa nén context |
|
||||
| H2 | Tool | **74** | Good | registry, idempotency, rate-limit, tool-audit, validate-tool-input, timeout | **chưa** action-gate / supply-chain / data-exfil |
|
||||
| H3 | Evaluation | **82** | Strong- | LLM-judge multi-gate, golden dataset, auto-retry, model-fallback | judge 1 model local |
|
||||
| H4 | Security | **60** | Partial(đỉnh) | injection/secret/PII/artifact-scan + recall 0.85 | **chưa** unicode/base64 normalize · tool-output scan · strict fail-closed · benign-FP budget · sandbox |
|
||||
| H5 | Governance | **60** | Partial(đỉnh) | hash-chain + ký RSA (local) · SoD · least-priv · rate-limit · secrets-scan · no-bypass | **chưa** KMS · WORM ngoài · approval ký-danh-tính (duyệt bằng env-var) |
|
||||
| H6 | AgentOps | **60** | Partial(đỉnh) | cost-spike · drift · hallucination · telemetry token thật | **chưa** alerting live · provider-API reconcile · dashboard hosted · window circuit-breaker |
|
||||
| H7 | Orchestration | **80** | Good(đỉnh) | Boss DAG · BACK-TO-PLAN/retry · rollback thật · fallback · drift | chưa transaction-rollback xuyên step |
|
||||
|
||||
**Average = 71.1 / 100 · Harness thấp nhất = 60 (H4/H5/H6) · CASAN Level 3 → 4 (chuyển đổi).**
|
||||
|
||||
## 4. Kết luận Mốc 1 (trung thực)
|
||||
- Đủ 7 harness, **chặn/phát hiện được ~15 vector tấn công thật** (79 test) → đã vượt "base" (2026-06-26: H4=20·H5=25·H6=30, Avg 57.9) một bậc rõ rệt.
|
||||
- Nhưng H4/H5/H6 mới ở **demo/PoC (60, đỉnh "Partial")**: còn hở unicode/base64, tool-output, strict fail-closed, benign-FP, KMS, WORM, approval-identity, alerting live → **chưa đạt Level 4 vững**, đang ở ngưỡng **Level 3→4**.
|
||||
- "Harness thấp nhất quyết định trần" → trần bị H4/H5/H6=60 giới hạn.
|
||||
|
||||
→ So sánh với **Bản 2/2 (sau khi thi)**: `scoring-report-02-after-competition.md`.
|
||||
Reference in New Issue
Block a user