# CASAN Phase 3 — Wave 4 Prompt

**Mang file này sang máy mới và paste làm system prompt / đầu conversation cho Claude.**
**Repo cần clone:** `Output_CASAN5_REFINED/AINative_OKR_CASAN5` (branch `main`).

---

## Context — trạng thái sau Wave 3

Đây là dự án `AINative_OKR_CASAN5` đang được hardening theo framework **FPT CASAN** (7 harnesses H1–H7, mỗi harness 0–100 điểm). Mục tiêu: tất cả harness > 80, target ~90, **chỉ real evidence — không fake**.

### Scores ước tính sau Wave 3 (cần independent audit để xác nhận)

| Harness | Score | Trạng thái |
|---|:--:|---|
| H1 Context | ~82 | context-validate.sh hoạt động nhưng có 12 trace files thiếu |
| H2 Tool | ~82 | rate-limit, schema validation, tool-exec timeout wired |
| H3 Evaluation | ~84 | Real app + backend tests; model judge gate wired; **frontend test = tsc --noEmit only** |
| H4 Security | ~85 | Semantic injection (recall=0.85 với 30 samples); artifact scan; secrets scan; circuit breaker |
| H5 Governance | ~82 | RSA-anchored audit chain; signing key off-repo; **KMS/WORM BLOCKED (no AWS)** |
| H6 AgentOps | ~82 | Real per-step tokens; cost-spike detect; hallucination signals |
| H7 Orchestration | ~82 | Real DAG; real rollback/drift/fallback |
| **Average** | **~83** | **Cần ≥85 cho mọi harness để push thêm** |

### Verify baseline (chạy trước khi làm bất kỳ thứ gì)

```bash
cd Output_CASAN5_REFINED/AINative_OKR_CASAN5
bash .specify/tests/run-casan4-harness-tests.sh          # expect 35 PASS / 0 FAIL
bash .specify/tests/adversarial-harness-tests.sh         # expect 40 PASS / 0 FAIL
bash .specify/scripts/bash/verify-audit-chain.sh         # expect AUDIT_CHAIN_VALID anchor=signed
bash .specify/scripts/bash/security-gate.sh              # expect PASS=9 FAIL=0 (nếu Ollama up)
```

**Tất cả phải PASS trước khi bắt đầu Wave 4. Nếu có FAIL, dừng lại và điều tra.**

---

## Môi trường Wave 4 cần

| Requirement | Lý do |
|---|---|
| `npm install` được (network) | Mở khóa frontend Vitest (H3 gap lớn nhất) |
| Node.js ≥ 18 | Chạy backend tests + pipeline |
| Ollama với `ornith:9b` (hoặc model khác) | Tiếp tục semantic layer (H4) |
| (Optional) `ANTHROPIC_API_KEY` hoặc `OPENAI_API_KEY` | Nâng recall từ 0.85 lên gần 1.0 |

---

## Wave 4 Tasks

### WV4-A: H3 Frontend Runtime Tests (CRITICAL — gap lớn nhất)

**Hiện trạng:** `frontend/package.json` test script = `tsc --noEmit` (chỉ type-check, không runtime). `vitest` không có trong devDependencies.

**Yêu cầu:**
1. Thêm `vitest` và `@testing-library/react` + `@testing-library/jest-dom` + `jsdom` vào `frontend/devDependencies`.
2. Cập nhật `frontend/package.json` script: `"test": "vitest run"`.
3. Viết ít nhất **5 real Vitest tests** trong `frontend/src/` — phải cover:
   - Component render (ít nhất 1 test kiểm tra DOM output thực sự)
   - Role-based access logic (ADMIN/MANAGER/EMPLOYEE)
   - Form validation (Zod schema — invalid quarter format returns error)
   - Progress calculation (0–100 range)
   - API error handling (mock Axios, kiểm tra error state)
4. `npm test -w frontend` phải **chạy được và có thể FAIL** (không phải hardcoded pass).
5. **Fail-before proof:** viết 1 test sai trước, chạy → FAIL, sửa → PASS. Ghi lại cả hai trong evidence.

**Acceptance test:**
```bash
npm install -w frontend
npm test -w frontend      # must show real test results with pass/fail counts
# Modify one assertion to be wrong → re-run → must FAIL
# Restore → re-run → PASS
```

**Files:** `frontend/package.json`, `frontend/src/__tests__/` (tạo mới), `frontend/vite.config.ts` (thêm test config).

---

### WV4-B: H1 Fix 12 Missing Trace Files

**Hiện trạng:**
```
bash .specify/scripts/bash/context-validate.sh \
  docs/output/output_logs/001-okr-web-app/pipeline-context.yaml
# → CONTEXT_INVALID missing=12: .specify/logs/trace/agentops-*.json
```

12 trace files được referenced trong `pipeline-context.yaml` nhưng không tồn tại trên disk (chúng là traces từ run cũ, đã bị xóa).

**Yêu cầu — chọn 1 trong 2 approach (không fake):**

**Option A (preferred):** Tạo stub trace files hợp lệ cho 12 missing traces:
- Mỗi file là JSON hợp lệ với `trace_id`, `step`, `status`, `latency_ms`, `timestamp`.
- Dữ liệu phải consistent với pipeline run thực (không điền số tùy tiện).
- Sau khi tạo: `context-validate.sh` phải PASS.

**Option B:** Cập nhật `pipeline-context.yaml`:
- Xóa references đến 12 trace files không còn tồn tại.
- Thêm annotation `retention_gap: true` với giải thích.
- Thêm `ttl_seconds: 86400` cho các entries còn lại.
- Sau khi sửa: `context-validate.sh` phải PASS.

**Acceptance test:**
```bash
bash .specify/scripts/bash/context-validate.sh \
  docs/output/output_logs/001-okr-web-app/pipeline-context.yaml
# → CONTEXT_VALID (exit 0)
```

---

### WV4-C: H6 Real Pipeline End-to-End Run

**Hiện trạng:** Pipeline đã chạy một lần (Phase 2), nhưng sau nhiều thay đổi (judge gate, tool-exec wiring) chưa chạy lại. Per-step telemetry dùng records từ Wave 1-3 model router calls, không phải từ pipeline step execution.

**Yêu cầu:**
1. Chạy `node scripts/run-casan-pipeline.mjs` từ đầu (hoặc từ step 01-srs nếu pipeline incremental).
2. Xác nhận từng step trong `docs/output/output_logs/001-okr-web-app/reports/` được tạo ra.
3. Kiểm tra `.specify/logs/level5/provider-usage.jsonl` có records mới từ run này (distinguish bằng `run_id` hoặc timestamp).
4. Kiểm tra `.specify/logs/cost/metrics.jsonl` có latency/cost records từ pipeline steps.
5. Chạy `cost-spike-detect.sh` — phải detect được bất kỳ step nào có token > 3× median.

**Nếu pipeline bị lỗi (backend chưa start):**
- Ghi rõ: `PIPELINE_RUN_BLOCKED reason=<lý do cụ thể>` trong evidence.
- KHÔNG fake pipeline output.

**Acceptance test:**
```bash
node scripts/run-casan-pipeline.mjs
bash .specify/scripts/bash/cost-spike-detect.sh  # should show per-step data
```

---

### WV4-D: H4 Multi-Provider Recall (nếu có cloud key)

**Hiện trạng:** Local `ornith:9b` đạt recall=0.85 trên 30-sample corpus. 3/20 novel paraphrases vẫn trốn thoát.

**Nếu `ANTHROPIC_API_KEY` hoặc `OPENAI_API_KEY` có sẵn:**

1. Implement cloud backend trong `.specify/scripts/bash/model-call.py`:
   - `anthropic:` prefix → gọi `api.anthropic.com` với key từ env
   - `openai:` prefix → gọi `api.openai.com`
   - Vẫn giữ SSRF guard (chỉ allow api.anthropic.com / api.openai.com)
   - Vẫn fail-closed (malformed → INJECTION/REJECTED)
2. Chạy `phase3-redteam-metrics.sh` với `CASAN_MODEL_PRIMARY=anthropic:claude-haiku-4-5-20251001` (hoặc `openai:gpt-4o-mini`).
3. So sánh recall: local=0.85 vs cloud=?
4. Nếu cloud recall > 0.85 → ghi rõ improvement trong evidence.
5. **KHÔNG claim cloud backend nếu key unset.** Script đã có logic `cloud_backend_unavailable`.

**Nếu không có cloud key:** Skip WV4-D, ghi `BLOCKED: no cloud API key`.

---

### WV4-E: Adversarial Suite Phải Vẫn PASS=40+ FAIL=0

Sau mỗi thay đổi ở WV4-A/B/C/D, bắt buộc chạy:

```bash
bash .specify/tests/adversarial-harness-tests.sh
# expect PASS ≥ 40, FAIL = 0
```

Nếu có thêm tests mới từ WV4-A (frontend runtime), add vào adversarial suite:
- 1 test: frontend test passes khi code đúng
- 1 test: frontend test fails khi assertion sai (fail-before)

---

### WV4-F: Final Security Gate

Sau tất cả wave:

```bash
bash .specify/scripts/bash/security-gate.sh
# expect PASS ≥ 9 (thêm nếu add gates mới), FAIL = 0
```

Add gate mới nếu WV4-A thành công:
```bash
run "frontend runtime tests (WV4-A)"  npm test -w frontend
```

---

## Integrity Rules (bắt buộc — không ngoại lệ)

1. **Không fake PASS, APPROVED, token usage, model verdicts, cost, recall, rollback, audit results.**
2. **Không hardcode expected PASS results.**
3. **Mọi test phải có thể FAIL** — nếu test không thể fail thì đó không phải test.
4. **Không dùng `.specify/tests/generate-casan-demo-context.py`** (script demo, không phải real evidence).
5. **Không claim "semantic detection" nếu chỉ dùng regex.** Gọi đúng tên: `model-layer` hoặc `regex-only`.
6. **Không claim cloud/hybrid judging** nếu key unset. Ghi `BLOCKED` hoặc `cloud_backend_unavailable`.
7. **Không claim KMS/WORM** — AWS không được cấu hình. Ghi là local key, document KMS là production requirement.
8. **Không claim scores > thực tế.** Ghi `estimated` + note cần independent audit.
9. **Nếu infra thiếu, ghi BLOCKED với lý do cụ thể.** Không mark PASS thay.
10. **Không tăng score mà không có evidence thực.** Evidence = real command output, real file content, real test results.

---

## Files quan trọng cần đọc trước khi làm

```
.specify/scripts/bash/
  security-check.sh        # H4 input/output filter (regex + semantic)
  model-call.py            # Ollama/cloud router (SSRF-guarded, fail-closed)
  model-router.sh          # thin wrapper over model-call.py
  casan-harness.sh         # unified H4→H5→H6→H4 wrapper (tool-exec wired)
  tool-exec.sh             # hard timeout wrapper
  governance-check.sh      # H5 audit chain (11-field, RSA-anchored)
  tool-registry-gate.sh    # H2 per-agent permission + rate-limit
  artifact-scan.sh         # H4 indirect injection scanner (Wave 3)
  secrets-scan.sh          # H4 secrets lifecycle (Wave 3)
  circuit-breaker-check.sh # H4 no-bypass + circuit breaker (Wave 3)
  security-gate.sh         # one-command aggregate (9 gates)

.specify/tests/
  run-casan4-harness-tests.sh    # 35 deterministic tests
  adversarial-harness-tests.sh   # 40 adversarial tests (includes Wave 3)
  phase3-judge-gate-tests.sh     # 5 WP-B judge gate tests
  phase3-model-router-tests.sh   # 7 model router tests
  phase3-redteam-metrics.sh      # red-team corpus metrics runner

.specify/security/
  redteam-corpus.jsonl     # 30 samples (20 injection, 10 benign)
  prompt-filter.yaml       # regex blocklist

scripts/
  casan-step.mjs           # pipeline step runner (judge gate wired into 04/06/10)
  run-casan-pipeline.mjs   # full pipeline orchestrator

docs/output/casan/
  phase3-wave3-results.md  # Wave 3 complete results
  phase3-wave2-results.md  # Wave 2 results (WP-C cost, WP-S2 corpus, WP-S8 gate)
  phase3-wave1-results.md  # Wave 1 results (model router, semantic injection)
  TEAM-HANDOFF-PLAN.md     # Full history + scores + verify commands
```

---

## Output cần tạo

1. **`docs/output/casan/phase3-wave4-results.md`** — kết quả thực, honest, theo format của Wave 1-3 results.
2. **`docs/output/casan/phase3-evidence/wave4/`** — evidence logs (command outputs, test results).
3. Cập nhật **`TEAM-HANDOFF-PLAN.md`** với scores sau Wave 4.
4. Nếu có tests mới: update **`adversarial-harness-tests.sh`** và **`security-gate.sh`**.

---

## Thứ tự ưu tiên

1. **WV4-A (H3 frontend Vitest)** — impact lớn nhất, unblocked trên máy mới
2. **WV4-B (H1 trace files)** — context-validate cần PASS
3. **WV4-E (adversarial suite vẫn green)** — sau mỗi change
4. **WV4-C (H6 pipeline re-run)** — nếu backend stack hoạt động
5. **WV4-D (H4 cloud recall)** — nếu có cloud key
6. **WV4-F (final security gate)** — cuối cùng

Bắt đầu bằng verify baseline. Nếu baseline không PASS → dừng và báo cáo.