fix template, remove okr, use casan.*

This commit is contained in:
thanhnv
2026-07-18 16:45:31 +07:00
parent 0dfd1742d3
commit 13fae3e6c3
249 changed files with 4881 additions and 5702 deletions
+2 -2
View File
@@ -1,7 +1,7 @@
# CASAN Harness Assessment — SDD Pipeline Evaluation Framework
> Tài liệu này mô tả cách đánh giá mức độ trưởng thành Harness của một SDD pipeline theo khung CASAN.
> Áp dụng được cho bất kỳ project nào dùng Speckit / okr.* agent pattern.
> Áp dụng được cho bất kỳ project nào dùng Speckit / casan.* agent pattern.
> Cập nhật lần cuối: 2026-06-26
---
@@ -162,7 +162,7 @@ Critical GAP = bất kỳ Harness nào có score < 30
|----|---------|-------|----------|
| H1 | Context Harness | **90** | `pipeline-context.yaml` — pointer store cho artifact paths + tech stack. Boss cập nhật sau mỗi step, sub-agent đọc để discover input. Không cần re-scan. |
| H2 | Tool Harness | **75** | Build/lint/docker/npm chains có cấu trúc. Thiếu: idempotency key, tool registry chính thức, audit log per-call. |
| H3 | Evaluation Harness | **85** | LLM-as-judge multi-gate (Steps 5, 7, 11), golden dataset từ `okr.testkit` (Step 8b), auto-retry tối đa 5 lần, BACK-TO-PLAN 3 cycles. |
| H3 | Evaluation Harness | **85** | LLM-as-judge multi-gate (Steps 5, 7, 11), golden dataset từ `casan.testkit` (Step 8b), auto-retry tối đa 5 lần, BACK-TO-PLAN 3 cycles. |
| H4 | Security Harness | **20** | ⚠️ GAP: Không có prompt injection scan, không kiểm tra credential hardcode trong spec, không có sandbox. |
| H5 | Governance Harness | **25** | ⚠️ GAP: Không có approval workflow, audit log chỉ là text file (không bất biến), không có risk registry. |
| H6 | AgentOps Harness | **30** | ⚠️ GAP: Chỉ có port check và startup log ở Step 13. Không track cost/agent, không có hallucination rate, không drift detection. |