fix template, remove okr, use casan.*
This commit is contained in:
@@ -1,7 +1,7 @@
|
||||
# CASAN Harness Assessment — SDD Pipeline Evaluation Framework
|
||||
|
||||
> Tài liệu này mô tả cách đánh giá mức độ trưởng thành Harness của một SDD pipeline theo khung CASAN.
|
||||
> Áp dụng được cho bất kỳ project nào dùng Speckit / okr.* agent pattern.
|
||||
> Áp dụng được cho bất kỳ project nào dùng Speckit / casan.* agent pattern.
|
||||
> Cập nhật lần cuối: 2026-06-26
|
||||
|
||||
---
|
||||
@@ -162,7 +162,7 @@ Critical GAP = bất kỳ Harness nào có score < 30
|
||||
|----|---------|-------|----------|
|
||||
| H1 | Context Harness | **90** | `pipeline-context.yaml` — pointer store cho artifact paths + tech stack. Boss cập nhật sau mỗi step, sub-agent đọc để discover input. Không cần re-scan. |
|
||||
| H2 | Tool Harness | **75** | Build/lint/docker/npm chains có cấu trúc. Thiếu: idempotency key, tool registry chính thức, audit log per-call. |
|
||||
| H3 | Evaluation Harness | **85** | LLM-as-judge multi-gate (Steps 5, 7, 11), golden dataset từ `okr.testkit` (Step 8b), auto-retry tối đa 5 lần, BACK-TO-PLAN 3 cycles. |
|
||||
| H3 | Evaluation Harness | **85** | LLM-as-judge multi-gate (Steps 5, 7, 11), golden dataset từ `casan.testkit` (Step 8b), auto-retry tối đa 5 lần, BACK-TO-PLAN 3 cycles. |
|
||||
| H4 | Security Harness | **20** | ⚠️ GAP: Không có prompt injection scan, không kiểm tra credential hardcode trong spec, không có sandbox. |
|
||||
| H5 | Governance Harness | **25** | ⚠️ GAP: Không có approval workflow, audit log chỉ là text file (không bất biến), không có risk registry. |
|
||||
| H6 | AgentOps Harness | **30** | ⚠️ GAP: Chỉ có port check và startup log ở Step 13. Không track cost/agent, không có hallucination rate, không drift detection. |
|
||||
|
||||
Reference in New Issue
Block a user