오픈소스로 공유하고 있는 Myharness에 웹관리 도구를 추가하였습니다.
https://github.com/cookyman74/my_harness
하네스 도구로 에이전트와 스킬을 빌드하면 보통 한번 검사만 하고 그대로 사용하는데,
장기간 사용될 경우 여러 플러그인과 스킬들로 인해 오염될 수 있고 기존 스킬들과 충돌이 발생될 수 있습니다.
이러한 문제를 해결하기 위해 사용자가 손쉽게 현재 프로젝트의 에이전트, 스킬들을 조회 및 유지관리 할 수 있는 기능을 만들어 놨습니다.
따라서..
웹을 통해 하네스 구성을 할 수 도있고 세부적인 내용을 바로 편집할 수 있기도 합니다.
또한 평가 관리기능을 통해 구성에 문제가 되는 부분을 수정하여 고도화할 수 있습니다.
웹 사용방법은
https://github.com/cookyman74/my_harness/blob/main/harness-ui/README.md
참고해주세요.
전체 상황 확인
하네스 구성 및 상태 확인
에이전트, 스킬 수정 및 관리
하네스 상태 평가
참고로 하네스(에이전트와 스킬)의 평가는 다음과 같이 처리됩니다.
트리거 (Trigger) — description ROI
계층A: description 존재 · 길이 밴드(너무 짧음<40자 / 과다>600자 감점) · 트리거 상황 키워드 유무(정규식: "때/시/요청/할 때/use when" 등) · near-miss 구분 문구 유무.
계층B: "이 description이 상시 컨텍스트 비용을 정당화하나? (a)하는 일 (b)구체 트리거 상황 (c)유사하나 트리거 금지 경우 구분 — 3요소 충족? 적극적(pushy)인가?" → 0~1.
점수: 0.4·계층A정규화 + 0.6·계층B(계층B 없으면 계층A만·fail-open).
구조 (Structure) — 2계층 아키텍처
계층A(대부분 결정적·기존 harness_scorecard 재사용): SKILL.md 본문 줄 수(≤500 목표·초과 감점 비례) · references/ 분리 유무 · 본문 내 대용량 블록(코드/표 >N줄) 인라인 여부 · 300줄+ reference의 ToC 유무.
계층B: "본문은 절차만 최소로 남고, 조건부/대용량 자료는 references/로 갔나?" → 0~1.
점수: 계층A 가중(구조는 기계 판정력 높음) 0.7·A + 0.3·B.
유도 (Induction) — 다음 행동 유도
계층A: 명령형 어조 비율("~한다/~하라" vs 서술) · "why" 설명 문장 유무 · leading words(다음 단계 지시어) 밀도.
계층B: "에이전트의 다음 행동을 명확히 유도하나(leading words·plan/절차)? 모호 서술 vs 행동지향?" → 0~1.
점수: 0.3·A + 0.7·B(유도는 의미 판정 비중 큼).
가지치기 (Pruning) — 삭제 테스트 [핵심]
계층A: 중복 문장(정규화 후 동일/유사) · boilerplate(상투구) · dead/orphan(기존 harness_scorecard 분류 재사용).
계층B(삭제 테스트): 문장/섹션 단위 — "이 문장을 지워도 에이전트 행동이 같은가?" Y=삭제후보. 프롬프트는 보수적 기본(불확실=보존).
점수: 1 − 삭제후보_문장수 / 전체_문장수(높을수록 ✓·군더더기 적음). 삭제후보는 findings로.
ps :
주변에 널리 .. 잘 사용해주세요. ㅎㅎ
▶ 원문 출처: https://github.com/cookyman74/my_harness
