Leaf 라우팅 가이드 v2 — 어떤 일을 어느 모델에 내리나

창발 구현은 opus-5가 fable을 못 넘은 유일한 유형이다. 확정 결함이 fable 1·1(합 2) vs opus-5 0·3(합 3)이다. 그런데 그 3건이 한쪽 실행에 몰려 있다 — 1회차는 무결이었고 2회차만 3건이다.

실무 규칙: 한 번에 끝내야 하면 fable. 게이트를 어차피 거칠 거라면 opus-5를 2회 — 이 유형은 게이트가 의무이므로 후자가 기본이 된다.

앞의 넷(9·8·4·5)은 넓게 훑고 정확히 짚는 일이라는 공통점이 있다. 디자인 판정자가 남긴 말이 그 축을 짚는다 — “다크 표면 대조까지 고려한 모습이 고려하는 영역이 넓음을 보여준다.” 지시받지 않은 것을 스스로 챙기는 능력이다.

뒤의 둘은 성격이 다르다. 유형 7은 fable과 동률인데 값이 절반이라 이겼고, 1·2·3은 세 모델이 전부 같아 상위 모델을 쓸 이유가 없다.

같은 두 모델인데 유형마다 배율이 2배 넘게 다르다(opus-5 ÷ sonnet, 2회 평균):

왜 이렇게 갈리는지는 이 측정으로 설명되지 않는다. "상위 모델이 더 오래 매달려서"라는 가설을 세워 턴 수 배율과 대조해봤으나 8유형 중 4개에서 어긋났다 — 조사는 턴을 1.77배 쓰는데 비용은 1.17배이고, 리뷰는 턴 1.16배에 비용 1.95배다. 턴당 단가·캐시 적중률·출력 길이가 유형마다 다르게 얽힌 것으로 보이나 확인하지 않았다.

fable의 가격 프리미엄 — opus 두 세대와 각각 대조

fable이 실행된 세 유형에서, fable이 opus-4-8보다 / opus-5보다 각각 몇 배 비싼지다. 위 표(opus5 ÷ sonnet)와 별도로 봐야 한다.

구분 기준

리뷰 지시문에 "무엇을 어느 관점으로 볼지"의 체크리스트가 들어 있는가? 볼 곳이 지정되지 않은 열린 검토라면 유형 9다.

언제 쓰는 유형인가

• 병합 직전 게이트 리뷰(대표) — "이 변경을 프라이버시·성능·테스트 실효성 관점으로 검토하라"
• 보안·프라이버시가 걸린 변경의 지정 관점 검토
• 계획·문서를 완료조건 목록과 대조하는 검증

체크리스트는 위임하는 메인 세션이 작성해 부여한다 — "어디가 위험한지 짚는" 일 자체는 유형 8(발굴)이라 상위 모델 몫으로 남기는 게 다른 측정과 정합한다.

측정에 쓴 실제 작업

작업 내용

문서를 공개용 웹 URL로 배포하는 기능을 만드는 중에, 그 페이지에 "하위 항목 수를 표시하는 배지"를 붙이는 코드가 들어왔다. 이걸 병합 전에 리뷰하는 작업이다.

부여된 관점

프라이버시 누설 · 정확성/성능 · 테스트 실효성 — 세 관점의 체크리스트를 지시문이 지정했다.

숨어 있던 결함

배지 숫자를 세는 코드가 항목마다 하위 트리를 처음부터 다시 센다 — 연산량이 항목 수의 제곱으로 뛴다. 지시문은 "성능을 보라"까지만 말하고 어디가 문제인지는 알려주지 않는다.

채점 기준

이 결함을 스스로 찾아내는가.

정답지의 정체

• 무엇 — 병합 차단급 결함 1건(연산량 폭발)의 확정 목록
• 만든 모델 — 당시 opus 단독 실행의 리뷰가 발견
• 거친 과정 — 그 발견이 실제 수리 커밋으로 이어져 결함의 실재가 증명됐다. 누군가의 의견이 아니라 확정 사실이다

2차 결과

모델	확정 결함	minor
opus5	0 · 0	4 · 3
opus4.8	0 · 0	1 · 2
sonnet	0 · 0	1 · 3

(두 숫자는 1회차·2회차. 낮을수록 좋다)

판정

sonnet 유지 — 세 모델 모두 치명적 결함 0으로 갈리지 않았다. minor만 보면 opus-5가 오히려 가장 많다(4·3). 상위 모델을 써도 결과가 같으니 싼 쪽이 합리적이다.

실행 비용 (2회 합)

모델	1회차	2회차	2회 합
opus5	$5.20	$6.45	$11.64
sonnet	$3.37	$2.60	$5.97
opus4.8	$2.39	$2.84	$5.22

opus-5가 약 2배 비싸고 결과는 같다.

구분 기준

"무엇을 어떻게 고칠지"가 지시문에 이미 있고, 고쳤는지를 기계가 판정할 오라클(테스트·출력 대조)이 함께 주어지는가? 원인이 확정되지 않았으면 유형 7이다.

언제 쓰는 유형인가

• 동작 보존 리팩터링 — "결과 바이트가 같아야 한다"가 완료조건
• 원인이 이미 합의된 버그 수리
• 지정된 방식으로의 마이그레이션

측정에 쓴 실제 작업

작업 내용

렌더링 코드에서 두 함수가 서로를 번갈아 호출한다(상호 재귀). 입력이 깊게 중첩되면 호출 스택이 넘쳐 프로그램이 멈춘다. 이를 반복형으로 바꾸는 작업이다.

지시문이 준 것

"상호 재귀를 명시 스택 기반 반복형으로 전환하라"는 방법과, "렌더 출력 바이트가 기존과 완전 동일해야 한다"는 기계 판정 기준. 즉 무엇을·어떻게·어떻게 확인할지가 전부 주어졌다.

채점 기준

자동 오라클 — 정답 출력과 바이트 단위 대조 + 기존 한계보다 훨씬 깊은 입력에서 무크래시 + 기존 테스트 무회귀.

정답지의 정체

• 무엇 — 수리 전 코드가 만든 정답 HTML 3종의 바이트 사본. 기계 대조용이라 사람 해석이 개입하지 않는다
• 만든 모델 — 정답 HTML은 모델이 만든 게 아니라 수리 전 코드의 출력이다. 이 유형의 정답지는 모델 귀속이 없다

2차 결과

자동 오라클: opus5·opus4.8·sonnet 전원 만점 — 3종 바이트 동일 + 무크래시 + 스위트 통과.

모델	확정 결함	minor
opus5	0 · 0	2 · 1
opus4.8	0 · 0	2 · 2
sonnet	0 · 0	4 · 3

치명적 결함은 세 모델 모두 0이다 — 방법과 판정 기준이 다 주어진 일이라 천장이 낮다. 갈린 것은 minor뿐인데 sonnet이 가장 많다(sonnet 7 · opus4.8 4 · opus5 3). 다만 minor는 병합을 막지 않으므로 이 차이로 모델을 올릴 근거는 되지 않는다.

판정

sonnet 유지 — 오라클도 심사도 갈리지 않았다. minor는 opus-5가 가장 적지만(2·1 vs 4·3) 2회 측정에서 2건 차이는 실행 편차와 구분되지 않는다.

이 유형은 답이 어디 있는지가 이미 정해진 일이라 천장이 낮다. 상위 모델의 여유가 쓰일 데가 없다.

실행 비용 (2회 합)

모델	1회차	2회차	2회 합
opus5	$13.74	$27.95	$41.69
sonnet	$9.45	$6.70	$16.15
opus4.8	$6.67	$10.86	$17.53

opus-5가 2.5배 비싸고 결과는 같다. ⚠ 2회차가 120턴으로 튀었다(1회차는 24턴) — 같은 일에 턴 5배·비용 2배 편차다.

구분 기준

무엇을 만들지는 이미 정해져 있고, 어떻게 만들지만 설계하면 되는가? 그리고 산출물이 코드가 아니라 문서인가? — "닫힌"이 가리키는 게 이것이다. 목표는 고정, 경로만 미정.
목표 자체를 찾아내야 하는 일은 "열린 계획"이다 — 예를 들어 "무엇을 만들어야 할지부터 조사해서 정하라", "이 제품에 지금 무엇이 없는지 찾아라" 같은 것. 이 측정에는 열린 계획이 없다. 범위가 열린 일에서 모델이 어떻게 갈리는지는 유형 8에서 볼 수 있다.

언제 쓰는 유형인가

• 구조 변경·마이그레이션 계획 — "이렇게 바꾸기로 했으니 단계를 설계하라"
• 기술 선택의 트레이드오프 정리

산출물은 언제나 "검토 전 초안"이다 — 확정은 파급에 따라 위임자가 검토를 걸어 결정한다.

측정에 쓴 실제 작업

작업 내용

같은 성격의 데이터가 서로 다른 세 곳에 나뉘어 저장돼 있어, 화면마다 보는 출처가 다르다. 이를 한 출처로 통일하는 계획 문서를 쓰는 작업이다. 코드 수정 금지 — 읽기 전용 조사 + 문서 1개.

채점 기준

계획 자체의 결함(실현 불가·순서 오류·자기모순·롤백 불가 경로) + 사후 판정: 이후 실제 구현이 드러낸 함정 4종을 미리 예견했는가.

정답지의 정체

• 무엇 — 이후 실제 구현이 드러낸 함정 4종(재귀 쿼리 중복 폭발 · 이동 no-op 처리 · 마이그레이션 재실행 안전성 · 사용자 조작 화면 누락)
• 거친 과정 — 구현이 끝난 뒤에야 확정된 목록이다. 계획 작성 시점엔 아무도 몰랐다

2차 결과

모델	확정 결함	minor
opus5	1 · 0	2 · 3
opus4.8	0 · 1	2 · 2
sonnet	1 · 0	2 · 2

세 모델이 각각 2회 중 1회씩 치명적 결함을 냈다.

판정

sonnet 유지 — 결함 분포가 완전히 동일하다(각 1건). 이건 우열이 아니라 실행 편차로 읽는 게 맞다.

실무 함의: 모델을 올려도 계획 문서의 치명적 결함이 줄지 않는다. 파급이 큰 계획이라면 모델을 올리는 대신 독립 검토를 걸어라 — 그게 이 측정이 지지하는 유일한 대응이다.

실행 비용 (2회 합)

모델	1회차	2회차	2회 합
opus5	$6.58	$5.43	$12.00
opus4.8	$3.09	$3.57	$6.66
sonnet	$2.72	$4.80	$7.52

opus-5가 sonnet의 1.60배, opus-4-8의 1.80배인데 세 모델 모두 확정 결함 1건으로 같다 — 이 유형에서 상위 모델은 값만 올린다. 실행 간 편차도 세 모델이 비슷하다.

구분 기준

문제는 분명한데 해결이 열려 있는가? — 무엇을 고쳐야 하는지는 지시문이 짚어줬지만 정답 경로가 하나가 아니라, 어느 길로 갈지를 후보가 골라야 하는 상태다. 푸는 방법까지 지시문에 적혀 있으면 닫힌 문제(유형 2), 문제가 무엇인지부터 밝혀야 하면 유형 7이다.

언제 쓰는 유형인가

• 동기화·동시성·데이터 무결성처럼 여러 서브시스템 규칙을 동시에 지켜야 하는 영역
• "이 문제를 없애라"까지만 주어지고 어디를 어떻게 고칠지는 후보가 정하는 일

산출물은 병합 전 반드시 유형 9 게이트를 거쳐야 한다 — 모델 불문이다.

측정에 쓴 실제 작업

작업 내용

여러 사람이 같은 문서를 동시에 편집하는 기능에서, 두 사람이 같은 줄을 동시에 고치면 글자가 사라진다. 한쪽이 타이핑하는 중에 다른 쪽 편집이 도착하면 위치 계산이 어긋난다.

왜 창발인가

지시문은 "이 유실 창을 닫아라"까지만 준다. 어디를 고칠지는 후보가 정해야 하는데, 선택지가 여럿이고 한 곳을 고치면 다른 경로가 깨지기 쉽다 — 전송·정산·복구 경로가 서로 얽혀 있다.

채점 기준

자동 오라클(빌드·타입검사·기존 테스트 무회귀) + 심사관 3종의 결함 발굴.

정답지의 정체 — ⚠ 반드시 읽을 것

이 작업의 원 세션을 실제로 돈 모델은 fable이다(대화 기록 실측). 즉 "정답지를 못 이겼다"가 여기서는 fable 대 fable 비교다. 앵커 대비 서술을 인용할 땐 그 작업의 정답지가 누구 산출물인지 먼저 확인해라.

⚠ 아래 표, 캠페인이 섞여 있다

아래 표에서 실제로 새로 실행된 것은 opus-5 2회뿐이다. fable·opus4.8·sonnet 행은 1차(C1) 산출물을 그대로 재사용해 새 심사관 구성(opus-5 포함)으로 다시 채점만 한 것이지, 2차 조건에서 재실행한 게 아니다. 그래서 opus-5 대 나머지 세 모델 비교에는 실행 도구 버전·환경이 다른 캠페인 간 드리프트가 섞여 있다 — "교정된 조건에서 다시 채점"이지 "같은 조건에서 재실행"이 아니다.

2차 결과 — 양쪽 검증자가 확정한 결함만 (낮을수록 좋음)

모델	확정 결함	비고
fable	1 · 1	최소 · 편차 없음
opus5	0 · 3	편차 극심
opus4.8	1 · 3
sonnet	4 · 3	최다

자동 오라클은 4모델 전원 만점 — 이 층은 변별력이 없다.

opus-5의 실행 편차

0 vs 3으로 갈렸다. 같은 모델·같은 지시문인데 한 실행은 무결, 다른 실행은 확정 결함 3건이다. 2회로 모델을 확정하지 마라.
실무 함의: 중요한 창발 구현은 모델을 올리기보다 opus-5를 2회 돌려 게이트로 고르는 것이 낫다 — 2회 합이 $37.64로 fable 1회($46.94)보다 싸면서 무결한 쪽을 고를 수 있다.

게이트 의무는 그대로다

어느 모델도 무결이 아니었다. 병합 전 독립 적대 리뷰는 모델 불문 필수다 — 이 측정에서 확정된 결함은 전부 게이트가 잡아낸 것이다.

실행 비용 (2회 합)

모델	1회차	2회차	2회 합
fable	$42.65	$51.22	$93.87
opus5	$20.20	$17.44	$37.64
opus4.8	$12.16	$22.34	$34.51
sonnet	$17.50	$13.20	$30.70

fable이 opus-5의 2.5배다 — 최소 결함이지만 가장 비싸다.

구분 기준

버그 원인이 확정되지 않았고(가설 수준) 진단부터 수리까지 통짜로 위임되는가? 수리 방법이 이미 지시문에 있으면 유형 2다.

유형 6과 무엇이 다른가

6은 무엇을 만들지는 알지만 어떻게 만들지가 열린 일이고, 7은 무엇이 문제인지부터 찾아야 하는 일이다. 6은 설계, 7은 수사에 가깝다.

측정에 쓴 실제 작업

작업 내용

새 항목을 만들면 곧바로 첫 화면으로 되돌아가는 버그다. 만들기를 누르면 항목이 생기고 그리로 이동해야 하는데, 잠깐 보였다가 되돌아간다.

왜 진단형인가

지시문은 증상만 준다. 여러 층이 얽혀 있어 원인이 어느 층에 있는지부터 후보가 밝혀야 한다.

채점 기준

자동 오라클 없음 — 심사관 3종의 결함 발굴이 유일한 판정이다. "표면 증상만 봉합했나, 원인 계층까지 갔나"가 핵심.

정답지의 정체 — ⚠ 유형 6과 같은 주의

이 작업의 원 세션도 fable이 돌았다. 여기서도 fable 대 fable 비교다.

⚠ 이 표도 캠페인이 섞여 있다 (유형 6과 동일)

opus-5만 2차 신규 실행이고 fable·opus4.8·sonnet은 1차 산출물을 새 심사관 구성으로 재채점한 것이다(재실행 아님). 캠페인 간 CLI·환경 드리프트가 이 비교에 섞여 있다.

2차 결과 (낮을수록 좋음)

모델	확정 결함
fable	1 · 0
opus5	0 · 1
opus4.8	2 · 1
sonnet	2 · 1

fable과 opus-5가 동률 최소(각 1건), opus4.8·sonnet이 3건으로 동률이다.

판정

opus-5로 바꾼다 — 1차 권고였던 opus-4-8은 확정 결함 3건으로 갈렸고, opus-5는 fable과 동률 1건인데 값이 절반($10.82 vs $21.15)이다. fable은 더 어려운 문제를 위한 상향 카드로 남긴다.

이 유형도 게이트 의무가 그대로다 — 4모델 중 무결이 하나도 없다.

실행 비용 (2회 합)

모델	1회차	2회차	2회 합
fable	$6.60	$14.55	$21.15
opus4.8	$6.57	$11.75	$18.33
opus5	$5.88	$4.94	$10.82
sonnet	$2.53	$5.70	$8.22

opus-5가 fable의 절반이면서 동률이다 — 가성비로는 opus-5가 앞선다.

무엇을 말하는 패턴인가

상위 모델에게 조사 전략만 짜게 하고, 그 전략을 하위 모델이 실행하게 나누는 구조다. "비싼 모델은 머리만 쓰고 싼 모델이 손발을 한다"는 발상인데, 실측이 반복해서 반대를 말한다.

어떻게 쟀나

유형 8과 같은 조사 작업에서, 전략은 opus가 짜고 실행은 sonnet이 하는 2단 구성으로 2회 돌렸다. 다른 모델은 한 모델이 처음부터 끝까지 했다.

2차 결과

	숨은 발굴	커버리지	접지 정확
split opus4.8 → sonnet	1 · 2	83.0%	57.1%
단일 모델 최상	11 · 12	93.6%	90.6%

모든 지표 최하위. 발굴은 최상위의 약 1/8, 접지 정확도는 57%로 다른 모델(75~91%)과 큰 차이다.

왜 이렇게 되나 (해석 — 측정이 아니라 추론)

발굴은 찾는 도중에 방향이 바뀌는 일이다. 전략을 미리 고정해 넘기면 실행자는 그 목록 안만 훑고 목록 밖은 아무도 안 본다.

나누는 순간 발굴이 커버리지로 퇴화한다.

비용도 나쁘다

2단 분리가 가장 비싸다 — 실행당 $7.90으로 최상위 모델($5.36)보다 47% 비싸다(§4). 품질은 1/8, 비용은 1.5배다.