대본 평가와 수정 환류
먼저 완성할 제작 규칙
세계관 집필에 앞서 초안 → 독립 평가 → 수정 → 재평가 → 설정 검수 → 사용자 검토 → 채택의 순서를 고정한다. 아래 실행 계약을 yt9-script-team 스킬과 표준 Python 기록 프로그램으로 구현했다. 실제 에이전트의 평가를 검증·계산·저장하고 수정 라운드를 관리한다. 웹 편집기의 실행 버튼과 서버 대본 자동 반영은 후속 연결이다.
일곱 항목과 통과선
| 평가 항목 |
비중 |
평가자가 확인할 질문 |
| 계속 보고 싶은 마음 |
30% |
다음 사건이 궁금한가? 중간에 긴장이나 질문이 사라지는 구간은 어디인가? |
| 시각적 충격과 장면성 |
15% |
화면으로 보여 줄 인상적인 행동·변화·대비가 있는가? 이야기와 연결되는가? |
| 쉬운 이해 |
15% |
초등학교 5학년도 누가 무엇을 왜 하는지 이해할 수 있는가? 어려운 개념을 사건으로 설명하는가? |
| 인물의 욕망과 갈등 |
15% |
주인공이 원하는 것과 방해하는 것이 분명한가? 선택에 대가가 있는가? |
| 사건의 인과와 설득력 |
10% |
앞선 행동이 다음 사건을 만드는가? 편의적인 우연이나 설명 누락이 있는가? |
| 감정의 변화 |
10% |
사건 전후에 인물과 시청자의 감정이 달라지는가? 변화의 이유가 보이는가? |
| 결말의 보상 |
5% |
이번 편의 질문·갈등에 보상이 있는가? 다음 편이 궁금해도 이번 이야기는 성립하는가? |
점수는 10점 만점이다. 일곱 항목 각각의 중앙값이 9점 이상이어야 통과한다. 가중 총점은 통과 후보의 우선순위를 정할 때만 사용한다. 계속 보고 싶은 마음이 10점이어도 이해가 8점이면 수정한다. ‘시각적 충격’은 잔혹함의 정도가 아니라 시각적 놀라움과 극적 효과다.
시청지속 점수는 대본을 읽고 예측하는 평가다. 실제 시청지속시간이나 시청자 실험 결과로 표현하지 않는다. 초등 5학년 이해도 역시 실제 아동 검증을 실시하지 않았다면 평가자의 판단으로 기록한다.
점수가 의미를 갖게 하는 근거
- 7점: 핵심 약점이 남아 있어 구조나 중요한 장면을 고쳐야 한다.
- 8점: 이야기는 작동하지만 특정 약점이 남아 있다.
- 9점: 핵심 약점이 해결됐으며 실제 문장·장면으로 설명할 수 있다.
- 10점: 특별히 뛰어난 효과를 구체적으로 설명할 수 있을 때만 부여한다.
평가자는 각 항목에 점수, 원문 인용과 장면 ID, 가장 약한 구간, 9점에 도달할 수정안을 남긴다. 이미 통과한 항목은 유지할 장점과 남은 한계를 적는다. 근거 누락은 평가 미완료이며 통과로 처리하지 않는다.
팀은 이렇게 실행한다
- 총괄이 이번 편의 목적·대상·길이·보존할 핵심·확정 설정을 브리프로 고정한다. 세계관이 아직 없으면 미정 항목을 표시하고 임의로 확정하지 않는다.
- 작가가 초안을 쓴다. 원고는 버전과 SHA-256을 가진 별도 파일로 보존한다.
- 작가와 다른 세 평가자가 같은 원고를 독립적으로 읽는다. 한 명은 몰입, 한 명은 시각과 이해, 한 명은 인물·인과·감정을 주로 살피되 각자 일곱 항목 전체를 평가한다. 다른 평가자의 점수와 작가의 변론은 먼저 보여 주지 않는다.
- 총괄은 항목별 세 점수의 중앙값을 계산하고, 근거와 수정 요구를 통합한다. 예를 들어 8·9·9는 중앙값 9다. 그러나 어느 평가자든 중대한 이해 불가·인과 붕괴·설정 모순을 제기했다면 해소하거나 근거로 기각할 때까지 채택을 막는다.
- 미달 항목을 우선 고치고 장점은 보존한다. 수정된 새 버전은 일곱 항목 전체를 다시 평가한다. 이전 버전의 점수를 복사하지 않는다.
- 점수 통과 후 설정 편집자가 같은 원고와 지정된 설정 버전을 검사한다. 설정이 없으면 ‘세계관 검수 대기’로 남기고 최종 채택하지 않는다. 설정 검수로 대사가 바뀌면 새 버전을 다시 평가한다.
- 사용자에게 통과 원고와 평가표·변경 요약을 보여 준다. 사용자가 선택하면 채택하고 yt9 대본 검토 단계에 연결한다. 사용자가 문장을 손보면 변경본을 별도 버전으로 저장하며 이전 점수를 변경본의 점수로 표시하지 않는다.
역할의 수와 동시 실행 수는 다르다. 총괄 외 전문가 슬롯이 세 개라면 작가 작업을 마친 뒤 세 평가자를 실행하고, 설정 검수는 다음 단계로 실행한다. 실제 agent ID와 입력·출력 기록이 있어야 팀 실행이라고 보고한다.
반복이 끝나는 조건
기본 한도는 초안 평가를 포함한 최대 10회 평가 라운드다. 3회와 6회 평가 후에도 미달이면 총괄이 구조를 재검토한다. 문장만 다듬을지, 사건·주인공의 목표·결말을 다시 설계할지 결정하고 기록한 뒤 다음 라운드로 간다.
10회에도 기준을 못 넘으면 미통과·재설계 필요로 멈춘다. 점수를 높여 통과시키지 않는다. 추가 라운드는 별도의 결정으로 남긴다. 사용자가 기준 예외로 선택한 원고는 예외 채택으로 기록하고 실제 점수와 이유를 보존한다.
평가 대기 → 수정 필요 → 새 버전 평가
↖ 반복, 기본 최대 10회
점수 통과 → 설정 검수 → 사용자 검토 → 채택
한도 도달 → 미통과·재설계 필요
사용자의 명시적 예외 선택 → 예외 채택
버전별로 남길 기록
episodes/ep01/
├── brief.md
├── drafts/v001.md
├── drafts/v002.md
├── reviews/v001/evaluator-01.json
├── reviews/v001/evaluator-02.json
├── reviews/v001/evaluator-03.json
├── reviews/v001/decision.json
├── reviews/v002/...
├── checkpoints/round-03.md
├── checkpoints/round-06.md
├── continuity-review.json
└── selected-source.json
평가 기록에는 원고 ID·버전·해시, 브리프·설정·평가기준 버전, 실제 평가자 agent ID, 일곱 점수와 근거, 중대한 문제를 남긴다. 결정 기록에는 중앙값·가중 총점·미달 항목·수정 지시·처리한 문제·현재 상태를 남긴다. 선택 기록에는 정확한 원고와 사용자 선택 또는 예외 사유를 연결한다.
재개할 때는 저장된 원고와 평가의 해시를 대조한다. 원고가 달라졌으면 기존 평가는 그 이전 버전의 기록으로만 남기고 새 평가를 수행한다. 원고·브리프·설정·모든 평가와 결정은 로컬 run의 불변 이벤트 파일로 기록한다. archive_run.py --send가 moondo-2에 새 스냅샷을 보관하고 원격 SHA-256 검증 영수증을 만든다. 이는 private 문서 보관이며 편집 가능한 서버 정본·D1 artifact 등록 어댑터는 후속 구현이다.
다음 작업
평가·환류 로직과 저장 형식을 구현·검증했다. 다음에는 사용자가 제공할 세계관을 연결하고, ‘월급이 없어진 날 그는 출근했다’의 기존 사용자 수정본을 보존한 상태로 적용한다. 기존 대본의 평가를 실행하거나 새 세계관을 만든 것으로 간주하지 않는다.
구현된 실행 방법과 현재 범위
moondo-plugins/skills/yt9-script-team/
├── SKILL.md # 작가·세 평가자·설정 편집자의 실제 위임과 재개
├── agents/openai.yaml # Codex 스킬 표시 정보
├── references/
│ ├── rubric.md # 일곱 항목과 점수 기준
│ ├── roles.md # 역할별 입력·출력·평가 독립성
│ └── execution.md # 명령과 JSON 입력 형식
└── scripts/
├── script_team.py # 해시·근거 검사, 상태 전환, 기록·인계
├── archive_run.py # moondo-2 불변 스냅샷과 원격 검증
└── test_script_team.py # 채택 조건·반복·버전·보관 테스트
호출 예: “yt9-script-team으로 이 대본을 평가하고, 항목별 9점 기준을 통과할 때까지 수정해 줘.”
기존 희곡은 yt9-cinematic과 함께 사용한다. 실제 평가자는 스킬이 에이전트 도구로 위임한다.
프로그램이 점수나 독립 평가자를 만들어 내는 것이 아니다. 가용 슬롯이 적으면 순차 실행한다.
| 기능 |
현재 상태 |
| 작가·세 독립 평가자·설정 편집자 위임 절차 |
실행 스킬 설치 |
| 일곱 항목 중앙값·미달·중대한 문제 처리 |
구현·테스트 |
| 최대 10회·3/6회 구조 검토·재개 |
구현·테스트 |
| 장면 인용·원고/브리프/설정 해시 검사 |
구현·테스트 |
| 사용자 선택·예외 선택·선택 후 봉인 |
구현·테스트 |
| 선택 원고와 평가·출처 인계 파일 생성 |
구현·테스트 |
| moondo-2에 원고·평가 기록 불변 보관 |
합성 입력으로 실제 보관·원격 해시 검증 |
| yt9 웹 실행 버튼·서버 대본 자동 반영 |
후속 연결 |
| 실제 작품 대본의 창작 품질·시청 성과 검증 |
아직 수행하지 않음 |
기능 테스트와 별도 에이전트의 합성 입력 검증을 수행했다. 합성 점수·테스트용 사용자
선택은 프로그램의 조건 검증에만 사용했으며 실제 작가팀의 창작 평가나 사용자 승인이
아니다. ‘월급이 없어진 날 그는 출근했다’의 기존 대본과 미디어는 변경하지 않았다.