> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tryvox.co/llms.txt
> Use this file to discover all available pages before exploring further.

# 시나리오 테스트

> AI 고객과 대화를 끝까지 나눈 뒤 기준대로 채점해 대화 전체가 의도대로 흐르는지 확인할 수 있어요.

시나리오 테스트는 AI 고객이 정해 둔 시나리오대로 에이전트와 대화를 끝까지 나누는 평가예요. 에이전트가 먼저 말하고 AI 고객이 이어서 말한 뒤, 대화 전체가 성공 기준에 맞는지 확인해요.

![시나리오 테스트 편집 화면의 평가 설정 카드에 적은 고객 시나리오, 성공 기준, 최대 대화 횟수](https://mintcdn.com/fleek/pKBx7alqYss0k1cl/images/screens/evals/scenario-test/editor.webp?fit=max\&auto=format\&n=pKBx7alqYss0k1cl\&q=85\&s=aef6bc7169d47c45e19558d30e83b806)

응답 하나만 확인하려면 [유닛 테스트](https://docs.tryvox.co/docs/evals/unit-test.md)를 쓰세요.

## 언제 사용하나요

* **고객이 마음을 바꾸는 대화를 확인할 때**: 날짜를 두 번 바꾸는 고객에게도 마지막 요청대로 확정하는지 확인해요.
* **불만이 있는 고객 응대를 확인할 때**: 화가 난 고객의 취소 요청을 받아 주고 취소까지 처리하는지 확인해요.
* **정보를 모으는 순서를 확인할 때**: 처음 방문한 고객에게 필요한 정보를 빠짐없이 물어 예약까지 끝내는지 확인해요.
* **도구를 쓰는 긴 흐름을 확인할 때**: 예약을 조회한 뒤 변경까지 이어지는지 확인해요.

## 시나리오 테스트 만들기

**1. 평가 만들기**

왼쪽 메뉴 **평가**에서 **평가 만들기**를 누르고 **시나리오 테스트**를 고르세요. **이름**과 **설명**을 적으세요.

**2. 고객 시나리오 쓰기**

**평가 설정**의 **고객 시나리오**에 AI 고객이 어떤 사람이고 무엇을 하려는지 적으세요.

**3. 성공 기준 쓰기**

**성공 기준**에 대화가 끝났을 때 이뤄져 있어야 하는 결과를 적으세요. 채점은 이 기준으로 대화 전체를 봐요.

**4. 최대 대화 횟수 정하고 만들기**

**최대 대화 횟수**를 3\~30 사이에서 정하세요. 기본은 15예요. 횟수에 닿으면 대화가 끝나요. **만들기**를 누르세요.

**도구 응답**과 **동적 변수**는 [유닛 테스트](https://docs.tryvox.co/docs/evals/unit-test.md#도구-응답-정하기)와 같아요. 평가 실행은 [평가 실행하기](https://docs.tryvox.co/docs/evals/unit-test.md#평가-실행하기)를 따르세요.

실행 요금은 [채팅 요금](https://docs.tryvox.co/docs/start/pricing.md#채팅-요금)과 같은 단가로 계산해요. 에이전트 답변, 결과를 채점하는 AI, AI 고객이 쓴 토큰에는 모델 사용료가 붙어요. 오류로 끝난 실행은 요금을 받지 않아요.

## 고객 시나리오와 성공 기준 쓰기

고객 시나리오에는 고객의 상황, 목표, 행동을 적고, 에이전트가 해야 할 일은 적지 마세요. 성공 기준에는 확인할 수 있는 결과에 번호를 붙여 한 문장씩 적으세요.

```text theme={null}
고객 시나리오:
다음 주 화요일 오후 2시 예약이 있는 고객. 수요일로 바꿨다가 다시 목요일 오전으로 바꾸려 한다. 이름은 김하나, 전화번호는 010-1234-5678.

성공 기준:
1. 마지막으로 요청한 목요일 오전으로 예약을 확정한다.
2. 바뀐 날짜와 시각을 다시 말해 준다.
```

## 결과 읽기

**실행 이력**에서 실행을 열면 유닛 테스트와 같은 결과 시트가 열려요. 통과, 실패, 오류의 뜻은 [결과 읽기](https://docs.tryvox.co/docs/evals/unit-test.md#결과-읽기)와 같아요. 시나리오 테스트에서는 다음이 달라요.

* **최대 대화 횟수**: 그 실행에 쓴 횟수가 실행 정보에 함께 나와요.
* **평가 결과**: 대화 전체를 성공 기준으로 본 판정 이유가 나와요.
* **AI 고객과의 대화**: AI 고객과 에이전트가 나눈 대화가 이어져요. 도구 호출은 눌러서 **보낸 값**과 **응답**을 확인하세요.

![통과한 시나리오 테스트의 평가 결과와 AI 고객과의 대화](https://mintcdn.com/fleek/pKBx7alqYss0k1cl/images/screens/evals/scenario-test/result.webp?fit=max\&auto=format\&n=pKBx7alqYss0k1cl\&q=85\&s=003ee43930f62ff2ab9cc19e8a49040b)

## 문제가 생겼을 때

> [accordion] 성공 기준을 채우기 전에 대화가 끝나요
>
> **최대 대화 횟수**에 닿았을 수 있어요. 횟수를 늘리거나 시나리오를 더 짧은 대화로 줄이세요.

> [accordion] 같은 시나리오인데 결과가 달라요
>
> AI 고객이 매번 똑같이 말하지는 않아요. **반복 횟수**를 2나 3으로 올려 결과가 일정한지 보세요. 결과가 갈리면 고객 시나리오에 말투나 순서를 더 구체적으로 적으세요.

> [accordion] 대화는 괜찮아 보이는데 실패예요
>
> **평가 결과**의 이유를 읽고 성공 기준을 확인하세요. 기준이 여러 뜻으로 읽히면 채점이 갈려요. 확인할 수 있는 결과를 한 문장씩 적어 다시 실행하세요.

## 관련 문서

* [유닛 테스트](https://docs.tryvox.co/docs/evals/unit-test.md): 정해 둔 대화 다음 응답 하나 확인하기
* [에이전트 버전 관리](https://docs.tryvox.co/docs/build/versioning.md): 평가한 버전을 프로덕션에 지정하기
* [통화 기록](https://docs.tryvox.co/docs/operate/monitor/history.md): 실제 통화에서 문제가 된 대화 찾기


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.