Skip to main content
시나리오 테스트는 AI 고객이 정해 둔 시나리오대로 에이전트와 대화를 끝까지 나누는 평가예요. 에이전트가 먼저 말하고 AI 고객이 이어서 말한 뒤, 대화 전체가 성공 기준에 맞는지 확인해요. 시나리오 테스트 편집 화면의 평가 설정 카드에 적은 고객 시나리오, 성공 기준, 최대 대화 횟수 응답 하나만 확인하려면 유닛 테스트를 쓰세요.

​
언제 사용하나요

  • 고객이 마음을 바꾸는 대화를 확인할 때: 날짜를 두 번 바꾸는 고객에게도 마지막 요청대로 확정하는지 확인해요.
  • 불만이 있는 고객 응대를 확인할 때: 화가 난 고객의 취소 요청을 받아 주고 취소까지 처리하는지 확인해요.
  • 정보를 모으는 순서를 확인할 때: 처음 방문한 고객에게 필요한 정보를 빠짐없이 물어 예약까지 끝내는지 확인해요.
  • 도구를 쓰는 긴 흐름을 확인할 때: 예약을 조회한 뒤 변경까지 이어지는지 확인해요.

​
시나리오 테스트 만들기

1

평가 만들기

왼쪽 메뉴 평가에서 평가 만들기를 누르고 시나리오 테스트를 고르세요. 이름과 설명을 적으세요.
2

고객 시나리오 쓰기

평가 설정의 고객 시나리오에 AI 고객이 어떤 사람이고 무엇을 하려는지 적으세요.
3

성공 기준 쓰기

성공 기준에 대화가 끝났을 때 이뤄져 있어야 하는 결과를 적으세요. 채점은 이 기준으로 대화 전체를 봐요.
4

최대 대화 횟수 정하고 만들기

최대 대화 횟수를 3~30 사이에서 정하세요. 기본은 15예요. 횟수에 닿으면 대화가 끝나요. 만들기를 누르세요.
도구 응답과 동적 변수는 유닛 테스트와 같아요. 평가 실행은 평가 실행하기를 따르세요. 실행 요금은 채팅 요금과 같은 단가로 계산해요. 에이전트 답변, 결과를 채점하는 AI, AI 고객이 쓴 토큰에는 모델 사용료가 붙어요. 오류로 끝난 실행은 요금을 받지 않아요.

​
고객 시나리오와 성공 기준 쓰기

고객 시나리오에는 고객의 상황, 목표, 행동을 적고, 에이전트가 해야 할 일은 적지 마세요. 성공 기준에는 확인할 수 있는 결과에 번호를 붙여 한 문장씩 적으세요.

​
결과 읽기

실행 이력에서 실행을 열면 유닛 테스트와 같은 결과 시트가 열려요. 통과, 실패, 오류의 뜻은 결과 읽기와 같아요. 시나리오 테스트에서는 다음이 달라요.
  • 최대 대화 횟수: 그 실행에 쓴 횟수가 실행 정보에 함께 나와요.
  • 평가 결과: 대화 전체를 성공 기준으로 본 판정 이유가 나와요.
  • AI 고객과의 대화: AI 고객과 에이전트가 나눈 대화가 이어져요. 도구 호출은 눌러서 보낸 값과 응답을 확인하세요.
통과한 시나리오 테스트의 평가 결과와 AI 고객과의 대화

​
문제가 생겼을 때

최대 대화 횟수에 닿았을 수 있어요. 횟수를 늘리거나 시나리오를 더 짧은 대화로 줄이세요.
AI 고객이 매번 똑같이 말하지는 않아요. 반복 횟수를 2나 3으로 올려 결과가 일정한지 보세요. 결과가 갈리면 고객 시나리오에 말투나 순서를 더 구체적으로 적으세요.
평가 결과의 이유를 읽고 성공 기준을 확인하세요. 기준이 여러 뜻으로 읽히면 채점이 갈려요. 확인할 수 있는 결과를 한 문장씩 적어 다시 실행하세요.

​
관련 문서