Skip to main content
A/B 테스트는 한 번호로 오가는 통화를 여러 버전에 나눠요. 인바운드와 아웃바운드는 번호마다 따로 설정해요. 번호 상세 통화 설정의 인바운드 전화 에이전트, 아웃바운드 전화 에이전트와 A/B 테스트 설정 버튼

​
언제 사용하나요

  • 프롬프트를 고친 뒤 검증할 때: 기존 버전과 고친 버전에 통화를 나눠 실제 응대 결과를 비교하세요.
  • 서로 다른 에이전트를 비교할 때: 같은 워크스페이스의 에이전트를 그룹마다 고르고, 각 에이전트의 고정 버전으로 비교하세요.
  • 다음 버전을 조금씩 적용할 때: 다음 버전에 작은 비율을 주고, 결과를 본 뒤 비율을 높이세요.

​
A/B 테스트 설정하기

비교할 버전을 먼저 배포하세요. 방법은 에이전트 버전 관리에 있어요.
1

번호와 기본 에이전트 준비하기

전화번호에서 쓸 번호를 열고, 통화 설정에서 실험할 방향의 에이전트를 연결하세요. 실험을 끄면 이 에이전트와 버전으로 돌아가요.
2

통화 방향 고르기

수신 실험은 인바운드 전화 에이전트 옆 버튼을, 발신 실험은 아웃바운드 전화 에이전트 옆 버튼을 누르세요. 그 방향의 A/B 테스트 창이 열려요.
3

그룹과 버전 정하기

위쪽 스위치를 켜고 그룹 이름을 넣으세요. 그룹마다 에이전트와 고정 버전을 고르세요. 현재나 프로덕션 대신 v1, v2처럼 고정 버전을 골라야 해요. 같은 에이전트와 버전 조합은 두 번 쓸 수 없어요.
4

비율 정하고 적용하기

그룹은 2개 이상이어야 해요. 비율은 그룹마다 0%보다 크게, 합계는 100%로 맞추세요. 새 실험의 처음 비율은 90%와 10%예요. 적용을 누르면 실험이 저장돼요.
인바운드 A/B 테스트 창에서 주문 조회 상담 v1과 v2에 90%와 10%를 준 모습

​
통화에서 일어나는 일

한 번호로 걸려 온 통화가 설정한 비율에 따라 버전 A와 버전 B 에이전트로 나뉘는 모습
  • 통화마다 그룹을 배정해요. 설정한 비율에 따라 나누고, 순서대로 번갈아 연결하지 않아요. 통화 수가 적으면 실제 분포가 비율과 다를 수 있어요.
  • 바꾼 설정은 새 통화부터 적용돼요. 이미 그룹을 배정한 통화는 그 배정을 유지하고, 진행 중인 통화의 에이전트는 바뀌지 않아요.
  • v3 단건 API는 에이전트 지정 여부를 따라요. 요청에서 agent를 빼면 번호의 분배를 따르고, 직접 지정하면 A/B 테스트를 건너뛰어요.
  • 이미 만든 대량 발신에도 적용돼요. 발신할 때 활성 실험이 있으면 번호의 분배를 따르고, 대량 발신에 지정한 에이전트보다 앞서요.
그룹별 결과는 홈의 A/B 테스트 탭에서 비교하세요. 개별 녹음과 대화는 통화 기록에서 보세요.

​
실험을 멈추고 안정 버전으로 돌아가기

번호 상세에서 그 방향의 기본 에이전트와 돌아갈 안정 버전을 먼저 확인하세요. 그다음 A/B 테스트 창의 스위치를 끄고 적용을 누르세요. 그 뒤 새 통화는 기본 에이전트와 버전을 따라요.
화면에서는 한 그룹에 100%를 줄 수 없어요. 한 버전으로 되돌릴 때는 비율을 바꾸지 말고 실험을 끄세요.

​
문제가 생겼을 때

그룹 수와 비율 합계, 버전 선택을 확인하세요. 그룹마다 에이전트와 고정 버전 조합이 달라야 하고, 번호의 그 방향에 기본 에이전트가 먼저 연결돼 있어야 해요.
통화 방향과 요청의 에이전트 지정을 확인하세요. 단건 API에서 에이전트를 지정하면 실험을 건너뛰어요. 통화 수가 적으면 한 그룹에만 배정될 수도 있어요.
아웃바운드 실험을 끄거나 다른 발신번호를 고르세요. 대량 발신을 만들 때는 에이전트를 직접 지정하기 때문에, 활성 실험이 있는 번호에서는 새 대량 발신을 거절해요.

​
관련 문서