Skip to main content

Documentation Index

Fetch the complete documentation index at: https://docs.tryvox.co/llms.txt

Use this file to discover all available pages before exploring further.

A/B 테스트

A/B 테스트는 한 전화번호의 통화를 여러 에이전트 버전으로 나눠 운영합니다. 새 버전은 일부 통화에만 먼저 적용하고, 실제 통화 결과를 보며 비율을 높입니다. 문제가 생기면 안정 버전으로 빠르게 되돌릴 수 있습니다.

사용할 때

  • 새 버전 검증: 새 프롬프트나 플로우를 실제 통화 일부에만 적용합니다.
  • 성과 비교: 두 버전의 전환율, 통화 시간, 종료 사유, 추출 결과를 비교합니다.
  • 점진적 배포: 10%에서 시작해 안정적으로 보이면 비율을 높입니다.
  • 빠른 롤백: 문제가 생기면 안정 버전 비율을 100%로 되돌립니다.

설정 위치

번호 관리에서 전화번호를 선택하면 상세 패널이 열립니다. 인바운드 콜 에이전트 또는 아웃바운드 콜 에이전트 옆의 A/B 테스트 설정 버튼을 사용합니다. 번호 상세 패널의 A/B 테스트 설정 버튼
인바운드와 아웃바운드는 따로 설정합니다. 인바운드 테스트는 들어오는 통화에, 아웃바운드 테스트는 해당 번호로 거는 통화에 적용됩니다.

설정 방법

1

전화번호 선택

번호 관리에서 테스트에 사용할 전화번호를 선택하세요. 오른쪽 상세 패널에서 에이전트 연결 영역을 확인합니다.
2

A/B 테스트 열기

인바운드 또는 아웃바운드 에이전트 선택 옆의 A/B 테스트 설정 버튼을 클릭합니다. 테스트할 통화 방향에 맞는 버튼을 사용하세요.
3

테스트 활성화

상단 스위치를 켜고 실험 그룹을 설정합니다. 최소 2개 그룹이 필요합니다.
4

버전과 비율 입력

각 그룹에 에이전트와 고정 버전을 선택합니다. 비율 합계는 100%여야 하며, 각 그룹은 0%보다 커야 합니다.
5

적용

적용을 클릭하면 새로 시작되는 통화부터 설정이 반영됩니다.
A/B 테스트 팝오버의 실험 그룹과 비율 설정

운영 기준

항목기준
실험 그룹최소 2개
버전 선택각 그룹에 고정 버전을 선택
비율전체 합계 100%
중복같은 에이전트와 버전 조합은 중복 불가
적용 시점새로 시작되는 통화부터 적용
진행 중인 통화에는 영향을 주지 않습니다. 설정 변경 후 새로 시작되는 통화부터 새 비율이 적용됩니다.

결과 확인

통화 기록에서 각 통화의 결과를 확인하세요. 분석에서는 통화량, 비용, 평균 통화 시간 같은 지표를 함께 볼 수 있습니다. 테스트를 운영할 때는 아래 지표를 비교하세요.
  • 통화 성공률과 미연결 사유
  • 평균 통화 시간
  • 사용자 감정과 통화 요약
  • 통화 정보 추출 결과
  • 통화당 비용
새 버전은 10%처럼 작은 비율로 시작하세요. 충분한 통화가 쌓인 뒤 성과가 안정적이면 비율을 높입니다.

아웃바운드 주의사항

아웃바운드 A/B 테스트를 사용하는 번호에서는 캠페인이나 API 요청에서 에이전트를 직접 고정하는 방식과 충돌할 수 있습니다. 한 번호에서 버전 실험을 운영할 때는 A/B 테스트 기준으로 연결할지, 요청마다 에이전트를 명시할지 하나로 정하세요.

관련 문서


A/B 테스트, AB 테스트, 번호별 테스트, 에이전트 버전 테스트, 점진적 배포, 롤백