> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tryvox.co/llms.txt
> Use this file to discover all available pages before exploring further.

# A/B 테스트

> 한 전화번호에서 여러 에이전트 버전을 나눠 운영하고 실제 통화 결과를 비교하세요.

# A/B 테스트

A/B 테스트는 한 전화번호의 통화를 여러 에이전트 버전으로 나눠 운영합니다.
새 버전은 일부 통화에만 먼저 적용하고, 실제 통화 결과를 보며 비율을 높입니다.
문제가 생기면 안정 버전으로 빠르게 되돌릴 수 있습니다.

## 사용할 때

* **새 버전 검증**: 새 프롬프트나 플로우를 실제 통화 일부에만 적용합니다.
* **성과 비교**: 두 버전의 전환율, 통화 시간, 종료 사유, 추출 결과를 비교합니다.
* **점진적 배포**: 10%에서 시작해 안정적으로 보이면 비율을 높입니다.
* **빠른 롤백**: 문제가 생기면 안정 버전 비율을 100%로 되돌립니다.

## 설정 위치

번호 관리에서 전화번호를 선택하면 상세 패널이 열립니다.
**인바운드 콜 에이전트** 또는 **아웃바운드 콜 에이전트** 옆의 A/B 테스트 설정 버튼을 사용합니다.

<img src="https://mintcdn.com/fleek/BFLKU2fCoC1x5SXA/images/screens/operate/monitor/ab-testing-entry.jpg?fit=max&auto=format&n=BFLKU2fCoC1x5SXA&q=85&s=d943dc8598770dba4789042b1f1d562b" alt="번호 상세 패널의 A/B 테스트 설정 버튼" style={{ borderRadius: "0.5rem" }} width="1920" height="1080" data-path="images/screens/operate/monitor/ab-testing-entry.jpg" />

<Note>
  인바운드와 아웃바운드는 따로 설정합니다.
  인바운드 테스트는 들어오는 통화에, 아웃바운드 테스트는 해당 번호로 거는 통화에 적용됩니다.
</Note>

## 설정 방법

<Steps>
  <Step title="전화번호 선택">
    번호 관리에서 테스트에 사용할 전화번호를 선택하세요.
    오른쪽 상세 패널에서 에이전트 연결 영역을 확인합니다.
  </Step>

  <Step title="A/B 테스트 열기">
    인바운드 또는 아웃바운드 에이전트 선택 옆의 A/B 테스트 설정 버튼을 클릭합니다.
    테스트할 통화 방향에 맞는 버튼을 사용하세요.
  </Step>

  <Step title="테스트 활성화">
    상단 스위치를 켜고 실험 그룹을 설정합니다.
    최소 2개 그룹이 필요합니다.
  </Step>

  <Step title="버전과 비율 입력">
    각 그룹에 에이전트와 고정 버전을 선택합니다.
    비율 합계는 100%여야 하며, 각 그룹은 0%보다 커야 합니다.
  </Step>

  <Step title="적용">
    **적용**을 클릭하면 새로 시작되는 통화부터 설정이 반영됩니다.
  </Step>
</Steps>

<img src="https://mintcdn.com/fleek/BFLKU2fCoC1x5SXA/images/screens/operate/monitor/ab-testing-popover.jpg?fit=max&auto=format&n=BFLKU2fCoC1x5SXA&q=85&s=7350e3f635e0fddee86fd1291811b8f4" alt="A/B 테스트 팝오버의 실험 그룹과 비율 설정" style={{ borderRadius: "0.5rem" }} width="1920" height="1080" data-path="images/screens/operate/monitor/ab-testing-popover.jpg" />

## 운영 기준

| 항목    | 기준                    |
| ----- | --------------------- |
| 실험 그룹 | 최소 2개                 |
| 버전 선택 | 각 그룹에 고정 버전을 선택       |
| 비율    | 전체 합계 100%            |
| 중복    | 같은 에이전트와 버전 조합은 중복 불가 |
| 적용 시점 | 새로 시작되는 통화부터 적용       |

<Warning>
  진행 중인 통화에는 영향을 주지 않습니다.
  설정 변경 후 새로 시작되는 통화부터 새 비율이 적용됩니다.
</Warning>

## 결과 확인

[통화 기록](/docs/operate/monitor/history)에서 각 통화의 결과를 확인하세요.
[분석](/docs/operate/monitor/analytics)에서는 통화량, 비용, 평균 통화 시간 같은 지표를 함께 볼 수 있습니다.

테스트를 운영할 때는 아래 지표를 비교하세요.

* 통화 성공률과 미연결 사유
* 평균 통화 시간
* 사용자 감정과 통화 요약
* 통화 정보 추출 결과
* 통화당 비용

<Tip>
  새 버전은 10%처럼 작은 비율로 시작하세요.
  충분한 통화가 쌓인 뒤 성과가 안정적이면 비율을 높입니다.
</Tip>

## 아웃바운드 주의사항

아웃바운드 A/B 테스트를 사용하는 번호에서는 캠페인이나 API 요청에서 에이전트를 직접 고정하는 방식과 충돌할 수 있습니다.
한 번호에서 버전 실험을 운영할 때는 A/B 테스트 기준으로 연결할지, 요청마다 에이전트를 명시할지 하나로 정하세요.

## 관련 문서

* [에이전트 버전 관리](/docs/build/versioning) — 버전 생성, 프로덕션 지정, 롤백
* [전화번호](/docs/operate/deploy/phone-numbers) — 번호별 에이전트 연결
* [통화 기록](/docs/operate/monitor/history) — 테스트 결과 확인
* [분석](/docs/operate/monitor/analytics) — 통화 지표 비교

***

<Accordion title="연관 검색어">
  A/B 테스트, AB 테스트, 번호별 테스트, 에이전트 버전 테스트, 점진적 배포, 롤백
</Accordion>