A/B Test 기본 개념

개념

원본과 대안을 같은 기간 동안 비교 후 어떤 대안이 더 좋은 결과를 도출하는지 판단하는 방법

왜 필요할까?

데이터 기반 의사 결정을 통해 합리적인 결정을 할 수 있음. 아이디어를 검증 할 수 있어 올바른 방향으로 가고 있는지 확인이 가능

외부 요인으로 인하여 전/후 비교로는 영향력을 확인하지 못할 수 있다.

외부 요인 예) 명절, 마케팅, 날씨 등등

Jeff Bezos, Amazon

Our success at Amazon is a function of how many experiments we do per year, per month, per week, per day.

If you double the number of experiments you do per year you're going to double your inventiveness.

방법

테스트할 대상 선정

작은것부터 시작하는 것이 좋다.

ex) 버튼 색상 변경, 양식의 불필요한 필드 삭제

가설 세우기

문제 파악 후 변경할 수 있는것에 대하여 데이터로 뒷받침된 가설을 만듬

가설은 대부분 실패하기 때문에 테스트를 통해 검증 하는 과정이 필수

구글, MS 10~20%

Booking.com 10%

목표 설정

목표 설정은 대안을 측정할수 있는 데이터로 구성되어야 한다.

예) 페이지뷰, 구독, 가입, 수익 및 전환

사용자 분배

대안 개수에 따라 N등분 할 수 있거나 특정 대안에 가중치를 더 줄 수 있다.

타케팅 하여 특정 유저대상으로 테스트가 가능해야한다.

데이터 수집/계산

보통 2주동안 진행되거나 어느 특정 대안이 목표의 95%를 달성했을 경우 종료된다.

마무리

아래의 링크¹를 간략하게 정리한 글입니다.