마케터들에게 캠페인 전환의 최적화를 위한 기본은 “테스팅”이라고 할 수 있습니다. 하나의 캠페인을 운영하더라도 실험할 수 있는 요소는 무궁무진하며 어떤 것이 가장 유저를 사로잡고 반응하게 만들지 실험하기 전까지는 알 수 없습니다. 따라서 전환율 최적화의 탄탄한 기반은 깊이 있는 인사이트를 얻을 수 있는 효과적인 실험 설계입니다.
테스팅에는 크게 A/B Testing 과 Multivariate Testing 이 있습니다. 실험을 하고자 하지만 막상 어떤 유형의 테스트를 어떻게 진행해야 하는지 의문을 가지는 마케터들이 많습니다.
‘둘 다 똑같은 변수 테스트 아니야?’
‘Variant가 A, B 말고 C, D… 더 있으면 그게 Multivariate Testing 아니야?’
이 두 가지 테스팅 전략은 어떻게 다른지, 우리가 얻고자 하는 깊이 있는 통찰력을 가져다 줄 올바른 테스팅 선택은 무엇인지! 함께 살펴보아요!
A/B 테스팅이란?
이미지 출처 : Braze
A/B Testing은 캠페인 변수를 하나만 테스트합니다. 동일한 목적의 캠페인에 변수를 한 가지만 두고, 기존의 A 버전(대조군)과 변수에 변화를 준 B 버전(실험군)을 테스트하여 전환율이 좋은 버전을 찾는 최적화 방법입니다. A, B에 각각 균등하게 사용자를 할당하고 성능을 비교하여 어떤 버전이 전환에 더 효과적인지 측정합니다. A/B 테스팅을 진행할 변수로 이미지, 버튼 텍스트, 카피 문구 소재 등 다양한 것을 선정하여 테스트할 수 있습니다.
- 예시 : CTA 텍스트를 원본(A)과 변형(B)으로 나누어 어떤 CTA 메시지가 클릭률이 높은지 측정
A/B/n 테스팅
이미지 출처 : ConversionXL
A/B/n Testing은 2개 이상의 다른 버전을 활용하여 A/B 테스팅하는 방법입니다. 여기서 “n”은 추가 테스팅을 의미합니다. A/B Testing 과 마찬가지로 동일한 목적의 캠페인에 변수를 한 가지만 두고 실험하지만, A/B Testing 과는 다르게 기존의 A 버전 (대조군)과 두 개 이상의 실험군(B, C, …)을 두고 테스트합니다.
A/B 테스팅을 계획할 때 주의해야 할 5가지 사항
A/B 테스팅은 간단해 보일 수 있지만 올바른 결과를 얻으려면 테스팅을 신중하게 계획해야 합니다. 그러기 위해 필요한 5가지 사항은 아래와 같습니다.
- 테스팅하는 버전은 동시에 나와야 합니다. 시간은 테스트 결과에 영향을 줍니다. (계절성을 피하기 위함)
- 변수는 오로지 하나만 두어야 합니다. 버전 간에는 한 번에 하나의 차이만 두고 실험해야 다른 영향은 배제할 수 있습니다.
- 테스팅 모수는 충분해야 합니다. 통계적으로 유의미한 결과를 얻기 위해서는 충분한 샘플이 필요합니다.
- 전환으로 측정하는 항목이 적절해야 합니다. 테스팅의 궁극적인 목적에 맞게 측정 항목을 선정해야 합니다.
- 여러가지 A/B 테스트를 실행하는 경우 대조군(Control ) 버전도 정의해야 합니다.
Multivariate 테스팅이란?
이미지 출처 : Braze
Multivariate Testing은 단일 캠페인 또는 메시지 내에서 변수 조합을 테스트합니다. 다변량 테스트는 최소 2개의 변수의 서로 다른 조합을 활용하여 실험하므로 비교적 짧은 기간 동안 더 다양한 변수를 테스팅할 수 있습니다. 다양한 아이디어를 실험하는 초기 단계에 유용한 테스팅 방법입니다.
Multivariate Testing은 A/B Testing과 매우 유사하지만 단일 요소가 아닌 여러 요소를 한 번에 비교할 수 있다는 것에 가장 큰 차이가 있습니다. A/B 테스팅에서는 이미지, 문구 소재, 버튼 위치 중에서 한 가지 요소만 선택하여 테스트한다면, Multivariate 테스팅에서는 세 가지 모든 요소를 조합하여 동시에 테스트가 가능합니다.
언급한 세 가지 요소에 대해서는 각각 2개의 변형이 있다면 테스팅 가능합 조합은 (이미지 변형 수) x (문구 소재 변형 수) x (버튼 위치 변형 수) = (총 변형 수) 로 총 8가지(2 x 2 x 2) 입니다. 이렇게 다변량 테스팅은 2개 이상의 변수를 조합하여 실험하기 때문에 서로 다른 변수가 서로 상호 작용하는 방식에 대한 통찰력을 제공할 수 있습니다.
- 예시 : 웹 페이지의 텍스트와 시각적 요소를 함께 테스팅하여 어떤 조합이 가장 효과적인지 측정
- 예시 : CTA 텍스트와 색상을 함께 테스팅하여 어떤 조합이 가장 효과적인지 측정
Multivariate 테스팅의 유형
다변량 테스팅에는 가장 일반적으로 사용되는 3가지 유형이 있습니다.
- Full Factorial Testing : Multivariate 테스팅의 가장 일반적인 유형으로 가능한 모든 변형의 조합으로 테스팅합니다.
- Fractional Testing : 부분 요인 테스트로 가능한 변형 조합의 일부만 테스팅합니다. 나머지 조합은 통계적 수학 계산을 사용합니다.
- Adaptive Multivariate Testing : Multivariate 테스팅의 다른 접근 방식으로 페이지 방문 유저의 실시간 응답을 분석하여 가장 전환율이 높은 요소 변형이 있는 버전을 선정합니다.
A/B Testing 과 Multivariate Testing의 장단점
A/B 테스트
[장점]
- 테스팅 설계와 수행이 비교적 간단합니다.
- 캠페인 전략과 관련해 의문스러운 한 가지 아이디어가 있을 때 그 의문점을 해결하는 데 도움이 됩니다.
- 다변량 테스트에 비해 더 작은 샘플로 통계적으로 유의한 결과를 도출할 수 있습니다.
- 쉽게 해석하고 구현이 가능한 간단한 결과를 제공합니다.
[단점]
- 단일 변수 및 해당 변수의 몇 가지 변형으로 제한됩니다. (보통 2개의 변형)
- 동일한 캠페인 내에서 여러 변수 간의 상호 작용을 볼 수 없습니다.
Multivariate 테스트
[장점]
- 여러 변수 간의 상호 작용에 대한 통찰력을 제공합니다.
- 성과에 영향을 미치는 캠페인 요소에 대한 디테일한 이미지를 그릴 수 있습니다.
- 캠페인의 다양한 버전을 비교할 수 있습니다.
[단점]
- 일반적으로는 A/B 테스트보다 많은 트래픽이 필요합니다.
- 트래픽이 많은 캠페인의 경우 너무 많은 조합으로 관리가 불가능한 경우가 있습니다.
- 테스팅을 시작하고 진행하는 데 상대적으로 더 많은 시간이 소요될 수 있습니다.
- A/B 테스트로 충분한데 과잉 사용할 수 있습니다.
올바른 테스트 전략을 선택하는 방법?
이미지 출처 : APPTIMIZE
A/B Testing 과 Multivariate Testing은 각각 장단점이 다르기에 어느 것을 사용할지는 필요에 따라 다릅니다. 두 가지 테스팅 전략 중 어떤 것을 선택할지 또는 둘 다 조합하여 활용할지 여부는 제품의 성숙도, 유저 리소스 등 여러 요인에 따라 달라지며, 알맞은 전략을 선택하여 보다 더 깊이 있고 의미 있는 결과를 도출해 나가는 것이 중요합니다.
A/B 테스트는 한 번의 실험에 하나의 변수만 가지고 테스팅하기 때문에 특정 변수의 가장 최적화된 버전을 찾을 가능성이 높습니다. 따라서 현재 상태에서 더 나은 전환율을 위해 수정하고 싶다면 한 가지 변수를 가지고 A/B 테스팅을 진행하여 해당 변수의 가장 최적의 버전을 찾아가는 것이 좋습니다. 다만, 이러한 전략은 제품 전체의 최대 값을 찾는 데에는 크게 효과적이지 못할 수 있습니다. 서로 다른 요소가 전환에 영향을 줄 수 있기 때문입니다. 예를 들어 요소A의 버전1 ,버전2 A/B Testing에서는 버전1이 더 높은 전환을 보였지만 요소B의 버전을 함께 바꾼다면 그 반대의 결과를 보일 수 있습니다. 따라서 전면적인 재설계 후에 완전히 새롭게 구성하고 싶다면 Multivariate 테스팅을 통해 여러가지 변수를 다양하게 조합하여 여러 요소가 서로에게 미치는 영향을 포괄적으로 포함하도록 하는 것이 전체적인 최적화에 도움이 됩니다.
테스트 전략에 따라 이러한 차이가 있기 때문에 어느 정도 적합성을 찾아가고 있는 캠페인과 신규 캠페인에 따라 다르게 테스트 전략을 선택할 수 있습니다. 어느 정도 적합성을 찾은 캠페인의 후기 단계의 경우에는 특정 요소의 A/B 테스팅을 통해 최적화를 해나가는 것이 효과적이고, 신규 캠페인의 초기 단계의 경우에는 여러가지 요소를 조합하여 Multivariate 테스팅을 통해 빠르게 적합성을 찾아 나가는 것이 효과적입니다.
다만, 가장 중요한 것은 이러한 테스팅은 딱 한 번만 수행되는 것이 아니라는 점에 유의하는 것입니다. 캠페인의 최적화된 전환율을 위해서는 테스팅을 반복하여 지속적인 개선이 필요합니다. A/B Testing과 Multivariate Testing은 서로의 장단점을 보완하는 전략으로, 상황에 맞게 각 테스트 전략을 활용하여 지속적인 테스팅 프로세스를 만들어 가는 것이 최적화된 전환율을 찾아가는 핵심 전략입니다!
NNT는 전환율 최적화를 위해 다양한 테스팅 전략을 활용하고 있습니다!
