•
실제 사업의 성과를 고려해서 진행해야 된다.
실험 요약서
•
실험의 이름, 변수와 표적 고객을 비롯한 실험에 대한 설명
◦
예를 들어, 하나의 마케팅 채널에서 이루어진 실험이 모바일 사용자만을 대상으로 했는지 유료 구독자를 대상으로 했는지 등
•
진행한 실험의 유형
◦
제품 기능에 대한 실험인지, 마케팅 문구나 웹사이트 페이지, 모바일 앱의 화면 변화에 대한 실험인지, 시각 디자인에 관련된 실험인지 아니면 새로운 마케팅 기법을 채용한 실험 인지?
•
실험에 영향을 미친 요소들
◦
사이트나 모바일 앱의 화면 캡쳐, 특정한 옥외 광고판 광고, TV, 라디오 광고 등 실험의 시각 디자인 자료가 포함될 수도 있다.
•
핵심지표
◦
이 실험을 통해서 개선하려는 지표가 무엇인가?
•
실험시기
◦
시작 일자와 종료 일자, 요일을 포함한다.
•
실험에 대한 가설과 결과
◦
처음의 ICE 점수, 표본의 크기, 통계적 신뢰도, 통계적 검증력
•
교란의 가능성이 있는 문제
◦
실험이 진행된 시기 혹은 방문자의 행동을 왜곡시킬 만한 다른 판촉 활동이 있었는지 여부
•
도출된 결론
실험의 진행 규칙
1.
99%의 통계학적 신뢰 수준을 사용
2.
대조군이 항상 이긴다
•
새로운 변수의 실험 결과가 처음에는 모호하더라도 장기적으로는 결과가 안 좋게, 그것도 큰 비용이 드는 결고가 나올 수 있기 때문이다. 이런 식으로 생각하라. 찬반이 동수라면 그대로 둔다