Testy A/B bez sprecyzowania czasu trwania

Podczas Google Webmaster Hangout John Mueller z Google odpowiedział na pytanie dotyczące czasu trwania testu A/B.

Pracownik Google sprecyzował, że nie ma minimalnego czasu trwania takiego testu. Nie ma także zaleceń dotyczących długości trwania testów A/B. Według niego kluczową kwestią jest obranie odpowiedniego celu do badań. Testy A/B powinny zakończyć się, gdy zostanie zebrana odpowiednia próbka danych testowych. Warto także, po skończonych testach, ponowić badania dla grupy kontrolnej w celu uzyskania bardziej pewnych wyników.

Dzięki prawidłowo przeprowadzonym testom możliwe jest sprawdzenie jak na dwa, różniące się warianty strony zareagują użytkownicy. Wersję A witryny przedstawiamy jednej grupie użytkowników, wersję B – innej. Na podstawie otrzymanych statystyk z zachowania użytkowników i konwersji można podjąć decyzję, która wersja serwisu powinna być wdrożona finalnie.

Testowaniu podlegają poszczególne elementy graficzne oraz pary takich składników. Dzięki testom A/B możliwa jest więc ocena, która wersja strony generuje więcej konwersji.