Z-Test
Z-TEST — это такой статистический тест, который помогает понять, есть ли реально разница между двумя вариантами, а не просто пиздеж. Придумали его для
Z-TEST — это такой статистический тест, который помогает понять, есть ли реально разница между двумя вариантами, а не просто пиздеж. Придумали его для сравнения средних значений двух групп, но для нас, арбитражников, он чаще всего нужен для A/B тестов. Короче, с помощью Z-Test можно понять, работает ли один лендинг лучше другого, или это просто фарт.
Как это работает? Ну, ты запустил два креатива — A и B. На одном, допустим, CTR 10%, на другом 12%. Берешь эти цифры, считаешь Z-значение и смотришь p-value. Если p-value меньше 0.05, значит, разница не просто так — вариант B реально лучше. То есть ты не на уровне интуиции, а с цифрами в руках можешь сказать: "Вот, блять, это работает!"
Теперь о нюансах. Нельзя забывать, что для правильного Z-Test нужно, чтобы данные были нормально распределены и дисперсия известна. Лень это проверить? Можешь не париться, тогда тест может показать хрень вместо истины. Многие путаются и думают, что Z-Test — это универсальное решение для всех случаев. На самом деле, если у тебя маленькая выборка или не знаешь дисперсию, лучше взять что-то попроще, типа t-теста.
Так что, если ты собираешься делать выводы на основе Z-Test, лучше заранее убедись, что у тебя все данные в порядке, а не просто тычешь пальцем в небо.
Как это работает? Ну, ты запустил два креатива — A и B. На одном, допустим, CTR 10%, на другом 12%. Берешь эти цифры, считаешь Z-значение и смотришь p-value. Если p-value меньше 0.05, значит, разница не просто так — вариант B реально лучше. То есть ты не на уровне интуиции, а с цифрами в руках можешь сказать: "Вот, блять, это работает!"
Теперь о нюансах. Нельзя забывать, что для правильного Z-Test нужно, чтобы данные были нормально распределены и дисперсия известна. Лень это проверить? Можешь не париться, тогда тест может показать хрень вместо истины. Многие путаются и думают, что Z-Test — это универсальное решение для всех случаев. На самом деле, если у тебя маленькая выборка или не знаешь дисперсию, лучше взять что-то попроще, типа t-теста.
Так что, если ты собираешься делать выводы на основе Z-Test, лучше заранее убедись, что у тебя все данные в порядке, а не просто тычешь пальцем в небо.