Що таке помилка 1 типу в тесті AB?

Виникає помилка 1 типу коли ви помилково відхиляєте нульову гіпотезу, коли вона насправді вірна. У цьому випадку перевірки гіпотези ви можете зробити висновок про значущість між контролем і варіацією, якщо їх немає. Помилка типу 2 виникає, коли ви не можете відхилити нульову гіпотезу, коли вона є хибною.

Помилка I типу виникає, коли в дослідженні ми відкидаємо нульову гіпотезу та помилково заявляємо, що дослідження виявило значні відмінності, хоча різниці справді не було. Іншими словами, це еквівалентно тому, що групи або змінні відрізняються, хоча насправді вони не відрізняються або мають хибні позитивні результати.

Помилка типу II або неможливість відхилити, коли ви повинні були, виникає, коли випадково ваші докази показують, що A ≥ B. Ви б не витрачали ресурси на розгортання нової, ефективнішої версії вашого веб-сайту, хоча, насправді, це покращило б вашу конверсію.

Що таке помилки типу I та типу II? У статистиці, Помилка типу I означає відхилення нульової гіпотези, коли вона насправді вірна, тоді як помилка типу II означає неспроможність відхилити нульову гіпотезу, коли вона насправді хибна.

Помилка типу II одна з двох статистичних помилок, які можуть виникнути в результаті перевірки гіпотези. Помилка типу II (помилка типу 2) виникає, коли приймається хибна нульова гіпотеза, також відома як хибно негативна. Ця помилка відхиляє альтернативну гіпотезу, навіть якщо вона не випадкова.

Помилка типу 1 (помилковий результат) виникає, коли нульову гіпотезу неправильно відхилено, що свідчить про різницю там, де її немає. Під час A/B-тестування це може означати неправильний висновок про те, що нова функція ефективна, хоча це не так.