Skip to content
Skip to main content
DigiCalcs

Фінанси

A/B Test Калькулятор

A/B Test Statistical Significance

VARIANT A (Control)

VARIANT B (Test)

Що таке A/B Test Calculator?

▾

Калькулятор тестування A/B допомагає вам порівняти дві версії сторінки, електронної пошти, функції або потоку продукту, щоб визначити, чи один варіант перевершує інший більш ніж випадковим випадком. У командах, які займаються цифровими продуктами, навіть невелике підвищення коефіцієнта конверсії може призвести до значного прибутку або збільшення залученості, але самі по собі необроблені відсотки можуть ввести в оману. Якщо версія A конвертує 5,0%, а версія B конвертує 5,6%, різниця може відображати реальне покращення або це може бути просто шум, спричинений обмеженим трафіком. Цей калькулятор допомагає відповісти на цю невизначеність, поєднуючи підрахунок конверсій, кількість відвідувачів, зростання та перевірку значущості. Команди розвитку, маркетологи, менеджери з продуктів, дослідники UX та аналітики експериментів використовують його, щоб вирішити, чи внести зміни, продовжити тестування чи відхилити ідею. Говорячи простою мовою, калькулятор спочатку порівнює коефіцієнти перетворення, а потім оцінює, яка природна випадкова варіація очікувалася б, якби справжньої різниці не було. Якщо спостережуваний розрив набагато більший, ніж фонова варіація, результат, швидше за все, вважатиметься статистично значущим. Це не означає, що переможець гарантовано залишиться переможцем назавжди, і це не означає, що ефект достатньо великий, щоб мати комерційне значення. Це просто означає, що спостережувана різниця менш імовірно випадкова. Хороша практика експериментування все ще вимагає чіткої гіпотези, запланованого розміру вибірки, чистого розподілу трафіку та дисципліни щодо того, щоб не заглядати занадто рано чи вибирати показники після початку тесту.

DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.

Формула

▾
f(x)Коефіцієнт конверсії = конверсії / відвідувачі. Об’єднана пропорція p = (cA + cB) / (nA + nB). Стандартна похибка SE = sqrt[p x (1 - p) x (1/nA + 1/nB)]. Z-оцінка = (ставка B - швидкість A) / SE. Спрацьований приклад: якщо A має 50/1000 = 0,05, а B має 70/1000 = 0,07, загальне p = 120/2000 = 0,06. SE = sqrt [0,06 x 0,94 x (1/1000 + 1/1000)] = приблизно 0,0106. z = (0,07 - 0,05) / 0,0106 = приблизно 1,88.

Опис змінних

▾
СимволІм'яОдиницяОпис
Conversion rateРозраховується як конверсії—Розраховується як конверсії/відвідувачі, що є ключовим параметром у розрахунку ab test, який безпосередньо впливає на остаточний обчислений результат
Pooled proportion pРозраховано—Розраховується як (cA + cB) / (nA + nB), що є ключовим параметром у розрахунку ab test calc, який безпосередньо впливає на остаточний обчислений результат
Standard error SEОбчислюється як sqrt[p—Обчислюється як sqrt[p x (1 - p) x (1/nA + 1/nB)]
scoreРозраховано—Обчислюється як (rateB - rateA) / SE, який є ключовим параметром у розрахунку ab test calc, який безпосередньо впливає на остаточний обчислений результат
AЗагальна накопичена сума—Загальна накопичена сума або вартість ануїтету, яка є ключовим параметром у розрахунку ab test calc, який безпосередньо впливає на остаточний обчислений результат
xВхідна змінна—Вхідна змінна або невідома для розв’язання, яка є ключовим параметром у розрахунку ab test calc, який безпосередньо впливає на остаточний обчислений результат

Як A/B Test Calculator

▾
  1. 1Введіть кількість відвідувачів і конверсій для варіантів A та B.
  2. 2Калькулятор обчислює кожен коефіцієнт конверсії шляхом ділення конверсій на кількість відвідувачів.
  3. 3Потім він обчислює об’єднану пропорцію та стандартну похибку, яка використовується в двопропорційному z-тесті.
  4. 4Z-показник і p-значення генеруються, щоб оцінити, чи ймовірно, що різниця буде більшою, ніж випадкова варіація.
  5. 5Перегляньте як статистичну значущість, так і практичний приріст, тому що крихітний, але значний виграш може бути недостатнім для відправки.
  6. 6Використовуйте результат лише після досягнення запланованого розміру вибірки та тривалості тесту, оскільки передчасна зупинка може призвести до хибнопозитивних результатів.

Розв'язані приклади

▾
Приклад 1Чітка перемога з достатнім трафіком
Дано:A: 1000 відвідувачів, 50 переходів. B: 1000 відвідувачів, 70 переходів
Результат:A = 5,0%, B = 7,0%, z приблизно 1,84, межовий, але сильніший, ніж припускають лише вихідні показники

Відносний підйом: +40%. B виглядає краще, але остаточна інтерпретація залежить від точного налаштування тесту.

Цей сценарій демонструє значущий підйом, але значущість залежить від точних припущень і від того, чи планувала команда двостороннє чи одностороннє правило прийняття рішень. Калькулятор утримує це судження в порядку.

Приклад 2Маленька вибірка та забагато невизначеності
Дано:A: 200 відвідувачів, 10 переходів. B: 200 відвідувачів, 13 переходів
Результат:A = 5,0%, B = 6,5%, статистично незначущий

Невеликий розмір вибірки означає високу невизначеність

Незважаючи на те, що B виглядає краще, трафік занадто малий, щоб бути впевненим. Це одна з найпоширеніших причин, чому команди завищують результати тестів.

Приклад 3Великий тест з невеликим, але вірогідним підйомом
Дано:A: 50 000 відвідувачів, 2 500 переходів. B: 50 000 відвідувачів, 2 700 конверсій
Результат:A = 5,0%, B = 5,4%, ймовірно, статистично значущий із скромним практичним підйомом

Великі зразки полегшують виявлення невеликих відмінностей

Це протилежність проблеми низького трафіку. Невелике підвищення може стати статистично переконливим, коли вибірка достатньо велика.

Приклад 4Жодної істотної різниці
Дано:В: 8000 відвідувачів, 480 переходів. B: 8000 відвідувачів, 478 переходів
Результат:A = 6,0%, B = 5,98%, немає значущого підвищення та немає практичних причин для переходу

Майже нічийний результат

Коли ставки такі близькі, правильним рішенням часто буде зберегти простіший або безпечніший дизайн, якщо інша бізнес-причина не надає перевагу одному варіанту.

Практичне застосування

▾
🏗️

Оцінка цільової сторінки, оформлення замовлення та експерименти з ціноутворенням — цю програму зазвичай використовують професіонали, яким потрібен точний кількісний аналіз для підтримки прийняття рішень, складання бюджету та стратегічного планування у відповідних галузях.

🔬

Порівняння рядків тем електронних листів або творчих варіантів. Практики галузі покладаються на цей розрахунок для порівняння продуктивності, порівняння альтернатив і забезпечення відповідності встановленим стандартам і нормативним вимогам, допомагаючи аналітикам отримати точні результати, які підтримують стратегічне планування, розподіл ресурсів і порівняльний аналіз ефективності в організаціях.

📊

Підтримка рішень щодо випуску продукту за допомогою даних, а не інтуїції. Академічні дослідники та студенти використовують ці обчислення для перевірки теоретичних моделей, виконання курсових завдань і глибшого розуміння математичних принципів, що лежать в основі

🏥

Дослідники використовують обчислення ab test calc для обробки експериментальних даних, перевірки теоретичних моделей і генерування кількісних результатів для публікації в рецензованих дослідженнях, підтримуючи процеси оцінювання на основі даних, де чисельна точність є важливою для цілей відповідності, звітності та оптимізації

Особливі випадки

▾

Якщо ваш тест вимірює дохід або інший галасливий показник із довгими хвостами,

Якщо ваш тест вимірює дохід або інший галасливий показник із довгими хвостами, звичайне наближення може стати менш стабільним і може знадобитися надійніший метод аналізу. Зустрічаючись із цим сценарієм під час обчислень ab test calc, користувачі повинні переконатися, що їхні вхідні значення потрапляють у очікуваний діапазон, щоб формула дала значущі результати. Вхідні дані, що виходять за межі діапазону, можуть призвести до математично дійсних, але практично безглуздих вихідних даних, які не відображають реальних умов.

Якщо користувачі бачать обидва варіанти або трафік не є справді рандомізованим,

Якщо користувачі бачать обидва варіанти або трафік не є справді рандомізованим, припущення, що стоять за обчисленням значущості, руйнуються, і результат може бути необ’єктивним. Цей граничний випадок часто виникає в професійних застосуваннях тестового обчислення ab, де задіяні граничні умови або екстремальні значення. Практикуючі спеціалісти повинні задокументувати, коли ця ситуація виникає, і розглянути, чи є альтернативні методи розрахунку або коефіцієнти коригування більш прийнятними для їх конкретного випадку використання.

Від’ємні вхідні значення можуть або не можуть бути дійсними для обчислення тесту ab залежно від контексту домену.

Деякі формули приймають від’ємні числа (наприклад, температури, швидкості зміни), тоді як інші вимагають виключно позитивних вхідних даних. Користувачі повинні перевірити, чи їхній конкретний сценарій допускає від’ємні значення, перш ніж покладатися на результат. Професіонали, які працюють з ab test calc, повинні бути особливо уважними до цього сценарію, оскільки він може призвести до оманливих результатів, якщо не поводитися належним чином. Завжди перевіряйте граничні умови та перехресну перевірку незалежними методами, коли такий випадок виникає на практиці.

Загальні рівні впевненості та Z-показники

▾
Рівень впевненостіZ-Score (двосторонній)Значення
90%1.645Вища ймовірність хибного спрацьовування, ніж стандартна практика
95%1.960Загальний поріг експерименту
99%2.576Більш консервативне правило прийняття рішень
99,9%3.291Дуже високий поріг доказовості

Часті запитання

▾
Q

Що таке калькулятор тесту A/B?

A

Це інструмент, який порівнює два варіанти за допомогою даних конверсії та статистичного тесту. Це допомагає командам визначити, чи є спостережувана різниця реальним, а не випадковим шумом. На практиці ця концепція є центральною для ab test calc, оскільки вона визначає основний зв’язок між вхідними змінними. Розуміння цього допомагає користувачам точніше інтерпретувати результати та застосовувати їх до реальних ситуацій у конкретному контексті.

Q

Як обчислити значимість тесту A/B?

A

Загальний підхід використовує двопропорційний z-тест. Калькулятор поєднує коефіцієнти конверсії обох груп, розміри вибірки та об’єднану дисперсію, щоб оцінити z-показник і p-значення. Процес передбачає систематичне застосування основної формули до заданих вхідних даних. Кожна змінна в обчисленні впливає на кінцевий результат, і розуміння їх окремих ролей допомагає забезпечити точне застосування. Більшість професіоналів у цій галузі дотримуються покрокового підходу, перевіряючи проміжні результати перед тим, як прийти до остаточної відповіді.

Q

Який рівень впевненості я маю використовувати?

A

Багато команд використовують 95% впевненості за замовчуванням, але правильний поріг залежить від вартості рішення та культури експериментів. Рішення з високим ризиком можуть виправдати більш консервативний стандарт. Це важливе зауваження під час роботи з обчисленнями ab test calc у практичних застосуваннях. Відповідь залежить від конкретних вхідних значень і контексту, в якому застосовується обчислення.

Q

Чому великий підйом все ж може бути незначним?

A

Оскільки значущість залежить як від розміру ефекту, так і від розміру вибірки. Ефектний ліфт із крихітного зразка все ще може бути надто шумним, щоб йому довіряти. Це важливо, оскільки точні обчислення тесту ab безпосередньо впливають на прийняття рішень у професійному та особистому контексті. Без належного обчислення користувачі ризикують приймати рішення на основі неповного або неправильного кількісного аналізу. Галузеві стандарти та передовий досвід підкреслюють важливість точних розрахунків, щоб уникнути дорогих помилок.

Q

Чому крихітний підйом все ще може бути значним?

A

Оскільки дуже великі вибірки зменшують невизначеність. У цьому випадку результат може бути статистично переконливим, навіть якщо вплив на бізнес занадто малий, щоб мати значення. Це важливо, оскільки точні обчислення тесту ab безпосередньо впливають на прийняття рішень у професійному та особистому контексті. Без належного обчислення користувачі ризикують приймати рішення на основі неповного або неправильного кількісного аналізу. Галузеві стандарти та передовий досвід підкреслюють важливість точних розрахунків, щоб уникнути дорогих помилок.

Q

Яка найбільша помилка в тестуванні A/B?

A

Рання зупинка після повторного підглядання є однією з найбільших помилок, оскільки це збільшує кількість помилкових спрацьовувань. Погана рандомізація та перемикання показників у середині тесту також є поширеними проблемами. На практиці ця концепція є центральною для ab test calc, оскільки вона визначає основний зв’язок між вхідними змінними. Розуміння цього допомагає користувачам точніше інтерпретувати результати та застосовувати їх до реальних ситуацій у конкретному контексті.

Q

Коли мені слід повторити або продовжити тест?

A

Подовжте або повторно запустіть тест, якщо трафік занадто низький, результат межовий або проблеми з реалізацією могли зашкодити експерименту. Повторний тест може допомогти підтвердити стабільність підйому. Це стосується багатьох контекстів, де потрібно точно визначати значення розрахунку тесту ab. Загальні сценарії включають професійний аналіз, академічне навчання та особисте планування, де кількісна точність є важливою.

Поширені помилки

▾
  • !Використання неправильних або невідповідних одиниць для вхідних значень
  • !Забувши врахувати крайові випадки або граничні умови
  • !Округлення проміжних значень занадто рано в обчисленні
  • !Не перевіряється, що вхідні значення потрапляють у допустимі діапазони для обчислення тесту ab
💡

Порада профі

Виконуйте тести, доки не досягнете необхідного розміру вибірки, тому що перегляд і зупинка, коли діаграма виглядає добре, збільшує ризик помилкового виграшу.

⭐

Чи знаєте ви?

Математичні принципи, що лежать в основі ab test calc, мають практичне застосування в багатьох галузях і були вдосконалені протягом десятиліть реального використання.

Regional Guides

▾
🇺🇸 US▾
Використовує звичайні одиниці та стандарти США
🇬🇧 UK▾
Може використовувати метричні або британські стандарти
🇪🇺 EU▾
Дотримується конвенцій ЄС/СІ, де це можливо
📖Складність:Початківець
Лише для інформаційних цілей. Цей інструмент не є фінансовою рекомендацією. Проконсультуйтеся з кваліфікованим фінансовим консультантом перед прийняттям інвестиційних або фінансових рішень.
Deep Dive

Read the full guide on how to use this calculator effectively

Читати далі →
Accuracy-checked
Reviewed October 2026
Our methodology

Отримуйте щотижневі поради з математики

Приєднуйтеся до 12 000+ підписників, які щотижня отримують поради щодо калькулятора.

🔒
100% Безкоштовно
Без реєстрації
✓
Точно
Перевірені формули
⚡
Миттєво
Результати при введенні
📱
Мобільний
Всі пристрої

Налаштування