Skip to content
Skip to main content
DigiCalcs

Финансы

A/B Test Калькулятор

Статистическая значимость A/B-теста

VARIANT A (Control)

VARIANT B (Test)

Что такое A/B Test Calculator?

▾

Калькулятор A/B-теста поможет вам сравнить две версии страницы, электронного письма, функции или потока продукта, чтобы увидеть, превосходит ли один вариант другой по более чем случайной случайности. В командах, занимающихся цифровыми продуктами, даже небольшое увеличение коэффициента конверсии может привести к значительному увеличению доходов или вовлеченности, но одни лишь приблизительные проценты могут вводить в заблуждение. Если версия A конвертирует 5,0%, а версия B — 5,6%, разница может отражать реальное улучшение или это может быть просто шум, вызванный ограниченным трафиком. Этот калькулятор помогает ответить на эту неопределенность, объединяя количество конверсий, количество посетителей, рост и тест значимости. Команды роста, маркетологи, менеджеры по продуктам, UX-исследователи и аналитики-экспериментаторы используют его, чтобы решить, следует ли вносить изменения, продолжать тестирование или отклонять идею. Проще говоря, калькулятор сначала сравнивает коэффициенты конверсии, а затем оценивает, какой естественной случайной вариации можно было бы ожидать, если бы реальной разницы не было. Если наблюдаемый разрыв намного превышает фоновое изменение, результат с большей вероятностью будет считаться статистически значимым. Это не означает, что победитель гарантированно останется победителем навсегда, и это не означает, что эффект достаточно велик, чтобы иметь коммерческое значение. Это просто означает, что наблюдаемая разница с меньшей вероятностью будет случайной. Хорошая практика экспериментирования по-прежнему требует четкой гипотезы, запланированного размера выборки, четкого распределения трафика и дисциплины, позволяющей не заглядывать слишком рано и не выбирать показатели после начала теста.

DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.

Формула

▾
f(x)Коэффициент конверсии = конверсии/посетители. Объединенная пропорция p = (cA + cB) / (nA + nB). Стандартная ошибка SE = sqrt[p x (1 - p) x (1/nA + 1/nB)]. Z-показатель = (рейтB – рейтингА)/SE. Рабочий пример: если у A 50/1000 = 0,05, а у B 70/1000 = 0,07, объединенное p = 120/2000 = 0,06. SE = sqrt[0,06 х 0,94 х (1/1000 + 1/1000)] = около 0,0106. z = (0,07 – 0,05)/0,0106 = около 1,88.

Описание переменных

▾
СимволИмяЕдиницаОписание
Conversion rateРассчитывается как конверсии—Рассчитывается как конверсии/посетители, что является ключевым параметром в расчете ab-теста, который напрямую влияет на конечный расчетный результат.
Pooled proportion pРассчитано—Рассчитывается как (cA + cB) / (nA + nB), что является ключевым параметром в расчете теста ab, который напрямую влияет на окончательный расчетный результат.
Standard error SEРассчитывается как sqrt[p—Рассчитывается как sqrt[p x (1 - p) x (1/nA + 1/nB)]
scoreРассчитано—Рассчитывается как (rateB -rateA)/SE, что является ключевым параметром в расчете теста ab, который напрямую влияет на окончательный расчетный результат.
AОбщая накопленная сумма—Общая накопленная сумма или стоимость аннуитета, которая является ключевым параметром в расчете теста ab, который напрямую влияет на окончательный расчетный результат.
xВходная переменная—Входная переменная или неизвестная переменная для расчета, которая является ключевым параметром в расчете теста ab, который напрямую влияет на конечный расчетный результат.

Как A/B Test Calculator

▾
  1. 1Введите количество посетителей и конверсий для варианта А и варианта Б.
  2. 2Калькулятор рассчитывает каждый коэффициент конверсии путем деления конверсий на количество посетителей.
  3. 3Затем он вычисляет объединенную пропорцию и стандартную ошибку, используемые в двухпропорциональном z-тесте.
  4. 4Z-показатель и значение p генерируются, чтобы оценить, будет ли разница более чем случайной вариацией.
  5. 5Рассмотрите как статистическую значимость, так и практическую выгоду, поскольку крошечная, но значительная победа может оказаться недостаточно значимой для реализации.
  6. 6Используйте результат только после достижения запланированного размера выборки и продолжительности теста, поскольку ранняя остановка может привести к увеличению ложноположительных результатов.

Решённые примеры

▾
Пример 1Чистая победа при достаточном трафике
Дано:О: 1000 посетителей, 50 конверсий. Б: 1000 посетителей, 70 конверсий.
Результат:A = 5,0%, B = 7,0%, z около 1,84, пограничный, но выше, чем предполагают одни только исходные показатели.

Относительный подъем: +40%. B выглядит лучше, но окончательная интерпретация зависит от конкретной тестовой установки.

Этот сценарий показывает значительный рост, но значимость зависит от точных предположений и от того, запланировала ли команда двустороннее или одностороннее правило принятия решения. Калькулятор дисциплинирует это суждение.

Пример 2Маленькая выборка и слишком большая неопределенность
Дано:О: 200 посетителей, 10 конверсий. Б: 200 посетителей, 13 конверсий.
Результат:А = 5,0%, В = 6,5%, статистически не значимо.

Небольшой размер выборки означает высокую неопределенность

Несмотря на то, что B выглядит лучше, трафик слишком мал, чтобы быть уверенным. Это одна из наиболее частых причин, по которой команды завышают результаты тестов.

Пример 3Большой тест с небольшим, но достоверным подъемом
Дано:О: 50 000 посетителей, 2500 конверсий. Б: 50 000 посетителей, 2700 конверсий.
Результат:A = 5,0%, B = 5,4%, вероятно, статистически значимо со скромным практическим эффектом.

Большие выборки облегчают обнаружение небольших различий

Это противоположность проблеме низкого трафика. Небольшой подъем может стать статистически убедительным, если выборка достаточно велика.

Пример 4Никакой значимой разницы
Дано:О: 8000 посетителей, 480 конверсий. Б: 8000 посетителей, 478 конверсий.
Результат:A = 6,0%, B = 5,98%, значимого подъема нет и практической причины для перехода нет.

Близкий результат

Когда ставки настолько близки, правильным решением часто является сохранение более простой или безопасной схемы, если только другая экономическая причина не благоприятствует одному варианту.

Практическое применение

▾
🏗️

Оценка экспериментов по целевой странице, оформлению заказа и ценообразованию. Это приложение обычно используется профессионалами, которым необходим точный количественный анализ для поддержки принятия решений, составления бюджета и стратегического планирования в своих областях.

🔬

Сравнение тем электронных писем или творческих вариантов. Специалисты отрасли полагаются на этот расчет для оценки производительности, сравнения альтернатив и обеспечения соответствия установленным стандартам и нормативным требованиям, помогая аналитикам получать точные результаты, которые поддерживают стратегическое планирование, распределение ресурсов и сравнение производительности в организациях.

📊

Поддержка решений о выпуске продукта с помощью данных, а не только интуиции. Академические исследователи и студенты используют эти вычисления для проверки теоретических моделей, выполнения курсовых заданий и более глубокого понимания основных математических принципов.

🏥

Исследователи используют вычисления ab test для обработки экспериментальных данных, проверки теоретических моделей и получения количественных результатов для публикации в рецензируемых исследованиях, поддерживая процессы оценки на основе данных, где числовая точность важна для обеспечения соответствия, отчетности и целей оптимизации.

Особые случаи

▾

Если ваш тест измеряет доход или другой зашумленный показатель с длинными хвостами,

Если ваш тест измеряет доход или другой зашумленный показатель с длинными хвостами, нормальное приближение может стать менее стабильным и может потребоваться более надежный метод анализа. Столкнувшись с этим сценарием в расчетах ab test, пользователи должны убедиться, что их входные значения попадают в ожидаемый диапазон, чтобы формула давала значимые результаты. Входные данные, выходящие за пределы допустимого диапазона, могут привести к математически обоснованным, но практически бессмысленным результатам, которые не отражают реальные условия.

Если пользователи видят оба варианта или трафик не является действительно рандомизированным,

Если пользователи видят оба варианта или трафик не является действительно рандомизированным, предположения, лежащие в основе расчета значимости, не работают, и результат может быть необъективным. Этот крайний случай часто возникает в профессиональных приложениях расчета ab test, где задействованы граничные условия или экстремальные значения. Практикующие специалисты должны документировать случаи возникновения такой ситуации и учитывать, являются ли альтернативные методы расчета или поправочные коэффициенты более подходящими для их конкретного случая использования.

Отрицательные входные значения могут быть действительными или недопустимыми для расчета теста ab в зависимости от контекста предметной области.

Некоторые формулы принимают отрицательные числа (например, температуру, скорость изменения), тогда как другие требуют строго положительных входных данных. Пользователи должны проверить, допускает ли их конкретный сценарий отрицательные значения, прежде чем полагаться на выходные данные. Профессионалы, работающие с расчетом ab test, должны быть особенно внимательны к этому сценарию, поскольку при неправильном обращении он может привести к ошибочным результатам. Всегда проверяйте граничные условия и перекрестно проверяйте их независимыми методами, когда такой случай возникает на практике.

Общие уровни уверенности и Z-показатели

▾
Уровень уверенностиZ-показатель (двусторонний)Значение
90%1.645Более высокий шанс ложноположительного результата, чем стандартная практика
95%1.960Общий порог экспериментирования
99%2.576Более консервативное правило принятия решений
99,9%3.291Очень высокий порог доказательности

Часто задаваемые вопросы

▾
Q

Что такое калькулятор A/B-тестов?

A

Это инструмент, который сравнивает два варианта с использованием данных о конверсиях и статистического теста. Это помогает командам оценить, является ли наблюдаемая разница реальной, а не случайным шумом. На практике эта концепция занимает центральное место в расчете теста ab, поскольку она определяет основные взаимосвязи между входными переменными. Понимание этого помогает пользователям более точно интерпретировать результаты и применять их к реальным сценариям в их конкретном контексте.

Q

Как рассчитать значимость A/B-теста?

A

Распространенный подход использует двухпропорциональный z-тест. Калькулятор объединяет коэффициенты конверсии обеих групп, размеры выборки и объединенную дисперсию для оценки z-показателя и p-значения. Этот процесс включает систематическое применение базовой формулы к заданным входным данным. Каждая переменная в расчете влияет на конечный результат, а понимание их индивидуальной роли помогает обеспечить точное применение. Большинство профессионалов в этой области придерживаются поэтапного подхода, проверяя промежуточные результаты, прежде чем прийти к окончательному ответу.

Q

Какой уровень доверия мне следует использовать?

A

Многие команды используют 95%-ную уверенность по умолчанию, но правильный порог зависит от стоимости решения и культуры экспериментирования. Решения с высоким уровнем риска могут оправдать более консервативный стандарт. Это важное соображение при работе с расчетами ab test в практических приложениях. Ответ зависит от конкретных входных значений и контекста, в котором применяются вычисления.

Q

Почему большой подъем может оказаться незначительным?

A

Потому что значимость зависит как от размера эффекта, так и от размера выборки. Драматически выглядящий подъем крошечной выборки может оказаться слишком шумным, чтобы ему можно было доверять. Это важно, поскольку точные расчеты результатов теста на пресс напрямую влияют на принятие решений в профессиональном и личном контексте. Без надлежащего расчета пользователи рискуют принять решения на основе неполного или неправильного количественного анализа. Отраслевые стандарты и передовой опыт подчеркивают важность точных расчетов во избежание дорогостоящих ошибок.

Q

Почему даже небольшой подъем может оказаться значительным?

A

Потому что очень большие выборки уменьшают неопределенность. В этом случае результат может быть статистически убедительным, даже если влияние на бизнес слишком незначительно, чтобы иметь значение. Это важно, поскольку точные расчеты результатов теста на пресс напрямую влияют на принятие решений в профессиональном и личном контексте. Без надлежащего расчета пользователи рискуют принять решения на основе неполного или неправильного количественного анализа. Отраслевые стандарты и передовой опыт подчеркивают важность точных расчетов во избежание дорогостоящих ошибок.

Q

Какая самая большая ошибка в A/B-тестировании?

A

Ранняя остановка после повторного просмотра — одна из самых больших ошибок, поскольку увеличивает количество ложных срабатываний. Плохая рандомизация и переключение показателей в середине теста также являются распространенными проблемами. На практике эта концепция занимает центральное место в расчете теста ab, поскольку она определяет основные взаимосвязи между входными переменными. Понимание этого помогает пользователям более точно интерпретировать результаты и применять их к реальным сценариям в их конкретном контексте.

Q

Когда мне следует повторно запустить или продлить тест?

A

Продлите или повторно запустите тест, если трафик слишком низкий, результат находится на пограничном уровне или проблемы с реализацией могут испортить эксперимент. Повторение теста может помочь убедиться в устойчивости подъемника. Это применимо во многих контекстах, где расчетные значения теста ab должны быть определены с точностью. Общие сценарии включают профессиональный анализ, академическое обучение и личное планирование, где важна количественная точность.

Распространённые ошибки

▾
  • !Использование неправильных или несовпадающих единиц измерения для входных значений.
  • !Забывание учитывать крайние случаи или граничные условия
  • !Округление промежуточных значений слишком рано в расчете
  • !Не проверка того, что входные значения находятся в допустимых диапазонах для расчета теста ab.
💡

Совет профессионала

Запускайте тесты до тех пор, пока не достигнете необходимого размера выборки, поскольку просмотр и остановка, когда график выглядит хорошо, увеличивает риск ложного выигрыша.

⭐

Знаете ли вы?

Математические принципы, лежащие в основе расчета ab test, имеют практическое применение во многих отраслях и были усовершенствованы за десятилетия реального использования.

Regional Guides

▾
🇺🇸 US▾
Использует общепринятые единицы измерения и стандарты США.
🇬🇧 UK▾
Можно использовать метрические или британские стандарты.
🇪🇺 EU▾
Соответствует конвенциям ЕС/SI, где это применимо.
📖Сложность:Начинающий
Только в информационных целях. Этот инструмент не является финансовой рекомендацией. Проконсультируйтесь с квалифицированным финансовым консультантом перед принятием инвестиционных или финансовых решений.
Accuracy-checked
Reviewed October 2026
Our methodology

Получайте еженедельные советы по математике

Присоединяйтесь к подписчикам 12 000+, которые каждую неделю получают советы по калькулятору.

🔒
100% Бесплатно
Без регистрации
✓
Точный
Проверенные формулы
⚡
Мгновенный
Результаты сразу
📱
Мобильный
Все устройства

Настройки