Задача по бизнес применению машинного обучения

Маркетинговые агенства хотят проводить успешные рекламные кампании, но рынок сложен, что требует оценивать эффективности разных вариантов, что обуславливает необходимость проведения АБ-тестирования.<br><br><strong>Компании заинтересованы в ответах на два вопроса:</strong><br><br><ol><li>Будет ли кампания успешной?</li><li>Если кампания была успешной, насколько этот успех можно объяснить рекламой?</li></ol>Чтобы ответить на второй вопрос, мы обычно проводим A/B тестирование.<br><br>Большинство людей будут видеть рекламу (экспериментальная группа). А небольшая часть людей (контрольная группа) вместо этого увидит объявление государственной службы (PSA) (или ничего) точно такого же размера и в том же месте, где обычно находится реклама.<br><br><strong>Идея задания</strong> состоит в том, чтобы проанализировать группы, выяснить, была ли реклама успешной, сколько компания может заработать на рекламе и является ли разница между группами статистически значимой.<br><br>Словарь данных:<br><ul><li><strong>user id</strong>: Идентификатор пользователя (уникальный).</li><li><strong>test group</strong>: Если "ad", то человек видел рекламу, если "psa", то он видел только объявление государственной службы.</li><li><strong>converted</strong>: Если человек купил продукт, то True, иначе False.</li><li><strong>total ads</strong>: Количество рекламы, увиденной человеком.</li><li><strong>most ads day</strong>: День, в который человек увидел наибольшее количество рекламы.</li><li><strong>most ads hour</strong>: Час дня, в который человек увидел наибольшее количество рекламы.</li></ul>Проанализируйте структуру данных и проведите их предобработку:<br><ul><li>Исследуйте структуру данных;</li><li>Преобразуйте столбцы к необходимым типам данных.</li><li>Проверьте данные на наличие пропусков и избавьтесь от них, если нужно.</li><li>Проверьте, есть ли пользователи, которые в процессе A/Bтеста попали в обе группы. Если да, исключите пользователей, оказавшихся в обеих группах.</li></ul>Сделайте первичный анализ результатов A/B-тестирования<br><ul><li>Рассчитайте вспомогательные показатели для контрольной и тестовой групп:<br><br><ul><li>количество посещений сайта;</li><li>суммарное количество совершённых покупок;</li></ul>Сделайте промежуточные выводы по построенной таблице. Сопоставимо ли количество посещений обоих вариантов посадочной страницы? Можно ли говорить о сбалансированности выборок?<br></li><li>В каждой из групп рассчитайте ключевые показатели:<br><br><ul><li>конверсия;</li><li>среднее количество рекламы, увиденной пользователем.</li></ul>Сделайте первичные выводы о результатах A/B-тестирования на основе показателей конверсии и среднего количества увиденной рекламы в каждой из групп. По какому(-им) показателю(-ям), на первый взгляд, вариант А эффективнее варианта B и наоборот?<br></li></ul>Проведите статистический анализ результатов A/B-тестирования<br><ul><li>Сформулируйте статистические гипотезы, соответствующие поставленным бизнес-вопросам, и выберите статистический тест для их проверки.<br><br>Не забудьте проверить данные на нормальность там, где это необходимо.<br></li><li>С помощью аппарата статистических тестов определите:<ul><li>Есть ли статистическая разница между конверсиями в группах А и B?</li><li>Есть ли статистическая разница между средними количествами увиденной рекламы в группах А и B?</li></ul></li><li>Подкрепите результаты статистических тестов, построив 95 % доверительные интервалы для:<ul><li>конверсий в каждой из групп;</li><li>разницы конверсий в группах;</li><li>среднего количества увиденной рекламы в группах А и B.</li></ul></li><li>Проинтерпретируйте построенные доверительные интервалы для конверсий и среднего количества увиденной рекламы группах. Есть ли перекрытие между доверительными интервалами для групп? Если есть, то о чём это говорит?</li></ul>