Обработка данных на python (Бюджет: 4000 ₽)

есть регулярные задачи по работе с данными (очистка, объединение). сейчас нужно с помощью python написать скрипт для поиска и объединения дублей