Что нужно сделать:
Объединение данных из нескольких таблиц разных форматов в одну с преобразованием в единый формат.(данные из google sheets и SQL)
Проверка качества данных, устранение неявных дублей, артефактов и ошибок ввода.
Приведение данных к единому формату для дальнейшего использования и анализа.
Обработка больших объемов данных в Excel и SQL.
Нужные навыки:
SQL: Опыт работы с базами данных, умение писать запросы для объединения данных, фильтрации и удаления дублей. Знание SQL-операций: JOIN, UNION, GROUP BY, подзапросы и агрегации.
Excel: Продвинутые навыки работы с большими объемами данных, использование функций для очистки и трансформации данных (например, vlookup, INDEX, MATCH, iferror), создание и управление сводными таблицами.
Power Query: Опыт работы с Power Query или подобным инструментом,для объединения данных, трансформаций и автоматизации обработки данных.
Анализ данных: Умение работать с различными форматами данных, включая Excel, CSV, базы данных. Опыт работы с нестандартизированными и неструктурированными данными.
Устранение дубликатов и артефактов: Навыки в удалении дублей, нормализации данных и очистке от артефактов, несоответствий форматов и ошибок ввода.
Требования:
Уверенное владение SQL и Excel.
Опыт работы с большими объемами данных, включая трансформацию и объединение данных из разных источников.
Способность анализировать данные и устранять ошибки и дубли.
Знание методов нормализации данных и работы с артефактами файлов.