На главную

ETL: автоматизация подготовки данных

Добрый день. Нужно выполнить задание по учебе, но имеются проблемы с установкой Airflow.<br><br>1 задание: Построение пайпланов и визуализация потоков данных в Airflow<br><br>— Зарегистрируйтесь в ОрепWeatherApi (<a href="https://openweathermap.org/api">https://openweathermap.org/api</a>) (могу дать свою учетную запись)<br>— Создайте ETL, который получает температуру в заданной вами локации, и<br>дальше делает ветвление:<br>• В случае, если температура <strong>больше 15 градусов</strong> цельсия — идёт на ветку, в которой есть оператор, выводящий на<br>экран «<strong>тепло</strong>»;<br>• В случае, если температура <strong>ниже 15 градусов</strong>, идёт на ветку с оператором, который выводит в консоль «<strong>холодно</strong>».<br>Оператор ветвления должен выводить в консоль полученную от АРI температуру.<br>— Приложите скриншот графа и логов работы оператора ветвленния.<br><br>2 задание<br><br>1. Скачайте файлы <strong>boking.csv</strong>, <strong>client.csv</strong> и <strong>hotel.csv</strong>; (файлы находятся по ссылке: <a href="https://drive.google.com/drive/folders/1pg_oXbfGoTx0BdeyexzWHSM0dW5K4fbX?usp=share_link">https://drive.google.com/drive/folders/1pg_oXbfGoT...</a>)<br>2. Создайте новый dag;<br>3. Создайте три оператора для получения данных и загрузите файлы. Передайте дата фреймы в оператор трансформации;<br>4. Создайте оператор который будет трансформировать данные:<br>— Объедините все таблицы в одну;<br>— Приведите даты к одному виду;<br>— Удалите невалидные колонки;<br>— Приведите все валюты к одной;<br>5. Создайте оператор загрузки в базу данных;<br>6. Запустите dag.<br><br>Срок: 18 декабря<br><br><br>

Нужна настройка севера и БД на веб платформе

Нужна настройка сервера и БД на веб платформе

Разработать ИИ чатбота для WhatsApp с интеграцией в CRM (для всех)

В амо поступает лид на получение каталога, бот отправляет лиду каталог в WhatsApp и продолжает диалог с целью закрытия на следующий...

создание веб дизайна карточек на маркетплейсах (Бюджет: 350 ₽)

Создание карточек для маркетплейсов Описание услуги: Профессиональное оформление карточек товаров для маркетплейсов (Wildberries, Ozon, Яндекс.Маркет, AliExpress и др.) с...