На главную

Разработка и интеграция парсеров в интернет-магазин

Ищем опытного разработчика в команду для доработки и интеграции парсеров для интернет-магазина. # О проекте У нас уже есть готовая система, состоящая из нескольких приложений (парсеры, маппер, API), однако текущий код не удовлетворяет нашим требованиям по скорости, чистоте и масштабируемости. # Основные задачи - Разработка парсеров для автоматизации сбора данных. - Настройка запуска парсинга с периодичностью в несколько дней. - Реализация распределения категорий товаров на нашем сайте. - Обеспечение обновления цен и наличия товаров. #Требования к кандидату - Опыт работы с парсерами и их интеграцией в существующие системы. - Уверенные знания в следующем стеке технологий: - Бэк: FastAPI, SQLAlchemy, PostgreSQL, Aiohttp - Фронт: Next.js, TypeScript - Деплой: Docker, GitHub Actions - Git - Желателен опыт работы с крупными проектами и понимание практик, направленных на улучшение читаемости и оптимизацию кода. #О проектной архитектуре На данный момент у нас имеется три базы данных, каждая из которых имеет свои модели и механизмы взаимодействия через SQLAlchemy. Это создает сложности при изменении структуры одной базы данных, что требует модификации вышестоящих систем, включая маппер, API и запросы на фронте и в административной панели. Наша цель — исследовать и реализовать оптимальные подходы для упрощения архитектуры, чтобы исключить излишние зависимости и сделать систему более гибкой. Полностью открыты к предложениям по реализации.