На главную

Разработка парсеров данных

Для долгосрочного сотрудничества нужен грамотный программист. Первична работа над двум проектами, возможно в дальнейшем будет еще что-то. 1. Описание проекта Разработка двух инструментов: 1)Парсер объявлений на платформе Х – автомат.сбор инф-ии о товарах и услугах. 2)Мониторинг сообщений в чатах и каналах Х – отслеживание сообщений по ключевым словам в открытых и закрытых группах. 2. Функциональные требования 2.1. Парсер объявлений (Платформа Х) Сбор данных: заголовок, описание, цена итд. Фильтрация по параметрам: категория, цена, регион итд. Защита от блокировок: смена IP, задержка запросов. Форматы хранения: Google Sheets, JSON, CSV, база данных (PostgreSQL/MySQL). Автообнов-е данных: поиск новых объявлений, удаление неактуальных. Настройки: управление через Google Sheets или веб-интерфейс. Уведомления: отправка новых данных сотруднику. 2.2. Мониторинг сообщений (Чаты и Каналы Х) Мониторинг сообщений в группах и каналах. Фильтрация по ключевым и стоп-словам. Сохранение сообщений в Google Sheets/базу данных. Поддержка работы с открытыми и закрытыми чатами через тг. Настройки через Google Sheets. Уведомления о новых релевантных сообщениях. 3. Доп функции Анализ динамики цен в объявлениях. Определение дублей и похожих объявлений. Отслеживание активности пользователей в чатах. AI-обработка сообщений (анализ тональности). API-интерфейс для интеграции с другими системами. Разработка проекта включает анализ, создание певрой версии, тест и запуск с возможностью дальнейшей доработки