На главную

Нужен микросервис для интеграции с ПО на github

Необходимо парсить товары с несложных сайтов где количество до 5000 шт с помощью ПО с открытым кодом, которое парсит сайты на базе llama. На выходе xml/json. Адрес для скачивания ПО: https://github.com/ScrapeGraphAI/Scrapegraph-ai/tree/main "ScrapeGraphAI is a web scraping python library that uses LLM and direct graph logic to create scraping pipelines for websites and local documents (XML, HTML, JSON, Markdown, etc.)." Надо сделать микросервис в который вставляется ссылка на категорию с товарами и нажимается парсинг Примеры сайтов для тестирования: https://www.super-krepeg.ru/ https://www.elektronovamikroskopie.eu/ https://kuzmich24.ru/ https://xn--e1afmdcbhkihdej.xn--p1ai/ https://www.sapphire.ru/ https://germeon.ru/ https://armaton-spb.ru/ https://www.homutoff.pro/ 2. Как работает микросервис интеграции: Получение запроса: Микросервис получает запрос от одной системы (например, веб-приложения или другого микросервиса). Обработка запроса: Запрос анализируется, данные преобразуются в нужный формат, и определяется, куда их нужно направить. Маршрутизация: Данные направляются в соответствующую систему или сервис. Отправка данных: Микросервис отправляет данные в целевую систему, используя протоколы (HTTP, gRPC, AMQP и т.д.). Получение ответа: Микросервис получает ответ от целевой системы и, при необходимости, преобразует его в формат, понятный исходной системе. Возврат результата: Микросервис возвращает результат исходной системе или сохраняет его для дальнейшей обработки.