Доработать краулер

у меня есть краулер для сеошников и ему требуется небольшая корректировка. Изменить для одного сайта сканирование со всех страниц, на предварительно заданные. Функционал задачи что сканировать на беке и фронте есть, но по умолчанию там все равно сканируется весь сайт чтобы найти все вероятностные совпадения. Но краулер не справляется когда на сайте 9 млн страниц))) Короче ищу кто может помочь Фронт:Typescript + React + Ant-design +FSD Бэк: Django + DRF + Python + Celery + Redis + PostgreSQL