Доработать код на питоне

Есть софт написанный на питоне который занимается поиском размещённых ссылок на сайтах. Необходимо 1. Ускорить работу (возможно поменять метод поиска ссылок) сейчас много ошибок подключения программы при поиске. 2. сделать возможность работы с большим кол-вом загружаемых и обрабатываемых ссылок (более 10 млн), сейчас тенденция к чанкам, когда загружается по 1000 ссылок, производится поиск и подгружается следующий чанк.. - нужно автоматизировать. 3. добавить возможность работы софта через подключаемый список ipv4 прокси.