Составить robots.txt к сайту на основе анализа

Необходимо проанализировать все текущие страницы сайта в индексе и сам сайт: hrtek.ru и составить корректный robots.txt включающий все необходимые команды.