Узнать содержимое сайта

Нужно вытащить содержимое сайта на котором стоит клоака и пускает только яндекс роботов и объяснить как мне это делать в дальнейшем для других сайтов