User-agent: * 
Crawl-delay: 40 # задает таймаут в 40 секунд для всех поисковых роботов