検索エンジンクローラーに指示を与えるにはサイトのトップに robotx.txt を設置します。

全クローラーを対象にクロールをさせない

（最後に空行を1行入れます）

User-agent: *
Disallow: /

● robots.txt 解析ツール

http://www.searchengineoptimization.jp/robots-txt-analyzer