ウェブサイトの指定ディレクトリ以下を検索結果から外す
わざわざパスワード認証を掛けるほどではないけれど、ウェブ検索に引っかからないようにしたいウェブサイトを公開することにした。
そこで、robots.txt ファイルを使ったクローラー対策をしてみた。
まず、文字コードを UTF-8 にした robots.txt というファイル名を作成し、以下のような内容を書き込む。
1User-Agent: *
2Disallow: /
これですべてのクローラーに対して、ルートディレクトリ以下のクローリングを排除できるようになる。
ディレクトリを指定するなら以下のようにする。複数ディレクトリの指定もできる。
1User-Agent: *
2Disallow: /directory1/
3Disallow: /directory2/
あとはウェブサイトのルートディレクトリに robots.txt ファイルを設置すればいい（サブディレクトリに置いてはいけない）。
参考：
robots.txtとは? ～書き方の記述例と注意点～ | ハートラス
https://croja.jp/seo-cro/robots_txt
robots.txtの書き方と設置方法 – Google Search Consoleの使い方
https://www.howtonote.jp/google-search-console/robots-txt/index1.html
Amazon.co.jp: 新しいLinuxの教科書 第２版 eBook : 三宅 英明, 大角 祐介: 本
https://amzn.to/41V7n1z