Bloggerでrobots.txtを設定してみた

Bloggerにて、検索エンジンにクロールしてもらう際、有用なページと無用なページがあると思います。

今回は、クロールを制御するための設定ファイルである、robots.txtを編集してみました。

設定方法

1. Bloggerの管理画面より「設定」から「検索設定」をクリックする。
2. 「クローラーとインデックス」にある「独自のrobots.txt」の「編集」をクリックする。
3. 「独自の robots.txt のコンテンツを有効にしますか？」の項目を「はい」にする。
4. テキストエリアに設定コードを入力する。
5. 「変更を保存」をクリックする。

設定内容

下記に設定内容例を表示します。

User-agent:* 
Disallow: /search
Disallow: /*archive 
Disallow: /b/
Allow: /search/label
Sitemap: http://○○○.blogspot.com/sitemap.xml

設定内容の説明

User-agent:*

これは、どのクローラーに対して設定したいかを決める部分で、この設定は、すべてのクローラーに対して有効であるという意味である。

Disallow: /search

「Disallow:」は、設定されているディレクトリ以下またはファイルに対し巡回を拒否する設定で、この設定は「/search」の前方一致のディレクトリ以下およびファイルを拒否する設定となります。

Disallow: /*archive

この設定は「archive」が含まれているディレクトリ以下及びファイルを拒否する設定となります。

Disallow: /b/

この設定は「/b/」ディレクトリ以下を拒否する設定となります。ちなみにこのディレクトリはプレビュー画面用のファイルが格納されています。

Allow: /search/label

「Allow:」は、設定されているディレクトリ以下またはファイルに対し巡回を許可する設定で、「Disallow: /search」で「/search」の前方一致のディレクトリ以下およびファイルを拒否する設定をしていますが、「/search/label」の前方一致のディレクトリ以下およびファイルに限り許可する設定になります。

Sitemap: http://○○○.blogspot.com/sitemap.xml

こちらは、サイトマップを設定しています。


以上、参考にしていただけたら幸いです。