2017年3月28日火曜日

Bloggerでrobots.txtを設定してみた | 日々のメモ帖 by holidaybuggy1980 holidaybuggy1980
300 300

Bloggerでrobots.txtを設定してみた

Bloggerにて、検索エンジンにクロールしてもらう際、有用なページと無用なページがあると思います。

今回は、クロールを制御するための設定ファイルである、robots.txtを編集してみました。

設定方法

  1. Bloggerの管理画面より「設定」から「検索設定」をクリックする。
  2. 「クローラーとインデックス」にある「独自のrobots.txt」の「編集」をクリックする。
  3. 「独自の robots.txt のコンテンツを有効にしますか?」の項目を「はい」にする。
  4. テキストエリアに設定コードを入力する。
  5. 「変更を保存」をクリックする。

設定内容


下記に設定内容例を表示します。
User-agent:* 
Disallow: /search
Disallow: /*archive 
Disallow: /b/
Allow: /search/label
Sitemap: http://○○○.blogspot.com/sitemap.xml

設定内容の説明

User-agent:*

これは、どのクローラーに対して設定したいかを決める部分で、この設定は、すべてのクローラーに対して有効であるという意味である。

Disallow: /search

「Disallow:」は、設定されているディレクトリ以下またはファイルに対し巡回を拒否する設定で、この設定は「/search」の前方一致のディレクトリ以下およびファイルを拒否する設定となります。

Disallow: /*archive

この設定は「archive」が含まれているディレクトリ以下及びファイルを拒否する設定となります。

Disallow: /b/

この設定は「/b/」ディレクトリ以下を拒否する設定となります。ちなみにこのディレクトリはプレビュー画面用のファイルが格納されています。

Allow: /search/label

「Allow:」は、設定されているディレクトリ以下またはファイルに対し巡回を許可する設定で、「Disallow: /search」で「/search」の前方一致のディレクトリ以下およびファイルを拒否する設定をしていますが、「/search/label」の前方一致のディレクトリ以下およびファイルに限り許可する設定になります。

Sitemap: http://○○○.blogspot.com/sitemap.xml

こちらは、サイトマップを設定しています。


以上、参考にしていただけたら幸いです。


  • このエントリーをはてなブックマークに追加
  • list


ブログランキング・にほんブログ村へ

4 件のコメント:

  1. 先月から始めた新人です。
    Sitemap: http://○○○.blogspot.com/sitemap.xml
    これは、自分のブログのアドレスが入るのでしょうか?
    https:とjp/なんでどうななと思いました。

    返信削除
    返信
    1. sakura gyoikouさんの場合だと、

      Sitemap: http://gyoikou.blogspot.com/sitemap.xml

      になると思います。

      httpsをメインで使用しているのであれば、http:の部分はhttps:でも構わないと思います。

      削除
  2. 有難うございます。
    まだ、いろいろと問題があって、他の記事も追々読ませていただきます。

    返信削除
  3. 大変参考になりました。ありがとうございます。

    返信削除