クロールバジェットを意識してWEBサイトを育てよう！

SEOを行う中で、「クロールバジェット」という日頃あまり耳にしない言葉を聞いたことはないでしょうか？

またインターネットで情報収集をしていると、クロールバジェットを意識したサイトを制作しないといけないという情報も出てきます。実際サイトを制作する際、本当に意識しないといけないのでしょうか？

今回はクロールバジェットの概要や最低限覚えておいていただきたい情報についてご紹介します。

クロールバジェットってなに？

クロールバジェットとは簡単に言うと、1サイトに対してのクロールの上限値です。

Googleのようなロボット検索エンジンには、登録されているWebサイトを随時巡回するクローラーボットが存在しています。 このクローラーボットが検索エンジン内部を絶え間なく巡回し、新しく登録されたサイトや更新されたサイトの内容を1つ1つ見ていきます。

クローラーボットが集めてきた1サイトごとの情報を、今度は検索エンジン側で内部のアルゴリズム(サイトを評価するためのルールのようなもの)と照らし合わせ、最終的にサイトの評価を行い順位付けをしていきます。

クロールバジェットという言葉の最初の「クロール」はこのクローラーボットのことを指しており、バジェットは「上限」という意味になります。

つまり、クローラーにはサイトで見られるページ数の上限が設定されており、サイトのページ数がこれを越えてしまっていると一部の内容を認識することができなくなる可能性があるのです。

このクローラーの上限値のことを「クロールバジェット」と呼んでいます。 ただ、クロールバジェットは基本的に大きめの数値に設定してあるためよほど大きなサイトで無い限り影響は無いと見られています。

クロールバジェットに対してGoogleはどのように考えているのか

「クロールバジェット」の言葉自体Google側では存在しておらず、誰かがWeb上で作った造語とされています。

Googleのジョン・ミューラー氏はクロールバジェットに関して以下のようなサイトならば関係してくるとアドバイスしています。

様々なパラメータが付属してできたものすごく複雑なURL構造を持つサイトは、URLが無限に作られてしまい、クローラーボットが永遠にクロールを繰り返してしまう。

上記のような定義に当てはまるようなサイトだとクロールバジェットに引っかかってきますが、この定義に当てはまるようなURLが無尽蔵に作られてしまうサイトは、まずシステムから見直したほうが良いケースもあります。

サイト内の階層が浅いところにあるページほどクローラーが早めに回ってくる構造となっており、早めにくる情報ほど検索エンジン側で重要度が高い情報だと認識されやすくなっています。

様々なパラメータが付属した複雑なURLが多数作られてしまっている時点で階層がかなり深くなっており、評価を得られにくいと考えられるので、サイト内の構造・システムの見直しが必要です。

こういった複雑なURLが無尽蔵に作られてしまうサイトではなくても、Amazonや楽天のような超大規模の通販サイトになってくると、このクロールバジェットが関係するようになってきます。

クロールバジェットに影響を及ぼす可能性があるもの

クロールバジェットそのものは、SEOとはほぼ関係がありません。 クロールバジェットはクロールの上限を表してるので、その上限に引っかからない場合SEOとしての影響もほぼありません。

もし、仮に、クロールバジェットにひっかかるような膨大なURLが作られるサイトを作ってしまった場合、サイトのSEOにも影響が出始めます。

クロールバジェットにひっかかるようなサイトをクローラーがクロールする場合で、下記のような質の悪いページが複数存在してしまっていると、質の良いページを見つけてクロールするまで時間が掛かってしまいます。

• サイト内の重複ページ
• リンク切れなどのエラー状態になっているページ
• ハッキングされてしまっているページ
• 無限にスペースが入っているようなページ
• スパムコンテンツ

このような質の悪いページはクローラーがサイト内の質のよいページを探す邪魔をしてしまい、見つけ出すまでの時間が掛かってしまうことでSEOとしても影響が出る可能性が高いと考えられます。

まとめ

クロールバジェットは、クローラーボットが1サイトをクロールするための上限値のことを指しています。 基本的にクロールバジェットにサイトがひっかかるということはありません。

複雑なURLでページが無尽蔵に作られるサイトやAmazon・楽天のような超大規模なサイトだとクロールバジェットにひっかかる可能性があります。

クロールバジェットにひっかかっているサイトで低品質のページが複数存在していると、それらが邪魔をしてクローラーが高品質のページを見つけるのに時間が掛かってしまいます。こうなると結果的にSEOに影響が出て、サイト全体の評価に影響が出る可能性が高いと考えられます。

超大規模なサイトの制作・運営を行うのであるなら、常日頃低品質のページの削除や修正を行い、サイトの品質を保つことが大変重要になります。 クロールバジェットに引っかからなくても低品質なページは在るだけでSEOに影響を与えかねないので、常日頃サイトのメンテナンスをしっかり行うようにしましょう。