PINTO!株式会社PLAN-Bの情報発信メディア

2019.06.07

百々 雅基

SEO SOLUTION

クローラー、インデックスとは?Googleの検索エンジンにページが認識されるまでの仕組みを理解しよう

WRITER

百々 雅基

株式会社PLAN-B 事業統括本部 ビジネス開発部 Juicer

2018年に新卒としてPLAN-Bに入社。内定者時に約1年間インターンとして、Juicer事業部、Web戦略事業部クリエイティブユニット、人事部と3つの事業部を経験。入社後はJuicer事業部で広告責任者として、セールスから運用、レポーティングまでを一貫して担当。

目次
    1. 検索エンジンにページが認識されるまで
    2. クローラーとは
      1. クローラーの種類
      2. クローラービリティとは
    3. インデックスとは
    4. クロールされているか確認する方法
      1. Google Search Consoleを使用する
      2. site:検索を使用する
    5. クローラビリティを改善する方法
      1. ディレクトリ構造を見直す
      2. 内部リンクを見直す
      3. パンくずリストを整理する
      4. サイトマップを送信する
    6. クローラーにクロールを促す方法
      1. URL検査(旧Fetch as Google)を使用する
    7. まとめ

SEO対策をいくら行なったとしても、その対策した結果を検索エンジンに認識してもらえなければその効果は出ません。本コラムではサイトのページがどのようにして検索エンジンに認識されるのか、またその仕組みを深く理解するために知る必要がある「インデックス」「クローラー」についても解説していきます。
さらに検索エンジンに認識されやすくなるために必要なことについても解説していきます。

検索エンジンにページが認識されるまで

検索エンジンにページが認識されるまで

検索エンジンにページが認識されるためには、検索エンジンに「発見」され、検索エンジンのデータベースに「登録」される必要があります。
検索エンジンが「発見」することを「クロール」と言い、クロールを行うロボットのことを「クローラー」と呼びます。また検索エンジンがページをデータベースへ「登録」することを「インデックス」と呼びます。
「クロール」「インデックス」を理解し、対策していくことでSEO対策のための施策を迅速に反映させることができます。

クローラーとは

クローラーとは上述したように、検索エンジンがWEB上のページを発見するためのロボットです。
クローラーがWEB上を巡回し、テキスト・画像・動画などの情報を収集します。
クローラーに発見されなければ検索エンジンから評価をされないため、検索結果に反映されません。
そのため、クローラーにいかに早く発見してもらうかがSEO対策には必要不可欠となります。

クローラーの種類

クローラーは以下のようにいくつか存在します。
・Googlebot … Googleがクロールを行うためのクローラー
・Yahoo Slurp … 日本以外のYahooのクローラー
・Baiduspider … 中国の検索サイトBaiduのクローラー
・bingbot … Bingのクローラー
日本のYahooの検索エンジンはGoogleのものを使用しているため、日本の検索エンジンのシェアの9割はGoogleが占めています。
そのため、日本向けのサイトに関してはGooglebotさえ意識しておけばよいと言えます。

クローラービリティとは

クローラビリティとはクローラーが情報を収集しやすくなるように最適化することです。
クローラビリティを改善することでページが「発見」されやすくなるため、クローラビリティの改善はSEO対策の効果に直結してきます。

インデックスとは

インデックスとは上述したようにクローラーが発見したページを検索エンジンのデータベースへ「登録」することです。
検索エンジンはインデックスされた情報をもとにランキングづけを行うため、ページ自体を検索エンジンから見て読みやすいように整えておくことが重要になります。
同じ内容が書いてあったとしても適切に検索エンジンが理解できる形にすることでSEO的に適切に評価がされるようになります。
さらに詳しい内容に関しては以下の記事を参照してください。

▼併せて読みたい!インデックスに関する詳しい内容は下記の記事も参考にしてください。
インデックス数の調べ方は?増やし方やSEO効果まで3分で解説!

クロールされているか確認する方法

検索エンジンに評価されるためには、まずはクローラーに発見してもらうことが重要です。
実際に自社のページがクロールされているのかどうかを確認する方法をご説明します。

Google Search Consoleを使用する

Google Search Consoleの「URL検査」から直近でそのページがクロールされているかどうかを確認することができます。

①Google Search Console上部にクロールされているかを確認したいページのURLをいれ、「URL検査」をクリックします。

Google Search Consoleを使用する

②「カバレッジ」をクリックします。

Google Search Consoleを使用する

③「前回のクロール」という部分から直近でいつクロールされていたかを確認することができます。

site:検索を使用する

Google Search Consoleを使用しなくても確認することができます。
確認したいページのURLの前に「site:」を入れて検索すると、そのページがインデックスされているかどうかを確認することができます。きちんとインデックスされている場合は下図のように検索結果に表示されます。
インデックスされているということはクロールされているということです。
新規のページだけでなく、内容を変更したページに関してもきちんとインデックスされているかどうかを確認することができます。

クローラビリティを改善する方法

クローラビリティを改善する方法

クローラビリティを改善し、ページを発見されやすくすることで、新規のページや更新したページをすぐに検索結果に反映させることができます。
ここからはクローラビリティを改善する方法をご紹介します。

ディレクトリ構造を見直す

Googleは、「ディレクトリ階層が浅いコンテンツほど重要なコンテンツとみなす」と公式に発言しています。
つまりディレクトリ構造が複雑で、ディレクトリ数が多くなってしまうと重要度が低いと認識されてしまいます。
クローラーは全てのページを巡回するわけではないので、重要度が低いとみなされているページはクロールの頻度が少なくなる傾向があります。
そのため、ディレクトリ構造がシンプルで階層を浅くしたほうがクローラーがそのページを発見しやすくなります。

内部リンクを見直す

クローラーはリンクを辿ってサイト内をクロールしていきます。
そのためコンテンツの内容に関連性が高い記事があれば、内部リンクを積極的に設置することで、クロールされる頻度が高まります。
一点注意しなければならないのは、Googleは関連性の高いリンクを評価するため、むやみやたらに内部リンクを設置するとSEO的に評価されなくなってしまいます。
適切な内部リンクを増やしていくようにしていくことが大事です。

パンくずリストを整理する

クローラビリティを改善するためにはパンくずリストも意識する必要があります。
クローラーはサイト内の内部リンクを辿ってページを読み取っていきます。
その際にパンくずリストを正しく設置しておくことによって、正確にサイト内にある情報を読み取ってくれます。

サイトマップを送信する

Google Search Consoleからサイトマップを送信することでクローラーにサイト内にどのようなコンテンツがあるのかを適切に伝えることができます。

▼併せて読みたい!サイトマップに関しては以下の記事もぜひ参考にしてください。
sitemap.xmlの作り方・注意点・便利なツールまとめ【XMLサイトマップ】

クローラーにクロールを促す方法

新しく追加したページや、内容を更新したページをいち早く検索エンジンに認識させるためには、クロールをいち早くしてもらう必要があります。
以下の方法を使うことでクローラーにクロールを促すことができます。

URL検査(旧Fetch as Google)を使用する

URL検査(旧Fetch as Google)を使用する

Google Search Consoleの機能の一つであるURL検査を使うことで、Googleにクロールを促すことができます。
旧バージョンのGoogle Search ConsoleではFetch as Googleと呼ばれていた機能の代わりになります。
URL検査で対象のページのURLを指定し、「インデックス登録をリクエスト」からGoogleにクロールを促すことができます。

まとめ

新しく追加したページや内容を修正したページをきちんと検索エンジンに認識させることはSEO対策をする上で必須になってきます。
クローラビリティを改善し、検索エンジンにクロールされやすいサイトにしていきましょう。