⇒【東証プライム企業も多数利用！】最先端のSNSマーケティングツール「Tofu Analytics」、「InstantWin」とは？
SEO対策をしなくては、とホームページにコンテンツを作成している方も多くいらっしゃいます。しかし、コンテンツデータが検索エンジンに登録されていなければ作成しても意味がありません。
Googleなどの多くの検索エンジンは、それぞれの検索のデータベースに情報を登録しています。つまり、データベースに登録されないといけないのです。
検索エンジンに登録されるためには「クローラー」というロボットがホームページの情報を巡回して収集する必要があります。今回は「クローラー」について解説をしますのでぜひ参考にしてください。
1．クローラーとは
クローラとは、インターネット上のあらゆるWebサイトの情報を取得して、検索用データベース・インデックスを作成する自動巡回プログラムのことです。クローラー自体、プログラムになっていてホームページのHTMLに記載されているリンクの情報をたどり、そのホームページがどのような内容なのか、構造なのかを確認しデータベース化していきます。
インターネット上でクローラーはアクセスできるファイルや情報を出来るだけ収集しようとするため、検索されないようにしたい情報はクローラーが入れないように設定する必要があります。しかしながらWebサイトを新たに作成した際にクローラーはなかなか見つけることが出来ない為、作成した方から見つけしやすくしてあげないといけません。
クローラーが早く見つけてあげられるような設計、構築、更新を「クローラビリティを高める」と言います。
1-1．クローラーの種類
特に有名なのはGoogleの「Googlebot」です。他には
・bingbot：Bing
・Baiduspider：百度(中国最大の検索エンジン)
・Yetibot：NAVER(韓国の検索ポータルサイト「NAVER」)
などが上げられます。現在日本国内では、Googlebotだけを考慮して更新を行えばいいと考えられています。
理由としては日本国内での検索エンジンシェアNo1を誇るYahoo!でもGoogleのシステムを利用しているからです。つまりGoogleだけについて考えられれば日本国内では上位へ上がってくるようになります。
1-2.クローラーが収集するファイルの種類
クローラーはHTMLファイルなどの情報を読み込みます。他にも
・PHPファイル
・JavaScriptで生成されるリンク
・Flashの中にあるリンク
・WordやPowerPointなどによって作成されたファイル
こうしたファイルも収集します。共通項は、文字であるという事です。
クローラーはプログラムなので、デザインや画像の美しさなどを理解し、情報として収集できません。そのため伝えたい情報は画像化して表現するのではなく、伝えたい情報はテキストで作成しないと情報として集められないのです。
2．クローラーが来やすいサイトとは？初心者が押さえておきたいクローリングされるコツ
高い頻度でクローラーに巡回してもらうことで、制作したWebサイトの検索順位は向上し、多くのユーザーに閲覧される可能性が上がります。
この章ではWebサイト制作初心者が抑えておきたい、クローリングされるコツについて解説します。
2-1．できたてのサイトをクローリングさせる方法！
制作したばかりのWebサイトをクローラーにクローリングさせたい場合、おすすめなのはGoogleが提供する無料ツール「Google Search Console」の活用してください。
「Google Search Console」はGoogle検索結果で制作したサイトのパフォーマンスを監視・管理をするツールです。だから新しく制作したサイトは「Google Search Console」を経由してサイトマップをGoogleに提供するとクローリングを開始させられるのです。
2-2．クローラーに優しいサイトを作るための７つのコツ！
つづいてクローラーが巡回しやすいWebサイトを作るためのコツ7つを紹介します。
・パンくずリストを作る
パンくずリストとは、Webサイトを訪問した人が、現在サイト内のどこを閲覧しているのかが分かるよう書かれたリストのことです。Webサイトにパンくずリストがあると、クローラーがサイトの階層を認識しやすくなり、クローラビリティが上がります。
・外部サイトからのリンクを制作する
クローラーは別のWebサイトのリンクを経由して新しいWebサイトへと移動します。そのため、クローラーに発見されやすいサイトにするには外部サイトにも制作したWebサイトのリンクを貼っておくことが有効です。
・リンクのないページを極力減らす
クローラーはリンクを経由してページからページへと移動するので、できるだけリンクのないページを減らすことがクローラビリティの向上に繋がります。全てのページにリンクが貼られているのが理想です。
・トップページからのクリック数を少なくする
トップページから他の全てのページに移動するまでのクリック数を短くすることで、クローラビリティを向上させられます。トップページから他のページに行くまでのクリック数が多いと、クローラーが到達できる可能性が下がってしまうのです。
・トップページから主要ページへのリンクを必ず作る
クローラーに必ず巡回して欲しいページがある場合、トップページから直接移動できるリンクを貼っておきましょう。もしくはあらかじめ共通の案内リンクであるグローバルナビゲーションを作っておくのもおすすめです。
・アンカーテキストを改善する
アンカーテキストとはリンク部分に書かれているテキストのことです。リンク先がどのようなページなのか、アンカーテキストとして置き換えて置くとクローラーが巡回する可能性が上がります。
・JavaScriptでのリンクにしない
WebサイトのリンクはHTMLだけではなくJavaScriptでもリンクを作れます。しかし、クローラーに必ず巡回してほしいサイトはHTMLでリンクを作りましょう。その方がクローラーに巡回してもらえる可能性の高くなるからです。
3．クローリングするときに気を付けたい2つのこと
クローリングの技術を利用すれば、あらかじめ設定したキーワードをもとにページ全体（もしくは必要な箇所）を自動で取得が可能です。ただ、便利な反面、関連する法令を守らないと罪に問われる可能性がありますので注意しておかないといけないことを紹介します。
3-1．著作権侵害
Webの記事やTwitterなどは著作物に該当します。収集する際は著作物を扱っているとの自覚をして行ってください。取得したデータを自分のWebページに掲載したり不特定多数がアクセス可能な環境に保存した場合は公衆送信権の侵害に当たります。
3-2．威力業務妨害
クローリングする際は特定サイトへの大量アクセスをするケースが多いのですが、大量アクセスをした結果アクセス先のサイトがダウンすることがあります。その場合、威力業務妨害罪に該当するため罰せられますのでご注意ください。
4．クローラビリティを高める
次にクローラビリティを高める方法を紹介します。クローラビリティとは、「クローリングのしやすさ」のことです。
クローラビリティを高めることはSEOの技術としてずっと重要なポイントです。
なぜなら、クローリングしやすいWebサイトとは、「検索エンジンから見て理解しやすいWebサイトである」といえるからです。
それではクローラビリティを高める方法を紹介していきます。
4-1．リンクのないページを排除する
リンクがまったく存在しないページは、クローラビリティを低下させる要因の1つです。ただ、WordPressなどのCMSを導入しているのであれば、基本的にこのようなページは発生しません。
ただ、HTMLでWebサイトを作っている場合、更新するときの不注意でこういった問題がよく起こりますので注意してください。
4-2．リンクの数を適正に抑える
1つのページにリンクがあるとクローラーはすべてのリンクをたどってくれるとは限りません。目安ですが1つのページでのリンクは100箇所程度に抑えておきましょう。
もしそれよりもリンクが多くなってしまうのであれば、別のルートでもたどりつけるようにしておくのがいいでしょう。
4-3．トップページからの必要クリック数を抑える
トップページから該当ページまでのクリック数が多いと、クローラーは何度もサイト内のリンクをたどり続けなければなりません。どのページに対してもトップページから3クリック以内で到達できるのが理想です。
4-4．トップページから主要ページへ直接リンクする
ユーザーにとって必要なページは、トップページから直接リンクするようにしましょう。
あるいは、グローバルナビゲーション（全ページに共通のリンク）でリンクしておくのも一つの方法です。
4-5．ページ送りを少なくする
ページ送りを何十回も行わないと辿りつけないようなページはクローリングに非常に手間がかかります。そのため延々とページ送りをしないと辿りつけないページは、クローリングされないことがあるのです。そこで
・1ページ当たりの表示件数を多くする。
・1ページずつページ送りしなくても、ずっと先のページに一気にたどりつけるページナビゲーションにする。
こうした配慮をしておきましょう。
4-6．Javascriptでのリンクを避ける
先述したようにGoogleはJavascriptによって生成されたリンクを辿ることができますが、確実なものではありません。重要なページヘのリンクはJavascriptだけではなく、HTMLによるリンクも用意しておきましょう。
4-7．複雑なURLを避ける
2010年頃まではURLは短く単純な方がクローリングされやすかったのですが、クローラーの性能の上がった2016年現在は、それほど変わりありません。しかしながら、あまりにも複雑なURLはクローリングの妨げになるので避けておきましょう。
5．最後に
以上が、クローラーについてとクローリングされる方法でした。
コンテンツを更新してもなかなか検索に上がってこないなと思われた方はもしかするとクローリングされていない可能性もありますので、一度確認してみてください。
⇒【東証プライム企業も多数利用！】最先端のSNSマーケティングツール「Tofu Analytics」、「InstantWin」とは？
