⇒【東証プライム企業も多数利用！】最先端のSNSマーケティングツール「Tofu Analytics」、「InstantWin」とは？
クローキングとは、Webサイトを閲覧する人間と検索エンジンのロボットに対して、それぞれ別のページを表示することです。
クローキング行為はGoogleに禁止されているため、クローキング認定されるとペナルティを受けて、Webからの流入が見込めなくなってしまいます。
クローキングについて正しく学び、健全にWebサイトの運営ができるようにしましょう。
1．クローキングとは
クローキング（cloaking）とは、人間とロボットに対してそれぞれ別のページを表示させることです。
GoogleはGooglebotと言われるクローラープログラムを使い、世界中のWebサイトを巡回してそれぞれを自動的に評価しています。このクローラーに対して人が閲覧するWebサイトとは別のページを表示させることで、Googleからの評価を上げようとすることをクローキングと呼びます。
例えば、flashコンテンツは人間に対しては見栄えが良いですが、クローラーからは低い評価になりやすいです。そのため、かつてflashコンテンツを扱ったサイトでは、クローキングによってクローラー向けのページを表示させることでSEO対策を行っていました。
しかし、Googleではこういったクローキング行為を「人間のユーザーと検索エンジンに対しそれぞれ異なるコンテンツまたは URL を表示すること」と定義し、ウェブマスター向けガイドラインの中で禁止事項として扱っています。
禁止事項とされるクローキングを行うと、Googleからペナルティを受けて、検索順位を大幅に下げられる可能性があります。
1-1．クローキングの例
クローキングの主な例は、以下の通りです。
- 人間のユーザーに対してはflashや画像を表示して、クローラーにはHTMLテキストを表示する
- クリックされると「キャンペーンに当選しました！」と表示して、違法広告を行う
上記の例に共通することとして、人間に対して表示するサイトとクローラーに対して表示するものが異なる点が挙げられます。
意図していようとなかろうと、SEOに悪影響を与えるため、Webサイトを制作する際はクローキングしないように注意しましょう。
1-2．なぜかつてクローキングがSEO施策になっていたのか
クローキングはSEO対策として過去に横行していました。というのも、検索エンジンが好む表示とユーザーが好む表示は違うからです。
ユーザーはページ内に画像やFlashなど、装飾が多く見栄えの良いサイトを好む傾向があります。しかし検索エンジンにとっては、そうしたサイトにあまり好ましい評価をしません。なぜなら、検索エンジンの評価するサイトはテキスト中心や、HTML構造がシンプルなサイトだからです。ユーザー好みで見栄えがいいサイトは複雑な構造になるため、検索エンジンに弾かれて、順位が上がらなくなる可能性があります。そこでクローキングが重宝したのです。検索エンジンにはシンプルに見せて評価をもらい、ページの順位を上げます。しかし実際のユーザーには、本当に見せたいサイトを表示するのです。このように、ユーザーへ行いたい表示が検索エンジンには適していない時、クローキングは大変便利なSEO施策とされていたのです。
2．クローキングの基本的な手法
クローキングを行わないようにするには、クローキングの手法を知っておくことが大切です。
クローキングとは知らずに行い、ペナルティを受けた事例はいくつもあります。
まずはどのような行為がクローキングにあたるのかを理解しましょう。
2-1．隠しテキストを用いる方法
クローキングの手法として、隠しテキストを用いる方法があります。
主な例としては、以下の通りです。
- 文字サイズを0にして見えなくする
- 背景とテキストを同一の色にする
- テキストを画像の後ろに入力する
- テキストを画面外に入力する
上記の方法を使うと、一般のユーザーには見えないテキストがクローラーにだけ認識されます。
かつては、狙っているキーワードを一般のユーザーに見えないように隠して入れて、SEO対策をしようとするWebサイトがいくつもありました。
前述の通り、現在はGoogleのガイドラインで禁止されている行為のため、隠しテキストを行うとペナルティを受けてしまいます。
2-2．クローラー以外をリダイレクトさせる手法
違法なハッキングをして収入を得ようとするハッカーがよく使うクローキングの手法として、狙ったWebサイトに勝手に侵入し、Googleのクローラー以外を別のページにリダイレクトさせる設定をしてしまう行為があります。
サイトの運営者は、ハッキングの被害に気付くまでは自サイトがクローキングを行っていることなど知る由もありません。そのまま対策しないでいるうちにペナルティを受け、検索順位が下がり、最悪の場合は検索結果に表示されなくなってしまう恐れがあります。
3．意図せぬクローキングに要注意！
現在、クローキングはすべてGoogleのウェブマスター向けガイドライン（品質に関するガイドライン）違反と見なされています。発覚した場合、サイトはGoogleインデックスから削除されることがあります。しかし知識不足からクローキングだと意識せずにサイトを作成し、違反を受ける例は増えてきていると言います。どのようなものが検索エンジンにクローキングだとみなされてしまうのでしょうか。
3-1．デバイスによるページの振り分け
スマートフォン（以下、スマホ）が普及した結果、スマホ用のページを作成する必要性が高まってきました。スマホ用のページを持っている場合、User-Agentを使ってデバイスによる振り分けの設定をしているでしょう。同じURLでPC用とスマホ用のページ情報が同じであれば問題ありませんが、異なっている場合、クローキングと認識される可能性があります。
通常、ウェブサイトは Googlebot Desktop（PC向けサイト）と Googlebot Mobile（スマホ向けサイト）の両方でクロールされています。PCユーザーとモバイルユーザーに別々のページを見せたい場合は、GooglebotとGooglebot-Mobileにもそれぞれ同じように対応するページを見せていれば、クローキングには該当しません。確実にクローキングとみなされることを防ぎたければ、スマホ用にURLを作成すると良いでしょう。
3-2．会員制のページ
会員制サイトはユーザーがIDとパスワードを入力し、ログインすることで閲覧できるページがあります。このようなページは検索エンジンに対して隠されているように見えますが、クローキングにはなりません。しかし、ログインしないと見れないはずのページが検索エンジンにインデックスされていることがあります。アクセス数を伸ばすために、運営者がログイン後の内容を検索エンジンに認識させている場合です。
例えばネットショップ系で、ログインしなければ商品の価格や詳細が見れない、という設定がされているサイトがあるとします。しかしユーザーは最初から商品の詳細について検索をかけてくる場合があるかもしれません。確実にサイトへ誘導したいので、サイト経営者は検索順位を上げるために、検索エンジンには商品の詳細についての情報を教えます。そうすることで、ユーザーの検索にサイトが引っかかりやすくなるだろうと考えるからです。実際は、クリックしてもユーザーは直接情報にアクセスすることはできず、ログイン画面に飛ぶことになります。すると「検索エンジンとユーザーに別々の表示がされている」という判断をされ、クローキングとみなされてしまいます。
3-3．ハッキングされている
自分では何もしていないのに、ハッキングによってクローキングが施されている場合もあります。ハッカーがページをハッキングする目的は、利益になるからです。一般に、ハッカーはハッキングしたページ上のリンクを第三者に売ることで収益を得ています。また、ハッキングしたサイトから別のサイトへユーザーをリダイレクトすることでも収益を得ます。ハッキングされたページは、一見では元のサイトと区別がつきにくいのが問題です。そのため、自分のブログがいつも通りに表示されていても裏では改ざんされており、検索エンジンに対して評価の下がる表示をしている、なんてことがあります。どれだけ自分が頑張っても検索順位が上がらなかったり、最悪の場合、クローキングとみなされて削除されてはたまりませんよね……。
ハッキングの場合は、Googleの提供するSearch Console（旧ウェブマスターツール）の中にある「Fetch as Google」という機能を使って、まずハッキング・改ざんされているか確認することができます。やり方についてはこちらのリンクを参照してください。
4．意図しないクローキングを避けるために確認すべき注意点
これまで説明してきたように、クローキングは意図していようとなかろうと、ペナルティの対象になります。
無自覚のままクローキング認定をされないように、確認すべき点は以下の通りです。
- スマホとPCでクローラーの振り分けをしているか
- ログインしないと見れない情報がクロールされていないか
- ハッキングされていないか
それぞれのポイントを詳しく解説していきます。
4-1．スマホとPCでクローラーの振り分けをしているか
スマホとPCで表示される画面を分けている場合は、クローラーも同様に振り分けましょう。
Googleは、PC向けのサイトは「Googlebot Destktop」といったクローラーで、スマホ向けのサイトは「Googlebot Smartphone」といったクローラーで巡回を行っています。
そのため、PC向けのサイトのクローラーである「Googlebot Destktop」にスマホ向けのコンテンツを表示させる設定にしてしまうと、クローキングと判定されます。
スマホ向けのクローラーである「Googlebot Smartphone」にPC向けのコンテンツを表示させる場合でも同様です。
ただし、レスポンシブWebデザインを使っている場合は同様のHTMLページが表示されるので、特別に対策する必要はありません。
4-2．ログインしないと見れない情報がクロールされていないか
ログインしたときだけ閲覧できる会員制のページなどは、特別な設定をしない限りは検索エンジンに表示されないので、通常はクローキングになることはありません。
しかし、会員制のページを検索結果に表示させる設定に変更すると、クローキングと判定されます。
クローラーに対しては商品の情報を提供しているのに、人間がアクセスするとログイン画面が表示される状態になっているからです。
会員制のページなどログインしないと見れない情報は、クロールされないようにブロックしましょう。
4-3．ハッキングされていないか
Webページがハッキングされていないか確認することも、クローキング認定を避けるうえで大切です。
前述の通り、ハッカーはWebサイトをハッキングすると、Googleのクローラー以外を別のページにリダイレクトさせる設定をします。つまり、Webサイトがハッキングされると、知らない間に勝手にクローキングを行っている状態にされてしまうということです。そうすると、たとえハッカーによるクローキングであっても、自分のサイトがペナルティを受けてしまいます。
ハッキングの被害を受けてないか確かめるには、Googleサーチコンソールの「URL検査ツール」が有効です。WebサイトのURLを入力するだけで、正常にインデックスに登録されているかが分かります。
ハッキングの予防策としては、セキュリティプラグインの導入や二要素認証の実装などがおすすめです。また、複数のユーザーが内部にログインできる状態なら、自動ログアウト機能にしておきましょう。
5．まとめ
現在はGoogleの精度が上がり、意図的にクローキングしたサイトはすぐにペナルティを受けるようになりました。しかし知識不足からクローキングに該当する施策をとっていたり、ハッキングによりクローキングの状態にさせられてしまう状況も起こっています。検索順位はあげたいものですが、不正なSEO施策を行なっていないか、自分のサイトを定期的にチェックすると良いでしょう。
⇒【東証プライム企業も多数利用！】最先端のSNSマーケティングツール「Tofu Analytics」、「InstantWin」とは？
