google search consoleから届いた「 CSS および JS ファイルに Googlebot がアクセスできません」を解消する方法

  google+, WEBサービス, WordPress 

先日、google search consoleから「〜の CSS および JS ファイルに Googlebot がアクセスできません」と通知が届きました。
対象はWordPressで運用しているサイト数件です。

深刻なエラーなの・・・?ペナルティなの・・・?とビビりつつ対象法を探した所、下記の記事が。

「CSSとJSファイルをブロックしているサイトに警告メッセージをGoogleが一斉送信」

注意してほしいのは、これは品質ガイドラインに違反したときに与えられる手動対策(ペナルティ)ではないことです。
サイトに発生している技術的な問題を指摘することが目的です。

対処はシンプルです。
警告メッセージが届いたサイトのCSSやJavaScript、またはその両方のファイルへのGooglebotのアクセスを許可します。

とのことで、ここは大人しく届いたメールに従って対応することにします。

「Fetch as Google」機能を使用して問題の起こっている箇所を特定する

まず、メール内に記載された「Fetch as Google」へのリンクをクリック。
管理画面の「Fetch as Google」ページに移動します。

01

ホームページ全体を取得したいので「取得してレンダリング」をクリック。

02

ちょっと時間がかかりますが、レンダリングの結果が取得出来ました。
ステータス列に「一部」と表示されているので何らかの問題がありそうです。
下記画像赤枠部分のリンクから詳細を確認します。

03

レンダリング結果の下部に取得できなかったリソースが表示されます。
wp-includesディレクトリ内のjqueryにアクセスできないとのこと。

「robots.txtテスター」でブロックされている内容を確認します。

04

どうも原因はrobots.txt内でのwp-includesディレクトリへのアクセスを禁止する設定のようです。

05

早速修正!・・・でもrobots.txtが見つからない?

修正を試みましたが、WordPressの中を見てもrobots.txtが見当たらない・・・
それもそのはず、WordPressはrobots.txtにアクセスがあった場合のみrobots.txtを自動生成する仕組みだそうです。

robots.txtを自身で設置した場合、そちらの設定が優先されるとのこと。

下記の記事が参考になりました。

WordPress初心者に贈る!robots.txtの書き方と設定方法全手順

いざ、robots.txtを修正

googleで指摘されていた箇所を修正します。

 修正したファイルをアップして再度、「取得してレンダリング」します。

02

結果の表示が変わり、警告内容が改善されたことが確認できました。

06

でも残る疑問

wp-includesへのアクセスってWordPressのデフォルト設定で制限されているんですよね?
これってユーザー側で改変しても問題ないのでしょうか?

気になるのでその辺りは引き続き、調査中です・・・

 

追記:wp-includesをdisallowにして良いのか?

結論からいくと問題は無いようです。

robots.txtについてしっかり調べたことがなかったので、
生成される過程を追ってみました。

/wp-includes/template-loader.php内でis_robots()がtrueの際に
do_robotsアクションが呼ばれてrobots.txtが生成されます。

 do_robotsは/wp-includes/functions.phpに記述されています。

警告が来たサイトと来ていないサイトで比較した所、
do_robots内で設定されるDisallow対象のディレクトリがWordPressのバージョンによって異なることがわかりました。

 WordPress 4.2.3

 WordPress 3.3.2

 今回警告が来たサイトは諸事情によりアップデートを行っていない古いバージョンのWordPressでした。

ブログの更新情報はこちらで配信しています。

   

follow us in feedly

ad

wpx

  • サイトの拡張性を飛躍的に高める WordPressプラグイン開発のバイブル

    WordPressプラグインの開発から運用までカバーする、プラグイン開発のまさに「バイブル」です。

    セキュリティやマネタイズにも触れられていて参考になるところ多すぎです。
  • WordPressのテーマ制作やテンプレートについての概念など、実際にサイトを制作しながらWordPressを知ることができます。
    制作するだけでなく、ユーザビリティからSEO、さらにはパフォーマンス改善にも触れているという充実ぶり。
    オリジナルテーマ制作のお供にどうぞ!
  • wordpressに慣れてくると、今度は痒いところに手が届く細やかなカスタマイズをしたいですよね。phpを利用したカスタマイズからデータベースに直接アクセスする方法がとにかく丁寧に解説されています。個人的には第5章、「プラグインの自作」が物凄く役に立ちました!
  • サンプルが大充実!定番のjQuery入門書です。
    本の内容に沿って制作を進めるだけで、即実戦投入できる程の機能ができ上がります。
    解説が丁寧且つチートシートも付いているのでjQueryについての理解がぐんと深まりますよ!
  • JavaScript 第6版

    定番のO'Reilly本でJavaScriptを深く学びましょう!気になる箇所をざっと読むだけでも、とても参考になります。ざっと読みを繰り返すのがオススメ。超良書です!
PAGE TOP ↑