「クロール済み - インデックス未登録」とは？意味と重要ページの5つのチェック

結論： 「クロール済み - インデックス未登録」は、Google がページを取得したものの、インデックスに追加しなかった状態を表します。Google はこれを「多くのサイトに見られる一般的なメッセージ」で、「必ずしも対処が必要な問題を示すわけではない」としています（“a common message for many sites”、“doesn't necessarily indicate an issue that needs attention”）。ですから、最初に考えるのは、そのページが重要かどうかです。重要なら、妨げになっているものを除外し、インデックス済みのページと比べ、待ってから見直します。インデックスを強制するボタンはなく、この状態について Google が理由を示すこともありません。

「クロール済み - インデックス未登録」とは？

Search Console の「ページのインデックス登録」レポートは、Google が知っているすべてのアドレスを、「インデックス登録済み」と「インデックスに登録されていない」に振り分けます。「ページがインデックスに登録されない理由」の表では、この状態に Google 自身の説明が付いています。“The page was crawled by Google but not indexed.”（このページは Google にクロールされましたが、インデックスには登録されていません）。全文は、Google の「ページのインデックス登録」レポートのヘルプで読めます。説明は2つの部分でできています。

• クロール済み： Google がページをリクエストして、受け取った。
• インデックス未登録： Google がインデックスに保存しなかったので、検索結果には表示されない。

個別のアドレスについては、URL 検査ツールが「URL は Google に登録されていません」と表示し、その理由を「ページのインデックス登録」セクションに示します。

Google の説明は短いものです。このメッセージが一般的だと述べるだけで、ペナルティには触れず、原因も示していません。Google のクロール バジェットのガイドは、一般的な原則を述べています。“not every page that is crawled will necessarily be indexed”（クロールされたページがすべてインデックスに登録されるとは限りません）。クロールのあと、各ページは、評価され、統合され、インデックスへの適性を判断されます（“evaluated, consolidated, and assessed”）。あなたのページがこの流れのどこで止まったのかは、Google は述べていません。

そのページは重要か？直す前に決める

「ページのインデックス登録」レポートのヘルプは、対象範囲についてはっきり述べています。“Don't expect every URL on your site to be indexed. Some URLs might be duplicates or might not contain meaningful information.”（サイトのすべての URL がインデックスに登録されると期待しないでください。重複している URL や、意味のある情報を含まない URL もあります）。重要なのは主要なページだけなので、最初にアドレスを仕分けします。

サイトのページ数が500未満なら、おそらくこのレポートは必要ない、とも Google は述べています。site: に正確なアドレスを続けた検索、たとえば site:https://your-site.example/your-page で、主要なページがインデックスに登録されているかどうかが分かります。

クロール済み - インデックス未登録：重要なページの5つのチェック

この状態について、Google は原因を示していません。そのため、以下のチェックは、Google が文書化していることと、私たち自身の見方に基づいています。後者には、そのことを明記しています。

1. 保存された結果を読み、そのあと公開 URL のテストを行う。 URL 検査で「ページのインデックス登録」セクションを読みます。これはある時点の記録です。Google の URL 検査のヘルプには、“This is not a live test”（これはライブテストではありません）とあり、Google が最後にページを見てから、ページが「変更された、または利用できなくなった可能性があります」（“may have changed or become unavailable since Google last saw it”）。そこで「公開 URL をテスト」を選び、「テスト済みのページを表示」を開いて、Google がページをどうレンダリングするかを確認します。公開 URL のテストでエラーや空のページが出たら、まずそれを直します。ただし、テストに問題がなくても、結論は出ません。Google は、これが重複ページや代替ページかどうかを含め、起こりうるすべてのインデックスの問題をテストするわけではない、と述べています（“does not test for all possible indexing issues, including whether this is a duplicate or alternate page”）。
2. 念のため、妨げになっているものを除外する。 Google の技術要件は3つを挙げています。Googlebot がブロックされていないこと、ページが HTTP 200 を返すこと、インデックス可能なコンテンツがあること。これらを満たしても、ページがインデックスに登録されるとは限りません（“indexing isn't guaranteed”）。Search Console は、noindex タグ、robots.txt によるブロック、ソフト404、リダイレクトを、それぞれ別の状態として報告します。私たちの解釈では、この状態の背後にあるのは、たいていそれらではありません。それでも確認してください。保存されている状態は、最後の変更より古いことがあるからです。下に、手早く確認するための2つのコマンドがあります。
3. インデックス済みのページと比べる。 Google は、ページの複製をインデックスに登録しないと述べており、一部の URL は「意味のある情報を含まない」ことがあります（“might not contain meaningful information”）。ここからは私たちの見方で、Google の見解ではありません。同じトピックでインデックス済みのページとそのページを並べ、何を加えているかを問います。2つのページが同じ疑問に答えているなら、統合して、弱いほうのアドレスを強いほうへ 301 リダイレクトします。見出しとテンプレートくらいしかないページなら、実際のコンテンツを加えるか、インデックスに入らないままだと受け入れます。
4. 関連するインデックス済みのページからリンクする。 私たちの見方です。サイトマップにしかつながっていない、あるいは何クリックも深い場所にあるページは、サイト運営者がそれを重要と考えている手がかりが乏しくなります。近いトピックのインデックス済みのページから、文章の流れに合う形でリンクしてください。
5. 待って、同じアドレスをもう一度見る。 この状態について、Google は時間を示していません。一般的な説明はクロールについてのもので、新しいページやサイトでは「1週間ほどかかることがあります」（“It can take a week or so”）、インデックス登録は「決して即時ではありません」（“is never instant”）とされています。私たちの解釈では、数日後にもう一度見るのであって、1時間ごとではありません。Google のヘルプは、再クロールをリクエストするのは、Google が「1週間以上」（“a week or more”）気づいていない重要な変更をしたあとだけにするよう述べています。そのためには、プロパティの所有者か、フルユーザーである必要があり、上限もあります。

チェック2のために、1つ目のコマンドはステータスコードと、リダイレクト後の最終アドレスを出力し、2つ目は X-Robots-Tag ヘッダーがあればそれを出力します。望ましい結果は、200 で、ヘッダーの行がないことです。

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://your-site.example/your-page
curl -s -D - -o /dev/null https://your-site.example/your-page | grep -i x-robots-tag

「検出 - インデックス未登録」：隣り合う状態

2つの状態は、レポートの中で隣り合っています。

「検出」については、Google が典型的な理由を挙げています。URL をクロールしたかったが、サイトに過負荷をかけると見込まれた（“wanted to crawl the URL but this was expected to overload the site”）ので、クロールを予定し直した、というものです。クロール バジェットのガイドは、URL の「大部分」（“a large portion”）がこの状態にあるサイトを、対象読者に含めています。それは大規模なサイトです。ユニークなページが100万以上あり、更新が中程度の頻度（週1回程度）のサイト、またはページが1万以上あり、内容がきわめて頻繁に（毎日）更新されるサイトです。Google はこれらの数字を「大まかな見積もり」（“a rough estimate”）とし、厳密な基準ではないとしています。変化の速いページが大量にあるわけではないサイトについて、ガイドは、サイトマップを最新に保ち、「ページのインデックス登録」レポートを定期的に確認すれば「十分」（“is adequate”）と述べています。

こうしたサイトでできることは限られています。サーバーを速く、安定した状態に保ってください。サイトが遅くなったり、サーバーエラー (5xx) やレート制限 (429) を返したりすると、Google はクロール上限を下げます。サイトマップを最新に保ち、あとは待ちます。Google はこれらのページをまだ取得していないので、この状態からはコンテンツについて何も分かりません。

SEOgrinder が見せるもの、見せられないもの

SEOgrinder は私たちのツールで、私たちが開発しています。この状態について言えるのは次のことです。

• seogrinder.com の無料スキャンは、「ページのインデックス登録」レポートを読めません。 あなたの Search Console アカウントには接続しません。「Google 検索」タブでは、検索パフォーマンスのレポート（検索クエリ、ページ、クリック数、表示回数）のエクスポートをアップロードできます。インデックスの状態は、このデータには含まれません。
• Search Console に接続したローカル環境の SEOgrinder は、 スキャンしたページについて URL 検査を呼び出し、Google の回答を原文のまま表示できます。「Google はこのページをインデックスに登録していません」という指摘です。ページが見つけてもらうべきもの（サイトマップに載っている、トップページである、Search Console で表示回数がある）なら、タスクになります。そうでなければ、「ご参考」の下に表示されます。
• Google が示唆する原因に近い点のチェック。 「Google 上のページ」タブの「インデックス」カードには、ページがインデックス可能か、URL がクロール可能かが表示されます。サイトの巡回では、ほぼ同一のページの組、テキストの少ないページ、内部リンクが1つも向いていないページを一覧にします。これらはあなたのページの性質です。それが理由で Google がページを外したのかどうかは、SEOgrinder には言えませんし、Google も述べていません。

よくある間違い

• レポートを0にしようとする。 Google は、インデックスされていない URL も問題ない場合があると書いています（“non-indexed URLs can be fine”）。インデックスに入っている必要があるのは、主要なページだけです。
• インデックス登録を何度もリクエストする。 Google の再クロールのリクエストのページは、同じ URL を繰り返しリクエストしても、クロールは早くならない（“won't get it crawled any faster”）こと、そしてリクエストは、検索結果への掲載がすぐに、あるいはそもそも行われることを保証しない（“does not guarantee that inclusion in search results will happen instantly or even at all”）ことを述べています。このページはすでにクロールされています。必要なのは、違う評価を受ける理由であって、繰り返しのリクエストではありません。
• 直すものがない状態で「修正を検証」を開始する。 Google のヘルプによると、問題のインスタンスが1つでも残っていれば、検証は「不合格」（“Failed”）で終わり、特定の問題を修正して検証することが、必ずしも意味を持つとは限りません（“it might not always make sense to fix and validate a specific issue”）。私たちの解釈では、この状態について Google は直すべきものを挙げていないので、この状態のままの URL があれば、検証が失敗するのは予想どおりの結果です。
• 新しく見せるために日付を変える。 Google の有用なコンテンツのページは、内容が大きく変わっていないのに、ページの日付だけを変えて新しく見せることを、警告のサインに挙げています。
• 1つのページについて、インデックスの問題のフォームを送る。 Google がこのフォームを案内するのは、起こりうる問題を十分に診断したあとで、サイト全体にわたる完全なインデックスの問題がある場合だけです。
• サイトマップを再送信して、変化を期待する。 サイトマップは、Google がアドレスを見つける助けになりますが、このページはすでに発見され、クロールされています。

よくある質問

「クロール済み - インデックス未登録」はペナルティですか？

Google の説明に、ペナルティや手動による対策への言及はありません。Google は、このメッセージを一般的なものとし、必ずしも問題を示すわけではないと述べています。

この状態のまま数週間続くのはなぜですか？

この状態について、Google は理由もスケジュールも示していません。インデックス登録は「決して即時ではない」（“is never instant”）こと、そして、あらゆるところのすべてのページがインデックスに入ることを Google が保証するわけではないことを述べています。ここからは私たちの解釈で、Google の発言ではありません。Google がすでに持っている内容に何も加えないページは、インデックスに入らないままになることがあります。

Google にそのページを強制的にインデックスさせられますか？

できません。「インデックス登録をリクエスト」は、アドレスをクロールするよう Google に頼むものです。それをインデックスに追加せよという命令ではありません。

この状態の検証が失敗したのはなぜですか？

Google が、問題を抱えたままの URL を1つでも見つけた時点で、検証は「不合格」（“Failed”）で終わるからです。そして Google は、この状態について、直すべきものを示していません。代わりに、重要なページを1つずつ、上の5つのチェックで評価してください。

次の一歩

「ページのインデックス登録」レポートを開き、この状態をクリックして、あなたにとって重要なアドレスを2〜3件選びます。そのアドレスに SEOgrinder の無料スキャンをかけ、「Google 上のページ」タブの「インデックス」カードを読んでください。赤い部分を直して「再チェック」を押し、そのうえで、インデックス済みの近いページと比べたときのそのページの内容を改善し、関連するページからリンクします。数日後に、同じアドレスをもう一度見てください。サイト全体の点検は、SEOチェックリストの記事が手がかりになります。

あわせて読みたい

• サイトが Google に表示されない？原因を見つける7つのチェック
• Google インデックス登録：新規ページを見つけてもらう5ステップ（検証しました）