Gemini に表示される：robots.txt で自分で決められる2つの名前

結論： Gemini に表示されると約束できる人はいません。Google のページにも、そこで名前が挙がる方法は書かれていません。自分で決められるのは、robots.txt の2つの名前です。Googlebot は、AI Overviews と AI モードを含む Google 検索のためのクロールを決めます。Google-Extended は、将来の Gemini モデルの学習と、Gemini アプリでのグラウンディングに、Google がコンテンツを使ってよいかを決めます。両方を開けておくと、Google が文書で示している2つの妨げがなくなりますが、名前が挙がることを約束するものではありません。Google はスイッチを数えていません。「2」は私たちの分け方です。

Gemini に表示される方法について Google が示していること

まず、限界から確認します。私たちが頼りにする2つの Google のページは、選ばれ方ではなく、制御の手段を説明しています。Google の一般的なクローラーの一覧は、Google-Extended トークンが何を対象にするかを述べています。AI features and your website（AI 機能とあなたのサイト）のページは、検索の AI Overviews と AI モードが、あなたのページをどう扱うかを説明しています。Gemini が回答にどのページを使うかをどう選ぶのかは、どちらにも書かれておらず、それを述べる Google の情報源を私たちは知りません。そのため、この記事は名前が挙がることを約束しません。Gemini がほかに何を材料にしうるかについても、何も述べません。そこには書かれていないので、推測しません。

私たちは、2026年11月4日に2つのページを取得しました。クローラーの一覧には “Last updated 2026-10-30”、AI 機能のページには “Last updated 2025-12-10” とあります。Google について私たちが書くことは、すべてこの2つのページに基づいています。私たち自身の解釈には、そう印を付けます。

用語を1つ、簡単に説明します。グラウンディング（grounding）は、クローラーのページで “providing content from the Google Search index to the model at prompt time to improve factuality and relevancy”（事実性と関連性を高めるために、プロンプトの時点で Google 検索インデックスのコンテンツをモデルに提供すること）と定義されています。要するに、誰かが質問したとき、モデルに Google の検索インデックスのコンテンツを渡せる、ということです。特定の Gemini の回答がそうしているかどうかは、ページには書かれていません。

自分で決められるのは、robots.txt の2つの名前です。タイトルの「2」は、ここから来ています。Google はスイッチを数えていません。この数字は、Google のページがあなたに示している名前を、私たちがまとめたものです。検索での表示の制御（nosnippet、data-nosnippet、max-snippet、noindex）は別の種類の道具で、私たちはスイッチ1の下に置きます。

スイッチ1：Googlebot、Google 検索とその AI 機能への入口

AI 機能のページによれば、AI は検索に組み込まれています。だから、サイトが検索のためにどうクロールされるかについては、“robots.txt directives for Googlebot is the control”（Googlebot 向けの robots.txt の指示が制御の手段です）とされています。クローラーの一覧は、Googlebot トークンへのクロールの設定が “affect Google Search (including Discover and all Google Search features)”（Google 検索に影響する。Discover とすべての Google 検索の機能を含む）と補い、Google 画像や Google ニュースなど、ほかのプロダクトにも及ぶとしています。

AI Overviews と AI モードに、専用の入口はありません。サポートリンクの対象になるには、ページが “indexed and eligible to be shown in Google Search with a snippet”（インデックスされていて、Google 検索にスニペット付きで表示できる）状態でなければならず、追加の技術要件はない、と Google は述べています。このページを順に読んだ内容は、AI Overviews と AI モードの記事にまとめています。

なぜこのスイッチが Gemini にとって大事なのか。これは Google の発言ではなく、私たちの解釈です。グラウンディングは検索インデックスを使うので、Googlebot がクロールできないページは、そのインデックスに差し出すものがありません。だから、Gemini の名前が付いたものより先に、まず Googlebot を確認してください。

このスイッチのつまみ：検索での表示の制御。 検索があなたのページから表示する内容を制限するために、Google は nosnippet、data-nosnippet、max-snippet、noindex を挙げています。これらが制限するのは、検索がページから表示する内容です。Googlebot がクロールしてよいかどうかは、決めません。試すには、Search Console の URL 検査ツールを使うよう、ページは案内しています。このツールは、Googlebot がページをクロールしたときに受け取った HTML を表示します。

スイッチ2：Google-Extended、Gemini の学習とグラウンディングのスイッチ

Google は、Google-Extended を、独立したプロダクト トークンと説明しています。Google がサイトからクロールしたコンテンツを、2つの目的に使ってよいかを、サイト運営者が管理するためのものです。1つは、Gemini アプリと Gemini 向け Vertex AI API を支える、将来の世代の Gemini モデルの学習。もう1つは、Gemini アプリと、Vertex AI の Grounding with Google Search でのグラウンディングです。

ページにある詳細が3つあります。

• ボットではなく、トークンです。 Google-Extended には、HTTP リクエストの専用のユーザー エージェント文字列がありません。クロールは Google の既存のユーザー エージェント文字列で行われ、robots.txt のトークンは制御のためだけに使われます。私たちの解釈では、サーバーのログのどのリクエストにも、Google-Extended という名前は載りません。ですから、見るのはログではなく、robots.txt です。
• 検索には影響しません。 “Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.”（Google-Extended は、サイトが Google 検索に含まれるかどうかに影響せず、Google 検索のランキング シグナルとしても使われません）。
• 対象は「ほかのシステム」です。 AI 機能のページが Google-Extended を案内するのは、“AI training and grounding in some of Google's other systems”（Google のほかの一部のシステムでの AI の学習とグラウンディング）を制限したいときだけです。検索の中にある AI 機能については、Googlebot のルールと、検索での表示の制御を挙げています。

許可するか、ブロックするかは、あなたが決めることで、どちらのページも、どちらかを勧めてはいません。許可すれば、Google はその2つの目的にあなたのコンテンツを使えます。Gemini がページを使う、または名前を挙げる、という意味ではありません。ブロックすれば、その目的にコンテンツを使わないよう Google に伝えることになります。ページは、それ以外の影響を説明していません。

クローラーの一覧には、注記もあります。Google は、機械が読める共通の学習用シグナルである AIPREF を、2027年の初めにサポートする意向です。現時点で、そのページが文書にしている制御の手段は Google-Extended です。

どのスイッチが何を制御するか

robots.txt で2つのスイッチを設定する方法

# スイッチ1：Googlebot には専用のグループがないので、"*" のグループが適用される
User-agent: *
Disallow: /api/

# スイッチ2：Google-Extended には専用のグループを作り、すべてを断る
User-agent: Google-Extended
Disallow: /

この例は、推奨ではなく、ひとつの選択です。Google 検索は開けたまま、Gemini の学習とグラウンディングを断ります。Google にコンテンツを使ってほしいなら、Google-Extended のグループを書かないでください。専用のグループがなければ、RFC 9309 では、* のグループに従います（Google のクローラーのページは、Google-Extended についてこれを明示していません）。

この背後にあるルールは、RFC 9309 が定めています。クローラーは、自分の名前に合うグループに従い、合うものがないときにだけ * のグループに従います。ここから、2つのことが言えます。

• Googlebot 用のグループを作ったら、まだ必要なルールをすべて、そのグループにも書き写してください。 * のグループは、もう Googlebot には適用されません。
• * の下の Disallow: / は、2つのスイッチを両方とも閉じます。 ステージング用サイトの名残であることが多いものです。Googlebot にも Google-Extended にも効きます。どちらかに専用のグループがあるときを除きます。

同じ標準は、robots.txt は “not a substitute for valid content security measures”（有効なコンテンツ セキュリティ対策の代わりではない）と述べています。robots.txt は、お願いであって、鍵ではありません。

私たち自身のファイルは、例であって、推奨ではありません。2026年11月4日に、curl で https://seogrinder.com/robots.txt を取得しました。* と9つの AI のユーザー エージェント（Google-Extended を含む）が1つのグループを共有し、/api/ 以外はすべて許可しています。Googlebot には専用のグループがなく、* に従うので、そこでは2つのスイッチがどちらも開いています。これはサイト運営者の判断で、あなたの場合は違ってかまいません。

自分のファイルを確認するには、curl -sS https://example.com/robots.txt を実行して、Googlebot、Google-Extended、User-agent: * のグループを探してください。そのあとは、待ちます。クロールには “anywhere from several days to several months”（数日から数か月）かかることがある、と Google は書いています。この一文は、検索での表示の制御についてのものです。Google-Extended を変えた場合にかかる時間は、クローラーの一覧に書かれていないので、私たちも示しません。

SEOgrinder でできること

SEOgrinder は無料で、アカウントは要らず、私たちが開発しています。アドレスを入力し、分析を始めて、レポートを開きます。ここで大切な場所は2つです。

• 「AI 対応」タブの「AI エージェント向けのチェック」： 「AI ボットを制御する」の項目は、robots.txt に明示的なルールがある AI クローラーを数え、そのうち許可が何個、ブロックが何個かを示し、ブロックしているものの名前を挙げます。Google-Extended は名前で知っていて、学習用のクローラーとして数えます。学習と検索に、それぞれ明示的なルールがあれば、この項目は満たされます。Googlebot は、この項目の対象ではありません。
• 「タスク」タブ： Disallow ルールがスキャンしたページから Googlebot を遠ざけているときは、「robots.txt がこの URL をブロックしています」が出ます。noindex が設定されているときは、「ページが Google から除外されています」が出ます。

項目で エージェント用プロンプトをコピー を押すと、コーディング アシスタント向けの指示が手に入ります。変更したあとは、再チェック で結果を確認します。SEOgrinder は、サーバーのログを読まず、Gemini があなたのサイトの名前を挙げるかどうかも測りません。確認するのは、技術的な土台です。

よくある間違い

• AI Overviews から外れるために、Google-Extended をブロックする。 検索の中の AI 機能について、Google のページが挙げているのは、Googlebot のルールと、検索での表示の制御です。Google-Extended は Google 検索への掲載に影響しない、と Google は述べています。
• サーバーのログで Google-Extended を探す。 専用のユーザー エージェント文字列がありません。
• ほかのルールを失う Googlebot のグループ。 専用のグループがある名前は、* のグループを無視します。
• ステージング用サイトの Disallow: / が、ファイルに残っている。 2つのスイッチを、一度に閉じます。
• 「許可」を「名前が挙がる」と読む。 許可は、妨げを1つ取り除くだけです。名前が挙がることは約束しません。
• すぐに効果が出ると期待する。 Google-Extended について Google は時間を示しておらず、検索での表示の制御については数日から数か月としています。
• robots.txt を保護だと考える。 標準は、コンテンツ セキュリティの代わりにはならないとしています。

よくある質問

Gemini に、自分のサイトの名前を挙げさせることはできますか？

いいえ。誰にも強制できず、どちらの Google のページにも、それを起こす設定は書かれていません。できるのは、Google がコンテンツをクロールして使えるように、妨げを取り除くことです。Gemini の回答がその名前を挙げるかどうかは、文書にはありません。

Google-Extended をブロックすると、順位が下がりますか？ AI Overviews から外れますか？

Google は、Google-Extended は Google 検索への掲載に影響せず、そこでのランキング シグナルでもない、と述べています。AI Overviews と AI モードについては、AI 機能のページが、Googlebot のルールと検索での表示の制御を案内しています。

Gemini のために、llms.txt や特別なマークアップは要りますか？

AI Overviews と AI モードについて Google は、新しい機械可読ファイルも、AI 用のテキスト ファイルも、マークアップも、特別な schema.org の構造化データも要らない、と書いています。Gemini アプリについては、そのページは何も述べていません。llms.txt の効果を裏付ける情報源を、私たちは知りません。

Gemini があなたのサイトの名前を挙げるかどうかを、SEOgrinder は示しますか？

いいえ。確認するのは、robots.txt がスキャンしたページから Googlebot をブロックしていないか、Google-Extended のルールがあるか、です。言及を追跡するツールは、別の仕事をしています。

次のステップ

robots.txt を開き、Googlebot、Google-Extended、User-agent: * のグループを探してください。Googlebot をブロックする古い規則が残っていないことを確かめ、Google-Extended は自分の意思で決めます。そのあと、SEOgrinder の無料スキャンを実行し、「AI 対応」タブと「タスク」タブを開いて、未対応のものを直してください。OpenAI、Anthropic、Perplexity のボットについては、AI クローラー向けの robots.txt の記事で扱っています。

あわせて読みたい

• Claude に引用される？Anthropic の3つのボットと許可の判断
• Perplexity SEO：PerplexityBot が読めるか確認する3つのチェック
• GEO と SEO の違い：本当に違う3点と、Google が「同じ」と言う点