제미나이 최적화: robots.txt에서 직접 정하는 2가지 이름

핵심 답변: 제미나이 최적화로 Gemini에서 내 사이트가 언급되도록 약속할 수 있는 사람은 없고, Google 문서도 그렇게 되는 방법을 설명하지 않습니다. 내가 정할 수 있는 것은 robots.txt의 이름 두 개입니다. Googlebot은 AI 개요와 AI 모드를 포함한 Google 검색의 크롤링을 정하고, Google-Extended는 Google이 내 콘텐츠를 앞으로의 Gemini 모델 학습과 Gemini 앱의 그라운딩에 써도 되는지를 정합니다. 둘 다 열어 두면 Google이 문서로 밝힌 두 가지 장애물이 사라질 뿐, 언급을 약속하지는 않습니다. Google은 스위치를 세지 않으며, 2라는 숫자는 우리가 묶은 방식입니다.

제미나이 최적화에 대해 Google이 문서로 밝힌 것

한계부터 짚겠습니다. 우리가 근거로 삼는 Google 문서 두 개는 제어 수단을 설명할 뿐, 어떤 페이지가 선택되는지는 설명하지 않습니다. Google의 일반 크롤러 목록은 Google-Extended 토큰이 무엇을 포괄하는지 말합니다. AI features and your website 페이지는 검색의 AI 개요(AI Overviews)와 AI 모드(AI Mode)가 내 페이지를 어떻게 다루는지 설명합니다. Gemini가 답변에 쓸 페이지를 어떻게 고르는지는 두 문서 어디에도 없고, 그것을 말하는 Google 자료도 우리는 알지 못합니다. 그래서 이 글은 언급을 약속하지 않습니다. Gemini가 그 밖에 무엇을 근거로 삼을 수 있는지에 대해서도 말하지 않습니다. 그 문서들에 기록이 없고, 우리는 짐작하지 않습니다.

우리는 두 문서를 2026년 11월 4일에 가져왔습니다. 크롤러 목록에는 “Last updated 2026-10-30”, AI 기능 문서에는 “Last updated 2025-12-10”이 표시되어 있습니다. 이 글에서 Google에 대해 하는 말은 모두 이 두 문서에서 나왔고, 우리 자신의 해석에는 그렇다고 표시합니다.

용어 하나는 쉽게 풀어 설명해야 합니다. 그라운딩(grounding)은 크롤러 문서에서 “providing content from the Google Search index to the model at prompt time to improve factuality and relevancy”, 곧 사실성과 관련성을 높이기 위해 프롬프트 시점에 Google 검색 색인의 콘텐츠를 모델에 제공하는 것으로 정의됩니다. 간단히 말하면 누군가 질문할 때 모델이 Google 검색 색인의 콘텐츠를 건네받을 수 있다는 뜻입니다. 특정 Gemini 답변이 실제로 그렇게 하는지는 문서에 없습니다.

내가 정할 수 있는 것은 robots.txt의 이름 두 개이고, 제목의 2는 거기서 나왔습니다. Google은 스위치를 세지 않습니다. 이 숫자는 Google 문서가 알려 주는 이름들을 우리가 묶은 방식입니다. 미리 보기 제어인 nosnippet, data-nosnippet, max-snippet, noindex는 다른 종류의 도구이며, 우리는 이것을 스위치 1 아래에 둡니다.

스위치 1: Googlebot, Google 검색과 그 AI 기능으로 들어가는 문

AI 기능 문서에 따르면 AI는 검색에 내장되어 있고, 그래서 검색을 위해 내 사이트가 어떻게 크롤링되는지는 “robots.txt directives for Googlebot is the control”, 곧 Googlebot에 대한 robots.txt 지시문이 제어 수단입니다. 크롤러 목록은 Googlebot 토큰에 대한 크롤링 설정이 “affect Google Search (including Discover and all Google Search features)”, 곧 Discover와 모든 Google 검색 기능을 포함한 Google 검색에 영향을 주고, Google 이미지와 Google 뉴스 같은 다른 제품에도 영향을 준다고 덧붙입니다.

AI 개요와 AI 모드에는 자체 문이 없습니다. 지원하는 링크로 나올 자격을 얻으려면 페이지가 “indexed and eligible to be shown in Google Search with a snippet”, 곧 색인되어 있고 Google 검색에서 스니펫과 함께 표시될 수 있어야 하며, 추가 기술 요건은 없다고 Google은 말합니다. 그 문서를 하나씩 짚은 AI 개요와 AI 모드 글도 읽어 보세요.

이 스위치가 Gemini에 왜 중요할까요? 다음은 Google의 발언이 아니라 우리의 해석입니다. 그라운딩은 검색 색인을 끌어다 쓰는데, Googlebot이 크롤링할 수 없는 페이지는 그 색인에 내놓을 것이 없습니다. 그래서 이름에 Gemini가 붙은 어떤 것보다 먼저 Googlebot을 확인해야 합니다.

이 스위치에 붙은 조절 장치: 미리 보기 제어. 검색이 내 페이지에서 보여 주는 내용을 제한하려면 Google은 nosnippet, data-nosnippet, max-snippet, noindex를 듭니다. 이것들은 검색이 페이지에서 보여 주는 내용을 제한할 뿐, Googlebot이 페이지를 크롤링해도 되는지는 정하지 않습니다. 테스트하는 방법으로 이 문서는 Search Console의 URL 검사 도구를 가리키는데, 이 도구는 Googlebot이 페이지를 크롤링하면서 받은 HTML을 보여 줍니다.

스위치 2: Google-Extended, Gemini 학습과 그라운딩의 스위치

Google은 Google-Extended를 독립 제품 토큰(standalone product token)이라고 설명합니다. 게시자는 이 토큰으로, Google이 자기 사이트에서 크롤링한 콘텐츠를 두 가지 용도에 써도 되는지를 정합니다. 하나는 Gemini 앱과 Gemini용 Vertex AI API를 구동하는 Gemini 모델의 앞으로의 세대를 학습하는 것이고, 다른 하나는 Gemini 앱과 Vertex AI의 Grounding with Google Search에서의 그라운딩입니다.

문서에서 세 가지를 짚습니다.

• 봇이 아니라 토큰입니다. Google-Extended에는 별도의 HTTP 사용자 에이전트 문자열이 없습니다. 크롤링은 Google이 이미 쓰는 사용자 에이전트 문자열로 이루어지고, robots.txt의 토큰은 제어 수단으로만 쓰입니다. 우리의 해석은 이렇습니다. 서버 로그의 어떤 요청에도 Google-Extended라는 이름은 없으니, 로그가 아니라 robots.txt를 보세요.
• 검색에는 영향이 없습니다. “Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.”
• “다른 시스템”을 위한 것입니다. AI 기능 문서가 Google-Extended를 가리키는 경우는 “AI training and grounding in some of Google's other systems”, 곧 Google의 다른 일부 시스템에서의 AI 학습과 그라운딩을 제한할 때뿐입니다. 검색 안의 AI 기능에 대해서는 Googlebot 규칙과 미리 보기 제어를 듭니다.

허용할지 차단할지는 내가 정할 일이며, 두 문서 모두 어느 쪽도 권하지 않습니다. 허용하면 Google이 그 두 용도에 내 콘텐츠를 써도 된다는 뜻이고, Gemini가 어떤 페이지를 쓰거나 언급한다는 뜻은 아닙니다. 차단하면 그 용도에 콘텐츠를 쓰지 말라고 Google에 알리는 것이며, 문서는 그 밖의 효과를 설명하지 않습니다.

크롤러 목록에는 메모도 하나 있습니다. Google은 2027년 초에 AIPREF, 곧 공통의 기계 판독용 학습 선호 신호를 지원할 계획입니다. 오늘 시점에서 그 문서가 기록한 제어 수단은 Google-Extended입니다.

어떤 스위치가 무엇을 정하나요

robots.txt에서 두 스위치 설정하기

# 스위치 1: Googlebot에는 전용 그룹이 없으므로 "*" 그룹이 적용됩니다
User-agent: *
Disallow: /api/

# 스위치 2: Google-Extended는 전용 그룹을 가지며 전부 거부합니다
User-agent: Google-Extended
Disallow: /

이 예시는 권장이 아니라 하나의 선택입니다. Google 검색은 열어 두고 Gemini 학습과 그라운딩은 거부합니다. Google이 내 콘텐츠를 써도 되게 하려면 Google-Extended 그룹을 빼세요. 전용 그룹이 없으면 RFC 9309에 따라 이 토큰에는 * 그룹이 적용됩니다(Google의 크롤러 문서는 Google-Extended에 대해 이것을 명시하지는 않습니다).

이 규칙의 바탕은 RFC 9309가 정합니다. 크롤러는 자기 이름에 맞는 그룹을 따르고, 맞는 그룹이 없을 때만 * 그룹을 따릅니다. 여기서 두 가지가 나옵니다.

• Googlebot용 그룹을 만들면, 아직 필요한 규칙을 모두 그 안에 되풀이해 적으세요. 그때부터 * 그룹은 Googlebot에 적용되지 않습니다.
• * 아래의 Disallow: /는 두 스위치를 모두 닫습니다. 스테이징 사이트에서 남은 설정인 경우가 많습니다. 둘 중 하나가 전용 그룹을 갖지 않는 한 Googlebot과 Google-Extended 모두에 적용됩니다.

같은 표준은 robots.txt가 “not a substitute for valid content security measures”, 곧 유효한 콘텐츠 보안 조치를 대신하지 못한다고 말합니다. robots.txt는 자물쇠가 아니라 부탁입니다.

우리 자신의 파일은 하나의 예시이지 권장이 아닙니다. 2026년 11월 4일에 우리는 https://seogrinder.com/robots.txt를 curl로 가져왔습니다. *와 AI 사용자 에이전트 아홉 개(Google-Extended 포함)가 함께 쓰는 그룹 하나이며, /api/를 뺀 모든 것을 허용합니다. Googlebot에는 전용 그룹이 없고 *를 따르므로 그곳에서는 두 스위치가 모두 열려 있습니다. 이것은 사이트 운영자의 결정이며, 내 사이트는 다를 수 있습니다.

내 파일을 확인하려면 curl -sS https://example.com/robots.txt를 실행해 Googlebot, Google-Extended, User-agent: * 그룹을 찾아보세요. 그런 다음에는 시간을 주세요. Google은 크롤링에 “anywhere from several days to several months”, 곧 며칠에서 몇 달이 걸릴 수 있다고 적는데, 이 문장은 미리 보기 제어에 관한 것입니다. Google-Extended를 바꿨을 때 걸리는 시간은 크롤러 목록에 없으므로 우리도 말하지 않습니다.

SEOgrinder는 어떻게 돕나요

SEOgrinder는 무료이고 계정이 필요 없으며, 우리가 만듭니다. 주소를 입력하고 분석을 시작해 리포트를 여세요. 여기서 중요한 곳은 두 군데입니다.

• 「AI 준비도」 탭, 「AI 에이전트용 검사」: 「AI 봇 제어하기」 항목은 robots.txt에 명시적인 규칙이 있는 AI 크롤러를 세고, 그중 허용된 것과 차단된 것이 각각 몇 개인지 알려 주며 차단된 것의 이름을 보여 줍니다. Google-Extended를 이름으로 알아보고 학습 크롤러로 셉니다. 학습과 검색에 각각 명시적인 규칙이 있으면 이 항목이 충족됩니다. Googlebot은 이 항목에 포함되지 않습니다.
• 「할 일」 탭: 「robots.txt가 이 주소를 차단합니다」는 Disallow 규칙이 Googlebot이 스캔한 페이지에 접근하지 못하게 할 때, 「페이지가 Google에서 제외되어 있습니다」는 noindex가 설정되어 있을 때 나타납니다.

항목에서 에이전트 프롬프트 복사를 누르면 코딩 어시스턴트에 줄 지시문을 받고, 바꾼 뒤에는 다시 확인으로 결과를 확인합니다. SEOgrinder는 서버 로그를 읽지 않고, Gemini가 내 사이트를 언급하는지도 측정하지 않습니다. 기술적 기반을 점검합니다.

자주 하는 실수

• AI 개요에서 빠지려고 Google-Extended를 차단하는 것. 검색의 AI 기능에 대해 Google 문서가 드는 것은 Googlebot 규칙과 미리 보기 제어입니다. Google-Extended는 Google 검색 포함 여부에 영향을 주지 않는다고 합니다.
• 서버 로그에서 Google-Extended를 찾는 것. 별도의 사용자 에이전트 문자열이 없습니다.
• 다른 규칙을 잃어버리는 Googlebot 그룹. 전용 그룹이 있는 이름은 * 그룹을 무시합니다.
• 스테이징 사이트에서 남은 Disallow: /가 파일에 그대로 있는 것. 두 스위치를 한꺼번에 닫습니다.
• “허용”을 “언급”으로 읽는 것. 허용은 장애물 하나를 치울 뿐 언급을 약속하지 않습니다.
• 즉시 효과를 기대하는 것. Google-Extended에 대해 Google은 걸리는 시간을 밝히지 않고, 미리 보기 제어에 대해서는 며칠에서 몇 달이라고 합니다.
• robots.txt를 보호 장치로 여기는 것. 표준은 이것이 콘텐츠 보안을 대신하지 못한다고 말합니다.

자주 묻는 질문

Gemini가 내 사이트를 언급하게 만들 수 있나요?

아니요. 누구도 강제할 수 없고, 두 Google 문서 모두 그렇게 되게 하는 설정을 설명하지 않습니다. Google이 내 콘텐츠를 크롤링하고 쓸 수 있도록 장애물을 치울 수는 있습니다. Gemini 답변이 그것을 언급하는지는 문서에 없습니다.

Google-Extended를 차단하면 순위가 떨어지거나 AI 개요에서 빠지나요?

Google-Extended는 Google 검색 포함 여부에 영향을 주지 않으며 검색에서 순위 신호도 아니라고 Google은 말합니다. AI 개요와 AI 모드에 대해서는 AI 기능 문서가 Googlebot 규칙과 미리 보기 제어를 가리킵니다.

Gemini를 위해 llms.txt나 특별한 마크업이 필요한가요?

AI 개요와 AI 모드에 대해서는 새로운 기계 판독용 파일도, AI 텍스트 파일도, 마크업도 필요 없고 특별한 schema.org 구조화된 데이터도 필요 없다고 Google은 말합니다. Gemini 앱에 대해서는 그 문서가 아무 말도 하지 않습니다. llms.txt의 효과를 입증하는 출처는 우리도 알지 못합니다.

SEOgrinder는 Gemini가 내 사이트를 언급하는지 보여 주나요?

아니요. robots.txt가 스캔한 페이지에서 Googlebot을 막는지, Google-Extended에 대한 규칙이 있는지를 점검합니다. 언급을 추적하는 도구는 다른 일을 합니다.

다음 단계

robots.txt를 열어 Googlebot, Google-Extended, User-agent: * 그룹을 찾아보세요. 남아 있는 규칙이 Googlebot을 막고 있지 않은지 확인하고, Google-Extended는 의도를 가지고 정하세요. 그런 다음 SEOgrinder의 무료 스캔을 실행하고 「AI 준비도」 탭과 「할 일」 탭을 열어 남은 것을 처리하세요. OpenAI, Anthropic, Perplexity의 봇은 AI 크롤러 차단·허용 글에서 다룹니다.

함께 읽어 보세요

• Claude 인용: Anthropic 봇 3가지와 허용할 봇 고르는 법
• 퍼플렉시티 최적화: PerplexityBot이 내 페이지를 읽는지 확인하는 3가지
• GEO와 SEO 차이: 정말 다른 점, 그리고 Google이 같다고 말하는 것