크롤링됨 - 현재 색인이 생성되지 않음: 뜻과 점검 5가지

핵심 답변: ‘크롤링됨 - 현재 색인이 생성되지 않음’은 Google이 페이지를 가져갔지만 색인에 추가하지 않았다는 뜻입니다. Google은 이것을 “a common message for many sites”, 즉 많은 사이트에서 흔한 메시지이며 “doesn't necessarily indicate an issue that needs attention”, 즉 반드시 조치가 필요한 문제를 뜻하지는 않는다고 설명합니다. 그러니 먼저 그 페이지가 중요한지 물어야 합니다. 중요하다면 걸림돌을 배제하고, 색인된 페이지와 비교하고, 기다린 뒤 다시 확인하세요. 색인을 강제하는 버튼은 없고, Google은 이 상태의 이유를 밝히지 않습니다.

‘크롤링됨 - 현재 색인이 생성되지 않음’은 무슨 뜻인가요?

Search Console의 「페이지 색인 생성」 보고서는 Google이 아는 모든 주소를 색인된 것과 색인되지 않은 것으로 나눕니다. 「페이지의 색인이 생성되지 않는 이유」 표에서 이 상태에는 Google 자신의 설명이 달려 있습니다. “The page was crawled by Google but not indexed.” 전체 문구는 Google의 페이지 색인 생성 보고서 도움말에서 볼 수 있습니다. 두 부분으로 되어 있습니다.

• 크롤링됨: Google이 페이지를 요청했고 받았습니다.
• 현재 색인이 생성되지 않음: Google이 페이지를 색인에 저장하지 않았으므로, 검색결과에 나타날 수 없습니다.

개별 주소에 대해서는 「URL 검사」가 「URL이 Google에 등록되어 있지 않음」이라고 표시하고, 「페이지 색인 생성」 섹션에 그 이유를 적습니다.

Google의 설명은 짧습니다. 이 메시지가 흔하다고 말하고, 불이익을 언급하지 않으며, 원인도 밝히지 않습니다. Google의 크롤링 예산 가이드는 일반 규칙을 이렇게 적습니다. “not every page that is crawled will necessarily be indexed”, 즉 크롤링된 모든 페이지가 반드시 색인되는 것은 아닙니다. 크롤링 뒤에 각 페이지는 “must be evaluated, consolidated, and assessed to determine its suitability for the index”, 즉 평가되고 통합되고, 색인에 적합한지 판단되어야 합니다. 내 페이지가 이 단계 중 어디에서 멈췄는지는 Google이 말하지 않습니다.

페이지가 중요한가요? 고치기 전에 먼저 판단하세요

페이지 색인 생성 보고서 도움말은 포함 범위에 대해 직설적입니다. “Don't expect every URL on your site to be indexed. Some URLs might be duplicates or might not contain meaningful information.” 사이트의 모든 URL이 색인되기를 기대하지 말라는 뜻입니다. 일부는 중복이거나 의미 있는 정보가 없을 수 있습니다. 중요한 페이지만 의미가 있으니, 먼저 주소를 분류하세요.

Google은 사이트의 페이지가 500개 미만이라면 이 보고서가 아예 필요하지 않을 가능성이 높다고 덧붙입니다. site: 뒤에 정확한 주소를 붙인 검색, 예를 들어 site:https://your-site.example/your-page로 핵심 페이지가 색인되어 있는지 알 수 있습니다.

현재 색인이 생성되지 않음: 중요한 페이지를 위한 점검 5가지

Google은 이 상태의 원인을 밝히지 않으므로, 이 점검들은 Google이 문서로 밝힌 내용과 우리 자신의 견해에 근거합니다. 후자에는 표시를 붙입니다.

1. 저장된 결과를 읽고, 라이브 테스트를 실행하기. 「URL 검사」에서 「페이지 색인 생성」 섹션을 읽으세요. 이것은 스냅샷입니다. Google의 URL 검사 도움말은 이것이 “This is not a live test”, 즉 실시간 테스트가 아니며 페이지가 “may have changed or become unavailable since Google last saw it”, 즉 Google이 마지막으로 본 뒤 바뀌었거나 접근할 수 없게 되었을 수 있다고 말합니다. 그다음 「라이브 URL 테스트」를 선택하고 「테스트된 페이지 보기」를 열어 Google이 페이지를 어떻게 렌더링하는지 확인하세요. 라이브 테스트에 오류나 빈 페이지가 나오면 그것부터 고치세요. 하지만 깨끗한 라이브 테스트가 무죄 판결은 아닙니다. Google은 라이브 테스트가 “does not test for all possible indexing issues, including whether this is a duplicate or alternate page”, 즉 중복 페이지나 대체 페이지인지 여부를 포함해 가능한 모든 색인 문제를 테스트하지는 않는다고 말합니다.
2. 그래도 걸림돌 배제하기. Google의 기술 요건은 세 가지를 꼽습니다. Googlebot이 차단되지 않았을 것, 페이지가 HTTP 200으로 응답할 것, 색인할 수 있는 콘텐츠가 있을 것입니다. 이것을 충족해도 페이지가 색인된다는 뜻은 아닙니다. “indexing isn't guaranteed”. Search Console은 noindex 태그, robots.txt 차단, 소프트 404, 리디렉션을 각자의 상태로 보고하므로, 우리의 해석으로는 대개 이 상태의 원인이 아닙니다. 그래도 확인하세요. 저장된 상태가 마지막 변경보다 오래된 것일 수 있기 때문입니다. 빠르게 살펴보는 명령 두 개는 목록 아래에 있습니다.
3. 색인된 페이지와 비교하기. Google은 자기 말로 페이지의 중복 사본을 색인하지 않으며, 어떤 URL은 “might not contain meaningful information”, 즉 의미 있는 정보가 없을 수 있다고 합니다. 우리의 견해이며 Google의 말은 아닙니다. 그 페이지를 같은 주제에서 색인된 페이지 옆에 놓고 무엇을 더하는지 물어보세요. 두 페이지가 같은 질문에 답한다면 하나로 합치고, 약한 주소를 강한 주소로 301 리디렉션하세요. 페이지가 제목 하나와 템플릿 정도에 불과하다면 실제 콘텐츠를 채우거나, 색인 밖에 남는다는 것을 받아들이세요.
4. 관련된 색인된 페이지에서 링크하기. 우리의 견해입니다. 사이트맵에만 매달려 있거나 여러 번 클릭해야 닿는 곳에 있는 페이지는, 내가 그것을 중요하게 여긴다는 표시가 거의 없습니다. 이웃한 주제의 색인된 페이지에서 글의 흐름에 맞게 링크하세요.
5. 기다린 뒤 같은 주소를 다시 보기. Google은 이 상태에 대해 시간을 밝히지 않습니다. 일반적인 설명은 크롤링에 관한 것입니다. 새 페이지나 사이트는 “It can take a week or so”, 즉 일주일 정도 걸릴 수 있고, 색인은 “is never instant”, 즉 결코 즉각적이지 않습니다. 우리의 해석입니다. 몇 시간마다가 아니라 며칠 뒤에 다시 확인하세요. Google 도움말은 재크롤링 요청을 Google이 “a week or more”, 즉 일주일 이상 알아채지 못한 중요한 변경이 있을 때만 하라고 말합니다. 속성의 소유자이거나 전체 권한 사용자여야 하고, 할당량이 있습니다.

점검 2를 위해, 아래 첫 명령은 상태 코드와 리디렉션 뒤의 최종 주소를, 둘째 명령은 있을 수 있는 X-Robots-Tag 헤더를 출력합니다. 200이 나오고 헤더 줄이 없으면 좋은 상태입니다.

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://your-site.example/your-page
curl -s -D - -o /dev/null https://your-site.example/your-page | grep -i x-robots-tag

발견됨 - 현재 색인이 생성되지 않음: 이웃한 상태

두 상태는 보고서에서 나란히 있습니다.

「발견됨」에 대해 Google은 전형적인 이유를 듭니다. “wanted to crawl the URL but this was expected to overload the site”, 즉 URL을 크롤링하고 싶었지만 사이트에 과부하가 걸릴 것으로 예상되어, 크롤링 일정을 다시 잡았습니다. 크롤링 예산 가이드는 URL의 “a large portion”, 즉 상당 부분이 이 상태인 사이트를 이 가이드의 대상 사이트로 꼽습니다. 대규모 사이트입니다. 고유한 페이지가 100만 개 이상이며 적당한 빈도(대략 주 1회)로 바뀌는 사이트, 또는 10,000개 이상이며 콘텐츠가 매우 빠르게 바뀌고 매일 갱신되는 사이트입니다. Google은 이 숫자를 정확한 기준이 아니라 “a rough estimate”, 즉 대략의 추정이라고 부릅니다. 빠르게 바뀌는 페이지가 많지 않은 사이트에는 사이트맵을 최신으로 유지하고 「페이지 색인 생성」 보고서를 정기적으로 확인하는 것이 “is adequate”, 즉 충분하다고 가이드는 말합니다.

이런 사이트에서 할 수 있는 일은 제한적입니다. 서버를 빠르고 안정적으로 유지하세요. 사이트가 느려지거나 서버 오류(5xx)나 속도 제한(429)으로 응답하면 Google이 크롤링 한도를 낮춥니다. 사이트맵을 최신으로 유지하고 기다리세요. Google은 이 페이지들을 아직 가져가지 않았으므로, 이 상태는 그 콘텐츠에 대해 아무것도 말해 주지 않습니다.

SEOgrinder가 보여 주는 것, 보여 주지 못하는 것

SEOgrinder는 우리의 도구이며, 우리가 만듭니다. 이 상태와 관련해서는 이렇습니다.

• seogrinder.com의 무료 스캔은 내 「페이지 색인 생성」 보고서를 읽을 수 없습니다. 내 Search Console 계정에 연결되지 않기 때문입니다. 「Google 검색」 탭에서는 실적 보고서(검색어, 페이지, 클릭, 노출)의 내보내기 파일을 올릴 수 있습니다. 색인 상태는 그 데이터에 들어 있지 않습니다.
• Search Console과 연결한 로컬 설치는 스캔한 페이지에 대해 URL 검사 결과를 가져와 Google의 답을 원문 그대로 보여 줄 수 있으며, 「Google이 이 페이지를 색인에 보관하지 않습니다」라는 발견 사항으로 나타납니다. 페이지가 찾아져야 하는 경우(사이트맵에 있거나, 홈페이지이거나, Search Console에서 노출이 확인된 경우)에는 과제입니다. 그렇지 않으면 「참고 사항」 아래에 나옵니다.
• Google이 암시하는 원인에 가까운 점검. 「Google에서의 페이지」 탭의 「색인」 카드는 페이지를 색인할 수 있는지, URL을 크롤링할 수 있는지 보여 줍니다. 「사이트 순회」는 거의 동일한 페이지 쌍, 텍스트가 적은 페이지, 내부 링크가 가리키지 않는 페이지를 나열합니다. 이것은 내 페이지의 속성입니다. Google이 그 때문에 페이지를 뺐는지는 SEOgrinder가 말할 수 없고, Google도 말하지 않습니다.

자주 하는 실수

• 보고서를 0으로 만들려고 쫓아다니기. Google은 색인되지 않은 URL도 괜찮을 수 있다(“non-indexed URLs can be fine”)고 씁니다. 핵심 페이지만 색인에 들어 있으면 됩니다.
• 색인 생성을 계속 요청하기. Google의 재크롤링 요청 문서는 같은 URL을 되풀이해 요청해도 “won't get it crawled any faster”, 즉 더 빨리 크롤링되지 않으며, 요청이 “does not guarantee that inclusion in search results will happen instantly or even at all”, 즉 검색결과에 즉시, 또는 아예 포함되는 것을 보장하지 않는다고 말합니다. 이 페이지는 이미 크롤링되었습니다. 다르게 평가받을 이유가 필요하지, 요청의 반복이 필요한 것이 아닙니다.
• 고칠 것이 없는 상태에 수정 확인(영어 UI의 Validate fix)을 시작하기. Google 도움말에 따르면 아직 문제가 남은 인스턴스가 하나라도 발견되면 확인은 「실패」로 끝나고, “it might not always make sense to fix and validate a specific issue”, 즉 특정 문제를 수정하고 확인하는 것이 늘 의미 있지는 않을 수 있습니다. 우리의 해석입니다. 이 상태에 대해 Google은 고칠 것을 밝히지 않으므로, 아직 이 상태인 URL이 있으면 확인이 실패하는 것이 예상되는 결과입니다.
• 날짜를 바꿔 새것처럼 보이게 하기. Google의 유용한 콘텐츠 문서는 내용이 실질적으로 바뀌지 않았는데 페이지가 새것처럼 보이도록 날짜를 바꾸는 것을 경고 신호로 꼽습니다.
• 페이지 하나를 색인 문제 신고 양식에 보내기. Google은 이 양식을 사이트 전체에 걸친 완전한 색인 생성 문제가 있고 가능한 문제를 모두 진단한 뒤에만 안내합니다.
• 사이트맵을 다시 제출하고 변화를 기대하기. 사이트맵은 Google이 주소를 발견하도록 돕지만, 이 주소는 이미 발견되었고 크롤링도 되었습니다.

자주 묻는 질문

「크롤링됨 - 현재 색인이 생성되지 않음」은 페널티인가요?

Google의 설명에는 불이익도 직접 조치도 언급되지 않습니다. 이 메시지가 흔하다고 하고, 반드시 문제를 가리키는 것은 아니라고 말합니다.

왜 페이지가 몇 주째 이 상태로 남아 있나요?

Google은 이 상태에 대해 이유도 일정도 밝히지 않습니다. 색인은 “is never instant”, 즉 결코 즉각적이지 않고, 모든 페이지가 어디서나 색인에 들어간다고 보장하지도 않는다고 말합니다. 우리의 해석이며 Google의 진술은 아닙니다. Google이 이미 가진 것에 아무것도 더하지 않는 페이지는 색인 밖에 남을 수 있습니다.

Google이 페이지를 색인하도록 강제할 수 있나요?

아니요. 「색인 생성 요청」은 Google에 주소를 크롤링해 달라고 부탁하는 것입니다. 색인에 추가하라는 명령이 아닙니다.

이 상태의 수정 확인이 왜 실패했나요?

Google이 이 문제를 아직 가진 URL을 하나라도 발견하면 확인이 「실패」로 끝나는데, Google은 이 상태에 대한 해결 방법을 밝히지 않기 때문입니다. 대신 중요한 페이지마다 위의 다섯 가지 점검으로 판단하세요.

다음 단계

「페이지 색인 생성」 보고서를 열어 이 상태를 클릭하고, 내게 중요한 주소 두세 개를 고르세요. 그 주소들에 SEOgrinder의 무료 스캔을 실행하고 「Google에서의 페이지」 탭의 「색인」 카드를 읽으세요. 빨간 항목을 고치고 「다시 확인」을 누른 뒤, 색인된 이웃 페이지와 비교해 페이지가 말하는 내용을 개선하고 관련 페이지에서 링크하세요. 며칠 뒤 같은 주소를 다시 확인하세요. 페이지를 새로 만든 것이라면 기다리는 시간부터 고려하세요.

함께 읽어 보세요

• 구글 사이트 검색 안됨: 순서대로 확인할 7가지 원인
• 구글 색인 등록: Google이 새 페이지를 찾게 돕는 5단계 (직접 테스트함)