구글 서치 콘솔 맞춤 로봇 텍스트 ‘robots.txt’ 오류 및 차단 테스트 방법

구글 서치 콘솔(Google Search Console)은 네이버 서치 어드바이저(NAVER Search Advisor)와 빙 웹마스터툴(Bing Webmaster Tools)과 함께 검색 엔진 최적화(SEO: Search Engine Optimization) 여부를 확인 할 수 있는 가장 대표적인 웹 마스터 도구(Web Master Tools)로, 워드프레스(WordPress)와 구글 블로그스팟(Google Blogspot) 등 폐쇄적인 포털 사이트인 NAVER와 Daum 등의 검색에 반영되기 위해서는 기본적으로 사용하게 되는 웹 서비스 입니다. 구글 서치 콘솔에서는 WordPress와 Blogger, TISTORY 등에서 포스팅하고 발행한 글을 수집하여 색인 하는 과정에서 ‘적절한 표준 태그가 포함된 대체 페이지’와 ‘리디렉션이 포함된 페이지’, ‘NOINDEX 태그에 의해 제외된 페이지’ 등을 발견하여 수정할 수 있고, 맞춤 로봇 텍스트 ‘robots.txt’ 테스트를 통해 검색엔진이 페이지에 정상적으로 접근할 수 있는지도 확인 할 수 있습니다.

1. Google Search Console 페이지 색인 생성

구글 서치 콘솔 메인 페이지 좌측 메뉴의 ‘색인 생성 – 페이지’ 항목을 선택하면 페이지 색인 생성의 ‘알려진 모든 페이지 ▾’가 오른쪽에 표시되고, 바로 아래에 위치해 있는 ‘페이지 색인 생성’의 ‘☑ 색인이 생성되지 않는 이유’ 탭을 선택하면 ‘! 페이지 색인이 생성되지 않는 이유 색인이 생성되지 않은 페이지는 Google에 게시할 수 없습니다.’ 메시지와 함께 하단에 세부 항목으로 표시니다.

페이지 색인이 생성되지 않는 이유 항목은 ‘적절한 표준 태그가 포함된 대체 페이지’와 ‘리디렉션이 포함된 페이지’, ‘크롤링됨 – 현재 색인이 생성되지 않음’으로 표시되며, 소스는 웝사이트와 Google 시스템으로 구분되어 해당 항목을 선택하여 세부 사항을 확인하고 유효성 검사를 시작할 수 있습니다.

2. Google Search Console 리디렉션이 포함된 페이지

구글 서치 콘솔에 ‘리디렉션이 포함된 페이지’를 선택하여 ‘!리디렉션이 포함된 페이지 이러한 페이지는 색인이 생성되지 않거나 Google에 게시되지 않습니다. ‘ 아래의 ‘자세히 알아보기’를 선택하면 세부 사항을 확인하거나 유효성 검사를 시작 할 수 있고, ‘세부정보 보기’ 버튼을 클릭하여 ‘영향을 받은 페이지’와 ‘URL 주소’, 그리고 ‘최종 크롤링 날짜’를 확인 할 수 있습니다.

3. Google Search Console ‘robots.txt’ 차단 테스트

구글 서치 콘솔의 리디렉션이 포함된 페이지 리스트에서 개별 URL 주소를 선택하여 마지막 크롤링 된 날짜와 시간이 표시되면, 하단의 ‘🔍 URL 검사’ 선택하여 색인 여부를 확인하거나 ‘ROBOTS.TXT 차단 테스트’ 메뉴를 클릭하여 검색엔진에서 블로그나 웹사이트에 접근하여 글을 수집할 수 있는지 확인할 수 있습니다.

4. Google Search Console 맞춤 로봇 텍스트 테스트 결과

구글 서치 콘솔의 ‘ROBOTS.TXT 차단 테스트’ 메뉴를 선택하면 ‘robots.txt 테스터’ 페이지가 활성화 되어 로봇 텍스트를 수정하고 오류가 있는지 확인하거나 ‘사용 중인 robots.txt 보기’를 선택할 수 있습니다. 로봇 텍스트 테스트 결과는 ‘User-agent: *’, ‘Allow:/’ 처럼 모든 검색 엔진 허용 또는 Google과 NAVER, Bing 등을 추가한 경우 검색 엔진에 문제가 발생하면 경고 또는 오류가 나타나고, 하단의 ‘Googlebot ▾’ 검색 엔진이 ‘허용됨’ 처럼 해당 페이지가 검색에 반영되어 정상적으로 접근이 가능한지 바로 확인할 수 있습니다.