구글 색인생성오류 robots.txt 해결방법

구글 색인생성 오류 robots.txt 해결방법에 대해 알려드리려 합니다.

티스토리 쓰는 시간도 모자란데 이렇게 여러 종류의 색인 생성에 오류가 생긴다면 정말 난감한 일이지요.

도대체 robots.txt가 무엇이길래 색인 생성을 막는지 알아보고 해결방법도 모색해 보겠습니다.

 

반응형

 

 

목차

 

 

구글 색인생성 robots.txt 해결방법

 

robots.txt란 구글의 검색엔진이 수집 가능 여부를 판단하는 역할을 합니다.

naver에서도 이런 문구를 보신 기억이 있으실 겁니다.

---

 

 

robots.txt에 의해 차단됨

 

많은 분들이 robots.txt에 의해 차단됨이라는 메시지를 받고 적잖이 당황들을 하십니다.

그러나 이에 대해 알고 보면 매우 간단하다는 사실도 알 수 있습니다.

그렇게 중요하지 않은 내용이지만 해결방법 또한 그렇게 어렵지는 않습니다.

 

 

 

구글 robots.txt 파일 업로드하기

 

티스토리 블로그에 robots.txt 파일이 없는 경우가 있습니다.

네이버 서치 어드바이저에 등록하는 과정에서 robots.txt  파일을 다운로드하여 파일업로드 해주거나 구글 서치콘솔에서 직접  robots.txt 파일을 다운로드하여 파일업로드 해주는 방법이 있습니다.

 

여기서는 구글 robots.txt파일 업로드하는 방법을 알려드리겠습니다.

구글 서치콘솔로 입장 ▶ 페이지 클릭 ▶ robots.txt에 의해 차단됨 에러 메시지를 클릭합니다.

 

그럼 다음과 robots.txt에 의해 차단됨이라는 에러메시지가 상위에 노출됩니다.

여기서 "자세히 알아보기"를 클릭하면 "URL이 robots.txt에 의해 차단됨"이라는 메시지가 생성됩니다.

여기서 robots.txt 테스터를 클릭해 줍니다.

 

아래와 같이 확인된 속성이 뜨고 "속성을 선택하세요"에서 해당 블로그 주소를 클릭해 줍니다.

 

속성이 선택되면 "robots.txt 테스터" 화면으로 넘어가고 하단 제출을 클릭하면 "업데이트된 코드 다운로드"를 클릭해 줍니다.

그럼 구글의 robots.txt파일이 다운로드됩니다.

 

다운로드된 파일을 티스토리 관리 페이지▶ html편집 ▶ 파일업로드로 입장하여 robots.txt파일을 첨부해 줍니다.

구글용 robots.txt파일 업로드가 완료됩니다.

 

 

 

무시하기

 

사실 robots.txt파일에 의해 색인생성이 되지 않은 페이지를 검색해 보면 무의미한 파일이 대부분입니다.

robots.txt에 의해 색인 생성이 불가한 페이지를 확인해 보니 아래와 같이 뜨더군요.

 

그래서 URL을 복사하여 검색창에 검색해 보니 다음과 같은 화면으로 이동되었습니다.

블로그의 내용 부분이 아닌 방명록만 보이는 화면이지요.

robots.txt에 의해 차단된 URL모두 확인해 본 결과 모두 별다른 의미 없는 화면들이었습니다.

robots.txt파일을 업로드해 주는 것은 매우 중요합니다.

블로그 유입이 여부를 결정해 주는 요소이니까요

따라서 robots.txt파일을 업로드해 주는 것은 적극 권장합니다만 robots.txt파일에 의해 차단된 페이지가 있다고 하여 덜컥 겁먹지는 않으셔도 됩니다.

 

---

오늘은 블린이들이 초반에 겪을 "robots.txt파일에 의해 차단됨" 해결방법을 알아보았습니다.

생각보다 대단한 오류는 아니지만 앞에서도 말씀드렸듯이 robots.txt파일은 업로드해 주시는 것을 권장합니다.