블로그를 운영하는 데 있어서, 구글 검색 콘솔은 매우 중요한 도구입니다. 그러나 때때로 "robots.txt에 의해 차단됨"과 같은 오류 메시지를 보게 될 수 있습니다. 이 문제를 해결하는 과정을 이해하고 있으면 검색 엔진에서 블로그의 콘텐츠를 더 잘 색인하고 검색 결과에 표시될 기회가 더 많아집니다. 이제 이러한 오류를 해결하는 단계별 가이드를 제공하겠습니다.
'robots.txt에 의해 차단됨'이란?
구글 서치 콘솔에서 'robots.txt에 의해 차단됨'은 구글이 블로그의 특정 부분을 검색할 수 없다는 것을 나타냅니다. 블로그 소유자가 robots.txt 파일을 사용하여 구글에게 어떤 부분을 방문하거나 색인화할 수 있는지 지시하는데, 만약 해당 부분이 robots.txt 파일에 의해 차단되어 있다면, 구글은 해당 부분을 무시하고 색인하지 않습니다. 그래서 사용자가 구글 검색 결과에서 해당 부분을 찾을 수 없게 됩니다. 따라서 구글 서치 콘솔에서 'robots.txt에 의해 차단됨'을 보게 되면, 웹사이트의 특정 부분이 구글에 의해 차단되어 있어서 검색 결과에 표시되지 않는다는 것을 의미합니다.
해결 단계별 가이드
1. 색인이 생성되지 않는 이유 확인 하기
구글 검색 콘솔에서 페이지에서 색인이 생성되지 않는 이유를 확인하여 어떤 오류 메시지가 표시되는지 확인할 수 있습니다. 여러가지 이유 중 'robots.txt에 의해 차단됨'을들어갑니다. 이를 통해 구체적인 문제에 대한 힌트를 얻을 수 있겠죠?
2. 구체적인 원인 확인
robots.txt 파일을 확인하여 구글 봇이 방명록 페이지를 색인할 수 있는지 여부를 확인해야 합니다.
역시, 방명록 페이지가 잘못된 디렉티브에 의해 차단되어 있는 걸 확인할 수 있었습니다.
3. 문제의 원인 해결 하기 : 티스토리 방명록 설정 변경
티스토리 블로그는 사용자가 robots.txt 파일을 직접 수정할 수 없습니다. 대신 티스토리의 관리자 설정에서 크롤러의 액세스를 제어할 수 있는 설정 변경 해 줍니다.
티스토리 설정 확인 후 문제 해결
티스토리 블로그관리 홈 > 댓글,방명록 설정 클릭 > 로그인한 사용자만, 비허용으로 선택 후 변경사항 저장
4. 서치 콘솔에 사이트맵에 제출하기
구글에서 수시로 최신상태로 사이트맵을 유지하지만 빠르게 변경을 반영하고 싶을 때는 사이트 맵을 제출 해 줘야 합니다.
구글 서치 콘솔 Sitemaps 클릭 > 새 사이트맵 추가에서 '내 블로그 사이트/sitemap.xml' 입력 후 > 제출
5. 결과 확인
변경 사항을 반영하기에는 수시간에서 수일이 걸린다고 합니다. 메일을 통해 결과 반영을 알림 받을 수도 있습니다.
마무리
'robots.txt에 의해 차단됨' 오류는 검색 엔진 색인 프로세스에 영향을 미칠 수 있는 일반적인 문제 중 하나입니다. 그러나 위에서 소개한 단계를 따르면 이 문제를 쉽게 해결할 수 있습니다. 블로그의 콘텐츠가 더 잘 색인되고 검색 결과에 표시될 기회를 놓치지 않도록 이러한 유형의 오류를 주의 깊게 관리해야 할 것입니다.
'블로그 운영' 카테고리의 다른 글
| 블로그 홍보를 위한 다양한 전략 (75) | 2024.03.22 |
|---|---|
| Google Search Console, 리디렉션 오류 해결 과정 (88) | 2024.03.21 |
| 블로그 성장 전략: 네이버 서치어드바이저 (73) | 2024.03.21 |
| 애드센스를 통한 블로깅의 수익화 (85) | 2024.03.20 |
| 블로그 성장 전략: 구글 애널리틱스 활용 (78) | 2024.03.20 |