robots.txt가 페이지를 막는지 확인하는 방법
검색 결과에 페이지가 보이지 않을 때, robots.txt 설정이 크롤링을 막고 있지는 않은지 먼저 살펴봐야 합니다.
- 도메인/robots.txt 열기
- Disallow 줄 읽기
- Search Console URL 검사
- 의도하지 않은 차단 수정
핵심 요약 robots.txt는 검색 로봇의 방문 가능 범위를 알려 주는 파일입니다. 주소창에서 파일을 열어 Disallow 줄을 읽고, Search Console의 URL 검사로 개별 페이지를 확인하면 됩니다. 검색 결과에서 빼려는 목적이라면 robots.txt가 아닌 다른 방법을 써야 합니다.
robots.txt는 어떤 파일인가요?
robots.txt는 사이트 맨 위 주소(도메인/robots.txt)에 두는 텍스트 파일입니다. 검색 로봇에게 어느 주소를 방문해도 되는지 알려 주는 안내문입니다. 병원 사이트라면 진료 안내, 칼럼, 자주 묻는 질문 페이지가 모두 이 파일의 영향을 받을 수 있습니다.
알아 둘 점이 있습니다. robots.txt는 방문을 제한하는 파일이지, 검색 결과에서 제외하라는 명령이 아닙니다. 막아 둔 주소라도 다른 페이지의 링크 등을 통해 주소만 노출될 수 있습니다.
어떤 줄이 문제를 만드나요?
자주 있는 실수는 사이트 제작 중에 걸어 둔 차단 설정이 공개 후에도 남아 있는 경우입니다. 예를 들어 새 사이트를 만들면서 전체를 막아 두었다가 공개할 때 풀지 않은 상황을 생각할 수 있습니다.
또 줄 하나만 볼 것이 아니라 대상 로봇과 규칙의 묶음을 함께 봐야 합니다. 같은 파일 안에 여러 그룹이 있을 수 있기 때문입니다.
- Disallow: / → 사이트 전체를 막는 규칙입니다.
- Disallow: /column/ → 해당 폴더 아래 페이지를 막습니다.
- User-agent: Googlebot 아래의 규칙 → 구글 로봇에 적용되는 그룹입니다.
- Disallow: 뒤가 비어 있음 → 막는 페이지가 없다는 뜻입니다.
차단 여부는 어떻게 확인하나요?
먼저 브라우저 주소창에 내 도메인 뒤에 /robots.txt를 붙여 열어 봅니다. 파일이 보이면 Disallow 줄을 위에서부터 읽고, 알리고 싶은 폴더가 포함되어 있는지 봅니다.
다음으로 Search Console을 활용합니다. 구글이 파일을 읽었는지, 오류는 없었는지 확인할 수 있고, URL 검사 도구에서는 특정 주소가 robots.txt 때문에 막혔는지 볼 수 있습니다. 화면 이름과 위치는 바뀔 수 있으니 Search Console 도움말에서 확인하시기 바랍니다.
- 1단계: 도메인/robots.txt가 열리는지 확인
- 2단계: 핵심 폴더가 Disallow에 걸리는지 확인
- 3단계: 핵심 페이지 주소를 URL 검사에 입력
- 4단계: 크롤링 허용 여부 항목 확인
막혀 있다면 어떻게 정리하나요?
막힌 주소가 의도한 것인지부터 구분합니다. 관리자 화면이나 내부 검색 결과처럼 일부러 막은 주소는 그대로 둡니다. 알리고 싶은 페이지가 걸려 있다면 해당 줄을 수정하거나 삭제하고, 저장한 뒤 파일을 다시 열어 반영되었는지 확인합니다. 구글이 변경 내용을 다시 읽기까지는 시간이 걸릴 수 있습니다.
홈페이지 제작 도구나 CMS에 검색 노출을 제한하는 설정 항목이 있다면 함께 확인합니다. 이 설정이 robots.txt에 영향을 줄 수 있기 때문입니다. 반대로 검색 결과에서 빼고 싶은 페이지는 robots.txt 대신 noindex 지정이나 접근 제한을 사용합니다. 로봇이 페이지를 읽지 못하면 noindex 안내도 읽을 수 없기 때문입니다.
콘텐츠 담당자는 무엇을 함께 보나요?
방문자가 자주 던지는 질문에 답하는 글을 써도, 로봇이 읽지 못하면 검색에서 만나기 어렵습니다. 예를 들어 방문 전 준비 사항이나 비용 안내 위치를 묻는 질문에 답하는 페이지가 있다면, 그 폴더가 막혀 있지 않은지 확인합니다.
파일을 수정하는 사람과 글을 쓰는 사람이 다르면 변경 내용을 공유하는 편이 안전합니다. 개편이나 이전 작업 뒤에는 robots.txt를 다시 열어 보는 습관을 들이면 좋습니다.
한눈에 보는 확인표
| 구분 | 확인할 내용 | 메모 |
|---|---|---|
| 파일 위치 | 도메인/robots.txt 주소가 열리는지 | 하위 폴더가 아닌 맨 위 주소에 있어야 합니다 |
| 전체 차단 | Disallow: / 줄이 있는지 | 제작 중 설정이 남은 경우가 많습니다 |
| 폴더 차단 | 칼럼·안내 폴더가 Disallow에 있는지 | 알리려는 글이 있는 폴더를 우선 확인합니다 |
| 대상 로봇 | User-agent가 어느 로봇을 가리키는지 | Googlebot 그룹이 별도로 있는지 봅니다 |
| 개별 주소 | URL 검사에서 크롤링 허용 여부 | 화면 표기는 도움말에서 확인합니다 |
| 제외 목적 | 검색 결과에서 빼려는 페이지인지 | noindex나 접근 제한을 검토합니다 |
웹사이트 상위노출을 준비하는 중이라면 점검 순서를 정리한 웹사이트 상위노출 같은 자료를 참고해 robots.txt부터 차근히 확인해 볼 수 있습니다.
자주 묻는 질문
robots.txt에서 막으면 검색 결과에서 사라지나요?
꼭 그렇지는 않습니다. robots.txt는 방문을 막는 파일이어서 주소만 노출될 수 있으며, 결과에서 빼려면 noindex나 접근 제한을 검토해야 합니다.
robots.txt 파일이 없으면 문제가 되나요?
파일이 없으면 별도의 방문 제한이 없는 것으로 볼 수 있습니다. 다만 막을 주소가 있다면 파일을 만들어 관리하는 편이 좋습니다.
수정한 뒤 바로 반영되나요?
구글이 파일을 다시 읽어야 반영되므로 시간이 걸릴 수 있습니다. Search Console에서 읽힌 상태를 확인하시기 바랍니다.