워드프레스 가상 Robots.txt 파일 플러그인 virtual robots

이번 글에서는 워드프레스에서 많이 쓰이는 가상 로봇파일 생성 플러그인인 Virtual Robots.txt에 대해 설명드릴까합니다. 기본적으로 로봇 파일이 왜 필요한지와 버츄얼 로봇 플러그인을 설치하고 사용하는 방법에 대해 안내해드리겠습니다. 만약 워드프레스를 시작하지 않으셨다면, 정말 기초부터 쉽게 따라올 수 있는 워드프레스 정보공유(워정공)를 통해 한번 시작해보시는 것도 좋을 것 같습니다. 비용 없이 무료로 3일 동안 이용해보실 수 있습니다.

📍 워드프레스 정보공유 설명서 by 클라우드웨이즈

목차 숨기기

Robots.txt 파일이란?

먼저 robots.txt 파일이 뭔지 간단하게 설명드릴게요. robots.txt 파일은 웹 사이트 소유자가 웹 크롤러와 검색 엔진 로봇에게 웹 사이트를 어떻게 크롤링하고 인덱싱해야 하는지 지시하는 텍스트 파일입니다. 쉽게 말해 이 파일을 통해 검색엔진의 서치봇이 찾아왔을 때, 어디를 봐야하고 어디를 보면 안되는지를 알려주는 안내문이라고 보시면 됩니다. robots.txt 파일은 주로 크롤러에게 뭘 못 가져가게 하는 목적으로 주로 사용됩니다.

robots.txt 파일은 일반적으로 워드프레스의 루트 디렉토리에 저장됩니다. 내용을 보기 위해서는 웹 사이트의 주소 뒤에 “/robots.txt”를 추가하여 접근할 수 있습니다. 예를 들어, “https://www.example.com/robots.txt” 이렇게 하면 파일을 볼 수 있습니다. 주로 쓰이는 방식은 아래와 같습니다.

Robots.txt 파일 예시

워드프레스에서 많이 쓰는 로봇파일 내용 예시입니다.

User-agent: *
Disallow: /wp-admin/
sitemap: https://www.example.com/sitemap.xml (주소는 개인주소로 바꿔주세요)

-------------------
[해석]

User-agent: * : 이 부분은 모든 크롤러(User-agent)에 적용됩니다. 즉, 이하에 나오는 지시문들은 모든 크롤러에게 적용된다는 말입니다.

Disallow: /wp-admin/ : 이 지시문은 모든 크롤러에게 웹사이트의 "/wp-admin/" 경로에 대한 액세스를 거부한다는 것을 나타냅니다. 웹사이트의 관리자 페이지가 검색 결과에 노출되지 않습니다.

sitemap: https://www.example.com/sitemap.xml : 이 지시문은 웹사이트의 사이트맵 파일일의 경로를 알려줍니다. 이 정보를 통해 검색 엔진 크롤러는 사이트맵을 확인하고 웹사이트의 페이지를 효율적으로 색인화할 수 있습니다.

Robots 파일 만드는 법

로봇 파일은 그냥 메모장으로 내용을 써서 파일명만 robots.txt로 만들면 됩니다. 그래서 워드프레스의 ftp에 접속해서 public_html 안에 넣어주면 됩니다. 혹은 virtual robots 같은 가상 로봇을 만들어주는 플러그인을 쓰기도 합니다. 혹은 SEO를 도와주는 랭크매스나 요스트 같은 플러그인에도 보통 로봇을 만들어주는 플러그인이 있습니다.

📍 클라우드웨이즈 SFTP 접속 설정하는 방법 (윈도우/맥)

주의사항

다만 여기서 중요한 건 로봇 파일은 여러군데 중복으로 만들면 안됩니다. 외부에서 크롤러가 들어왔을 때 헷갈리게 됩니다. 그리고 원칙적으로 서로 다른 로봇 내용의 로봇 파일이 있다면, 검색 엔진 크롤러는 가장 먼저 발견한 파일의 내용을 따르게 됩니다.

제가 다음 웹마스터도구에 사이트를 등록하면서 여러번 테스트해 본 결과 버추얼 로봇으로 로봇파일을 만든 경우에 실제 파일을 SFTP로 넣은 것보다 크롤러가 빨리 인식을 하더라구요.

로봇파일을 가상으로 만드는 이유

장점으로는 워드프레스 관리자 대시보드에서 편집 및 관리하기 편리합니다. 플러그인을 통해 간단하게 추가 설정 및 제어가 가능합니다. 단점으로는 워드프레스나 플러그인 업데이트 시에 설정이 변경될 수 있으며, 백업 및 복원이 필요할 수 있습니다.
루트 디렉토리에 직접 넣는 방법과 비교해서 어떤 방법이 더 우선적인지는 관리하는데 있어서 편리함에 따라 다를 수 있습니다. 일반적으로 워드프레스 플러그인을 사용하여 로봇 파일을 관리하는 것이 더 편리한 편입니다. 그리고 웹 서버 설정과 분리되어 워드프레스 업데이트에 더 안정적입니다.