robots.txt 생성기

다른 곳에서는 켜고 끌 수 없는 AI 크롤러까지 포함

브라우저 안에서 돌아갑니다. 아무것도 업로드되지 않습니다.

robots.txt

WordPress serves a virtual robots.txt unless a real file exists at your web root. Upload this file and it takes over.

robots.txt 생성기 소개

표준 규칙을 담은 WordPress robots.txt를 생성하고, GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended를 봇별로 켜고 끌 수 있습니다. 어떤 봇이 당신의 글로 학습할지 체크박스 하나씩 직접 결정하세요.

WordPress에 필요한 규칙, 그리고 기본 제공되지 않는 보안 강화 규칙까지

FAQ

Google-Extended를 차단하면 검색 순위가 떨어지나요?

아니요. Google-Extended는 여러분의 콘텐츠가 Gemini 학습에 쓰이는지 여부를 제어합니다. Googlebot에도, 색인에도, Google 검색에서의 순위에도 영향이 없습니다. 이게 AI 크롤러 지시어에 관해 가장 흔한 오해입니다.

robots.txt가 실제로 AI 회사들이 제 사이트를 긁어가는 걸 막아주나요?

그걸 존중하는 곳은 막아줍니다. 이름이 알려진 크롤러 대부분이 그렇습니다. 이건 요청이지 울타리가 아닙니다 — robots.txt를 무시하는 크롤러는 전혀 영향을 받지 않습니다. robots.txt를 크롤링 방어책이라고 파는 사람이 있다면 과장하는 겁니다.

robots.txt 파일은 어디에 두나요?

사이트의 웹 루트에, wp-config.php와 나란히 두면 example.com/robots.txt에서 열립니다. 워드프레스는 실제 파일이 없을 때 가상 robots.txt를 제공하는데, 실제 파일을 올리면 그것을 대체합니다.