내 홈페이지를 ChatGPT가 읽을 수 있을까 — robots.txt로 AI 검색 봇 확인하는 법
2026.09.26제품Salience
- AI 검색은 봇이 먼저 페이지를 읽어야 답에 쓸 수 있어요
- robots.txt 한 줄 때문에 봇이 통째로 막혀 있는 사이트가 있어요
- 확인은 3단계, 5분이면 끝나요
결론부터 말하면, 내 도메인 뒤에 /robots.txt 를 붙여 열고 «Disallow: /» 가 어떤 봇에 걸려 있는지 보면 돼요. ChatGPT·Perplexity·Claude·Gemini는 각자 이름이 있는 검색 봇으로 페이지를 읽는데, robots.txt에서 그 이름이나 «*»(모든 봇)가 막혀 있으면 그 사이트는 읽지 못해요. 홈페이지 제작 업체가 개발 중에 넣어 둔 차단 줄이 오픈 뒤에도 남아 있는 경우가 흔해요.
AI 검색 봇 이름 표
| 서비스 | 검색·인용용 봇 | 사용자 요청 시 |
|---|---|---|
| ChatGPT | OAI-SearchBot | ChatGPT-User |
| Perplexity | PerplexityBot | Perplexity-User |
| Claude | Claude-SearchBot | Claude-User |
| Gemini · Google AI 개요 | Google-Extended | - |
GPTBot·ClaudeBot처럼 «모델 학습용» 봇은 별도예요. 학습은 막고 검색은 열어 두는 설정도 가능해요. 봇 이름은 각 회사 공식 문서 기준이고 바뀔 수 있어요.
확인 3단계
- 1. robots.txt 열기 — 주소창에
내도메인.com/robots.txt를 입력해요. 파일이 없으면(404) 기본적으로 모두 허용이에요. - 2. 차단 줄 찾기 —
User-agent: *바로 아래에Disallow: /가 있으면 AI 봇을 포함한 모든 봇이 막혀 있어요. 위 표의 봇 이름 아래에Disallow: /가 있으면 그 서비스만 막혀 있어요. - 3. 고치기 — 홈페이지 관리 화면(카페24·아임웹·워드프레스 등의 SEO 설정)이나 제작 업체에 요청해 차단 줄을 지우거나 아래처럼 허용을 적어요.
| 예시: 검색 봇은 허용, 관리자 경로만 차단 |
|---|
| User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: * Disallow: /admin/ Sitemap: https://내도메인.com/sitemap.xml |
허용했는데도 답변에 안 나온다면
봇 허용은 읽을 수 있게 하는 첫 조건일 뿐이에요. 답변에 인용될지는 각 AI 서비스가 정하고, 노출이나 순위는 누구도 보장할 수 없어요. 그다음으로 볼 것은 페이지 안에 «자주 묻는 질문과 답»이 글로 정리돼 있는지, 가게 이름·주소·영업시간·가격이 이미지가 아니라 텍스트로 적혀 있는지예요.
5분도 번거롭다면: 30초 무료 점검
팀플럿의 Salience는 도메인만 넣으면 위 표의 AI 검색 봇 7종이 robots.txt에서 허용됐는지 30초 안에 확인해 결과 페이지로 보여 줘요. 가입 없이 무료예요.


