검색엔진과 AI는
내 사이트에서
무엇을 읽을까요?

검색에 나와야 할 페이지인데 크롤러가 열지 못하는 경우가 있습니다. 호스트마다 /robots.txt를 살펴보고, CDN이나 방화벽에서 막히는지도 봅니다. 학습용 봇을 허용할지는 사이트 운영 방침에 따릅니다.

• /robots.txt를 열었을 때 텍스트 파일이 나오는지, User-agent마다 어느 경로를 허용했는지 봅니다.
• 403·429·5xx 오류나 봇 인증 화면 때문에 공개 페이지를 못 여는 경우를 찾습니다. 주소 이동이 반복돼 페이지에 도착하지 못하는 경우도 봅니다. 비공개 페이지는 권한이 있는 사람만 로그인해서 볼 수 있어야 합니다.

# example.com/robots.txt
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

검색에 보여줄 페이지는 대표 주소를 골라 XML 사이트맵에 담습니다. 본문이 크게 바뀌면 lastmod에 수정 날짜를 적습니다.

• robots.txt에 사이트맵 주소를 적고, 검색 도구에서 제출한 파일을 읽었는지 봅니다. 페이지가 많으면 사이트맵을 여러 파일로 나누고 인덱스로 묶습니다.
• 글을 자주 올리는 사이트는 RSS로 새 글을 알릴 수 있습니다. IndexNow를 지원하는 검색엔진에는 페이지를 추가하거나 고치거나 지웠을 때 주소를 보냅니다.

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/services/setup</loc>
    <lastmod>2026-11-13</lastmod>
  </url>
</urlset>

Google 사이트맵 가이드네이버 사이트맵·RSSIndexNow

주요 서비스나 상품, 지점 안내에 각각 고정 주소를 둡니다. 메뉴나 목록, 관련 페이지에서 링크를 따라 찾아갈 수 있게 구성합니다.

• 주요 링크는 <a href>로 만들고, 링크 이름에는 어느 페이지로 가는지 적습니다.
• 연결된 곳이 없는 페이지나 깨진 링크를 찾습니다. 필터를 바꿀 때 주소가 너무 많이 생기거나, 페이지까지 불필요하게 여러 번 이동하는 곳도 봅니다.

서비스 목록 /services → 설정 지원 /services/setup → 자주 묻는 질문 /services/setup/faq

서버가 처음 보낸 HTML을 브라우저 화면과 비교합니다. 가격이나 이용 조건이 이미지나 PDF에만 있거나 버튼을 눌러야 보인다면, 공개 페이지 본문에도 글로 넣는 방법을 제안합니다.

• 처음 보낸 HTML에 본문을 담는 방법으로 서버 렌더링과 정적 생성이 있습니다. 사이트에 맞는 쪽을 제안합니다.
• 휴대폰에서도 본문과 링크가 보이는지 살펴봅니다. 화면이 뜨는 속도, 터치에 반응하는 시간, 로딩 중에 내용이 밀리는 정도도 봅니다. 고객이 있는 지역에서 이미지나 스크립트가 열리지 않는 경우도 살펴봅니다.

같은 페이지가 여러 주소로 열리면 대표 주소를 하나 정합니다. canonical, 사이트 안의 링크, 사이트맵이 모두 그 주소를 가리켜야 합니다.

• 검색에 나와야 할 페이지에 noindex가 붙어 있는지 HTML과 X-Robots-Tag 헤더를 봅니다. 검색엔진이 noindex를 읽으려면 페이지를 열 수 있어야 합니다.
• 검색 미리보기를 지원하는 엔진에서는 표시 설정도 봅니다. 주소를 옮겼다면 301이나 308로 새 주소에 연결하고, 대신 보여줄 페이지가 없다면 404나 410을 반환하도록 제안합니다.

한국어, 일본어, 영어 페이지에 각각 주소를 둡니다. 언어 전환 링크를 누르거나 주소를 직접 열었을 때 원하는 언어로 페이지가 나오는지 봅니다.

• lang으로 본문 언어를 표시합니다. hreflang에는 각 번역본의 주소를 적습니다. 이 설정을 지원하는 검색엔진은 그 주소로 다른 언어의 페이지를 찾습니다.
• 대표 주소는 언어별로 맞춥니다. 공통 언어 선택 페이지가 있다면 x-default로 지정할 수 있습니다.

페이지 제목과 설명은 내용에 맞게 각각 씁니다. 첫 문단에서 무슨 페이지인지 밝히고, 고객이 궁금해하는 조건이나 가격, 위치는 글로 적습니다. 정보가 많으면 소제목이나 표, 목록으로 나눕니다.

• 페이지마다 브랜드와 서비스 이름, 공식 주소와 연락처를 다르게 적은 곳이 있는지 봅니다.
• 필요한 곳에는 누가 작성했는지, 무엇을 근거로 썼는지, 언제 수정했는지 표시합니다.

회사, 매장, 상품, 탐색 경로처럼 페이지에 실제로 나오는 정보를 JSON-LD로도 표시할 수 있습니다. 내용에 맞춰 Organization, LocalBusiness, Product, BreadcrumbList 중 알맞은 유형을 고릅니다.

• 코드에 오류가 있는지, 화면에 적힌 정보와 같은지, 검색엔진이 해당 유형을 지원하는지 살펴봅니다.
• 공개 자료의 주소를 한곳에 모아두려면 llms.txt를 쓸 수 있습니다. Google 검색의 AI 기능은 이 파일을 사용하지 않습니다.

Google 구조화 데이터Google AI 검색 가이드