llms.txt 두면 AI가 읽을까…효과 입증한 공개 자료는 아직 없다

사이트 루트에 llms.txt를 만들어 두면 ChatGPT나 Gemini 같은 AI 서비스가 사이트를 더 잘 이해하고 답변에 인용할 것이라는 기대가 있다. GEO뉴스는 2026년 8월 19일 제안 원문과 Google 공식 문서, OpenAI·Anthropic·Perplexity의 크롤러 문서, 효과를 직접 분석한 공개 자료를 차례로 열어 이 기대에 근거가 있는지 확인했다.

llms.txt를 두면 AI 검색 인용이 늘어나나?

그렇다고 입증한 공개 자료는 확인되지 않았다. 제안 원문, Google 공식 문서, 세 AI 회사의 크롤러 문서, 공개 분석 한 건을 대조한 범위에서 인용 증가를 측정해 보인 자료는 없었고, 공개 분석은 인용 빈도와의 관련성 자체를 찾지 못했다.

확인한 자료와 각 자료에서 llms.txt에 관해 읽을 수 있었던 내용은 다음과 같다. 모두 8월 19일 기준이며, 표의 순서는 우열과 관계없다.

자료	llms.txt 관련 내용
llmstxt.org 제안 문서(v2)	형식과 기대 용도를 설명. 인용 효과를 측정한 수치는 없음
Google 생성형 AI 기능 최적화 가이드	Google 검색은 llms.txt를 쓰지 않으며 노출·순위에 도움도 해도 없음
OpenAI 크롤러 문서	봇 이름·용도·robots.txt·IP 목록 설명. llms.txt를 읽는다는 내용 없음
Anthropic 크롤링 안내	봇 용도·robots.txt·IP 목록 설명. llms.txt를 읽는다는 내용 없음
Perplexity 크롤러 문서	봇 용도·robots.txt 태그·WAF 설정 설명. llms.txt를 읽는다는 내용 없음
Chrome Lighthouse 감사 문서	파일을 가져올 때 서버 오류만 점검. 순위·인용 관련 설명 없음
SE Ranking 공개 분석(2025년 11월)	약 30만 도메인에서 llms.txt 유무와 인용 빈도 사이 관련성 없음

제안 문서는 무엇을 담았나

llms.txt 제안 문서는 제러미 하워드(Jeremy Howard)가 작성해 2024년 9월 3일 처음 게시했다. 2026년 8월 10일 수정본은 스스로를 v2라고 소개한다. 문서는 웹페이지가 사람을 위해 만들어져 내비게이션·광고·자바스크립트에 정보가 섞여 있고, 에이전트에게는 짧고 전문적인 정보를 한곳에 모아 주는 편이 낫다는 문제의식에서 출발한다.

형식은 단순하다. 사이트나 프로젝트 이름을 담은 H1이 유일한 필수 요소이고, 짧은 요약을 담은 인용 블록, 부가 설명, H2로 나눈 파일 목록이 선택 요소로 뒤따른다. ’Optional’이라는 H2 구역은 문맥을 짧게 써야 할 때 건너뛸 수 있는 보조 링크를 모아 두는 관례다. 파일은 사이트 루트뿐 아니라 하위 경로에도 둘 수 있고, 여러 파일이 겹치면 가장 구체적인 경로의 파일을 쓰도록 했다. 현재 v2 문서는 각 페이지의 마크다운 사본을 원래 주소에 .md를 붙이거나 확장자를 바꾼 URL로 제공하고, rel="alternate"와 rel="describedby" 링크 관계로 그 파일들을 찾게 하자고도 권한다.

쓰임새에 대해 제안 문서는 llms.txt가 학습보다 추론 시점에 주로 쓰일 것으로 기대했다고 적었다. robots.txt가 자동화 도구에 허용되는 접근 범위를 알리는 파일이라면, llms.txt는 에이전트가 이용자를 돕다가 정보가 필요할 때 그때그때 찾아 읽는 파일이라는 구분이다. 가장 많이 쓰이는 분야로는 코딩 에이전트가 API 참조와 튜토리얼을 찾는 소프트웨어 문서를 꼽았다.

확산 정도에 대해서도 제안 문서는 수천 개 사이트가 llms.txt를 게시하고, 문서화 플랫폼이 파일을 자동으로 만들며, Chrome Lighthouse가 에이전트 브라우징 점검의 하나로 이 파일을 살핀다고 소개한다. OpenAI·Anthropic·Gemini가 자사 개발자 문서용 llms.txt를 게시했다는 설명도 있고, 제안 문서가 연결한 세 파일은 8월 19일 실제로 열렸다.

그러나 이 사실들은 파일을 만들었다는 것이지, AI 회사의 검색·답변 시스템이 다른 사이트의 llms.txt를 찾아 읽고 반영한다는 뜻이 아니다. Chrome for Developers의 Lighthouse 문서(2026년 5월 5일 갱신)도 llms.txt를 가져올 때 서버 오류가 나면 표시하고, 파일이 없어 404가 나면 아직 선택 사항이라는 이유로 해당 없음(N/A)으로 처리한다고 설명한다. 파일이 없으면 AI 에이전트가 사이트 구조와 핵심 내용을 파악하는 데 시간이 더 들 수 있다는 취지의 설명은 있지만, 검색 순위나 AI 인용과의 관계는 다루지 않는다.

Google은 llms.txt를 쓰나?

Google 검색은 쓰지 않는다고 공식 문서에 적혀 있다. Google은 AI 기능을 포함한 Google 검색에 나오려고 새 기계 판독용 파일이나 AI 텍스트 파일, 마크다운을 만들 필요가 없고 Google 검색이 이를 사용하지 않는다고 설명한다.

생성형 AI 기능을 위한 사이트 최적화 가이드(2026년 7월 10일 갱신)는 Google 검색에서 무시해도 되는 항목을 모은 부분의 첫머리에 llms.txt와 특수 마크업을 올렸다. 다른 서비스나 시스템을 위해 llms.txt를 만들고 유지하는 것은 괜찮지만, 그렇게 해도 Google 검색 노출이나 순위에 도움이 되지도 해가 되지도 않는다는 것이 가이드의 설명이다. 요약 부분에서는 콘텐츠 쪼개기, 불필요한 AI 텍스트 파일 만들기, 인위적인 언급 확보를 Google 검색에서는 신경 쓰지 않아도 되는 전술로 묶었다.

이 설명이 들어간 시점은 Search Central 문서 변경 기록에 남아 있다. 2026년 6월 15일 항목은 커뮤니티 질문에 답하려고 AI 최적화 가이드에 llms.txt 사용에 관한 메모를 추가했다고 적었다. 그보다 앞선 AI 기능과 웹사이트 문서(2025년 12월 10일 갱신)에도 AI 개요·AI 모드에 나오려고 새 파일이나 별도 마크업을 만들 필요는 없다는 문장이 있다.

Google이 밝힌 범위는 Google 검색이다. Gemini 앱처럼 검색 밖의 Google 제품이 llms.txt를 어떻게 다루는지는 이번에 확인한 문서에 나오지 않았다.

다른 AI 회사 문서와 공개 분석에서도 근거는 없었다

OpenAI 크롤러 문서, Anthropic 크롤링 안내, Perplexity 크롤러 문서를 8월 19일 확인한 결과, 세 문서 모두 봇 이름과 용도, robots.txt 적용 방식, 공개 IP 목록을 설명할 뿐 자사 크롤러가 다른 사이트의 llms.txt를 찾아 읽거나 답변에 반영한다는 내용은 없었다. 세 문서가 운영자에게 제시하는 제어 수단은 robots.txt와 공개 IP 목록이다. 이름별 용도는 AI 크롤러 이름별 역할 기사에 정리했다.

효과를 직접 따져 본 공개 분석으로는 SEO 도구 업체 SE Ranking이 2025년 11월 7일 자사 블로그에 공개한 자료가 있다. 약 30만 개 도메인을 분석한 결과 llms.txt를 둔 도메인은 10.13%였다. 방문 수 구간별 게시 비율도 0–100회 9.88%, 1,001–5,000회 10.54%, 100,001회 이상 8.27%로 큰 차이가 없었다. 스피어먼 상관분석과 XGBoost 회귀 모델 모두에서 llms.txt 유무가 LLM 인용 빈도에 영향을 준다는 결과는 나오지 않았고, 모델에서 llms.txt 변수를 빼자 예측 정확도가 오히려 올라갔다고 적었다.

이 분석은 스스로 한계도 밝혔다. 결과는 해당 모델과 데이터셋 안에서의 요인 중요도이며, 다른 요인을 더하거나 빼면 달라질 수 있어 맥락에 따라 읽어야 한다는 설명이다. 인용 빈도를 어떤 AI 서비스의 응답에서 표본으로 모았는지는 글에서 확인되지 않았다. 도메인 단위의 관찰 분석이어서, 같은 사이트에 파일을 넣기 전과 뒤를 비교한 실험도 아니다.

운영자가 따져 볼 것

AI 검색 인용을 늘리려는 목적이라면 지금 공개된 근거로는 llms.txt에 우선순위를 둘 이유가 뚜렷하지 않다. Google은 검색에서 쓰지 않는다고 밝혔고, 다른 AI 회사는 읽는다고 문서화하지 않았으며, 공개 분석은 관련성을 찾지 못했다. Google이 AI 개요·AI 모드 노출 조건으로 드는 것은 페이지가 색인돼 있고 스니펫과 함께 표시될 자격이 있는가다.

반대로 개발 문서처럼 코딩 에이전트가 직접 찾아 읽는 사이트라면 제안 문서가 겨냥한 쓰임새에 가깝다. 파일을 둔다면 본문 페이지와 내용이 어긋나지 않게 관리해야 한다. 요약 파일과 실제 페이지의 수치나 설명이 다르면 어느 쪽이 최신인지 알기 어려워진다. 구조화 데이터처럼 검색 기능과 직접 연결된 요소가 바뀐 사례는 FAQ 리치 결과 종료 기사에서 다뤘다.

다만 입증한 공개 자료가 없다는 결론이 효과가 없다는 증명은 아니다. 이 기사의 확인 범위는 위 표에 적은 공개 문서와 분석 한 건이며, AI 회사가 공개하지 않은 내부 동작은 외부에서 알 수 없다. 같은 질의로 파일을 두기 전과 뒤를 반복 비교한 공개 실험이 나오거나 AI 회사가 문서에서 llms.txt 사용을 밝히면 판단은 달라질 수 있다.