https://tcatmon.com/w/index.php?action=history&feed=atom&title=Robots.txtRobots.txt - 편집 역사2026-07-13T02:42:13Z이 문서의 편집 역사MediaWiki 1.28.0https://tcatmon.com/w/index.php?title=Robots.txt&diff=27710&oldid=prev2017년 1월 20일 (금) 09:01에 Maintenance script님의 편집2017-01-20T09:01:59Z<p></p>
<p><b>새 문서</b></p><div>[목차]<br />
robots.txt 로봇 배제 표준<br />
[[http://www.robotstxt.org/|공식사이트]]<br />
<br />
== 개요 ==<br />
robots.txt는 웹사이트에 웹 크롤러같은 로봇들의 접근을 제어하기 위한 규약이다. 아직 권고안이라 꼭 지킬 의무는 없으며 robots.txt는 웹사이트의 최상위 경로(=루트)에 있어야 한다. 즉, 사이트를 치고 슬래시 후 바로 robots.txt를 넣으면 볼 수 있다는 것이다. ex) http://namu.wiki/robots.txt<br />
<br />
== 사용예 ==<br />
'''반드시 폴더명 맨 끝에 /를 붙여야한다.'''<br />
<br />
특정 디렉토리의 접근을 허가하려면<br />
||'''<br />
User-agent: 제어할 로봇의 User-Agent<br />
Allow: /foo/bar/<br />
'''||<br />
<br />
특정 디렉토리의 접근을 차단하려면<br />
||'''<br />
User-agent: 제어할 로봇의 User-Agent<br />
Disallow: /foo/bar/<br />
'''||<br />
<br />
모든 문서에 대해 접근을 허가하려면 ~~이게 의미가 있을까?~~ <br />
||'''<br />
User-agent: *<br />
Allow: /<br />
'''||<br />
사용 중인 사이트: [[디시인사이드]] 등<br />
<br />
모든 문서에 대해 접근을 차단하려면<br />
||'''<br />
User-agent: *<br />
Disallow: /<br />
'''||<br />
사용 중인 사이트: [[네이버]][* 즉, 네이버는 원칙 하에는 크롤링을 절대 금한다는 말이 된다.(...)] 등<br />
<br />
유익하거나 이상한 사용예 있으면 [[추가바람]]<br />
<br />
=== 유명한 로봇들 ===<br />
[[http://user-agent-string.info/list-of-ua/bots]]<br />
||'''이름'''||'''User-Agent '''||<br />
||Google||Googlebot||<br />
||Google image||Googlebot-image||<br />
||Msn||MSNBot||<br />
||Naver||NaverBot[* 2005년부터는 Yeti]||<br />
||Daum||Daumoa||<br />
<br />
=== 나무위키의 robots.txt ===<br />
[[https://namu.wiki/robots.txt]]에서 확인할 수 있다.<br />
<br />
{{{#!html <iframe src="https://namu.wiki/robots.txt "></iframe>}}}<br />
=== [[Google]]의 robots.txt ===<br />
[[http://www.google.com/robots.txt]]에서 볼 수 있다.<br />
<br />
{{{#!html <iframe src="http://www.google.com/robots.txt"></iframe>}}}<br />
== 기타 ==<br />
<br />
그런데, 사족으로 다음은 웹 서비스를 위한 호스트명(www.daum.net 혹은 daum.net)에서 robots.txt를 요청하니 "원하시는 페이지를 찾을 수가 없습니다."(...)라고 뜬다. 다만 다음의 다른 서비스를 통해 robots.txt를 확인해보면 별도로 막는 것은 없음을 확인할 수 있다.</div>Maintenance script