https://tcatmon.com/w/index.php?action=history&feed=atom&title=%ED%81%AC%EB%A1%A4%EB%A7%81 2026-07-28T13:31:19Z 이 문서의 편집 역사 MediaWiki 1.28.0 https://tcatmon.com/w/index.php?title=%ED%81%AC%EB%A1%A4%EB%A7%81&diff=398953&oldid=prev 2017-02-04T14:11:00Z

<p></p> <p><b>새 문서</b></p><div>웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위. 크롤링(Crawling) 혹은 스크래이핑(Scraping) 이라고도 한다.<br /> <br /> [[Python]]이 이 분야의 선두주자로서, 컴퓨터 프로그래밍이 익숙하지 않은 비전공자들인 인문학이나 통계 분야의 종사자들이 쓰기 쉽도록 라이브러리 들이 발달하면서 급격히 발전하고 있다. 대표적인 파이썬 라이브러리의 예로 [[https://www.crummy.com/software/BeautifulSoup/|beautifulsoup]]등이 있다.<br /> <br /> [[나무위키]]도 [[리그베다 위키]]를 크롤링해서 시작된 위키이고, [[나무위키 미러]] 등은 [[나무위키]]를 크롤링한 곳이다.<br /> <br /> 조금 유형은 다르지만, [[검색 엔진]]에서도 유사한 것을 필수적으로 사용하는데, [[웹]] 상의 다양한 정보를 자동으로 검색하고 색인하기 위해 사용한다. 이 때는 스파이더(spider), 봇(bot), 지능 에이전트라고도 한다. 사람들이 일일이 해당 사이트의 정보를 검색하는 것이 아니라 컴퓨터 프로그램의 미리 입력된 방식에 따라 끊임없이 새로운 웹 페이지를 찾아 종합하고, 찾은 결과를 이용해 또 새로운 정보를 찾아 색인을 추가하는 작업을 반복 수행한다. 방대한 자료를 검색하는 특징은 있으나 로봇의 검색 기능을 역이용하여 순위를 조작하거나 검색을 피할 수 있는 단점도 있다.<br /> <br /> 전문적인 크롤링 소프트웨어는 아니지만, 일반인들이 사용할 만한 툴로는 [[https://www.httrack.com|httrack]]과 [[http://opensourcepack.blogspot.kr/p/wget-and-curl.html|wget-curl]] 정도가 있다. 인터넷이 느렸던 2000년대 초반에는 WebZip이라는 것이 인기를 모으기도 하였다.<br /> <br /> 크롤링을 기반으로 만든 서비스로는 유명 검색엔진 [[http://www.naver.com|네이버]], [[http://google.com|구글]] 등이 있으며, 유머 사진, 동영상을 수집하는 [[https://yaktokki.com|약토끼]] 같은 서비스가 존재한다.<br /> <br /> [[분류:컴퓨터]]</div>

Maintenance script