웹디자이너로 일하면서 필요한 전문 용어들이 나올 때마다 그 용어의 뜻과 기능과 활용도를 찾아보게 됩니다. SEO(Search engine optimization)가 왜 필요한지에 대한 질물을 던졌했을 때 그 원인을 제공하는 기본 지식이 웹크롤러와 관련되어 있기 때문에 웹 크롤러라 불리는 검색 엔진 프로그램에 대해 알아보려고 합니다. 웹 크롤러 (검색 봇) Web crawler 웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 '월드 와이드 웹(www)'을 탐색하는 컴퓨터 프로그램입니다. 주로 검색 엔진에서 웹사이트를 색인화하는데 사용됩니다. 또한 웹 크롤러는 데이터 수집에도 사용됩니다. 웹 크롤러가 하는 작업을 '웹 크롤링'(web crawling) 혹은 '스파이더링'(spidering)이라..
