[웹 크롤링] 1. 웹 크롤링이란?

크롤링이란 인터넷에서 데이터를 검색해 필요한 정보를 색인하는 것을 의미한다.

사용자가 데이터를 하나씩 검색하여 정보를 얻는 것부터 저장, 가공하는 과정을 대신 해주는 기술이라고 할 수 있다

이러한 크롤링을 해주는 프로그램을 '크롤러'라고 한다.

 

간단히 말하면 크롤링은 인터넷상의 데이터를 수집,저장,가공하는 자동화된 기술이라고 한다.

 

크롤링의 중요성

크롤링의 장점들 중에선 , 업무 자동화로 인한 업무 효울화가 가장 큰 몫을 차지한다.

예를 들어 '코로나'가 포함되어 있는 뉴스기사 3개를 조사한다고 생각해보자 

3개 정도는 복사-붙여넣기를 사용해 금방 해결할 수 있을것이다.

 

하지만 100개 조사를 해야한다면 시간이 매우 오래 걸릴 것이다...

 

그렇기에 사람이 해야할 일을 컴퓨터가 효과적이고 빠르게 해준다는 점에서 크롤링의 중요하지 않나싶다