토마의 엔지니어링 노트

안녕하세요. 오늘은 자바에서 웹 페이지를 크롤링 해서 필요한 데이터를 가져올 수 있는 Jsoup에 대해서 포스팅 해보려고 합니다. 크롤링이 무엇인지에 대한 간단한 내용과 간단한 예제를 통해 데이터를 출력하는 것을 진행해보겠습니다. 1. 크롤링(Crawling) ? 크롤링이란 사전적으로 기어다니는 것을 뜻하는데, 웹(Web) 상을 돌아다니면서 정보를 수집하는 행위를 뜻합니다.크롤링의 대상은 웹 상의 자원들이며, 이것들은 정적인 문서가 될 수 있고, API와 같은 서비스가 될 수가 있습니다. 어떤 것이라도 다수의 데이터를 수집하고, 수집된 데이터를 토대로 필요한 정보만 추출하는 것을 크롤링이라고 부릅니다. 2. 크롤링 라이브러리 크롤링을 위한 다양한 라이브러리들이 존재하는데, 자신에게 맞는 라이브러리를 찾아..