1. 웹스크래핑(Web Scraping)이란? 우리는 웹 페이지에서 많은 정보를 얻는다. 이 정보들을 추출, 정리할 필요성을 느낄 때가 있는데, 이를 스크래핑이라고 한다. 즉, 웹 페이지의 정보를 가져오고(크롤링;Crawling), 데이터들을 추출(스크래핑;Scraping)해 DB에 저장하고 사용하는 것을 이야기한다. 2. Python으로 웹 크롤링하기 2-1. 준비하기 기본적으로 웹 크롤링은 HTML로 작성된 문서를 긁어서 가져오는 일이기 때문에, 파이썬에서 그 정보를 가져오도록 요청해야 한다. 따라서 Requests 라이브러리로 요청하고, BeautifulSoup 라이브러리로 필요한 정보만 추출할 것이다. requests 라이브러리 설치 나는 venv 가상환경을 사용하기 때문에 간단하게 VSCode ..
venv란? 우리가 흔히 라이브러리를 설치할 때, 파이썬이 설치된 경로의 Script 폴더 안에 설치하게 되는 게 보통이다. 이는 내가 사용하는 모든 라이브러리가 같은 위치에 있다는 건데 , 이는 같은 런타임 환경을 공유한다는 것이기도 하다. 또는 특정 라이브러리를 사용한 프로젝트 진행 시에, 각각 컴퓨터에 일일히 설치해주는 작업이 필요하다. (가끔 내 컴퓨터에 이 모듈이 설치됐는지 기억도 안 날 때도 많은데) 그럴 때 쓰는 게 venv 모듈이다. 이 모듈은 가상 환경을 만드는 모듈인데, 즉 해당 프로젝트를 venv 가상환경 안에서 실행하고, 각 프로젝트 디렉토리에 자체 독립 패키지 세트가 설치되어 필요한 라이브러리를 설치해 사용할 수 있다는 것. 가상 환경 생성하기 커맨드에서 프로젝트가 생성된 디렉토리..