Scraping

[프로그래머스] 데이터엔지니어링 데브코스 1기/TIL (Today I Learned)

TIL_day9 Selenium

2024.01.24

Selenium 정적 웹사이트와 동적 웹사이트 정적(static) 웹사이트 : HTML 내용이 고정 ⇒ HTML 문서가 완전하게 응답됨 동적(dynamic) 웹사이트 : HTML 내용이 변함 ⇒ 응답 후 HTML이 렌더링 될 때까지 지연 시간 존재! 동적 웹 사이트의 동작 방식 웹 브라우저에서 동작하는 JS는 비동기 처리를 통해서 데이터를 채운다. 동기 처리: 요청에 따른 응답을 기다린다. 비동기 처리: 요청에 따른 응답을 기다리지 않는다. ⇒ 상황에 따라 데이터가 완전하지 않을 수 있음 비동기 처리로 인해 불완전한 응답받게 됨 = 응답 후 바로 정보를 추출하기 어렵다. 키보드 입력, 마우스 클릭 등 UI 상호작용은 requests로는 진행하기 어려움 임의로 시간을 지연해 데이터 처리가 끝난 후 정보를 ..

[프로그래머스] 데이터엔지니어링 데브코스 1기/TIL (Today I Learned)

셀레니움 크롬드라이버 설치(버전 이슈)

2024.01.21

24.01.21 파이썬의 selenium을 사용하려면 스크래핑할 웹 브라우저인 크롬의 크롬 드라이버를 설치해줘야 한다. 이때 내가 실제로 사용하는 크롬 브라우저의 버전과 내가 설치하여 사용할 크롬 드라이버의 버전이 맞아야 한다! selenium 버전도 잘 맞춰줘야 함(이건 웬만하면 맞는 듯) 크롬 드라이버 설치하는 방법 2가지 1. 아래 1번 방법 코드 예시에서 import 한 ChromeDriverManager를 사용하여 자동으로 최신버전을 불러와 간편하게 사용하기 2. ChromeDriver 파일을 직접 다운로드 받고, zip파일을 풀어 나온 exe파일의 경로를 박아 사용하기 1번 방법 코드 예시 from selenium import webdriver from selenium.webdriver.chr..

TIL_day9 Selenium

셀레니움 크롬드라이버 설치(버전 이슈)

티스토리툴바