Selenium 정적 웹사이트와 동적 웹사이트 정적(static) 웹사이트 : HTML 내용이 고정 ⇒ HTML 문서가 완전하게 응답됨 동적(dynamic) 웹사이트 : HTML 내용이 변함 ⇒ 응답 후 HTML이 렌더링 될 때까지 지연 시간 존재! 동적 웹 사이트의 동작 방식 웹 브라우저에서 동작하는 JS는 비동기 처리를 통해서 데이터를 채운다. 동기 처리: 요청에 따른 응답을 기다린다. 비동기 처리: 요청에 따른 응답을 기다리지 않는다. ⇒ 상황에 따라 데이터가 완전하지 않을 수 있음 비동기 처리로 인해 불완전한 응답받게 됨 = 응답 후 바로 정보를 추출하기 어렵다. 키보드 입력, 마우스 클릭 등 UI 상호작용은 requests로는 진행하기 어려움 임의로 시간을 지연해 데이터 처리가 끝난 후 정보를 ..
24.01.24 수 24년 1월 24일... 이사하기 좋은 날인가? 열심히 안 들었던 강의 다시 복습하기! TIL day는 순서에 맞게 맞춰주고 싶당 ㅎㅎ Beautifulsoup BeautifulSoup이란, HTML Parser. BeautifulSoup 라이브러리 설치 %pip install bs4 BeautifulSoup 객체 만들기 # 모듈 불러오기 import requests # www.example.com 사이트를 요청한 후 응답 받아보기 res = requests.get("https://www.example.com") res.text # BeautifulSoup4 - bs4를 불러와봅시다. from bs4 import BeautifulSoup # BeautifulSoup객체를 만들어봅시다...
230418 화요일 학습 주제 - Web Scraping 기초 1-1. 인터넷 사용자 간의 약속, HTTP 사실 강의자료가 가장 정리가 잘 되어있는 문서이지만 그래도 한 번 정리를 해보겠다,,,ㅎㅎ 컴퓨터가 탄생했다. 컴퓨터와 컴퓨터를 연결하면 어떻게 될까? => Network! Network + Network + ... => 근거리 지역 네트워크(Local Area Network, LAN) => 범 지구적으로 연결된 Inter Network 인터넷(Internet)!!!! 인터넷에서 정보를 교환할 수 있는 환경을 만들어볼까? => WWW(World Wide Web) 웹 상에서는 어떻게 정보를 주고받지? => 클라이언트(Client, 정보를 요청)와 서버(Server, 정보를 제공) 둘 다 컴퓨터임. H..
