[프로그래머스] 데이터엔지니어링 데브코스 1기/TIL (Today I Learned)
TIL_day41 Data Pipeline, ETL 코드
230605 MON 학습 주제 - 데이터 파이프라인, Airflow (1) 용어 정리 ETL - 데이터를 데이터 웨어하우스 외부에서 내부로 가져오는 프로세스 - 보통 데이터 엔지니어가 수행 ELT - 데이터 웨어하우스 내부 데이터를 조작해서 (보통은 좀더 추상화되고 요약된) 새로운 데이터를 만드는 프로세스 - 보통 데이터 분석가가 수행 - 관련 프로세스 전용 기술로는 DBT(Data Build Tool)가 가장 유명 - Analytics Engineering .. Data Lake - 구조화 데이터 + 비구조화 데이터 - 보존 기한이 없는 모든 데이터를 원래 형태대로 보존하는 스토리지에 가까움 - 보통은 데이터 웨어하우스보다 몇배는 더 큰 스토리지 - ex) AWS S3.. Data Warehouse -..
