Apache

[프로그래머스] 데이터엔지니어링 데브코스 1기/TIL (Today I Learned)

TIL_day31 ETL/ELT

230522 MON 240303 수정 8주 차 학습 주제 - ETL, ELT, Redshift, 데이터 분석/처리용 고급 SQL, BI 대시보드 (1) 직군별로 알아보는 데이터의 흐름 1. 데이터 인프라 구축 - 데이터 엔지니어 서비스에서 직접 생기는 데이터와 써드파티를 통해 생기는 간접데이터를 ETL 과정을 거쳐 데이터 웨어하우스에 적재하는 것을 데이터 인프라를 구축하는 것이라 한다. *데이터 웨어하우스란, 회사에 필요한 모든 데이터를 모아놓은 중앙 데이터베이스로 SQL 기반 데이터베이스이다. 프로덕션용 데이터베이스(OLTP)와는 별개여야 한다.(OLAP) 데이터의 크기에 맞게 어떤 데이터베이스를 사용할지 선택해야 하는데 다음 중 하나를 선택할 수 있다. AWS Redshift Google Cloud ..

식혜야
'Apache' 태그의 글 목록