[프로그래머스] 데이터엔지니어링 데브코스 1기/TIL (Today I Learned)
TIL_day46 Docker 개념
230612 MON 학습 주제 - Airflow 환경 구축을 위한 Docker와 K8S 실습 (1) Airflow를 운영할 때 겪는 어려움과 해결책 - Docker를 왜 사용하지? 관리해야 하는 DAG의 수가 100개를 넘어간다면? 데이터 품질이나 데이터 리니지 이슈 이외에도 다양한 이슈들이 발생한다. 1. 라이브러리 충돌 - Dag에 따라 실행에 필요한 라이브러리/모듈이 달라지기 시작 (ex. Python version ...) -> Dag 혹은 Task 별로 별도의 독립공간을 만들어주는 것이 필요하다. 2. Worker의 부족 - Scale up, Scale out, K8s(공용 서버 클러스터) 3. Worker 서버들의 관리와 활용도 이슈 (낮은 Server Utilization 이슈) - K8s..
