dockerfile

[프로그래머스] 데이터엔지니어링 데브코스 1기/TIL (Today I Learned)

TIL_day47 CI/CD, Docker와 Github Actions

230613 TUE 학습 주제 - Airflow 환경 구축을 위한 Docker와 K8S 실습 (2) CI/CD 란? Continuous Integration / Continuous Delivery, Deployment (지속적 통합 / 지속적 배포) - 애플리케이션 개발 단계를 자동화하여 애플리케이션을 더욱 짧은 주기로 고객에게 제공하는 방법이다. - DevOps 엔지니어의 핵심 업무이다. - git push나 git merge 시점이 CI/CD를 실행하기 위한 절호의 순간이다. - Github에서는 이를 Actions라는 기능을 통해 Workflow라는 이름으로 구현이 가능하다. - 기본 원칙 코드 Repo는 하나만 유지(Master) 코드 변경을 최대한 자주 반영 테스트를 최대한 추가(Test Co..

[프로그래머스] 데이터엔지니어링 데브코스 1기/TIL (Today I Learned)

TIL_day46 Docker 개념

230612 MON 학습 주제 - Airflow 환경 구축을 위한 Docker와 K8S 실습 (1) Airflow를 운영할 때 겪는 어려움과 해결책 - Docker를 왜 사용하지? 관리해야 하는 DAG의 수가 100개를 넘어간다면? 데이터 품질이나 데이터 리니지 이슈 이외에도 다양한 이슈들이 발생한다. 1. 라이브러리 충돌 - Dag에 따라 실행에 필요한 라이브러리/모듈이 달라지기 시작 (ex. Python version ...) -> Dag 혹은 Task 별로 별도의 독립공간을 만들어주는 것이 필요하다. 2. Worker의 부족 - Scale up, Scale out, K8s(공용 서버 클러스터) 3. Worker 서버들의 관리와 활용도 이슈 (낮은 Server Utilization 이슈) - K8s..

식혜야
'dockerfile' 태그의 글 목록