참고https://leeyh0216.github.io/posts/airflow_install_and_tutorial/ Airflow 튜토리얼 실행해보기Airflow 튜토리얼 실행해보기 Airflow 기본 개념 - DAG와 Operator 개요 Airflow를 사용할 일이 많아질 것 같아 사용법 정리 포스팅을 진행한다. Ubuntu 환경에서 설치, 운영, 활용 실습을 진행하려 했으나,leeyh0216.github.io Apache AirflowApache Airflow는 데이터 파이프라인을 작성, 스케쥴링, 모니터링하기 위한 오픈 소스 플랫폼이다. 복잡한 데이터 처리 작업을 하는 데 유리하며, ETL(추출, 변환, 적재) 프로세스에 많이 사용된다. 스케쥴링 기능은 cron 표현식을 통해 작업의 실행 주기를..

참고https://www.youtube.com/watch?v=LXJhA3VWXFA&t=146sDocker도커란 소프트웨어를 컨테이너라는 격리된 환경에서 실행할 수 있도록 하는 플랫폼이다. 애플리케이션, 시스템 설정, 의존성 등을 하나로 묶어 배포할 수 있다. 도커를 사용하게 되면 일관된 환경에서 애플리케이션을 배포 및 실행할 수 있게 된다. 이는 애플리케이션의 이식성을 높인다. 패키징된 애플리케이션(컨테이너)는 OS와 무관하게 실행 가능하며, 비슷한 동작을 하는 가상 머신보다 가볍고 빠르다. 이는 도커가 호스트 OS의 커널을 공유하고 각 컨테이너가 독립적인 user space를 가지기 때문이다. 따라서 컨테이너는 더 적은 리소스를 사용하게 되는 것이다. 이는 보안 측면에서도 이점이 있다. 도커의 이미지는..