[강의] Airflow 마스터 클래스

Airflow 마스터 클래스

강의소개 영상

강사님의 다년간의 프로젝트 경험을 토대로, Airflow를 실무에서 어떻게 적용하고, 파이프라인을 어떻게 최적화하는지에 대한 실질적인 방법론을 가르칩니다.

직접 VScode 안에서 같이 코드를 짜보며 실제 Hands-on 방식으로 수업을 진행합니다.

58개 이상의 실습 DAG 파일을 통하여 다양한 실습을 통해 이론적인 내용뿐만 아니라 실질적인 스킬까지 향상시키는 데 초점을 맞추고 있습니다. 실제 업무에 가까운 프로젝트를 통해 실질적인 경험을 쌓을 수 있도록 구성되었습니다.

강의를 통한 성장 !

Airflow의 다양한 오퍼레이터, 센서, 템플릿, Hook 등을 활용하는 방법을 직접 경험하게 되어, 실무적인 스킬이 향상됩니다.

복잡한 워크플로우를 자동화하고, 관리하는 방법을 배워 V 업무 효율을 극대화할 수 있습니다.

Airflow를 이용한 다양한 환경(WSL, Docker 등)에서의 작업 능력을 갖추게 됩니다.

메신저 연동, 모니터링, RShiny 등 실제 업무에 가까운 프로젝트를 통해 실질적인 경험을 쌓을 수 있게 됩니다.

데이터 분석 모델링 후,
파이프 라인 구성 방법을 알고 싶은 분

Airflow를 더 깊이 있게 이해하고 싶은 분

디지털 엔지니어로 성장하고 싶은 분

김현진

LG CNS 책임 연구원
정보관리기술사

주요 프로젝트 경력

세종 스마트시티 AI 데이터허브 구축 프로젝트

LG유플러스 차세대 Data Lake 구축 프로젝트

LG전자 Data Lake 구축 프로젝트

주요 프로젝트 경력

LG전자 Data Lake 구축 프로젝트

멀티캠퍼스 데이터사이언스 멘토(2022. 9)

실습환경과 최소사양은 어떻게 되나요?

CPU

RAM

STORAGE

실습환경과 최소사양은 어떻게 되나요?

초반에는 파이썬의 기본적인 문법만 알아도 이해할 수 있으나, 후반부로 갈수록 난이도는 조금 어려울 수 있습니다. 파이썬의 클래스, 상속과 같은 개념을 알면 도움이 됩니다. 그렇지만 걱정마세요! 실습 내용은 충분히 설명드리고 진행합니다.

실습 파일은 다운 받을 수 있나요?

실습 파일은 강사님의 깃허브에서 모두 다운 받으실 수 있습니다.

실습파일 다운로드

커리큘럼

Airflow 마스터 클래스

수업 총 86개 (총 19시간 18분)

수업소개
강의자료다운
슬기로운 통계생활 Affiliate 프로그램 운영 안내

Airflow 개념
WSL설치와 리눅스 기본명령어
도커&에어플로우설치
개발환경구성(전체설명, 사양 설명)
개발환경구성(파이썬 인터프리터설치)
개발환경구성(Vscode 설치)
개발환경구성(github 만들고 push, pull)
Airflow library 설치

Bash operator DAG 만들기 & DAG 디렉토리 셋팅
cron 스케줄 설명
task 연결하기
Bash Operator & 외부 쉘파일 수행하기
개발환Email Operator로 메일 전송하기경구성(파이썬 인터프리터설치)

Python 오퍼레이터 기본
외부 파이썬 함수 수행하기
@task 데코레이터 사용하기
파이썬 함수 파라미터 이해
Python 오퍼레이터에 op_args로 변수 할당하기
Python 오퍼레이터에 op_kwargs로 변수 할당하기

Jinja 템플릿 설명
Bash Operator에서 Jinja 템플릿 사용하기
Airflow의 날짜개념
Python Operator에서 Jinja 템플릿 사용하기
Bash Operator with macros
Python Operator에서 macro 변수 사용하기

Python Operator에서 Xcom 사용
Bash Operator에서 Jinja 템플릿 사용하기
Python &Bash 오퍼레이터간 Xcom 사용
Python & email 오퍼레이터간 Xcom 사용
전역 공유변수 Variable

BranchPython 오퍼레이터로 분기처리하기
@task.branch 로 분기처리하기
BaseBranchOperator 로 분기처리하기
Trigger Rule 설정하
Task groups
Edge Labels

지원되는 오퍼레이터 보기
Postgres 컨테이너 올리기
Connection 과 Hook
Postgres Hook으로 bulk_load하기
Task groCustom Hook 만들고 bulk_load하기ups
더 많은 Provider 확인 & Connection Type 추가하기

센서의 개념
Bash sensor
File sensor
python senso
External task sensor
Custom sensor 만들기

dataset을 이용한 dag 트리거
dag의 default_args 파라미터 이해
Task 실패시 email 발송하기
sla 로 task 수행현황 감시하고 email 발송하기
timeout 설정하기
CLI 사용하기 – dag trigger, backfill, clear
Triggerer 알아보기

R Shiny 컨테이너 올리기
R Shiny로 코로나 현황 확인하기(ui.R, server.R구성) (21:29)
실습하기 with 메신저 연동
Slack 연동
카카오 연동 준비
카카오 API 사용 준비
task 실패시 카카오 메시지 보내기
SLA miss시 Slack 메시지 보내기

메타DB 주요 테이블 보기
Pool 설정하기
Airflow User & Role

Airflow DAG 수행현황 모니터링 쿼리 만들기
모니터링 내역 Slack 전송하기
모니터링 내역 email 전송하기

Airflow의 아키텍처와 Executor
Celery환경 구성 방법
Airflow Flower로 Queue 감시하기
Airflow 파라미터 셋팅
스케줄러 부하 줄이기

chatGPT 기본지식 & chatGPT로 DAG만들기
파이썬으로 chatGPT API 호출하기
파이썬으로 주식정보 가져오기
chatGPT 응답으로 블로그 자동 포스팅하기 & 끝맺음

Airflow 마스터 클래스

145,000\

강의 신청 및 결제

Airflow 마스터 클래스

\ 145,000

수강신청

강사
수업 수
수강 기한
난이도

김현진
86개 (23시간 53분)
무제한
입문 – 초급 – 중급