Airflow-masterclass-title-04

Apache Airflow 마스터 클래스

AIRFLOW main lmage-09

AIRFLOW label-10

강의소개 영상

강사님의 다년간의 프로젝트 경험을 토대로, Airflow를 실무에서 어떻게 적용하고, 파이프라인을 어떻게 최적화하는지에 대한 실질적인 방법론을 가르칩니다.

AIRFLOW-18

VS Code에서 강사와 함께 코드를 작성하는 실습 중심 방식으로 수업을 진행합니다.

AIRFLOW 17

58종 이상의 실습 DAG 파일을 활용해 이론뿐 아니라 실제 업무에 필요한 Airflow 활용 능력을 익힙니다. 실제 업무에 가까운 프로젝트를 통해 실질적인 경험을 쌓을 수 있도록 구성했습니다.

강의를 통한 성장!

AIRFLOW-43

Airflow의 다양한 오퍼레이터, 센서, 템플릿, Hook 등을 활용하는 방법을 직접 경험하게 되어, 실무적인 스킬이 향상됩니다.

AIRFLOW-44

복잡한 워크플로를 자동화하고 관리하는 방법을 배워 업무 효율을 높일 수 있습니다.

AIRFLOW-45

Airflow를 이용한 다양한 환경(WSL, Docker 등)에서의 작업 능력을 갖추게 됩니다.

AIRFLOW-46

메신저 연동, 모니터링, RShiny 등 실제 업무에 가까운 프로젝트를 통해 실질적인 경험을 쌓을 수 있게 됩니다.

AIRFLOW-13

AIRFLOW-19

AIRFLOW-14

데이터 분석 모델링 후,
파이프라인 구성 방법을 알고 싶은 분

AIRFLOW-16

Airflow를 더 깊이 있게 이해하고 싶은 분

AIRFLOW-15

데이터 엔지니어로 성장하고 싶은 분

AIRFLOW-12

김현진

LG CNS 책임 연구원
정보관리기술사

주요 프로젝트 경력

세종 스마트시티 AI 데이터허브 구축 프로젝트

LG유플러스 차세대 Data Lake 구축 프로젝트

LG전자 Data Lake 구축 프로젝트

교육·멘토링 경력

멀티캠퍼스 데이터사이언스 멘토(2022. 9)

AIRFLOW 11

실습 환경과 최소 사양은 어떻게 되나요?

OS

AIRFLOW-47

CPU

AIRFLOW-48

RAM

AIRFLOW-49

STORAGE

AIRFLOW-50

Python을 어느 정도 알아야 수강할 수 있나요?

초반에는 Python 기본 문법만 알아도 이해할 수 있습니다. 후반부에는 클래스와 상속 개념을 알고 있으면 도움이 되지만, 필요한 내용은 실습 과정에서 충분히 설명합니다.

실습 파일을 다운로드할 수 있나요?

실습 파일은 강사님의 GitHub에서 모두 다운로드할 수 있습니다.

실습 파일 다운로드

floder-lab

커리큘럼

Airflow 마스터 클래스

총 86개 수업 · 영상 84개 · 약 20시간

수업소개
강의 자료 다운로드
슬기로운 통계생활 Affiliate 프로그램 운영 안내

Airflow 개념
WSL 설치와 Linux 기본 명령어
Docker 및 Airflow 설치
개발 환경 구성(전체 설명 및 사양)
개발 환경 구성(Python 인터프리터 설치)
개발 환경 구성(VS Code 설치)
개발 환경 구성(GitHub 생성 및 push·pull)
Airflow 라이브러리 설치

Bash operator DAG 만들기 & DAG 디렉토리 셋팅
cron 스케줄 설명
task 연결하기
Bash Operator & 외부 쉘파일 수행하기
Email Operator로 메일 전송하기

Python 오퍼레이터 기본
외부 파이썬 함수 수행하기
@task 데코레이터 사용하기
파이썬 함수 파라미터 이해
Python 오퍼레이터에 op_args로 변수 할당하기
Python 오퍼레이터에 op_kwargs로 변수 할당하기

Jinja 템플릿 설명
Bash Operator에서 Jinja 템플릿 사용하기
Airflow의 날짜개념
Python Operator에서 Jinja 템플릿 사용하기
Bash Operator with macros
Python Operator에서 macro 변수 사용하기

Python Operator에서 XCom 사용하기
Bash Operator에서 XCom 사용하기
Python 및 Bash Operator 간 XCom 사용하기
Python 및 Email Operator 간 XCom 사용하기
전역 공유 변수 Variable

BranchPythonOperator로 분기 처리하기
@task.branch로 분기 처리하기
BaseBranchOperator로 분기 처리하기
Trigger Rule 설정하기
Task Groups
Edge Labels

지원되는 오퍼레이터 보기
Trigger DAG Run Operator
서울시 공공데이터 API 키 발급받기
SimpleHttp Operator로 서울시 공공데이터 API 가져오기
Custom Operator 개발 이론
Custom Operator 개발 실습
Docker Compose YAML 해석
Postgres 컨테이너 올리기
Connection과 Hook
Postgres Hook으로 bulk_load하기
Custom Hook 만들고 bulk_load하기
더 많은 Provider 확인 & Connection Type 추가하기

센서의 개념
Bash sensor
File sensor
Python Sensor
External task sensor
Custom sensor 만들기

Dataset을 이용한 DAG 트리거
DAG의 default_args 파라미터 이해
Task 실패 시 Email 발송하기
SLA로 Task 수행 현황을 감시하고 Email 발송하기
Timeout 설정하기
CLI 사용하기 – DAG trigger, backfill, clear
Triggerer 알아보기

R Shiny 컨테이너 올리기
R Shiny로 코로나 현황 확인하기(ui.R, server.R 구성) (21:29)
Slack 연동
카카오 연동 준비
카카오 API 사용 준비
Task 실패 시 카카오 메시지 보내기
SLA miss 시 Slack 메시지 보내기

메타 DB 주요 테이블 보기
Pool 설정하기
Airflow User & Role

Airflow DAG 수행 현황 모니터링 쿼리 만들기
모니터링 내역 Slack 전송하기
모니터링 내역 Email 전송하기

Airflow의 아키텍처와 Executor
Celery 환경 구성 방법
Airflow Flower로 Queue 감시하기
Airflow 파라미터 설정
스케줄러 부하 줄이기

ChatGPT 기본 지식 및 ChatGPT로 DAG 만들기
Python으로 ChatGPT API 호출하기
파이썬으로 주식정보 가져오기
ChatGPT 응답으로 블로그 자동 포스팅하기 및 마무리

Airflow 마스터 클래스

145,000원

강의 신청 및 결제

환불정책 안내

Airflow 마스터 클래스

course-kakao-thumbnail9

145,000원

강사
수업 수
수강 기한
난이도

김현진
86개 (영상 84개 · 약 20시간)
무제한
입문 – 초급 – 중급