10月

29
【オフライン】Airflowの基礎を学ぶハンズオンワークショップ
Airflowのインストール方法や基本的な使い方をハンズオン形式でご説明します！

主催 : Tokyo Apache Airflow Meetup

ハッシュタグ：#TokyoApacheAirflowMeetup

募集内容	参加枠無料先着順 4/40人
申込者	申込者一覧を見る
開催日時	2022/10/29(土) 14:00 ～ 16:00 Googleカレンダー icsファイル
募集期間	2022/10/03(月) 10:00 〜 2022/10/29(土) 14:00まで
会場	WeWork東京スクエアガーデン14F 〒104-0031 東京都中央区京橋3−1−1 WeWork東京スクエアガーデン14F マップで見る会場のサイトを見る
参加者への情報	(参加者と発表者のみに公開されます)

イベントの説明

Airflowとは

Apache Airflow は、Apache ソフトウェア財団の傘下で開発されている OSS のワークフロー管理システムです。2022/10時点で、世界の470を超える企業での利用実績があり, Astronomer, Google Cloud Composer, Amazon Managed Workflows for Apache Airflow (MWAA) といった、クラウド上でのマネージドサービスも複数のベンダーから提供されています。

定期的なバッチ処理を CRON などで実行しているが、ジョブ間の依存関係の管理や実行状態の確認、エラー時のリカバリ等が大変‥といった方は Airflow が役に立つかもしれません！

今回のテーマ

今回は、Airflow のインストール方法や基本的な使い方をハンズオン形式でご説明します。実際に手を動かして以下のような作業を行うことで、Airflow の導入方法と基本的な使い方を習得します！

Airflow のインストール
Airflow の起動・停止
DAG の作成と実行
高度な DAG の作成

こんな人におすすめ

Airflow を触ったことないけど、興味がある方
Airflow を触ったことあるけど、もっとスキルアップしたい方
Airflow ユーザーで基礎を復習したい方
他の Airflow ユーザーと交流したい方

ぜひお気軽にご参加ください！

なお、今回の内容は既に Airflow を使っている方には基礎的すぎるかもしれません。別途、Airflow ユーザによるオフラインイベントも計画中なので、ぜひそちらにもご参加ください！

持ち物・準備など

作業は各自のマシンで行いますので、ノートPCをご持参ください。Wifi は会場のものを利用できます。
操作は Unix-like なコマンドラインから行います。Windows をお使いの方は、あらかじめ WSL のインストールをお願いいたします。コマンドプロンプトや PowerShell からの操作は想定していません。なお、お使いの WSL バージョンが1の場合、データベースの運用に支障が生じる場合があるようです。その場合はこちらのアップグレード手順に従い WSL 2 をインストールするとともに, 既存の Linux ディストリビューションが WSL 2 を使うよう設定してください.
環境は Python の virtualenv にインストールするか、もしくは Airflow 公式の Docker image を使います。前者の場合は Python3 と venv モジュール、後者の場合は Docker と docker-compose がインストールされていることをご確認ください。

タイムテーブル

時間	セッションタイトル
13:30	受付開始
14:00	Airflowの概要紹介
14:20	ワークショップの課題説明
14:40	ワークショップ
16:00	締め

オーガナイザーのご紹介

関堅吾

株式会社NTTデータ所属のデータエンジニア。ビッグデータ関連 OSS の開発に携わっており, Apache Airflow, Avro, Bigtop などのプロジェクトでコミッタを務めています。

Hank Ehly

ENECHANGE株式会社 / Qiita / GitHub / Meety

アメリカ中心部にあるカンザス大学言語学科に在学中に来日し、1年ほど上智大学の国際教養学部に留学。大学卒業後、日英通訳として再び来日。ホームページの作成をきっかけにソフト開発を学び始める。2018年にPythonエンジニアとしてENECHANGE株式会社に入社。ENECHANGEで電力消費量データの分析を中心としたアプリケーション企画・開発に従事。カラオケでは必ず「オラ東京さ行くだ」を歌う。

協賛企業のご紹介

今回のイベント会場はENECHANGE株式会社が提供します。ENECHANGEでは、大量な電力時系列データの分析を中心に、様々なアプリケーション企画/開発を行なっています。例えば、こんなことやっています…

Airflowを活用したデータパイプライン開発
電気の市場価格によって、家電を自動的に遠隔操作するアプリケーション開発
大量の電気消費量データのクラスター分析や需要予測
AWS Elastic Container Serviceで1,000以上のFargateノードを活用した分散処理など

学習意欲が高く、技術的なチャレンジを求めるPythonエンジニアを募集しています。
ここからカジュアル面談の設定ができます。

当日は軽食を Astronomer 社の協賛でご提供します。 Astronomer は2018年に米国で創業された企業で, Airflow をベースとした Astro と呼ばれるデータ統合・管理基盤を SaaS として提供しています。同社のサービスは世界35ヶ国の顧客に使われており, Airflow の主要な開発者も多数在籍しています。技術者も募集中とのことなので、ご興味のある方はぜひ募集中のポストをご覧ください。