Airbridge Data PipelineにおけるServerless活用事例

• Intro
• Data PipelineでServerless技術を導入した背景: Hourlyより短い周期でコードを実行するのに適した環境を探していた中で、Serverless技術を活用することにした
• 不便だったLambdaのデプロイ環境: TerraformでIaCを行うと、記述しなければならないコードが多くて不便なだけでなく、lambda packagingなども不便だった
• Serverless framework導入: 少ないコード量でもうまく構成して運用でき、BuildやTestが容易
  • 惜しい点: Planを確認できず、CloudFormationの不便な点がそのまま残っている
  • 結論: Serverless frameworkは惜しい点よりも利点のほうがはるかに多いframeworkなので、今後も引き続き活用する予定。実際にはServerless frameworkよりもLambda環境の問題のほうが多い。
• 活用事例
  • 事例1: Kafka Connect Manager
  • 事例2: Batch Job実行
• おわりに