Benchi - ベンチマーク自動化ツール

• 最小限の設定で性能ベンチマークを実行できるよう設計された軽量ベンチマークフレームワークで、アプリケーションおよびインフラの性能測定を簡素化するために開発
• ベンチマーク環境はDocker Compose構成ファイルで定義され、コンテナ状態のモニタリングと結果収集が自動化されている
• 主な機能
  • Docker統合: Composeファイルでテスト環境を定義して実行
  • CSVメトリクス収集: 収集された性能指標はCSVとして保存され、後処理しやすく、trimmed mean方式で上下5%を除外した平均値を計算
  • ユーザー定義hook: 各段階ごとにカスタムコマンドを実行するhookを設定してコマンド実行が可能（例: pre-infra, post-test など）
  • リアルタイム状態モニタリング: ベンチマーク中にコンテナの状態および収集指標を確認可能
• 測定されたメトリクスはCSV形式で保存される
• Prometheus、Docker、Kafka、Conduit など、さまざまな**メトリクスコレクター（collector）**をサポート