Vector - 高性能な Observability データパイプラインのオープンソース

• ユーザーが可観測データを制御できる高性能な end-to-end（エージェントおよびアグリゲーター）Observability データパイプラインプラットフォーム
• ログとメトリクスを収集・変換・ルーティングし、現在利用したいあらゆるベンダーへ送信でき、将来利用したくなる可能性のある別のベンダーにも送信可能
• コストを削減し、新しいデータエンリッチメント（Enrichment）とデータセキュリティを提供し、オープンソースで、他の代替手段より最大10倍高速であることを特徴とする

原則

• 信頼性 - Rust で構築されており、信頼性が主要な設計目標
• End-to-end - Agent または Aggregator としてデプロイ可能。Vector は完全なプラットフォーム
• 統合性 - ログ、メトリクス（ベータ）、トレース（近日公開予定）。あらゆるデータのための単一ツール

ユースケース

• Observability 全体のコスト削減
• ワークフローを妨げずにベンダーを切り替え
• データ品質の向上とインサイトの改善
• エージェントの統合とエージェント疲れの解消
• 全体的な可観測性のパフォーマンスと信頼性の向上

コミュニティ

• Atlassian、T-Mobile、Comcast、Zendesk、Discord、Fastly、CVS、Trivago、Tuple、Douban、Visa、Mambu、Blockfi、Claranet、Instacart などのスタートアップおよび大企業が Vector に依存
• Vector は1日あたり10万回以上ダウンロードされている
• Vector の最大規模のユーザーは毎日 30TB 以上のデータを処理
• Vector には100人以上のコントリビューターがおり、継続的に成長中

[softer]

ログパイプラインの大家

[xguru]

Hacker Newsの意見

• Vectorソフトウェアに対する肯定的な評価

  • Vectorは、マルチGB/s級のログパイプラインを運用するうえで優れたソフトウェア。
  • VectorエージェントはDaemonSetsとしてpodとjournaldのログを収集し、Vectorのprotobufプロトコルを使って中央のVectorアグリゲーター（Deployment）に送信する。
  • さまざまな保存先（s3、gcs/bigquery、loki、prom）をサポートしている。
  • ドキュメントはよく整備されているが、一般的なパターンの例は見つけにくいことがある。ただ、時間が経って利用者が増えるにつれて改善されている。
  • Googleで vector dev と検索すると良い結果が得られる、というのがコツ。
  • 最近では、Prometheus pushgatewayの代替としてカウンターをよりうまく扱えるようにするコントリビューションも追加された。

• ログ保存システムに対するビジョンと期待

  • ログ処理および保存システムはほぼ準備が整っており、中長期的にはクエリ可能なログ保存システムへと発展していくことが期待されている。
  • ログはVectorのようなツールで処理され、広く理解されているファイル形式でオブジェクトストレージに保存される。
  • ログオブジェクトはメタデータストアに登録され、検索可能になる。
  • Delta LakeやIcebergのようなツールは、大規模・小規模のどちらでも機能する。
  • 複数のログ処理パイプラインが同じストレージにコミットできる。
  • Clickhouse、DuckDB、Sparkなどの高性能ツールがこれを読み取れる。
  • 標準形式を使うため、ツールを切り替えたり、同時に複数のツールを使ったりすることが可能。

• Vectorの信頼性と有用性

  • Vectorは、beatsやベンダー固有のフォワーダー（chronicle forwarder、fdr）よりもはるかに信頼できる。
  • Vrlは、aws cloudtrailやimperva abpのような大規模ログを「事前パース」するのに役立つ。

• Vectorの使用経験と推薦

  • Vectorを使ったことがあり、設定は簡単で、vrl言語も十分に強力。
  • CLIの check 機能は、構成上の問題を見つけるのに役立つ。
  • パフォーマンス面でも問題はなく、リソース効率も高いとして推奨している。

• Vectorの多用途性

  • Vectorは単なる「高性能」を超えて、ログとメトリクスのためのスイスアーミーナイフのような存在。
  • ログをメトリクスに変換したり、メトリクスを別形式に変換したり、別のデータストアへプッシュしたり、フィルタリングしたりと、さまざまな用途に使われる。
  • 観測データの収集、集約、フィルタリング、前処理において第一の選択肢。

• Vectorへの関心と期待

  • 新しいfluent-bitパイプラインを設定したあとでVectorのことを知った。
  • Vectorには興味深い機能が多く、時間があればもっと早く試してみたかったと思っている。
  • 新しいプロジェクトで試せそうで、面白くなりそうだと期待している。

• Vectorの適用範囲と可能性

  • Vectorについて知った情報の大半は、データベースや複雑なマルチテナントアプリケーションを対象にした例や議論だった。
  • 自動運転車のような分散システムで、運用ログ、システム状態、各アプリケーションの入力と出力を集約する目的でVectorを使った人がいるのか気になっている。

• Vectorの実際のユースケースと追加活用の可能性

  • ログ転送のためにVectorを使っており、必要な作業をこなせなかったlogstash設定を置き換えた。
  • Vectorの可能性をようやく把握し始めたばかりで、もっと活用したいという気持ちがある。
  • ログ転送以外でVectorを使った事例についての情報を求めている。

• Datadogに対する信頼の問題

  • Datadogが、OTELの競合に見えるVectorを管理していることにはあまり信頼が持てない。

• Vectorの機能と今後の観察予定

  • Vectorは興味深いが、トレーシング機能がないため現時点では使えない。
  • 今後数か月のあいだVectorを観察する予定で、使える良い機能が出てくることを期待している。