- LLMアプリ向けの DataDog + PostHog として設計されており、高速・安定・スケーラブル
- LLMデータを Trace、Evaluate、Label、Analyze
- Rust ベースのスタックで構成: RabbitMQ（メッセージキュー）+ Postgres（ストレージ）+ Clickhouse（分析）+ Qdrant（セマンティック検索）
Laminarの差別化ポイント
- LLM呼び出しだけでなく、実行全体の追跡（execution trace）を扱うことに重点を置く
- OpenTelemetry ベースの計測: わずか2行のコード + デコレータで LLM/ベクターDB 呼び出しを自動実行し、関数を追跡
- GenAI セマンティック規則を使って OpenTelemetry（Otel）span 向けの Rust コレクターを構築
- セマンティックイベントベースの分析
- Laminar は LLM パイプラインのバックグラウンド作業キューをホストし、パイプラインの出力はメトリクスに変換される
- 「セマンティックメトリクス」（AIエージェントが実際に何を話しているか、など）を追跡し、トレース内の発生位置と関連付けられる
- コアアプリのロジックと LLM イベント処理を分離
Pipeline Builder
- LLM とユーティリティ関数をノード、データフローをエッジとして表現するグラフUIを使用
- 並列ブランチ実行、サイクル、ブランチをサポートするカスタム作業実行エンジンを構築
- パイプラインを API エンドポイントとして直接呼び出せる
- Laminar はパイプラインを直接追跡し、ネットワーク経由で大量の出力を送信するオーバーヘッドを排除
トレース検索機能
- 各 span をベクターDBにインデックスし、クエリ時にハイブリッド検索を実行
- この機能はまだベータ版だが、今後プラットフォームの重要な一部になる見込み
評価機能
- 「すべてをローカルで実行し、結果をサーバーへ送信する」Braintrust と Weights & Biases のアプローチを採用
- シンプルな SDK と優れたダッシュボードで、あらゆるものを追跡可能
- 評価機能はまだ初期段階だが、積極的に推進中
Laminarの目標
- LLM/GenAI のあらゆるもののための標準的なオープンソース総合プラットフォーム、すなわち「LLMOpsのための Supabase」になること
まだコメントはありません。