自分のスタートアップで Splunk の代替に使った 1 つの Python スクリプトファイル

• AWS や他のクラウドサービスからログファイルを自動で収集・分析するアプリケーション
• 機能の動作方式
  • boto3（AWS）と Ansible インベントリファイル（その他のクラウド）を使って、リモート機器へ SSH 接続を実行
  • 指定されたログファイルをダウンロードして解析し、データベースへの投入のためにキューイング
  • SQLAlchemy で解析済みキューからパース済みのログエントリを SQLite に挿入
  • DB に保存されたログエントリを処理・分析。エラー項目を見つけ、指定された基準に従って集計データビューを生成する関数を提供
  • 各リモートマシンからネットワーク活動データを取得して処理
  • Datasette を使って DB を Web アプリとして共有

[xguru]

こういう記事はいつもそうですが、少し誇張されていることを念頭に置いて読む必要があります。
とはいえ、完璧ではないにせよ、用途によっては簡単なスクリプトだけで高価なシステムを置き換えられるのも事実です。
高いツールを導入したからといって、すべてが勝手にうまくいくわけではありませんから。

Datasette - 個人向けデータウェアハウスのオープンソース