自社AIモデルを学習する
(posthog.com)- PostHogはAI installation wizard、PostHog AI、MCPに続き、より能動的で自律的な製品を作るために、社内データでのモデル学習を試みている
- 中核となる対象はPostHog Codeであり、答えや解決策を代わりに見つけて実行し、時間の経過とともに改善される製品の方向性を支える
- セッションリプレイ分析、合成ユーザーテスト、ユーザー行動予測を改善し、問題検知のコストを下げ、デプロイ前にエラーや混乱ポイントを見つけようとしている
- 学習データは匿名化され、PostHogインスタンスにすでに存在するデータのみを使用し、サードパーティのモデル提供事業者に販売したり送信したりしない
- EUクラウドと学習制限契約のある顧客はデフォルトで除外され、USクラウドはデフォルトで対象に含まれ、ユーザーは6月29日までにオプトアウトできる
PostHogの自社AIモデル学習計画
- PostHogはこの1年でAI installation wizard、PostHog AI、MCPのようなAI機能を製品に追加してきており、今後はさらに能動的で自律的な製品を作ろうとしている
- PostHogの次の章は、答えや解決策をユーザーの代わりに見つけ出して実行し、時間とともに改善される製品を作る方向性を示している
- 現在ベータ版のPostHog Codeはこの方向の中核製品であり、これを実現するためにPostHog内部データでモデルを学習しようとしている
作りたい機能
- 目標は既存製品をより賢く能動的にし、PostHog Codeのような新製品によって、チームがより良い製品をより速く作れるよう支援すること
-
セッションリプレイ分析
- PostHog AIはすでにリプレイから問題を検出できるが、コストが高く、大規模展開には向いていない
- 個々のユーザー問題を診断するときのように、大規模でも強力にリプレイを活用するには、リプレイを構成する基礎データで学習したモデルが必要になる
-
合成ユーザーテスト
- 合成ユーザーテストは、ユーザー行動に関する知識を活用して、ユーザーが混乱しそうな箇所や壊れうるフローを本番デプロイ前に見つけるというアイデア
- コーディングモデルの改善に伴ってテストやレビュー作業は大きく増えており、PostHogはこの作業を自動化して、ユーザーが製品そのものに集中できるようにしたいと考えている
-
ユーザー行動予測
- ユーザー行動予測が向上すれば、すでにデプロイ済みの機能についても、コンバージョン率を高め、ユーザーの不満を減らす変更を提案できる
- 自動化が可能になれば、手動分析の時間が減り、その過程で消費するトークンも減る
- これらのアイデアはまだ実験的であり、モデルを効果的に学習する方法や、本当に有用なデータを見つけるまで反復が必要
- PostHogは、AIが製品をよりシンプルに、あるいはより強力にできるときに良い結果が出ていたことを、この試みの根拠としている
仕組みとデータ利用の原則
- この計画は既存機能をより強力にし、製品をより能動的に改善する機能を提供することに焦点を当てている
- 多くのツールが最高のコードを提供することに注力している一方で、PostHogはユーザーの製品そのものをより良くすることに注力しようとしている
- そのため、PostHog Codeをプロダクトエディタと表現している
- 最大の懸念点は、PostHog内のデータをモデル学習に使うことにあり、PostHogはこれを利用規約の更新に紛れ込ませるのではなく、公に知らせようとしている
-
デフォルト適用方式
- EUクラウドインスタンスのユーザーはデフォルトで除外される
- BAA、MSA、またはそれに類する契約のように、学習を禁じる契約があるユーザーもデフォルトで除外される
- それ以外のUSクラウドインスタンスのユーザーはデフォルトで対象に含まれる
-
データ処理と制限
- 学習に使われる前に、すべてのデータは匿名化される
- ユーザーのPostHogインスタンスにすでに存在するデータのみが使われる
- モデル学習はPostHogが直接実施する
- ユーザーデータをサードパーティのモデル提供事業者に販売したり送信したりしない
-
オプトアウト
- ユーザーはいつでもPostHogの組織設定からオプトアウトできる
- 組織設定の変更には管理者権限が必要
- 学習は6月29日まで開始されないため、ユーザーには判断する時間がある
コミュニケーション計画
- PostHogは、目的が明確に伝わるメールをすべての顧客に送る予定
- メールを読まないユーザーのために、アプリ内通知でもすべてのユーザーに知らせる
- 計画を公に告知する形で進める
- 目標は顧客のためにPostHog製品を改善することであり、ユーザーデータで学習したモデルを公開・販売したり、データを収益化したりすることではない
オプトインではなくオプトアウトである理由
- デフォルトでオプトインではなく、デフォルトで対象に含めたうえでオプトアウト方式を採った理由は、そうしなければ実際に有用なモデルを学習できるほど十分なデータが集まらないため
- オプトアウトを選ぶと、これらのモデルによって作られる新機能は利用できない
- EUクラウドインスタンスのようにデフォルトで除外されるユーザーは、PostHogとの法的契約で妨げられていない場合、手動でオプトインできる
- PostHogはひっそりと展開するのではなく、事前に公開する方式を選んだ
- PostHogはこの取り組みを共に進めるAI研究者も採用中
1件のコメント
Hacker News の意見
「デフォルト opt-in」は矛盾している。デフォルトなら、私が同意したのではなく、単に最初からオンになっているだけだ
opt-out なら、デフォルトで含まれていて、望むなら外れられるという意味なのに、最近は逆に使われているので説明を付け加えなければならない。
以前、実際に正しい opt-in のテレメトリー記事が上がったときでさえ、上位コメントが「デフォルトで含まれる」と誤解して叩いているのを見た。今ではこの言葉がほとんど逆の意味まで持つようになった感じがする
PostHog は、一度設定しておいて時々確認しながら多少の価値を得るシステムで、そのまま放っておいても大体は無害だった。
ところが今や、またひとつ積極的に疑わなければならないツールになってしまったし、デフォルトが耐えがたい方向へ流れていくなら、システムから外して先へ進むほうが簡単だ
この20年で、成功した企業が成長するにつれて変質していくパターンに何度やられたか、もう数えきれない。AI ブーム の中で PostHog も全面的に飛び込み、ノーコードツールのようなものまで探っているようだ。
Supabase も素晴らしかったが、今では AI の深淵に入っていった感じがする。変わっていないのは私だけで、問題は私のほうで、新しい AI 支配者たちを受け入れて全部 AI に行くべきなのかもしれない
たいていの会社ならこういう変更を退屈な利用規約更新に紛れ込ませるだろうが、私たちは透明性を重視するので、知っておくべきことをインターネット向けの番号付きリストで公開する、ということらしい。
EU クラウドインスタンス の利用者はデフォルトで除外され、学習を禁じる契約がある利用者も除外される。
それ以外の 米国クラウドインスタンス 利用者はデフォルトで含まれる。
学習前にすべてのデータを匿名化し、すでに PostHog インスタンス内にあるデータだけを使い、モデル学習は自社で行うので第三者のモデル提供事業者にデータを売ったり送ったりはしないという。
組織設定からいつでも外せて管理者権限が必要であり、学習は6月29日までは始めないので判断する時間は十分ある、という内容だ
では私も今週末、あなたの時間を「ボランティア」として私のテラス再建に使うことにしておく。心配はいらない、こちらで代わりにボランティア登録しておいたから
むしろ同意した人に割引を出す形にすべきだった
すでにそれをもっと上手くやる先行プレイヤーが多いし、そういうものを PostHog の分析につなぐほうがよほどいい
「それ以外の米国クラウドインスタンス利用者はデフォルトで含まれる」に EU の最終利用者も含まれるのかを確認すべきだ。個人データを本人から直接取得しているので、GDPR 第13条の通知義務 が適用される。
第13条の欠落は後から遡って修正できない。すべての顧客がこの処理を包含する十分な第13条通知を行っていたと示せなければならない。そしてほぼ確実に 3(2)(b) の範囲内に入るはずだ
自分の分析ツールを作って セルフホスト すべきだという良い知らせになった。PostHog は顧客を1人失った。
各顧客にメールを送って希望するか尋ねるのは簡単だったはずなのに、こういう前提は、自社の顧客だけでなく顧客の顧客についてもプロダクト感覚がないことを意味している。さようなら
自分のデータが AI 学習に使われるのは不快だが、懸念の核心はデータがどこへ行くのか、そして自分が通知を受けて認識できるのかだ。PostHog はここではそれらの問いにかなりまともな答えを出している
ここ数か月、乗り換えるか迷っていたが、新しい AI 製品 と変な UI がずっと気に障っていた。これが棺の蓋に打つ最後の釘だ。
opt-in はひどいビジネスモデルだと思う
昔、人々が「OS」の Web リデザインを称賛していたのを覚えている。デバッグのためにセッションリプレイを探すとき、あれは最も混乱を招く不要な UX の複雑化だった。その後、右上にナビゲーションを追加してはいた
「デフォルト opt-in」って結局 opt-out では？
もうかなり明らかになってきたが、「SF風の気の利いた感じ」を売りにする会社について言いたいことがある。
OS のリデザイン、「セクシーな法務文書」、件名がおかしなメール、CEO のアクションフィギュアを売るグッズショップみたいなものだ。
ユーザーフレンドリーな動きで採用を増やすときには長所になり得る。だが、売上成長を狙ってユーザーに反する決定を下すときには、侮辱の上塗りになる。
技術は面白くあってはならない、というような大きな話をしたいわけではないが、メッセージがリーダーシップの決定と噛み合っていないと非常にまずい
だが良いものにも終わりは来るようで、とりわけ会社ならなおさらだ。この2年で完全におかしな方向へ行ってしまい、AI がすべてをさらに悪くした。
またオープンソースのプロジェクトを掘り返す必要がありそうだ
「なぜ opt-in ではなく opt-out なのか？ 簡単に言えば、そうしないと実際に役立つモデルを学習できるほど十分なデータが集まらないからだ」という理屈だ。
人々に、またひとつの AI 非サービス にデータを渡すことへ明示的に同意してもらおうとして、望まれないというのなら、つまりそういうことだ。
データを得る唯一の方法が「持っていってよいと仮定し、止めろと言わせること」なら、それが何を意味するのか考えてしまう。誰にも解けないミステリーなのだろう
これは 悪いコミュニケーション の教訓になるべきだ。何を学習するのかを明確にしなかったのは大きな失敗だ。
今回の発表は、PostHog の気恥ずかしいほど目立ちたがりなブランド哲学の欠点をしっかり露呈している
日ごとに EU の法制度 がありがたく感じられる。今はそれしか言うことがない
EU 法は、ビッグテックがすでに独占に至るために使ってきた データ抽出 やプラットフォーム囲い込み戦術を防いでいる。
しかし大手プラットフォームは、すでに得た優位を巻き戻す必要もなく、今では制限され違法と見なされる方法について償う必要もない。だから彼らは、より長く定着した地位から静かにレントを吸い上げ続けられ、他の誰もが彼らが登った梯子を使えなくなる