NetflixのPaul対Tyson戦、6,000万世帯が視聴もバッファリングへの不満が殺到
(sportingnews.com)- Netflixの大型ボクシング生中継は6,000万世帯の視聴を記録したが、試合全体を通じたバッファリングや途切れにより、ファンの不満が高まった
- 共同メインイベントのKatie Taylor対Amanda Serrano戦も5,000万世帯が視聴し、Netflix基準では米国史上もっとも視聴されたプロ女子スポーツイベントとなった
- 長い読み込み画面、終わらないバッファリング、音声のない途切れ、“black screen of death”が相次ぎ、一部の視聴者は重要な場面を見逃した
- 問題はPaul対Tysonのメインイベント前から始まり、前座試合からメインイベントまで続いたため、一部のファンは別のライブ配信へ移動した
- Netflixは同年末にクリスマスのNFL 2試合を中継予定であり、今回の障害はスポーツ生中継の信頼性に課題を残した
大規模視聴の中で露呈した生中継品質の問題
- Netflixの生中継は、Jake PaulとMike Tysonの試合だけでなく、その前の試合でも不安定だった
- 視聴者はバッファリング、途切れる解説、黒い画面をソーシャルメディアに投稿し、不満を表明した
- 不満はPaulとTysonがリングに上がる前から始まっていた
- 視聴規模そのものは非常に大きかった
- Netflixによると、Paul対Tyson戦は6,000万世帯が視聴した
- Katie Taylor対Amanda Serranoの共同メインイベントは5,000万世帯が視聴した
- Netflixによると、Taylor対Serrano戦は米国史上もっとも視聴されたプロ女子スポーツイベントである
- 品質問題は前座試合からメインイベントまで続いた
- Mario BarriosとAbel Ramosのウェルター級戦でも途切れが続き、一部の視聴者は試合の場面を見逃した
- Paul対Tysonのメインイベントでも問題は残り続けていた
迂回視聴とNFL中継への懸念
- 一部の視聴者はNetflixではなく、Antonio BrownのXライブ配信へ移動した
- 元NFLワイドレシーバーのAntonio Brownは、試合会場であるテキサス州アーリントンのAT&T Stadiumからライブ映像を開始した
- カメラはDallas Cowboysのスタジアムにある大型ビジョンを映していた
- Paul対Tyson戦の中盤に、彼のライブ配信は640万人の視聴者を記録した
- Netflixは同年末のクリスマスにNFL 2試合を中継する予定である
- 今回のボクシング生中継におけるストリーミング問題は、今後のスポーツ生中継品質への懸念につながった
1件のコメント
Hacker Newsの意見
大企業が大きくつまずくたびに、こういうスレッドには情報を多く持つ二つの層がほぼ確実に潜んでいるが、あまり書き込まない。1) その出来事に直接関わった人、あるいは同じ会社の社員、2) 同程度の規模とリスクを持つシステムを運用している類似企業の人たち
前者は広報組織を迂回して失うものがあまりに多く、後者はこの仕事がどれほど難しいかを知っているので、根拠のない憶測で同じ仕事をしている人を公の場で叩いたりしない
その結果、残るのは小規模で動くやり方や第一原理を根拠に洞察を語る人たちになる
5年前後前に別の非技術分野から転向してきて、システムプログラミング、ネットワーキング、コンピュータサイエンスの概念を不要で実用的でないものとして軽んじる、過度に単純化された教材で学び、そのうえであらゆるものを、Googleで見つけたNPMパッケージ同士の間にJavaScriptの糊コードを書く作業へと還元するタイプだ
最近のように「今や誰でもLLMさえ使えばコーディングを学べる」という言説がはびこる時代には、実際にはインターフェース、パッケージ、抽象化レイヤーの下に隠れている複雑なシステムを過度に単純化したうえで、断定的に語る傾向には衝撃を受ける
量子物理や科学の背景がない人たちが、数学抜きの単純なモデルから突飛な結論を導き出す量子疑似科学や、『What the Bleep Do We Know!?』のような映画を思い出す
事情を知る側としてはもどかしいが、越えられない、あるいは越えようとしない一線がある
HNのスレッドが、自分が直接専門的に扱ったことのあるテーマを取り上げるたびに、何も知らない人たちが自尊心の許す限り断定的で自信満々に間違ったことを言うのを見て、口をつぐんでしまう
どんな魔法のような違いがあればライブ配信が成功したというのか気になる
みんながどれほど懸命に働き、どれほど有能だったかを知っているので、こういう場合の人たちには共感してしまう
インターネットが安易なジョークを飛ばしている間、エンジニアたちは解決しない問題に殺到し、PMたちは廊下を行ったり来たりし、リーダー層に叱責される人たちもいた
プロダクトローンチのストレスと複雑さを100倍にしたような感覚で、しかも自分が言っているのはライブ映像ですらなく、ただのウェブサイトだった
内情を知る人が、自分が内部者だと明かさずにここへ書き込むこともあり得るわけで、それはかなり大胆な主張だ
一種の真のスコットランド人論法ではないかと思う
こういう問題に対処するには、リアルタイムイベントを継続的に繰り返し、組織の筋力を実際に鍛えなければならない
技術チームが経験のない領域で巨大な一回限りのイベントを行う、という形ではいけない
例えば「常にビルドする」とは、コードが変わっていなかったりPRがなかったりしてもビルドするという意味だ。組織やインフラの何かは変わっている可能性が高く、今リリースしなければならないソフトウェアで失敗するより、すでにリリース済みのソフトウェアでビルド失敗を見るほうがましだと考えている
「常にリリースする」も同じで、何も変わっていなくてもリリースを出すべきだ。システムに負荷をかけ、手順を踏み続けさせる必要がある
長い間デプロイを試していなかったというだけの理由でデプロイが失敗する例を、本当にたくさん見てきた。一度やったことがあり、将来またやる必要があるなら、繰り返し実行し続けるべきだ
ただ、誰もやったことのないもの、つまり全員がインターネットで見るスーパーボウル規模のイベントに備えるのは難しい
スーパーボウルはケーブルと地上波に負荷を逃がせる
興味深いことに、自分のストリームには問題がなかったので、帯域幅の問題はデータセンターやISPごとに局所的だったのかもしれない
この規模の単一ライブ配信イベントをエンジニアリングがさばけると期待していたとは信じがたい
自分が小規模なライブ配信を運営していたときは、いつもVimeo、Cloudflare、Livestreamのような並列のバックアップストリームを最大3つまで用意していた
Netflixの規模では、こうしたプロバイダーをそのまま呼び出すことはできないだろうが、AkamaiやCloudflareなら可能だったように思う
ここではまるでNetflixだけが直面している特殊な問題のように語られているが、Hotstarはインド対パキスタンのクリケットの試合を何の問題もなく生中継し、生配信史上最高の同時視聴記録も打ち立てた。
月20ドルを払っている視聴者が、なぜ技術的な問題を理解しなければならないのかと思う。単にNetflixがやらかしただけだ。
この技術はすでに存在しており、ESPNも以前にやったことがあるので、新しいことではない。
数字がまったく違う。1億2,000万人ならSuper Bowl級だ。
Hotstarはそんなクリケットの試合を3〜4本同時に、問題なくさばけただろうか？
[0] https://www.the-independent.com/sport/cricket/india-pakistan...
[1] https://www.rollingstone.com/culture/culture-news/jake-paul-...
ゼロから作るか、生中継の経験がある外部パートナーを使うほうが簡単だったかもしれない。
だが、自らを業界のリーディングカンパニーだと自負する技術中心の会社Netflixで、そのような決定が下される可能性はほぼゼロに近かっただろう。
もちろん、その無料サービスはずっと小さな視聴者に向けて配信している。
細部を抜きにしても、生中継はもともとNetflixの強みではなく、分散コンピューティングの王者のように見えていた会社が、別のところで品質を落としてライブ配信するのは良い印象ではない。
Netflixは事前に用意されたコンテンツのストリーミングは得意だが、生中継は得意ではない。それでも、1) 3,000億ドル企業なのでリソースの問題ではなく、2) この規模の生中継が初めてでもなく、過去に失敗経験があり、3) 最初の大規模生中継と2回目の間に学習して反復する時間は十分にあった。
あるプロバイダーは、12か月分の前払い契約なしには自社ネットワークとの接続容量を増やしてくれない。
ピークトラフィックは運用コストが非常に高い。イベントが終われば空になる容量を作らなければならないからだ。
だから厄介で、Akamaiが生中継に法外な価格を請求する理由もここにある。
ネットワーク層の公然の秘密は、約束とは違ってデータセンターネットワークはたいてい冗長化されていないということだ。
冗長ネットワークを作るには投資を2倍にし、最大容量の50%しか使わないか、アイドル状態にしておく必要がある。大容量ルーターの再起動で発生する年間2時間のダウンタイムを防ぐためだけでは、ほとんどの顧客にとって費用対効果が合わない。
Twitterでさえ、そこでの違法生中継をさばくのに問題を抱えていた。
リソースの問題ではなく、技術開発の成熟度の問題だ。
人々はライブ配信でどれほど多くの落とし穴が飛び出し得るかをよく知らない。
Netflixは事前収録コンテンツ向けには優れたCDNを持っていて、それが一番難しい部分だと考えていたのかもしれない。
ライブ配信は、大型衛星アンテナで静止軌道衛星に上げて放送センターへ下ろす方式から、マイクロ波、長距離専用光ファイバー、複数の携帯キャリア回線を束ねた機器、サーバーが受け取るリアルタイムHTTPストリームへと変わってきた。
Netflixのリアルタイム送出計画と冗長化計画がどういうものだったのか気になる。
Netflixが生中継を初めてやったわけでもない。アプリでいくつかのイベントを見たことがある。
言い訳の余地はない。持っているリソースと人材を考えると、完全にアマチュアのように見えたし、対外的なイメージも悪い。
今後こうした独占契約をまた獲得できるなら驚きだ。
これでNetflixの生中継ソリューションにおける「大規模」の限界がどこにあるのか分かったわけだ。
これほど大きな舞台で、規模が原因で失敗してはならなかった。
事後分析を読んでみたい。
主要放送局はいずれもSuper Bowlを問題なく放送できる。
Netflixが2億8,000万人にストリーミングしたと主張しても、それは加入者全員が見たという仮定であり、実際の数字は1億2,000万人程度でSuper Bowlに近い。
NetflixはCBSやABCに放送のやり方を聞くべきなのかもしれない。
これはエンドユーザーへライブを配信する領域とは大きく異なる。
ケーブルテレビ、あるいはサービス地域が合っていれば地上波アンテナも、どんなストリーミングより単純に優れたリアルタイム視聴プロダクトです。
私の基準では、Mastersアプリだけがそれに近いです。
ケーブルテレビ + DVR + トレント用の高速インターネットという組み合わせは、今でも追随できないエンターテインメント構成で、ストリーミング環境はめちゃくちゃです。
ケーブル会社が自分たちの地位を乱用して市場の好意を失ったのは残念です。米国のあらゆる家庭へ直接入る銅線接続は大きな利点だったのに、それを取り逃がしてしまいました。
自宅にTV接続を申し込むと、IPTVボックスを受け取り、ブロードバンドルーターにイーサネットで接続し、そのボックスが上位ルーターにマルチキャストストリームのコピーを送るよう要求するはずです。
信頼性があり冗長化されたマルチキャストストリーミングは、ほぼ解決済みの問題ですが、経路上のすべての参加者が協力する必要があります。
ISPがTVを提供しているなら問題ではありませんが、Netflixが一度きりのボクシング試合のためにすべてのプロバイダーを説得して設定させようとするなら、確実に問題になります。
今でもHBO Maxだか何だかが私の最近の視聴履歴を90日後に消すのですが、なぜそうするのか分かりません。
単なるバッファリングだけではありませんでした。フィードが止まり、リモコンで一時停止してから「watch live」をもう一度押さないと再開しませんでした。
本当にひどかったです。父は昔からボクシングファンなので一緒に見ようと思って行き、前庭に大型の空気注入式スクリーンとプロジェクターまで設置しました。
ところがバッファリングが続いたのでWi-Fiの問題だと思い、全部片付けて家の中に入りましたが、イーサネットでも同じことが起きました。
父はプロジェクターで見るのを本当に楽しみにしていたのに、Netflixにがっかりさせられました。
私が見ているいくつかのフォーラムでは、人々がただ諦めています。
Netflixがなぜ準備できていなかったのかについての事後分析が楽しみです。私を2回面接して落とした会社なので、少しだけ小気味よさもあります。
私はNetflixで見ていて問題はありませんでしたが、面白半分で彼のライブストリームも開いていました。私が見た限り、そちらには問題がありませんでした。
この件がNetflixの長期的な評判に影響するのか気になります。
ソフトウェアエンジニアの間でNetflixは最高の人材を採用する会社として知られており、ストリーミングサービスも普段は非常に堅牢に見えていました。
他のストリーミングサービスも初期に比べてかなり追いつき、はるかに安定しましたが、それでもNetflixは技術的に一段上という印象がありました。
今回の件はその印象にとってプラスにはなりません。一瞬の障害でもなく、数時間にわたって不安定で、ステータスページに「Netflix is up! We are not currently experiencing an interruption to our streaming service.」と表示されるのもよくありません。
そのときも数百万人が接続し、大失敗で、何もまともに動きませんでした。
その後Netflixは再びライブの再会番組を試みませんでした。
経験を積むためにもやるべきだったのかもしれません。はるかに大きな賭け金のかかったイベントで、同じ問題に直面しているのですから。
特に報酬構造を変えてRSUを支給し、面倒な評価プロセスを入れ、レベルと肩書きを増やし、より低い市場群で採用を始めました。
これに人員・予算・肩書きの割り当てをあちこち動かすことが加わり、会社全体がずっと官僚的になりました。
ストリーミングが解決領域として成熟するにつれ、こうしたコスト削減に近い変化は避けられなかったのでしょう。
Netflixが10年前と同じチームと文化を維持していたなら、今回のストリーミングをやり遂げていた気がします。
単に視聴者数が多いという問題ではなく、ライブモデルがNetflixインフラの中核的な強みを完全に崩してしまうのです。
参考: https://openconnect.netflix.com/en/
関係のない論理パズル面接は、システムエンジニアリングの代わりにはなりません。
Netflixは事前録画された映像を大量にストリーミングし、たいていは近くに配置されたキャッシュを使います。
生中継は、まだ得意ではない領域のように見えます。
2012年に YouTube は Red Bull Stratos のライブ配信を同時接続800万人に対してやり遂げていた
12年が経った今、Netflix は失敗した
今は経済環境が大きく変わり、企業はコストを削りながら利益を増やそうとしている
その結果、品質低下は避けられない
Netflix も数百万人に完璧なライブ配信を提供すること自体はできるはずだ。問題は Wall Street が満足する利益を出しながらそれができるのかという点で、どうやら明らかにできなかったようだ
試合配信が崩れているというニュースを見たとき、真っ先にそれを思い出した
比較対象としてはあまり適切ではない
こういうものをスケールさせる唯一合理的な方法は、おそらく実際にスケールさせてみることなのだと思う
もちろん一般的な教訓はあるだろうが、10年以上にわたって成長し、キャッシュ可能なコンテンツに最適化されてきた Netflix のアーキテクチャのボトルネックは、YouTube とはかなり違うはずだ
YouTube は何年もかけてライブコンテンツを段階的に拡大してきた