NotebookLlama - Google NotebookLMのオープンソース版

 (github.com/meta-llama)
1 ポイント 投稿者 GN⁺ 2024-10-28 | 1件のコメント | WhatsAppで共有
  • PDFをポッドキャストに変換するワークフローを構築するためのチュートリアルシリーズ
  • テキスト音声変換モデルを使った実験も学べる
  • LLM、プロンプト、音声モデルに関する事前知識がなくても、すべて各ノートブックで扱われている

段階別プロセス

  • 1段階: PDF前処理
    Llama-3.2-1B-Instruct モデルを使用してPDFを前処理し、.txt ファイルとして保存する。
  • 2段階: トランスクリプト作成
    Llama-3.1-70B-Instruct モデルを使用して、テキストからポッドキャストのトランスクリプトを作成する。
  • 3段階: ドラマチックな書き直し
    Llama-3.1-8B-Instruct モデルを使用して、トランスクリプトをよりドラマチックにする。
  • 4段階: テキスト音声変換ワークフロー
    parler-tts/parler-tts-mini-v1 および bark/suno モデルを使用して、会話型ポッドキャストを生成する。

ノートブック実行の詳細ステップ

  • 要件
    70B、8B、1BのLlamaモデルを使うために、GPUサーバーまたはAPIプロバイダーが必要。
  • ノートブック 1
    PDFを処理し、Feather lightモデルを使用して .txt ファイルに変換する。
  • ノートブック 2
    ノートブック1の出力を受け取り、創造的にポッドキャストのトランスクリプトへ変換する。
  • ノートブック 3
    前のトランスクリプトを受け取り、会話にドラマ的要素と中断を追加する。
  • ノートブック 4
    最後のノートブックの結果をポッドキャストに変換する。

今後の改善/追加アイデア

  • 音声モデルの実験: より自然な音にするため、TTSモデルの改善が必要。
  • LLM対LLMの議論: 2つのエージェントがテーマを議論してポッドキャストの概要を作成。
  • 405Bモデルを使ったトランスクリプト作成テスト。
  • より良いプロンプト作成。
  • Webサイト、音声ファイル、YouTubeリンクなどを収集できる機能のサポート。

GN⁺のまとめ

  • NotebookLlamaは、PDFをポッドキャストに変換するオープンソースプロジェクトで、さまざまなLLMとTTSモデルを使用して創造的なコンテンツを生成する。
  • このプロジェクトは、LLMとTTSモデルの実験を通じて、より自然な音声を生成できる可能性を示している。
  • 類似機能を持つプロジェクトとして、GoogleのTTS APIやAmazon Pollyなどが推奨される。

関連記事

1件のコメント

 
GN⁺ 2024-10-28
Hacker Newsの意見

  • NotebookLMの「エピソード」を聞けば聞くほど、Googleが既存のマルチモーダル・バックボーンをベースに、2人の話者が参加する「ポッドキャスト討論」モデルを訓練したのだという確信が強まる

    • 2人の話者が人間のように互いの話を遮りながら会話する方式が非常に自然
    • 実際のポッドキャストとその文字起こしをもとに、モデルをファインチューニングした可能性がある
    • 「The Daily」のエピソードを例に、言語モデルがポッドキャスト内容を要約した架空の記事を書き、それを2人話者モデルに入力し、出力された文字起こしが入力記事とどれだけ一致するかを確認する方式ではないかと推測している

  • NotebookLMは技術に詳しくない人々にとっても非常に印象的

    • 70代の親や8歳の子どももこの技術に驚き続けており、使い続けている

  • TTSエンジンの選択が奇妙だと思う

    • 最新のオープンなTTSシステムと比べると、XTTSv2や新しいF5-TTSのほうがより良い選択だったはずだと主張している

  • サンプル出力が非常に不足していると評価している

    • NotebookLMチームが既存の基盤モデルを使ってヒット商品を作り上げた点を強調している

  • 他の言語や多様なアクセント、特に東南アジアのアクセントで公開されることを期待している

  • NotebookLMはオープンソースではなく、iPythonノートブック上でのいくつかの実験にすぎない可能性があると考えている

    • LLMレベルでの機能は特に新規性があるわけではないが、製品としての包み方は興味深い
    • 「ポッドキャスト」の部分は大規模コーパスの導入・概要にすぎず、ボットとの会話を通じて引用された参考資料を得るほうがより有用だと見ている

  • LLMを使ったプロトタイピングが非常に速いことを示している

    • APIを使ったことがない人にも試してみることを勧めている

  • NotebookLMがポッドキャストだけを生成するのか疑問に思っている

    • ポッドキャストは面白いが、ややお遊び的な機能だと考えている

  • モバイルフォンでローカル実行できたらよいと思う

    • たとえば作業文書をポッドキャストに変換して運転中に聞ければ、生産性が大きく向上するはずだと主張している

  • サンプルはやや粗いと評価している

  • NotebookLMを使ったことがある人の出力を聞いてみたいと述べている