Appleの新しい「Transformer」ベース予測テキストモデル

• Appleが、トランスフォーマー言語モデルを活用したiOSおよびmacOSの新機能を発表: ユーザーが入力しながら予測テキストの候補を提供
• Appleが公に認めた初のTransformerベースモデルの1つで、オペレーティングシステムに統合される予定
• Gmailのオートコンプリートに似ており、個々の単語を補完し、ときには一度に2語以上を提案する機能
• 予測テキストモデルは、ユーザーの入力中にスペルや文法の誤りを確認するmacOSの内部アプリケーションであるAppleSpell内で発見
• モデルは、入力時に使われる複数のEspressoモデルファイルを含む /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle に配置
• 予測テキストモデルの語彙は、特殊トークン、短縮形、絵文字を含む15,000個のトークンで構成
• 予測テキストモデルの構造は、トークン埋め込み、位置エンコーディング、一連のデコーダーブロック、出力層を含み、GPT-2をベースにしているように見える
• Appleの予測テキストモデルは約3,400万個のパラメータと512個の隠れユニットを持ち、GPT-2の最小バージョンよりはるかに小さい
• モデルの小ささにより、デバイスのバッテリーをあまり消費せず、高速かつ高頻度で実行でき、ユーザー体験を向上
• モデルのサイズ制約により、文全体や段落を書く能力は不足しているが、次の1語または2語に高い確信がある場合には、ユーザーに提案するには十分に優れている
• 予測テキスト機能を直接試してみたい人のために、著者がGitHubにスクリプトを提供

[GN⁺]

Hacker Newsの意見

• 投稿の著者は、自分の記事がHacker Newsで人気を集めていることに驚いており、質問に答えると述べています。
• 一部のユーザーは、Appleの新しい予測テキストモデルがGPT2より優れているのか疑問を呈しています。後者は、ユーザーの入力に基づいて無関係なテキストを生成する傾向があります。
• 予測テキストモデルは文全体を生成すべきなのか、それともユーザーが入力しようとしている内容を単純に予測すべきなのかについて議論があります。
• 最上位の予測ではないトークンを選択する確率を制御する温度設定が、テストでは言及されていませんでした。この設定はモデル出力の創造性や反復性に影響する可能性があります。
• 一部のユーザーは、iOSシミュレーターのコンソールログを観察することで、unilm.bundleが新しいテキスト予測モデルであることを発見しました。
• Appleのモデルの将来のバージョンが、より高品質なデータで学習したより小型のモデルへ移行するのか、またAppleがXcode向けCopilotの独自版を開発するのかについて推測があります。
• 一部のユーザーは、テキスト予測の目的がテキスト入力の高速化であるなら、入力インターフェースがボトルネックになる可能性があり、より速く文字を入力できる方法の必要性を示唆していると述べています。
• AIの展開について議論されており、一部のユーザーは、AIはend-to-endソリューションとして販売されるよりも、小さく信頼できる作業を実行するために使われるべきだと提案しています。
• 新しい予測テキストモデルが、使用経験やiMessageの履歴をもとに改善できるのかという疑問が提起されました。
• UnilmCtrlという用語は、SocherのCTRLモデルへの何らかの依存を示唆しているのではないかと推測されていますが、確認はされていません。一部のユーザーは、AppleがNLP分野にもっと長く取り組んでいれば、より敬意を抱いただろうと述べています.