Ask HN: 超小型言語モデルで面白いことをしている人はいますか？

• Ollama などで使える 0.5B〜3B規模 の言語モデルを対象にした活用事例を探している
• こうしたモデルを業務フローの一部として使って作った ツール や、興味深い実装事例があるかを尋ねている

[GN⁺]

Hacker Newsの意見

• ollamaを使ってSMSスパムメッセージに返信するよう設定した。各番号に、ミレニアル世代のジム友達や19世紀のイギリス紳士のようなペルソナを与えている

• Llamaモデルを使ってウェブサイトのクッキー通知を識別し、EasyList Cookieにフィルタールールを追加している。ほとんどのクッキー通知はHTML/CSSが似ているため、innerTextを取得して小さなLLMで誤検知をふるい落とせる。3Bモデルは十分なプロンプトエンジニアリングでそこそこの性能を示し、7Bは追加コストなしで誤検知率がほぼない。コードとプロンプトはGitHubで確認できる

• n100 CPUを搭載したミニPCを使って、さまざまなジャンルやスタイルの物語を生成している。CPUファンは過熱せず、生産的ではないが面白い

• 小さなfishスクリプトを使って、現在のgit diffに基づくコミットメッセージを3つ生成している。複数のモデルをテスト中で、アイデアが必要なときに役立つ。スクリプトと例はGitHubで確認できる

• 会話の途中で「勝者」を宣言しようとする小さなデバイスを持っている

• Jamie Brewの「Comedy Writing With Small Generative Models」という講演をおすすめする。ギターを持って演奏し始めるまで待つとよい

• MicrosoftがFLAMEモデル（6000万パラメータ）を発表した。Excelの数式修復・補完で、はるかに大きなモデル（1000億パラメータ以上）を上回っている

• Micro Wake Wordは、ESPで音声ウェイクアップを行うためのライブラリおよびデバイスモデル群。Home Assistantsの完全ローカルなAlexa代替として最近デプロイされた

• Gemma 2Bをファインチューニングして、政府運営の母性健康相談電話で新たな妊婦からの緊急メッセージを識別している

• 約100万パラメータのモデルを作ってMagic the Gatheringのカードをランダム生成している。Karpathyのnanogptをベースにいくつか機能を追加した。AppleシリコンMacがあれば、GitHubから直接モデルを生成できる