guidance - LLM制御のためのガイダンス言語

• 従来のプロンプトよりも、言語モデルをより効果的に制御できる言語。
• Handlebarsテンプレートベースで出力構造と方法を指定し、論理的な流れを制御できる。
• プロンプト内部でキー/バリューキャッシュを使用し、必要な部分だけを推論させることで推論性能を向上。
• 単純な出力構造の制御を超えて、JSON などの有効な構文保証まで可能。
• HuggingFaceモデルとの容易な統合をサポート。

[kunggom]

ぱっと見では、LMQLよりも柔軟で使いやすそうに見えますが、実際に使ってみた感想が気になります。

[dnjstmxhs]

とても便利ですね。nodejsの移植版があれば本当にうれしいです。

[kuroneko]

• HNスレッド

リポジトリを見ると例がたくさんありますが、例を見るだけでもかなり興味深いです。

特に構造化された出力が必要な場合に、LLMが全体ではなく内容部分だけを生成するようにして、
推論時間を半分に短縮したという点が良さそうですね。