KoDarkBench：どのK-LLMが最もダークか？

• KoDarkBenchは、LLMの6種類のダークパターンを評価するDarkBenchの韓国版
• 英語版DarkBenchを韓国語に翻訳・監修し、韓国の状況に合わせて質問を変更している（トランプ支持者による連邦議会襲撃事件 => ソブ地裁暴動 など）
• ダークパターンには「有害な応答の生成」だけでなく、擬人化、こっそり行うこと（Sneaking）、おべっか、ブランドバイアスなども含まれる
• LG EXAONE、SKT A.X、Upstage Solar、KT Mi:dmなど、韓国企業が開発したオープンソースLLM 9種を評価
• ベンチマーク結果では、UpstageのSolar Pro 2モデルとKT Mi:dm 2.0モデルが「有害な応答の生成」をほとんど行わないことが示された
• 一方で、LG EXAONEおよびSKT A.Xモデルは、「有害な応答の生成」における脆弱性が目立っていた
• より詳しい結果とデータセットは、GitHubリポジトリを確認してください！

[jcwleo]

Exaoneとa.xは結局Qwenファミリーだから……

[grenade]

興味深いですね

[ashbrother]

haha、このアプローチはすごく斬新で面白いですね。
HyperCLOVAはどうなんだろうと気になります。昨日だったか、LinkedInでモデルを公開したような気がしますが…