GPT-4からの概念抽出

[GN⁺]

Hacker Newsの意見

• 興味深い研究: Anthropicの"Mapping the Mind of a Large Language Model"の発表後すぐに出てきた研究で興味深い。いまだに多くの人が「私たちはLLMs/ディープラーニングがどう動作しているのか分かっていない」と言うが、こうした研究はその一般化に反論している。

• 例の選定への疑問: GPT-4の例の中で、値上げに関連する文句が実際には値下げを示している場合があり、理解しづらい。なぜこのような例が選ばれたのか疑問だ。

• 高度な意味検索: 文書から値上げのような概念をフィルタリングする例が気に入った。モデルを訓練するよりも速く正確である可能性がある。

• 分類ミス: 科学的説明をエロティックなコンテンツとして分類する誤りがある。リンクから確認できる。

• 類似研究: AnthropicのClaude 3 Sonnetの研究と似ていることを思い出させる。

• モデル解釈: SHAPのようなツールを適用するのと比べて、この研究がどう改善されているのか気になる。「私たちは現在の言語モデルの神経活動を理解していない」という主張は誤りだ。

• 基本説明の要望: この研究の重要性を分かりやすく説明してほしいという要望。

• オープンモデル向けの付随ツール: ニューラルネットワークの出力を説明するオートエンコーダを公開することは、良い実践になり得る。Hugging Faceのすべてのオープンモデルにとって有用な付随ツールになりそうだ。

• ニューラルネットワークのfMRI: 特定のトピックに応じて活性化するニューラルネットワークの領域を見られるという点で、fMRIに似ている。評価用ニューラルネットワークを接続して、活性化領域を自動で評価できるのか気になる。

• 疎な埋め込みとの関連性: 疎な埋め込み（Spladeなど）と関連があるかもしれず、ハイブリッド検索に使えるのか気になる。