HN公開: ArXiv論文を意味的に検索するウェブサイトを制作

[GN⁺]

Hacker Newsのコメント

• mixbreadのモデルを採用している理由について質問があった
• 埋め込みを2値化してハミング距離を使うことで効率が向上するかどうかの質問があった
• 他のベクトルストレージよりMilvusを選んだ理由についての質問があった
• 週次のメタデータ自動化があるかどうかの質問があった
• 「バイトレベルでのTransformer」検索は反響がよかったものの、最新の論文が見つからなかったという意見
  • より多くの結果密度を求める場合、UIオプションで要約（アブストラクト）を折りたたみ、先により多く表示することを検討するとよい
• arXiv以外を拡張対象にする場合、大手出版社がOpenAlexなどで要約を削除するよう強制しているため、文献レビューが難しくなる可能性がある
• undermind.ai、scite.ai、elicit.orgなどの他ツールを確認しているかどうかの質問があった
• 文献レビュー向けの専用プロダクトワークフローに、検索以外に何を入れるべきかを検討する必要がある
• 過去にはgensim/doc2vecのようなベクトルデータベースでリアルタイムCPUブルートフォースが可能だった
• 意味論的検索が有効な他の良い分野に関するアイデアがあった
  • オンライン広告検索: 動画や画像広告を埋め込み、インデックス化してマーケティングインスピレーションを見つけられる
  • マルチECプラットフォーム検索: Sephora、zara、h&mなどで製品を見つけられる
• 各論文に「類似論文」リンクを追加すると、トピック発見に有効だという意見があった
• 意味論的検索がテキスト検索よりどのような利点を持つかに関する質問があった
  • 検索性能が向上したかを確認できるベンチマークがあるかどうかの質問があった
• Allen Institute for AIのSemantic Scholarと同様かどうかに関する質問があった
• paper-qaのバックエンドに検索ツールのクライアントを追加できるという提案があった
• scihibをクロールして接続してみたいという意見があった
• エンコーディングの問題に関する意見があった
  • 「UPC高性能コンピューティング評価」を検索すると、著者名にバグがある論文が検索される