HN公開: ArXiv論文を意味的に検索するウェブサイトを制作 (papermatch.mitanshu.tech) 2 ポイント 投稿者 GN⁺ 2024-12-26 | 1件のコメント | WhatsAppで共有 関連記事 ArXiv GPT - 世界中の論文をAIが自動で日本語翻訳・要約・分析・QnAまで一括対応!!! 20 ポイント · 7件のコメント · 2023-12-05 ArXiv Paper Reader - ArXivの論文を音声/動画で読めるようにするオープンソース 6 ポイント · 1件のコメント · 2024-03-20 ArXiv、論文をHTML形式でも提供開始 14 ポイント · 1件のコメント · 2023-12-22 HNコミュニティで誰が何を知っているかを見つけるためのHacker Newsマッピング 1 ポイント · 1件のコメント · 2024-07-27 論文向けアクセシブルな形式としてのHTML（2023） 2 ポイント · 1件のコメント · 2025-12-08 1件のコメント GN⁺ 2024-12-26 Hacker News のコメント こういうプロジェクトを見るのは楽しい。arXiv を越えて拡張するなら、文献レビューでは範囲が重要だという点を考慮する必要がある 残念ながら、Elsevier や Springer のような大手出版社が、OpenAlex のような他のインデックスから要旨を削除するよう圧力をかけており、アクセスがさらに難しくなっている undermind.ai、scite.ai、elicit.org のようなツールも見てみたのか気になる 検索以外に、文献レビュー専用のプロダクトフローに何が含まれるのかも考えてみる価値がある。以前 scite.ai で働いていた bioRxiv 向けの PaperMatchBio（https://papermatchbio.mitanshu.tech/) と medRxiv 向けの PaperMatchMed（https://papermatchmed.mitanshu.tech/) があるが、分野ごとにサイトが複数あるのは理想的ではないという点には同意する まだこの 2 つに対する同期パイプラインを作れていないので、結果が少し古い可能性がある 大手出版社が要旨を削除させているのは、範囲を広げるうえで実際に問題になりそうだ undermind.ai、scite.ai、elicit.org は見たが、十分深くは見られていないかもしれないので、もう一度確認して補完機能を追加してみる 検索以外の文献レビューフローというのは、Mendeley/Zotero のような参考文献管理システムを指しているのか気になる 最初に出るCloudflare のチャレンジ画面は致命的 なぜ arXiv に載っていない論文がそんなに多いのか気になる。著者が自分で投稿しなければならないのか？ 数学、物理、コンピュータサイエンスの論文はよく見つかるが、生物学、化学、医学の論文はたいていない 存在するすべての論文 ID と、それがどこに掲載されていてどこに欠けているのかを含むデータベースも同じくらい有用かもしれない。公的資金が少しでも入った論文は、欠けていてはならない なぜ mixbread モデルを使ったのか気になる 埋め込みを二値化してハミング距離を使うことで、効率がどれくらい良くなったのか気になる 他のベクトルストアではなく Milvus を選んだ理由が気になる 週次のメタデータ取得は自動化したのか、単純な cron ジョブなのか、それ以外に調整すべきことがあるのかも気になる 「transformers on byte level not token level」で検索してみたところ悪くなかったが、より新しい論文である https://arxiv.org/abs/2412.09871 は出てこなかった。これを見つけたい人は多いかもしれない 結果の密度を高めるのもよさそう。例えば要旨を折りたたんで、ファーストビューにもっと多く表示できる UI オプションがあるとよさそう 手元のリソースが限られていたので、コーパスをそれなりに速く処理できる程度にモデルサイズが小さかった。また MRL と二値埋め込みをサポートしており、VM サイズを小さくする必要があるときに役立つ可能性がある ほぼ 500ms 程度。https://news.ycombinator.com/item?id=42507116#42509636 参照 https://benchmark.vectorview.ai/vectordbs.html が理由で Milvus を選んだ。スターが多ければコミュニティが大きく、バグの発見・修正もより速く、機能サポートも良いだろうと仮定した 週次取得は https://huggingface.co/spaces/bluuebunny/update_arxiv_embeddings で自動化した。利用可能なリソースが限られているため、HuggingFace Spaces に代わりに自動化してもらった ただし Space が頻繁にスリープしてしまうので、それを避けるために api/gradio_client で同じ Space を継続的に呼び出す予定 最新性についてはその通りなので、Recency ソートオプションを追加しようと思っている。類似度と公開日の間でバランスを取る必要がある 要旨の折りたたみと結果密度の改善も検討する 素晴らしい。いくつかクエリを試してみたが、意味ベースの結果はかなり良かった ただし Google Scholar のようなツールの代わりに日常のワークフローの一部になるなら、その論文がどのように査読され、引用されているかを見られるとよい。OpenReview のようなものがあり、例は https://openreview.net/forum?id=jhKbnNhwhc だ また、論文のまとまりについて「すばやく追いつけるように説明して」といった機能があるとよい。生成モデルが助けられるし、要するに論文の文献レビュー/関連研究セクションに入りそうな、引用付きの段落を書いてくれるとよいという意味だ OpenReview は知らなかった。透明性が気に入ったので、ぜひ統合を検討してみる モデルに序論セクションを書かせるのも良いフィードバックだ。この検索エンジンはもう少し伝統的な形に保とうとしていたが、結果が良ければ今後進むべき方向かもしれない 昔、つまり LLM ブームが来る数年前に、同じくらいのサイズのベクトルデータベース（gensim/doc2vec）を使ってみたときは、SSE や AVX のような命令でベクトル検索をそのまま総当たりしても可能だった C で書いて Python API を付ければよい。データが数 GB 程度なら、リアルタイムの CPU 総当たりでも可能で、200ms 未満が出せるかもしれない 面白い課題なので TODO リストに追加した 素晴らしいプロジェクトです 最近、arXiv データセットで埋め込みデータベースを作りました: https://huggingface.co/NeuML/txtai-arxiv 文献検索の分野に関心があるなら、関連プロジェクトもいくつかあります annotateai(https://github.com/neuml/annotateai) は LLM で論文に注釈を付け、上記の arXiv データベース検索をサポートします paperai(https://github.com/neuml/paperai) は医学・科学論文向けのセマンティック検索とワークフローを提供し、txtai(https://github.com/neuml/txtai) ベースです paperetl(https://github.com/neuml/paperetl) は医学・科学論文向けの ETL プロセスで、PDF 文書全体をサポートします 良さそうなプロジェクト群なので、必ず見てみます paperetl はいいですね。あとで見るために保存しました。以前、社内で grobid を使って似たようなことをやりましたが、patrice が作った素晴らしいプロジェクトでした ちなみに txtai が 8日前に arXiv 埋め込みを公開しています https://huggingface.co/NeuML/txtai-arxiv その通りです セマンティック検索が適用されるたびに、テキスト検索に比べてどんな利点があるのか見てみたいです 検索が実際に良くなるのか確認できるベンチマークがあるのか気になります。主観的に新しい論文をよりうまく浮かび上がらせたのか、特定分野でより有用なのかも気になります 利点はすべて埋め込みモデルの能力に依存します。セマンティック埋め込みはニュアンスを理解するので、まったく同じキーワードがなくても概念的に合う要旨を見つけられます 例えば “neural networks” と “deep learning” は似た論文を持ってこられるし、そうあるべきです 主観的にはそうだと思います。同僚に共有したところ、原稿を準備する際にその分野の新しい著者や論文を見つけるのに役立ったと言っていました 特定分野でより有用かどうかについては、答えられる立場にないと思います 1つの要因は、ユーザーがクエリをどう表現するかです。人々はある程度全文検索に慣れていますが、セマンティック検索は、答えと用語が一致しないこともある文字通りの質問をするときに力を発揮します セマンティック検索が役立ちそうな他の良い領域が何か気になります。以前からこういう Web アプリを作ってみたいと思っていました 今思いついたアイデアは、マーケター向けのオンライン広告検索です。動画・画像広告を埋め込み、インデックス化して、自然言語検索でマーケティングのインスピレーションを探せるようにするものです ほかには Sephora、Zara、H&M のような複数の EC プラットフォームを横断するショッピング検索もあります ただし、どちらが解くべきビジネス課題として十分に良いのかは分かりません 社内文書のクイック検索。ほぼすべての会社に必要です。ファイルシステムのような階層をたどるのは遅く、制限があり、古いやり方です コメントの表現が違っていても関連箇所を見つけられるコードのクイック検索 広告技術をより良くするのはやめてほしいです。誰か他の人がやるかもしれませんが、あなたがやる必要はありません Allen Institute for AI の https://www.semanticscholar.org と似たものなのか気になります この Web サイト https://arxivxplorer.com/ に近い気がします triilman がコメントしたもののほうにより近いですが、すべてのコンポーネントがオープンソースです。近いうちにフィルターとキーワード対応を追加する予定です。実は Milvus を待っているところです 素晴らしいアイデアです フィードバックとして、“wave function collapse algorithm”、“gumin wave function collapse”、“wfc”、“model synthesis” で検索しましたが、関心のあった研究領域の関連結果は出てきませんでした。量子コンピューティングや別の物理論文が多く出ました WFC algorithm は用語が重複して使われており、量子力学とはまったく関係がないので、こうした検索には悪い例かもしれません。Model synthesis も一般的すぎるので、やはり悪い例かもしれません arXiv 自体で “wave function collapse algorithm” を検索した最初のページでは、関連結果が表示されます arXiv はキーワードベースの検索エンジンなので、テキスト内の単語をそのまま探します。PaperMatch は意味的により近い類似論文を探そうとします 別のアプローチとして、気に入った論文を1本選び、arXiv から要旨や arXiv ID をコピーして PaperMatch に貼り付けると、似た論文を見つける助けになるはずです
1件のコメント
Hacker News のコメント
こういうプロジェクトを見るのは楽しい。arXiv を越えて拡張するなら、文献レビューでは範囲が重要だという点を考慮する必要がある
残念ながら、Elsevier や Springer のような大手出版社が、OpenAlex のような他のインデックスから要旨を削除するよう圧力をかけており、アクセスがさらに難しくなっている
undermind.ai、scite.ai、elicit.org のようなツールも見てみたのか気になる
検索以外に、文献レビュー専用のプロダクトフローに何が含まれるのかも考えてみる価値がある。以前 scite.ai で働いていた
まだこの 2 つに対する同期パイプラインを作れていないので、結果が少し古い可能性がある
大手出版社が要旨を削除させているのは、範囲を広げるうえで実際に問題になりそうだ
undermind.ai、scite.ai、elicit.org は見たが、十分深くは見られていないかもしれないので、もう一度確認して補完機能を追加してみる
検索以外の文献レビューフローというのは、Mendeley/Zotero のような参考文献管理システムを指しているのか気になる
なぜ arXiv に載っていない論文がそんなに多いのか気になる。著者が自分で投稿しなければならないのか？ 数学、物理、コンピュータサイエンスの論文はよく見つかるが、生物学、化学、医学の論文はたいていない
存在するすべての論文 ID と、それがどこに掲載されていてどこに欠けているのかを含むデータベースも同じくらい有用かもしれない。公的資金が少しでも入った論文は、欠けていてはならない
「transformers on byte level not token level」で検索してみたところ悪くなかったが、より新しい論文である https://arxiv.org/abs/2412.09871 は出てこなかった。これを見つけたい人は多いかもしれない
結果の密度を高めるのもよさそう。例えば要旨を折りたたんで、ファーストビューにもっと多く表示できる UI オプションがあるとよさそう
ただし Space が頻繁にスリープしてしまうので、それを避けるために api/gradio_client で同じ Space を継続的に呼び出す予定
最新性についてはその通りなので、Recency ソートオプションを追加しようと思っている。類似度と公開日の間でバランスを取る必要がある
要旨の折りたたみと結果密度の改善も検討する
素晴らしい。いくつかクエリを試してみたが、意味ベースの結果はかなり良かった
ただし Google Scholar のようなツールの代わりに日常のワークフローの一部になるなら、その論文がどのように査読され、引用されているかを見られるとよい。OpenReview のようなものがあり、例は https://openreview.net/forum?id=jhKbnNhwhc だ
また、論文のまとまりについて「すばやく追いつけるように説明して」といった機能があるとよい。生成モデルが助けられるし、要するに論文の文献レビュー/関連研究セクションに入りそうな、引用付きの段落を書いてくれるとよいという意味だ
モデルに序論セクションを書かせるのも良いフィードバックだ。この検索エンジンはもう少し伝統的な形に保とうとしていたが、結果が良ければ今後進むべき方向かもしれない
昔、つまり LLM ブームが来る数年前に、同じくらいのサイズのベクトルデータベース（gensim/doc2vec）を使ってみたときは、SSE や AVX のような命令でベクトル検索をそのまま総当たりしても可能だった
C で書いて Python API を付ければよい。データが数 GB 程度なら、リアルタイムの CPU 総当たりでも可能で、200ms 未満が出せるかもしれない
素晴らしいプロジェクトです
最近、arXiv データセットで埋め込みデータベースを作りました: https://huggingface.co/NeuML/txtai-arxiv
文献検索の分野に関心があるなら、関連プロジェクトもいくつかあります
annotateai(https://github.com/neuml/annotateai) は LLM で論文に注釈を付け、上記の arXiv データベース検索をサポートします
paperai(https://github.com/neuml/paperai) は医学・科学論文向けのセマンティック検索とワークフローを提供し、txtai(https://github.com/neuml/txtai) ベースです
paperetl(https://github.com/neuml/paperetl) は医学・科学論文向けの ETL プロセスで、PDF 文書全体をサポートします
ちなみに txtai が 8日前に arXiv 埋め込みを公開しています
https://huggingface.co/NeuML/txtai-arxiv
セマンティック検索が適用されるたびに、テキスト検索に比べてどんな利点があるのか見てみたいです
検索が実際に良くなるのか確認できるベンチマークがあるのか気になります。主観的に新しい論文をよりうまく浮かび上がらせたのか、特定分野でより有用なのかも気になります
例えば “neural networks” と “deep learning” は似た論文を持ってこられるし、そうあるべきです
主観的にはそうだと思います。同僚に共有したところ、原稿を準備する際にその分野の新しい著者や論文を見つけるのに役立ったと言っていました
特定分野でより有用かどうかについては、答えられる立場にないと思います
セマンティック検索が役立ちそうな他の良い領域が何か気になります。以前からこういう Web アプリを作ってみたいと思っていました
今思いついたアイデアは、マーケター向けのオンライン広告検索です。動画・画像広告を埋め込み、インデックス化して、自然言語検索でマーケティングのインスピレーションを探せるようにするものです
ほかには Sephora、Zara、H&M のような複数の EC プラットフォームを横断するショッピング検索もあります
ただし、どちらが解くべきビジネス課題として十分に良いのかは分かりません
Allen Institute for AI の https://www.semanticscholar.org と似たものなのか気になります
素晴らしいアイデアです
フィードバックとして、“wave function collapse algorithm”、“gumin wave function collapse”、“wfc”、“model synthesis” で検索しましたが、関心のあった研究領域の関連結果は出てきませんでした。量子コンピューティングや別の物理論文が多く出ました
WFC algorithm は用語が重複して使われており、量子力学とはまったく関係がないので、こうした検索には悪い例かもしれません。Model synthesis も一般的すぎるので、やはり悪い例かもしれません
arXiv 自体で “wave function collapse algorithm” を検索した最初のページでは、関連結果が表示されます
別のアプローチとして、気に入った論文を1本選び、arXiv から要旨や arXiv ID をコピーして PaperMatch に貼り付けると、似た論文を見つける助けになるはずです