ChatGPT APIを使ったHacker Newsの書籍推薦情報の抽出

 (blog.reyem.dev)
2 ポイント 投稿者 GN⁺ 2023-10-05 | 1件のコメント | WhatsAppで共有
  • ChatGPT APIを使って、Hacker News（HN）のスレッドから書籍推薦を抽出する記事
  • 著者は、タイトルにbookという単語を含み、他ページへのリンクがないHNの約200件の投稿を分析
  • 著者はGPT APIを使ってデータを分類し、情報をJSON形式で出力
  • データはHacker News APIから取得し、著者はChat Completions APIを呼び出してテキストから書籍タイトル、著者、URLを抽出
  • 上位50件の書籍推薦が一覧化され、AbelsonとSussmanの「Structure and Interpretation of Computer Programs」が最も多く推薦された
  • APIが有効なJSONを返さないことが時々あり、特にChatGPTがthanksというコメントに応答したり質問したりするときに見られた
  • 著者はタイトルのない応答を破棄するようプロンプトを設計した。これは、ChatGPTが時々特定の書籍のタイトルなしで著者への言及だけを含めるため
  • 5万7千件のコメント処理にはGPT 3.5 Turbo APIを使用し、費用は約40ドル発生
  • 著者は、温度を0にしてもGPTの結果が呼び出しごとに異なり、以前のGPT-3モデルと比べて変動性が大きいことを発見
  • 著者は、GPTがテキスト内のリンクを識別できる一方で、URLではなく切り詰められたリンクテキストを選ぶのを防ぐため、HTMLタグを削除する必要があることを発見
  • 著者は、ChatGPTによるJSON出力と、この作業で使ったプロンプトの例を共有
  • GPTによって生成された生データは、タイトル順にソートされ、追加分析のために共有された
  • 著者は学習用の練習として、表のAmazon URLにAmazonアフィリエイトリンクを追加した

関連記事

1件のコメント

 
GN⁺ 2023-10-05
Hacker Newsの意見
  • Hacker NewsでChatGPT APIを使って書籍推薦情報を抽出した記事
  • 一部のユーザーは、ChatGPTがいくつかの書籍推薦情報を見落としていると指摘
  • ユーザーはbooksというキーワードを使ってHacker Newsで書籍推薦情報を検索し、プラットフォームで見つかった推薦情報の品質を称賛
  • ユーザーはHacker Recommended BooksやHacker News Booksなど、他の書籍推薦情報リソースにも言及
  • Charles Petzoldの『Code』やKnuthの書籍などがトップ50リストから漏れていることに、一部のユーザーが驚きを示す
  • AIが生成した書籍推薦情報の品質への懸念があり、一部のユーザーはこれがAmazon affiliateリンク生成に使われる可能性があると示唆
  • 『How to Win Friends and Influence People』や『Atlas Shrugged』などの書籍がリストに含まれていることに、一部のユーザーが疑問を呈する
  • あるユーザーは、Marcus Aureliusの『Meditations』がDescartesの『Meditations on First Philosophy』と混同されており、リストに誤りがある可能性を指摘
  • 一部のユーザーは、Hacker News投稿のコメントで見つけた、あまり人気のない書籍推薦情報に価値を見出す
  • ChatGPTを使う必要性に疑問が呈され、一部のユーザーはAlgoliaとデータ分析だけで十分だと提案