musn129（マスン129）: 米国株ニュース要約サービス
(musn129.com)米国株ニュースを集めて、なぜ上がったのか下がったのかを要約してくれるサービスです。
たとえば、直近の 2022-10-21 の Netflix の場合、the company is reinvesting a huge chunk of its profits at a high rate of return という要約とともに、元のニュース記事へリンクできるようにしています。
米国株にとても関心があるのですが、朝起きてからなぜ上がったのか下がったのかを一つひとつ検索して確認するのが不便で、そこで開発することになりました。もしかしたらお役に立てるかと思い、共有します。
技術的には以下のとおりです。
- Fully Serverless（AWS Lambda + Cloudfront Lambda@Edge）で構成
- 米国株に関するニュースをクローリングした後、SQuAD という機械学習モデルで結果を推論（例:
Why Nvidia stock goes up?）- モデルは Lambda 上で十分動かせるよう、軽量化されたモデルを使用（Distillation BERT 系）
- データを作成するすべての Lambda は AWS Free Tier の範囲内で処理され、追加コストは S3 と Route 53 のドメイン費用のみ（現在は月 $2 程度）
- すべてのデータは S3 に保存され、別途 DB は使用していません
- SSR（NextJs）+ Cloudfront Lambda@Edge（us-east-1）
いつも楽しく拝見しており、多くの方々に感謝しています。少しでも関心のある方のお役に立てばと思い、投稿しました。ありがとうございます。
19件のコメント
こんにちは。以前進めていたサイドプロジェクト musn129（マーソン129）に大きな変化があったので共有します。
まず、大きな関心を寄せてくださり、継続して使ってくださっている方々がいることに心から感謝したいです。
これまではコスト最適化のため、すべての処理を AWS Lambda 上で行い、モデル推論は Distillation BERT で SQuAD タスクを解いていました（例: 記事内で「なぜこの株が上がったのか？」という問題を与え、その答えが記事内の「どの位置」にあるのかを解かせる方式）。しかし、OpenAI の有料 API を使用する方式に変更しました。新しいモデルで処理したデータは 2023 年分から適用されています。（2022 年分は既存データです）
画像を添付できないので、最後に本日時点で最も大きな変動を見せた LUCID の結果もあわせて載せます。（https://musn129.com/nasdaq/2023-01-27 で確認できます！）
ありがとうございます！
crypto版も作れたら良さそうです。Crypto市場はニュースと非常に強い正の相関があります。
わあ……本当に素晴らしいサービスをありがとうございます
似たようなプログラムの中では、ユーザーインターフェースも使いやすくて一番良いと思います。Yahoo Finance、Dow Jones、Bloomberg などを使ってきましたが（現職ではなく個人投資家なのでプログラム自体を使ったことがあるわけではありませんが）、関連する記事が見やすいですね。ただ、人それぞれ関心銘柄があるので、アカウントを作るほどでなくても、星印を付けて特定の銘柄を継続的にトラッキングできると良いと思います。これから活用させていただきます。ありがとうございます ^-^
証券会社の現職者です。これをサービスとして開発したいのですが..??
気になることがあるのですが、もし私がメールを送ったら返信していただけますか??笑
こんにちは！ご関心をお寄せいただきありがとうございます。ご不明な点があれば残していただければお答えします！ ただ、もし個人的な内容が含まれていないのであれば、ここに残していただけると他の方々とも一緒に共有できると思うので、より良いかもしれません！ ありがとうございます。
はい。気になることがとても多いのですが。:) 技術的なことはあまり詳しくないので、気楽に一度お聞きします。
もしかすると、このプロジェクトの精度をもう少し高めることはできるのでしょうか？
ニュースの量を増やしたり、ニュースのクオリティを高めたり、あるいはモデルの精度を上げる方向になる気がするのですが。
より多くのリソースを投入するとしたら、紹介してくださったサービスの精度をどの程度まで高められるのかが気になりますね。haha
はい、十分に大きく改善できると思います。個人的に作ったもので、（まだ）収益がないこともあり、コスト効率の面をかなり重視しているので、改善できる部分は多いと考えています。
おっしゃるとおり、まずは質の高いデータをさらに確保することが最も重要だと思います。私の知る限り、ニュース関連ではクロールしてデータをうまく構築しているSaaSが多いので、個人レベルではないプロジェクトであれば、妥当な金額で外部の有料SaaSを使って質の高いニュース記事を集められると思います。
次に、現在のモデルの入力と出力については前処理・後処理をあまり意識していないのですが、モデルの結果を見ながら、より質の高い値を得られるよう工夫すれば、ユーザーから見た結果はずっと良くなると思います。（たとえば今は、あまり意味がないように見える短い回答や、空欄のように見える回答も、データ自体が少ないので……個人的に気になったときにとりあえずクリックしてみたいというニーズで残していましたが、プロダクションレベルであれば、こうしたものをもっときちんと整理して、はるかに良いユーザー体験を提供できると思います。）
最後に、これもコストの問題で、私はかなり軽いモデルを1回だけ使っていたのですが、より大きなモデル（計算量は増えますが、そのぶん相対的に性能が高いもの）を使ってみることもできると思いますし、私が試したQuestion Answeringの方法だけでなく、さまざまな方法でもっと適した結果を得られると思います。
書いているうちに長くなってしまいましたが、もし関心のある他の方にもお役に立てればと思い、残しておきます。ありがとうございます！
とても素晴らしいですね。すごいです。
精度を十分に高められるのであれば、すぐに実際のプロダクトとして実装してみることまで検討できそうですね。
（このサービスをご覧になった方々のコメントの反応だけでも、十分にプレトタイプ（プロトx、プレトo）としての検証はすでに終わっているように見えるほどです（笑））
企画担当として悩んでいた海外株式領域での改善点は、大きく二つありました。
一つは物理的または技術的なPain Pointです。
しかし現在、この部分はかなり改善されました。資本の力……で（笑）
最近になって私が関心を持っていた分野は、情報とコンテンツの問題でした。
まず英語ができなければならないし、英語ができても海外の情報を探すのは難しく、しかも多すぎて何をどう探せばよいのか分からないんですよね。時間はないし、見るものは多いし、投資は難しいし、教えてくれる人もいないし……。
そのため証券会社がやっていることは、たいていコンテンツチームを作るとか、コンテンツを外部から購入するとか、リサーチカバレッジを海外銘柄まで広げるといったことですが、まだ道のりは長いです。一つひとつ人の手が入らなければならないですし。そのため即時性も落ちますし……。
私が実装されたサービスに強く感銘を受けた理由は、まさにこれでした。
日々のユーザー体験をこのサービスで大きく高められそうに見えます。結局、知りたかったのは「なぜ上がったのか」「なぜ下がったのか」……だったのではないか、と思うんです（笑）
詳しいご回答ありがとうございます！とても参考になりそうです。特に現場でご活躍されている方のインサイトを共有してくださって、私だけでなく他の方々にも大いに役立つと思います。ありがとうございます！！ haha
プロジェクトもコメントもありがとうございます。他の方々の助けにも大いになると思います！
とても素晴らしいサービスですね！
ストップ高になったにもかかわらず理由があまり書かれておらず、ストップ高になったというニュースだけがある場合も多いですよね。こうしたニュースをどううまくフィルタリングできるのか気になります。
こんにちは！ご関心をお寄せいただきありがとうございます。品質が低く感じられる理由は、大きく2つあると思います。1つは元記事そのものに、求めている内容が十分に含まれていないこと、もう1つは機械学習モデルの推論結果があまり良くないことだと思います。（現在はかなりナイーブな方式になっています笑..）
現在は複数の記事があるとき、
model output scoreでソートしていますが、短すぎる文（たとえば今表示されているように完全に空だったり、あまりに短かったりするもの）を除外したり、追加のヒューリスティクスをもう少し使ったりすれば、すぐに改善を試せそうです。貴重なフィードバックをありがとうございます！わあ、とても良いですね。
欲しい銘柄をいくつかだけ購読して、毎朝メールで受け取れるようにすると良さそうです。
メールはコストがかかるので、安価な形での有料化も検討してみてもよさそうですね（笑）
ご意見やアイデアをありがとうございます！ haha 少しずつ機能を追加していきます。GeekNewsからいつもたくさんの刺激を受けているので、この機会に本当に感謝していることをお伝えしたいです！ haha
韓国株はどう出てくるのか気になりますね（笑）
わあ！不思議なサービスですね。こういうやり方で、音楽チャートで特定のアーティストの曲が再浮上したときに分析してみることもできるのではないか、そんな気がします。
株が……上がることもあるんですか……？ おかしいな……自分のは下がる一方だったのに……
新しい株を買う前に、GeekNewsで共有をお願いします