6 ポイント 投稿者 huyng123 3 일 전 | 8件のコメント | WhatsAppで共有

こんにちは。私は、空いた時間に株式投資をしている、キャリア10年のAIエンジニアです。
個人的に株式銘柄を調査するたびに、複数の証券会社アプリやポータルニュースを行き来しながら、情報を断片的に集めなければならない過程がとても不便でした。その後、AIの登場で非常に便利にはなりましたが、ハルシネーションやデータの鮮度の問題があり、複数のAIにあれこれ聞いてそれを総合する必要があり、とても消耗するプロセスでした。
こうした個人的な不便を解消するため、株式に関する情報と複数のAI(GPT、Gemini、Claude、DeepSeek)の分析結果をひと目で見られるサービスを、知人と一緒に作ってみました。

サービスはこちら
• 株式AI : https://jusikai.com.

悩んだポイント
このサービスを作るにあたり、技術的なこと以上に、方針面での悩みや選択が非常に多くありました。
• モデルおよびプロンプトの選定: これまで、株式分析が得意なモデルは何かについての研究は多くありましたが、最近のようにモデルが次々と登場する時期に、適切なモデルとプロンプトを選ぶのは非常に簡単ではありませんでした。私はチームメンバーと銘柄別のバックテストデータを構築し、これを積極的に活用して最も成績の高いモデルを選定しました。興味深いのは、常に優れたモデルが良い予測をするとは限らないという点です。
• 銘柄推薦の基準: 単に良い株だからといって、今日上がるわけではありません。ウォーレン・バフェットが長期投資を強調する理由も、おそらくここにあるのでしょう。実際、これは毎日推薦しなければならない私たちの条件には合わなかったため、短期(1週間)と中長期(1か月以上)の条件を構成しました。これは実際のユーザーにとって非常に直感的で良い推薦方法でした。
• ダッシュボードの公開: 推薦結果に対する収益率を、モデル別にダッシュボード形式で常に透明に公開しています。(幸い、4〜5月は良い収益率を示しています。
• エージェントのスキルアップ: 定期的に、モデル自身の分析に対する評価を通じて、市場・銘柄別のスキルアップを進めています。これにより、各銘柄や各市場の特徴をLLMが理解できるようにし、性能向上につなげています。
• 銘柄数の制限とLLM維持コスト: 現在は、パイプライン最適化の問題により、限定的な銘柄を中心にのみサービスを提供しています。また、トークン使用量を減らすために、プロンプト最適化とContext Cachingを最大限適用しているにもかかわらず、毎月数十万ウォンの維持コストが発生しており、持続可能性について悩みがあります。

率直なフィードバックをお願いします。
• GeekNewsにいらっしゃる優れたエンジニアやメイカーの皆さんの視点から、助言をいただきたいです。
• ユーザビリティの面: 私たちの推薦方式やUIなどが、実際のユーザーの立場から見てあまりに不親切に感じられないか気になっています。
• そのほか、どのようなバグレポートや厳しい批判でも甘んじて受けます。週末のあいだ継続的にモニタリングし、修正可能なバグはすぐに直して反映します。長文を読んでいただき、ありがとうございます!

8件のコメント

 
computerphilosopher 3 일 전

もしかして、短期・中長期予測の根拠はアナリストたちのレポートでしょうか?

 
huyng123 3 일 전

はい、そのとおりです! レポート作成時に短期・中長期の推奨スコアを別々に算出して反映した結果です。短期はテクニカル指標やニュースなどのシグナルがより強く反映され、中長期はファンダメンタルズの改善がより反映されます。

 
dydwls140 3 일 전

サービスをひととおり見てみました。作るのに努力されたことは伝わってきますが、厳しい批判も受けるとのことでしたので、率直に書きます。

4つのモデルの合意が信頼度を高めるという前提自体が危うく見えます。gpt、gemini、claude、deepseek は結局、似たようなインターネット上のデータで学習されたモデルなので、同じ銘柄を見れば似たようなことを言います。合意した = 信頼度が4倍、ではなく、同じバイアスが4回繰り返されただけである可能性のほうが高いです。アンサンブルの効果はモデル同士が独立しているときに出ますが、汎用LLM同士ではそれが保証されていません。

 
huyng123 3 일 전

ご意見ありがとうございます! おっしゃる通り、4つのモデルがあるからといって信頼度が4倍になるわけでは決してありません。ただ、互いのミスを補い合える程度に捉えていただければと思いますし、面白いのは、同じプロンプトとデータを入れても各モデルの分析方法や視点が本当にかなり異なることです。4つのペルソナについても、そうした点を踏まえて分析し、無理に押し付ける形にならないよう多くのテストを重ねました。まだ至らない部分はありますが、より信頼できるサービスになるよう、さらに発展させていきます! サービスをご覧いただき、ご意見までくださって本当にありがとうございます

 
dydwls140 3 일 전

返信ありがとうございます! 「お互いのミスを拾ってくれる」という点についてだけ短く補足すると、モデルは表面的な観点が違っていても、同じ時期・同じコーパスで学習されているため、似た種類のミスは一緒に起こしがちです。すると、多数決で合意に至っても、そのミスが除去されるのではなく、むしろ強化される可能性があります。

可能であれば、一度測定してみることをおすすめします。バックテストデータで、モデル4つの意見が (a) 一致したときと、(b) 割れたときの事後リターン分布を比較してみて、(a) が (b) より有意に良ければ多数決効果が実証されることになりますし、差がない、あるいはむしろ (b) のほうが良いなら、合意されたノイズに近いというシグナルだと思います。すでに構築されているデータですぐ回せる仮説なので、よければ一度見てみると面白いと思います!

 
huyng123 3 일 전

良いご提案ありがとうございます。実際、すべてのモデルが推奨するとしても、収益率の高い銘柄とは限らないんですよね。私はこの点を、リスクが高いほど収益率も高くなるという株式の特性と結びつけて考えていましたが、興味深いご提案をありがとうございます :)

 
jeongm 3 일 전

おお……全力買いと言われると、指がうずうずしますね〜
うまく使ってみます(笑)

 
huyng123 3 일 전

はい、ありがとうございます(笑)