Ailoy: 簡単なオンデバイスAIエージェント制作ツール
(github.com/brekkylab)ailoyは、LLMエージェントを簡単に作れるライブラリです。
Python / JavaScript(node) の2つのバージョンがあり、現存するツールの中でも最も簡単だと自負しています。
機械学習の専門家でなくても作れるのが強みです。
Google、OpenAI、Anthropicは結局APIをたくさん使わせる方向になりがちで、お金のかかる仕組みだと感じたので、オンデバイスAIでエージェントを動かせるように作ってみました。
GitHubやDiscordのリンクから来ていただければ、詰まった点のサポートをします。ぜひ一度使ってみて、ご意見を残していただけるとうれしいです！
4件のコメント
モデルサイズは小さいですが、体感性能がどの程度なのか気になりますね。
たしかに、GPTシリーズやDeepSeek R1と比べるとやや物足りない印象があります。30Bモデルは間違いなく悪くないのですが、こちらをon-deviceで動かそうとすると5090クラスのGPUが必要になるという欠点があります……
なので、OpenAIモデルに近い性能を出しつつトークン最適化を図るなら、OpenAIを使いながら簡単なタスクはlocal modelを使うハイブリッド方式がいちばん良い気がします。
それでも使えないほどではなく、複雑なタスクでなければ、翻訳や要約程度ならそれほど大きな差はないという印象ではあります……（笑）
なるほど^^ ご回答ありがとうございます