insane-search - 403 に遭遇すると諦める Claude Code を最後まで試すようにしました

403 に遭遇すると諦める Claude Code が嫌でした。

「NAVERブログのこの記事を読んで」→ 403。「Coupangで10万ウォン以下のキーボードを選んで」→ 403。「このRedditスレッドは何て書いてある？」→ ブロック。結局、自分でブラウザを開いてコピペして渡すことの繰り返しでした。AI に仕事をさせているのに、なぜ自分が働いているのかと思ったんです。

既存の MCP も試しましたが、問題がありました。たいていは特定のプラットフォーム1つに縛られているか（Twitter 専用、YouTube 専用）、API キーや OAuth 登録を要求するか、「このサイトはブロックされる」といったバイアスを学習していて、試そうとすらしなかったんです。サイトは毎日変わるし、方法も今なら通るかもしれないのに、一度塞がれたからといって諦めるのはおかしいと思いました。

そこで 方法選択レイヤー を作りました。スクレイパーではなく、通るまで公開エンドポイントと標準的な手法を順番に試していくスキルです。

どう動くのか

Claude Code が URL にアクセスするとき、4段階の適応型スケジューラが支援します。前の Phase が失敗したりブロックのシグナルを検知したときだけ、次の Phase に進みます。

• Phase 0: 汎用チェーンでは発見できない特殊エンドポイントだけをインデックス化（15グループ） — X Syndication, Reddit .json, HN Firebase, yt-dlp 1,858サイト
• Phase 1: 並列軽量プローブ — WebFetch, Jina Reader, curl Chrome/Mobile/Googlebot UA, m.{domain}/.json//rss URL 変形
• Phase 2: TLS impersonation — curl_cffi safari → chrome → firefox の順（未インストールなら自動で pip install）
• Phase 3: 実ブラウザ — Playwright MCP でレンダリング + 隠れた API を発見（network_requests）
• login/paywall を検知したら「認証が必要」として終了。無駄に試行を続けない

すべての HTML レスポンスから OGP タグ + JSON-LD の構造化データも一緒に抽出します。本文全体を取得できなくても、タイトル・価格・プロフィールは確保できます。

韓国のサイトに特に強いです

• NAVERブログ → モバイル URL 変形で大半を解決
• Coupang → Phase 2 の curl_cffi safari で JSON-LD ItemList を抽出
• DC Inside / FM Korea / Clien / Karrot / Yojum IT / Wishket → Jina Reader や curl ですべて読める
• NAVERファイナンス → api.finance.naver.com/siseJson.naver 非公式 JSON API（認証不要）
• 韓国メディア9社 → RSS インデックス + Google News RSS フォールバック

中核となる原則

バイアスを作らないこと。 「このサイトは難しい」というリストは作りませんでした。依存関係がないからといってスキップもしません — インストールして試します。サイトも方法も、今なら通るかもしれないからです。

インストール

/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git  
/plugin install insane-search  

再起動すれば完了です。API キー、登録、環境変数は不要。いつも通りに話しかければ、ブロックされた URL で自動的にトリガーされます.

[ng0301]

vercel-labsのagent browserは本当にすごいです

[holywork]

browser-use をそのまま使えるようにはできないのでしょうか？