Show HN: WebページをMarkdownに整理・変換するツールを制作

[GN⁺]

Hacker Newsの意見

要約すると以下の通り:

• ウェブページをMarkdownに変換するツールを開発するにあたり、負荷管理や無料サービスの持続可能性などについて悩みがある
• ウェブページをMarkdownに変換する際の重要な問題は次の通り:
  1. ページコンテンツの徹底したスクレイピング（高い再現率）
  2. 広告／補助コンテンツの除去（高い適合率）
  3. 正しいレイアウト／セクション種別の抽出（フォーマット）
• 既存のオープンソースツール（Trafilatura、Newspaper4k、python-readability など）は一定水準以上の性能を示している。差別化ポイントや改善点が気になる
• クッキーメッセージが表示されるサイトでは、実際のコンテンツの代わりにクッキー関連の内容だけがパースされる問題がある（例: cnbc.com）
• GPTを活用した画像ダウンロードやフィルタリングなどのアイデアが良い
• 類似ツールの紹介:
  • url2text.com: JSでレンダリングされたHTML、メタデータ、スクリーンショットなどもあわせて抽出可能
  • firecrawl.dev: 単一ページだけでなくサイト全体のクロール機能を提供
  • substack-ai.vercel.app: Substackニュースレターのコンテンツ抽出に特化
  • content-parser.com: Markdown、HTML、テキスト、PDF など多様な形式に対応
• pandoc のような汎用ドキュメント変換ツールでも類似機能を実現可能
• ほとんどのツールはMozillaの readability プロジェクトを活用して開発されている