Paged Out 第6号 [pdf]

 (pagedout.institute)
4 ポイント 投稿者 GN⁺ 2025-03-31 | 1件のコメント | WhatsAppで共有
  • UNIX系環境で基盤モデルを既存・新規の UNIX ユーティリティとパイプで接続し、音楽、映像、タスクリスト、画像ファイル処理を自動化する事例を紹介
  • 音楽コレクションは CLAP により512次元の埋め込み空間に配置し、llm-clap と llm-interpolate で開始曲と終了曲の間の経路を見つけて .m3u プレイリストを作成
  • 映像ノートは yt-dlp で字幕を取得し、llm で要約した後に zk new -i へ渡す2行のパイプラインで生成可能
  • 業務報告書は taskwarrior の直近7日間の完了タスクを JSON として書き出し、jq で .description のみを抽出して LLM に報告書生成を任せる
  • 画像ファイル名の変更は find, xargs, ollama, moondream, tr, sed を組み合わせて、画像内容に基づくもっともらしいファイル名を作る方式

UNIX パイプと基盤モデルの結合

  • 基盤モデルは非常に大規模で多様なデータセットで学習され、さまざまなダウンストリームタスクにそのまま使うことも、ファインチューニングすることもできるモデル
  • 対象タスクは、テキスト・画像の生成と理解が可能なモデルを活用するワークフローに焦点を当てる
  • アプローチは2段階に分かれる
    • 古典的な UNIX ユーティリティと新しいユーティリティを併用し、パイプラインの複数の部分をつなぐ
    • よく定義された解法だけでは処理しにくいタスクに基盤モデルを適用し、ユーティリティでモデル出力を補正して有用な形にする

例示パイプライン

  • プレイリスト生成

    • 音楽理解モデルが各楽曲を空間上の点に変換し、点どうしの間を補間して自然につながるプレイリストを自動生成する
    • CLAP のようなモデルは音楽コレクション $MC を512次元空間に埋め込み、似た曲ほど近くに配置される
    • llm と llm-clap, llm-interpolate プラグインを使用
    • 例のコマンドは llm embed-multi -m clap songs --files $MC '*' で埋め込みを作成し、llm interpolate songs "PacifyHer.wav" "redrum.wav" -n 3 | jq .[] > playlist.m3u で3曲入りの .m3u プレイリストを生成

  • 映像ノート作成

    • 講演やチュートリアル動画は有用だが、視聴しながらノートを整理するのは手間がかかる
    • yt-dlp で動画字幕を取得し、llm -s "Create notes" で要約した後、zk の zk new -i で新しいノートオブジェクトを作成
    • 例のパイプラインは yt-dlp --no-download --write-subs --output "$OUT" "$URL" の後に cat "$OUT" | llm -s "Create notes" | zk new -i を実行

  • 業務報告書生成

    • 月次・週次・日次の会議報告では、チームメンバーが理解できる抽象度と、有意義なフィードバックを得られる具体性のあいだでバランスが必要
    • taskwarrior のようなデジタル ToDo リストツールを参照し、その結果を LLM に渡して報告書を作成できる
    • 例のパイプラインは直近7日間に完了したタスクを JSON として書き出し、jq で .description を抽出した後、llm -s 'Generate a report based on these tasks.' に渡す

  • 写真ファイル名の変更

    • インターネットからダウンロードしたり自分で撮影した画像ファイルは、1672714705640839.png, 1689964585834142.png, 2.jpg のように曖昧で役に立たない名前であることがある
    • ollama はモデル取得と推論のためのツールで、moondream ビジョンモデルと組み合わせることで最新のノートPC上で高速に推論できる
    • 例のパイプラインは現在のディレクトリ内の .jpg ファイルを見つけ、ollama run moondream "Title for this: {}" で画像ベースのタイトルを受け取り、tr と sed でファイル名の形式に整える
    • 出力例は A green dragon with wings and a tail.jpg, A painting of a serene landscape.jpg, urns of stone red car in foreground.jpg の形式

関連記事

1件のコメント

 
GN⁺ 2025-03-31
Hacker Newsのコメント

  • 目次に直接行くには https://pagedout.institute/download/PagedOut_006.pdf#page=3 を見ればよい

  • “How to use a Python variable in an external Javascript (Django)” の例は、変数にユーザー入力が含まれる場合、XSS攻撃に脆弱である可能性が高い
    正しいコンテキストに合わせて出力エンコードすることが重要。Djangoはデフォルトでテンプレート変数をHTMLコンテキスト向けにエンコードするため、それを script タグ内やJavaScriptファイル内に出力すると、XSSが可能になることがある

    • Djangoのドキュメントを見るとこの指摘は正しそうで、特に文字列が核心的な問題に見える
      デフォルトの自動エスケープは ' と " をHTMLエンティティに変換するが、バックスラッシュはエンコードしないため、文字列末尾の \ が閉じ引用符をエスケープできてしまう。攻撃者が同じ「型」の文字列を2つ連続で制御できると悪用可能になる
      きちんとやるなら、この方法が正しそう: https://docs.djangoproject.com/en/5.1/ref/templates/builtins...
    • 攻撃がどう成立するかすでに思い浮かべられるほどで恥ずかしいが、幸い escapejsテンプレートフィルターを入れれば脆弱性を修正できる

  • 本当に気に入った。昔の ezine/webzine の雰囲気がある
    ただ、視力があまり良くないコンピューターユーザーなら、どうすれば快適に読めるのか気になる。内容を追うには上下にずっとスクロールしなければならず、ページ全体を表示すると文字を読むために目を細める必要がある

    • その通りで、この形式の残念な限界の一つが、PDFを延々スクロールしなければならない点だ。結局、初期に下した決定が私たちをこの形式に閉じ込めたわけで、私にも責任がある
      PDFのおかげで著者に紙面レイアウトの完全な自由を与えられ、その結果、今回の号のような非常に創造的な成果が生まれる。しかしA4 PDFはスマートフォン、PC画面、タブレットでは読みやすくなく、スクリーンリーダー利用者にはさらに厳しい。私たちが受け取る形のPDFをスクリーンリーダー互換にする作業は少なくとも複雑で、まだ対応できていない
      一方で、今では誰もがPDFリーダーを持っており、文章はどこでも同じ見た目で表示され、ほぼそのまま印刷もできる。結局は長所と短所の問題だ。Paged Out! が愛される理由を壊さずに、この問題を簡単に解決する方法はなさそうだ
      改善したいのは、印刷版のアクセシビリティを高めることと、いつかきちんとしたスクリーンリーダー対応を入れること。それ以外では、スクロール問題はzineの一部として残りそうだ
      さらに、記事の「朗読」もできるようになるとよい。最初から、ほとんどの記事著者向けライセンスには、記事を音声で録音することに同意できる条項を入れてある。オーディオブックやポッドキャストのように消費するのが好きな人にはよく、挿絵を見る代わりに説明で聞くという代償を払えば、スクロールも避けられる
    • 完全に LaTeX で行くなら、arxivが最近LaTeXをHTML5にレンダリングしたように、双方向にできるかもしれない
    • 縦型モニターを使えばいい

  • 外観が本当に良く、1980年代の Crash magazine の雰囲気がある

  • 素晴らしい雑誌だが限界もある。1ページ制限のせいで、各記事がテーマに対する最低限のアンカー、時には著者の宣伝に近いものになり、伝わる内容はそれほど多くない
    内容面では PoC || GTFO と Phrack の方が優れていると思う。組版のばらつきも個人的には欠点で、疲れる。各ページが視覚的にまったく別世界なので負担が大きい
    LaTeXは取っつきにくく、一部の著者を排除してしまう可能性があるのは理解するが、両方の長所を取り入れる方法はないだろうか。ローカルにホストしたOverleafを検討したことがあるのか気になる

    • Paged Out! の1ページ制限とカスタムレイアウトは意図的な選択だ。もちろん指摘の通り欠点はある
      しかし、ページ制限がなく厳格なレイアウトを持つ出版物にも欠点はある。過去15年にわたり、複数の技術雑誌でレビュアー/編集者および著者として関わってきた立場からそう見ている
      一般的な雑誌では、著者はすべてを網羅する長い記事を書かなければならないというプレッシャーを感じ、短くて気の利いたトリックのメモを投稿することに気楽さを感じられない。Paged Out! は、まさにそうした短いメモが存在できる1ページのニッチのためのものだ
      この形式は制限的か？ その通り。すべてをこの形式で書けるか？ 不可能だ。それでも問題ない
      私たちは PoC || GTFO や Phrack になろうとしているわけではない。どちらも素晴らしく、個人的にも大好きだが、私たちは短い記事という自分たちの居場所を見つけたのだ。zineコミュニティには互いへの愛着も多い。たとえば pagedout.phrack.org と phrack.pagedout.institute の DNS TXT レコードを見るとよい
      レイアウトの混沌についても言いたいことは分かる。同時に、それも私が意図的に PO! を置いたもう一つのニッチだ。出版社が求める正確なレイアウトに自分のアイデアを押し込めなければならなかった経験や、他の雑誌の長すぎる記事を大量にレビューした後の治療だと、時々冗談を言っている
      指摘は正しいと認めるが、同時にこの小さく欠点のあるニッチにかなり満足している
      関連リンク2つ: https://pagedout.institute/?page=faq.php#why-one-page
      & https://pagedout.institute/?page=faq.php#layout

  • 寄稿の招待を受けたが、当時は何かを準備する時間がなかった。それでも成果物は本当に格好よく見えるので、次回は良いテーマを探してみたい

  • 本当に気に入った。特に “Spotting Quacks with Puzzles” が良い
    メディアリテラシーを扱うアプローチが非常に独特で、新しい4o画像生成アップデートが出たタイミングとしてこれ以上ないほど時宜にかなっている

    • その記事を書いたのは私だ。PO!/HNの創造的な問題解決者たちが、メディアリテラシー教育の難しさについて考えるきっかけになればと思う

  • これを印刷雑誌の配送として注文できるのか気になる。それともダウンロードして自宅で印刷する方式だけなのか？ こういう雑誌を郵送で受け取りたい

    • まだ可能ではないが、lulu.com のようなデジタル印刷サービスを通じて提供しようと作業中だ
      確定した日程はないが、次号、おおよそ6〜7月頃に予定している時期までには可能にしようと進めている

  • USBフットスイッチの部分に到達した時点で、すでに長く見すぎていたので止めなければならなかった。素敵な小さなzineで、後で今回の号と以前の号をもっと見てみるつもりだ

  • 雑誌の形式が良く、特に挿絵が気に入った。AIではなく人間が作った挿絵なので、雰囲気を本当にうまく作っている
    ただ、選べる作家がこれほど多様にいる中で、現在ロシアに住み、税金も納め、その結果が生じるロシア人作家の挿絵を使うという考えにはあまり賛成できない

    • ロシア人がこの仕事で納めるわずかな税金は、ロシアが欧州に石油を売って稼ぐ金に比べれば微々たるものだ。だとすれば、欧州全体もボイコットすべきなのか？
    • 政府がしていることを理由に人を差別しないでほしい
      思慮深く知的な人々は、どのような体制の下で暮らしていても、含まれる資格がある