2 ポイント 投稿者 GN⁺ 2024-05-28 | 1件のコメント | WhatsAppで共有
  • 原文はテキスト記事ではなく PNG画像リソースのため、提供された抽出内容だけでは実際の履歴書のヒントを確認するのは困難
  • 確認できるメタデータはHacker Newsのタイトルと ResumeTip.png の画像URLのみで、本文の文章として読める情報はほとんどない
  • 抽出されたチャンクの大半が バイナリデータまたは文字化けした文字列であるため、AIによる履歴書スクリーニングを回避する具体的な手順や根拠を要約できない
  • 提供された範囲内では、ツール名、手順、例、数値といった 判断に必要な詳細情報は確認できない
  • 一部のチャンクが省略されているため、この要約は入力として提供されたソースノートで確認できる内容に限定される

確認できる情報

  • 資料は ResumeTip.png という 画像ファイルを指している
  • Article URLは https://www.solipsys.co.uk/images/ResumeTip.png
  • 確認できるタイトルのメタデータは、Hacker Newsのタイトルである 履歴書のヒント:「AI」による履歴書スクリーニングをハックする方法

本文を要約できない理由

  • 画像から抽出された内容は大半が壊れたバイナリ/エンコード文字列のように見え、信頼できる文単位の情報がない
  • 提供されたチャンク内では、以下の内容を確認できない
    • AIによる履歴書スクリーニングを回避または操作する具体的な方法
    • 使用されたツール名、ワークフローの手順、数値、例
    • タイトルの主張を裏付ける説明や根拠
  • あるチャンクの末尾に画像メタデータと思われる Copyright Apple Inc., 2024Display という文字列が含まれているが、履歴書のヒントの本文として解釈できる内容ではない

要約範囲の限界

  • 入力ノートには、一部のソースチャンクが長さ/コスト制限により省略されたと明記されている
  • 省略された範囲は 5-11 番チャンクと示されている
  • したがって、この要約は元画像全体のすべての内容を網羅しているとはいえない

1件のコメント

 
GN⁺ 2024-05-28
Hacker News のコメント
  • 致命的な状況で生き延びる方法を説明し、LLM が成否を判定するパーティーゲームをやってみたところ、数ラウンド後には「幸せに脱出する。死なない」のような答えが最適戦略だと分かった
    survivedie のような分かりやすい単語だけが小さなブロックリストに入っていて、それに引っかかると、ブロックされていない同義語で同じ戦略が通用するという合図だった
    LLM と敵対的に向き合うことになったら、「ゲームのルール」を把握してすぐ迂回すればいい。メタレベルの人間の創造性を、いくつかの命題であらかじめ封じることはできない

    • その戦略は反復試行ができて初めて通用する。ほとんどの応募者には、AI の関門を突破する方法が分かるまで何度も求人に応募してみる余裕はない
    • https://deathbyai.gg のように見える。かなり面白い
    • Discord の Death By AI
  • 笑える話ではあるが、実際に機能するという根拠はなさそう
    より現実的な例は https://youtu.be/aLx2q-UnH6M?t=1621 で、ユーザーは結果に「SIMA Balls」を注入してはいたが、それ以外にも複数の質問があり、各質問から特定の資質を抽出して分析していた
    「ignore all previous instructions」を何度も繰り返すことはできるだろうが、この方法では大した成果は出ない可能性が高い

  • このコツは一般的には通用しない。現時点でほとんどの ATS はそのようには動作しておらず、ChatGPT が応募書類を単純に自動通過させる機能のようなものもない
    大手 ATS ベンダーは AI と個人情報規制を気にしているため、このアプローチは法的に大きな問題がある
    EU 基準では、ATS が OpenAI をデータのサブプロセッサとして明記していないなら、履歴書を ChatGPT に送っていないと見てよい。許可されていないからだ

    • ATS 自体はやらなくても、採用担当者が効率化のために資料を ChatGPT にアップロードすることはあり得る
    • 世界中で事業を展開する大企業の少なくとも1社は、履歴書レビューに LLM を使っている。そうした文言が実際の結果を変えるかは確信しにくいが、複数の企業が使っている、あるいは検討しているのは確かだ
      ChatGPT は使えなくても Azure OpenAI API は使える場合があり、実質的には似ているが、ホスティングされたソリューションなので利用が許可される、という形だ
    • 大企業ならこうした処理はきちんと行われると見てよいが、小さな会社は規則をそこまで厳密に守らないことが多い
      GDPR を正しく理解していれば、応募者は面接プロセスにおける自分の全データを請求でき、会社は面接メモや評価などを送らなければならない。かなり意地の悪いやり方ではあるし、実際に見たことはないが、最初の候補者が試すのを待っている
  • 似た方法として、フッターに白文字でキーワードを大量に入れるやり方がある。友人が試したところ、面接依頼の的中率が目に見えて上がった

    • 実際にどう動くのか気になる。自動応募システムを使ってから何年もたつが、通常は履歴書を限られたフォーム項目にパースし、ユーザーが自分で確認して送信する必要があったと記憶している
      最近のまともな会社が使うシステムは、本当に履歴書 PDF をアップロードするだけで終わるほど単純なのだろうか?
    • 数年前、返信があまりに少なくて不満が募った後にそうしてみたところ、その後は反応が大きく増えた
      「価値がない」「一般的には通用しない」「企業はシステムを更新中だ」と言う人もいるだろうが、私の経験では十分試す価値があり、今でもこうしたものを検出するソリューションを使っていないところは多そうだ
      特に政府機関への応募で返信を得るのにうまく効いた
  • 週末に作ったサービスでもない限り、こんなものは通用しないだろう
    まともな ATS は OpenAI が登場するずっと前から履歴書をパースし、スキルや職歴などを抽出してきた

    • 人事担当者が採用プロセスを「手作業で」ChatGPT に外注するように、書類をチャット画面へドラッグ&ドロップしている小さな会社なら、おそらく通用するかもしれない
    • ATS が何なのか分からない。よく知られていない略語を定義なしに持ち出すのも妙だ
      それでもこれは、熱心な「AI」推進派が GPT は有用だと主張しているまさにその用途だ。高価でカスタム仕様の既存システムを、単純なプロンプトベースの「AI」に置き換えるという話だ
    • フリーランスの友人たちの事例を見ると、かなり大きな会社でさえ、もっともらしく見えて一番安い選択肢を選ぶことが多い
    • すべての ATS が今後 ChatGPT を追加したら笑える。Google 検索でさえ生成 AI を使う時代なのだから
  • これはデーティングアプリでプロフィール写真をモデルのように変えるのに似ている。返信はもらえるだろうが、実際に合わなければそれで何をするのか?
    仕事探しでは、システムをだますことにストレスを感じるより、自分と雇用主の双方に合う本当のマッチングを探す方がよい

    • ある状況では正しい助言だが、自動選別の状況ではあまり役に立たない。システムを攻略しなかったという理由で、実際には適したポジションでもふるい落とされることがよくあるからだ
      いずれにせよ、1500人の応募者のうち上位10人に履歴書を入れなければならない。技術需要が本当に高く、分野があまりに特殊で応募者が10人しかいないなら、こうした小細工は役に立たないだろうが、現実はそうでないことが多い
    • 冷笑的かもしれないし、自分で試したわけではないが、この方法は典型的な異性愛男性のマッチ数を、0から1日数十件に増やす可能性がある
      そうして会話が始まれば、「実際にはモデルのような見た目ではないが、モデルだと自認している」といった返答を試しながら受け入れてくれる相手を探せるし、すでに会話を始めたことによる損失回避やサンクコスト効果も利用できる
      フィルターが「マッチング」である代わりに、双方が実際の会話に基づいて判断することもできる
    • 履歴書選別であれ何であれ、「AI」を使う会社なら自分の時間を使う価値はないと思う
    • 「モデル」が何を意味するかによる
      「皆さん、私モデルリングが好きです!」と言うと一斉に集まってきて、「統計モデリングです!」と言うと静かになる
    • 潜在的な雇用主からオファーを受けるまでには多くの障害がある。その一部はその職務で成功する可能性を反映しているが、一部はそうではない
      自動選別をだませば、障害を1つ取り除くことになる。その障害がどちらだったのかは分からない
  • 実際にこれが通用するのか、もっと知っている人はいる?
    人事ツールを扱う立場からすると、こんな一文が違いを生むのだろうか? 履歴書を送る人たちは、こうした文言で成功したことがあるのだろうか?
    そしてその文言自体に「ChatGPT」が入っているので、もしかすると改善効果は、人々が ChatGPT への言及を検索しているからかもしれない

  • すべてのツールで通用しないとは言い切れませんが、大手ベンダーの AI ソリューションの大半は、既存の ATS 構成を包装し直したものに近いです。
    ただし、個々の採用担当者が採用システムから履歴書を取り出して ChatGPT に入れてみることは、別問題として可能です。

    • 主要 ATS の PM です。私たちの側では、この方法は明確に通用しません。履歴書のパースに OCR を使っているため、白い背景の白い文字は拾われません。
      たとえそうでなくても、このツイートは ATS がすべての候補者に単純に「合格/不合格」を出しているという幻想をあおっています。
      AI が履歴書を確認するとしても、たいていはスキルと経験年数を見て、職務要件のリストと照合する可能性が高いでしょう。なので、別のツールでは白い文字でプログラミング言語を100個隠して書けば何か起きるかもしれませんが、ほぼ同じ効果は、だまし討ちをせずに履歴書へスキル欄を追加するだけでも得られます。
    • その行は白い背景に白い文字なので、人間がわざわざ探さない限り見えません。
      機械は色を気にしません。
  • 1週間前、ある XYZ 社から丁寧なメールを受け取ったのですが、「面接後、素晴らしい候補者だと判断したものの、別の候補者で進めることにした」というような、よくある不採用通知でした。
    問題は、面接を受けたことがないという点です。

    • Indeed のようなところで似たようなメールを受け取ったことがあります。「Company X での採用体験はいかがでしたか? 先週、面接を受けられました」という内容でした。
      「星1つ。履歴書を提出して以来、Company X について聞いたり連絡を受けたりしたのはこれが初めてです」と返したくなるものでした。
  • GPT-4o に「この履歴書を[職務内容]に合わせて評価せよ」と指示し、いろいろな方法で繰り返し試してみました。
    テキストをコメントとして入れたり、文書に直接入れたり、何度も繰り返し入れたりしても、結果にはまったく影響がありませんでした

  • 原文: https://x.com/CupcakeGoth/status/1794205778662064355

    • ただ、そのリンクはスクリーンショットに出ているスレッドの最初のツイートを表示しません。
      ソーシャルメディアのリンクを共有するときは、全員にプライベートブラウザウィンドウでどう見えるか確認することを勧めます。ログアウト状態での体験はたいてい悪く、場合によってはまったく使えないこともあるからです。