Keyboard Connect: Web MIDI APIベースのリモートピアノレッスンプラットフォーム

 (keyboardconnect.com)
1 ポイント 投稿者 GN⁺ 2024-02-12 | 1件のコメント | WhatsAppで共有
  • リモートピアノレッスンで音声・映像・鍵盤入力を同時に扱いにくいという課題を、Webベースのビデオ会議とMIDI共有によって軽減しようとするサービス
  • 中核機能は Video Calling と MIDI Sharing で、転送方式としてP2P暗号化を打ち出している
  • File Sharing は近日提供予定で、Lesson Planning と Record Playback は後日提供予定と表示されている
  • 従来の構成は、MIDIコントローラー・DAW・ルーティングソフトウェア、あるいはデジタルピアノ・オーディオインターフェースのように、コストと設定難易度が高いと比較している
  • Keyboard Connect はMIDIコントローラーとウェブカメラ中心の構成で導入ハードルを下げ、チューターはメールまたは30分の通話予約でサービス側と連絡できる

リモートピアノレッスン向けの機能

  • Keyboard Connect は ピアノチューター向けのビデオ会議 サービスで、リモートレッスンで生徒がより集中して参加できる授業環境を目指している

  • 現在提供されている中核機能

    • Video Calling

    • MIDI Sharing

      • 転送方式として P2P Encrypted Transmission を打ち出している

  • 予定機能と学習ツール

    • File Sharing: 近日提供予定
    • Lesson Planning: 後日提供予定
    • Practice Tools
    • Record Playback: 後日提供予定
    • チューターには、より良いレッスン体験によって生徒の継続につなげることを支援し、生徒には参加度を高めて学習成果の向上を助ける方向性を打ち出している

従来のリモート授業構成とのコスト比較

  • 新規の生徒がビデオ通話で 音声 と ピアノの音 を同時に伝えるには、従来はより高価で複雑な機材構成が必要だと比較している
    • MIDI controller + DAW + piano VST + routing software: 約 $200
    • Digital piano + audio interface + routing software: 約 $600
    • Acoustic piano + high quality mic + room treatment: 約 $3000
  • Keyboard Connect は MIDI controller のみを接続する構成で、$60から始められると比較している
  • 演奏者の姿と上から見下ろしたピアノ画面を同時に見せる構成でも、機材の差を強調している
    • 従来構成: two cameras + mounting equipment + OBS/USB switcher, 約 $150
    • Keyboard Connect 構成: webcam, $0–$40
  • ピアノチューターはメール jeremy@keyboardconnect.com または 30分の通話予約 を通じて、サービス側に作業内容を伝えることができる

関連記事

1件のコメント

 
GN⁺ 2024-02-12
Hacker News のコメント

  • コロナ禍にリモートのピアノレッスンを準備する必要があり、鍵盤の上の手と顔を同時に見せようとして2つの映像を合成してみたが、当時は遅延が大きすぎた
    結局、上から見下ろすカメラを1台だけ使い、置いたノートPCの前方45度の角度に透明なアクリル板を置いて、ピアノ演奏者の顔に照明を当てた。この効果は Pepper's Ghost と呼ばれる
    おかげで先生はカメラ1台で鍵盤上の手と演奏者の顔の両方を見ることができ、演奏者はオートプロンプターのようにカメラをまっすぐ見ているように見えた。誰かの役に立つかもしれないので残しておく

    • かなり興味深く聞こえる。こうした構成が実際に動いている様子や例を見てみたい
    • 「2つの映像を合成すると遅延が大きすぎた」というのが CPU の限界によるものだったのか気になる
      OBS は複数のソースを同時に合成しても遅延はそこまで大きくなく、少なくとも音声との同期は取れる

  • 本当に素晴らしいコンセプトで、リリースおめでとう
    ここ数年、自分でも Web MIDI アプリ [0] を作っていて、マルチプレイ機能もしばらく検討していた。遅延時間がどの程度なのか気になる
    ランディングページにはアプリを見せる動画例があるとよさそうだし、訪問者がまずピアノを試してから、リモート機能を使おうとしたときだけログインさせるほうがよさそう。クリック/選択はできるのに押しても何も起きないボタンは少し混乱した
    アプリではキーボード接続は問題なくでき、権限リクエストもなかったが、MIDI デバイスが接続されたことを示す表示があるとよい。マウスで鍵盤を押しても音が出ず、Yamaha P120 MIDI キーボードで押すと鍵盤が選択されたままになり、一度しか押せない。noteOff イベントが登録されていないようなので、velocity が 0 の noteOn も noteOff として扱い、すでに再生中の音に noteOn が入ってきたら自前で noteOff を呼び出して、鍵盤が押ささったままになるのを防ぐことを勧める
    画面サイズに応じて鍵盤を自動で隠さないでほしい。見た目はよくても、倍率を変えられないタブレット/スマートフォンで演奏しようとする人のことを考える必要がある。コンセプトは本当に良いし、さらなる開発の幸運を祈る。助けが必要なら連絡してもよい :-)
    [0] app.midiano.com

    • 同じ波長の HN ユーザーがまたいるとはうれしい :) アプリを試してフィードバックを送る。その間、pianojacq.com からも取り入れられるアイデアがあるかもしれない
    • フィードバックに本当に感謝しているし、提案はどれも助けになる。それぞれをもとに修正していく
      遅延時間は直接測定していないが、アメリカの反対側に住む妹と電話をつないだまま試してみた。妹が話したり音を弾いたりすると、電話より先にアプリで聞こえたので、少なくとも電話よりは良い

  • 本当にすごそうで、実際に使ってみたい
    学生の立場では、両面プラットフォームにはあまり関心がない。今作ろうとしているものはそう見えるが、欲しいのはサイトで検証済みのピアノレッスンを申し込み、推奨される USB MIDI アダプターを購入することだ
    短期的な MVP としては、アフィリエイトプログラムのあるサイトで、動作確認済みのアダプターを案内するとよさそう。長期的には、ホワイトラベルで売ってくれる会社を探してロゴとウェブサイトを付けることも考えられるが、今作っている他のものよりずっと重要度は低いので、しばらく先送りでよい
    最初の数回のレッスンとその後の練習用には、基礎を身につけたり楽譜を素早く読む訓練ができたりする、自動化された事前録画レッスンがあるとよい

    • 「USB MIDI アダプター」については、実際には USB MIDI が MIDI キーボードの最小公分母だ。10年以内の中古 MIDI キーボードを手に入れれば、USB が付いている可能性が高く、Craigslist で40〜60ドル程度のもので十分
      初心者にとって最大の選択は鍵盤数と置き場所だ。25鍵から88鍵までさまざま
      価格が上がると、モデルによっては旧式の5ピン MIDI 入出力、ベロシティ対応鍵盤、セミ/ハンマーアクション鍵盤、アフタータッチ、フットコントローラー入力、DAW 制御用のパッド/ノブ/フェーダー、内蔵シーケンサー、外部同期入出力、モジュラー機材と接続するための CV およびゲート出力などが付き始める
    • そういうものはすでにあり、複数の提供者がいるかなり堅実な市場だ。コロナ禍に https://pianomarvel.com/ をしばらく使っていて、ある程度効果があった
    • 提案はとても良く、方向性も合っているように感じる。プラットフォームを成長させるために、この方向を探ってみる

  • 先生としても学生としてもフィードバックしたいが、ウェブサイトでは小さなアニメーションがいくつかある以外、実際に何をしていてどう動作するのかを見る方法がない
    最低限 YouTube のデモ動画、理想的には実際のデモインターフェースにすぐアクセスできるとさらに助かる
    Getting Started が役に立つかと思ったが、結果をもっと知る前に投資したくない登録フローへ強制的に移動させられた

    • その通り。ランディングページとアプリの間に必須ログインを置いているのが気になっていた。より包括的なデモ動画を作り、登録前に見られるようにする

  • 聞いたところでは、MIDIコントローラーはピアノ学習には向いていないらしい。正しい習慣を身につけ、指の力を育てるには、ハンマーアクション鍵盤と88鍵すべてが必要だということ
    自分は実際のピアノで対面レッスンを受けていたので、MIDIコントローラーでの学習について個人的には語れないが、もっともらしく聞こえる

    • MIDIだからといって、自動的にハンマーアクション鍵盤がないわけではない
      すべてのデジタルピアノにはUSB MIDIがあり、Craigslistなら数百ドルでハンマーアクション鍵盤付きの中古を簡単に手に入れられる
      私のYamaha U1ピアノにも、MIDIで接続できるボックスが付いてきた
    • 生徒が実際に演奏に没頭し、継続して続けること以外の要素が重要になるまでには、かなり時間がかかると思う
      その意味では、手に入りやすく、気軽に置ける安いプラスチック製のMIDIキーボードのほうが、Steinwayより良いこともある。この段階では、完全に合っていることより、手の届くところにあることのほうが重要だ
      音楽専攻としての意見だが、もちろん一般的な見解ではない
    • 88鍵ハンマーアクションMIDIキーボードも買える
      WurlitzerやRhodesのようなエレクトリックピアノにも、88鍵より少なく、セミハンマーアクションしかないものは多い
    • ハンマーアクション鍵盤のほうが良いという点には同意するが、その理由は「指の力」ではなく、指の協調性を育てることにある
      指はすでに、ハンマーアクション鍵盤を押すのに十分な強さがある。特にテクニックで重力を活用する方法を学べばなおさらだ
      ハンマーアクション鍵盤は協調性を育てるうえで重要だ。鍵盤の抵抗が、タッチと生まれる音とのつながりを補正してくれるからだ。運動感覚のフィードバックと聴覚フィードバックの両方が必要だ
    • 実際、ピアノごとに感触はまったく違う。この楽器の欠点の一つは、会場にあるピアノをそのまま弾かなければならないことが多い点だ。前述の持ち運べるデジタルピアノは例外だが
      持っているものがデジタルキーボードだけだとしても、それを理由に学ぶのをやめないでほしい

  • リリースおめでとう
    動画は演奏者視点で録画することを勧める。生徒が見るときに頭の中で画像を反転しなければならず、抽象化の段階が一つ増えてしまう
    生徒に観客視点からピアニストを読み取る方法も教えたいのでなければ、という話だが

  • https://plugandplink.com/もある。学習者を支援するハードウェアコンポーネントが含まれていて、「スネーク」が光る
    アプリには、ハードウェアと相互作用する事前制作の動画やレッスンも入っている。スケールやアルペジオなどだ
    息子がリモートのチューターと一緒に使っているが、とてもよく機能している。さらに週の残りの日は、アプリとスネークで自分の練習を進められる

    • すばらしいけど、フルサイズピアノ版はないのかな？ それに125ドルだって？！ おそらく第1世代だからだろう

  • パンデミックが始まったとき、娘のピアノレッスンのために手早い解決策が必要だった。OBS、Synthesia、家に転がっていた古いLogitecウェブカメラで構成を作った。当時は新しいウェブカメラを手に入れるのがほぼ不可能だった
    ノートPCのカメラで演奏者の正面映像を送り、ウェブカメラで鍵盤中央部を上から見下ろす映像を送った。カメラの画角では鍵盤全体を収めるには足りなかった。そしてSynthesiaの仮想鍵盤も一緒に送った。OBSにはこれらの要素の3種類のレイアウトを作っておき、スペースバーで切り替えられるようにした
    音声は、声用のノートPCマイクと電子ピアノの直接音をミックスして送った。その時期にはかなり持ちこたえてくれた
    今の改良された解決策にはない制約もあった。先生たちがビデオ会議ソフトを一つに決められなかったため、自分の構成は独立している必要があった。このため、OBS仮想カメラ対応はほぼ当然の選択になった

  • マーケティングの観点で変えるなら、ループ動画でチューターも手の下にキーボードを置いている様子だとよいと思う
    通常、チューターがミスを聞かせたいときは、間違って弾いた箇所を説明しながら、正しい部分をより強調して改善後の区間を自分で演奏する
    現在のループ動画はYouTubeっぽい、あるいは改まったビジネスZoom通話のように感じる。この興味深いプラットフォームの本当に特別な点は、チューターと生徒のつながっている感覚なのに、それがあまり表れていない
    すばらしいプラットフォームだ

    • 良い提案だ。きちんとしたデモ動画を作るときは必ず念頭に置く

  • かなりよさそうに見える。製品が実際に動作している短いYouTubeデモを見たい。実際の使用でMIDI機能の最大の利点は何なのか気になる

    • ログイン要求の前に、デモ動画は必ず作る。通話中にリアルタイムMIDIを見せれば、自分が演奏している姿と、どの音を弾いているかを同時に見せて録画しなければならない難しさを避けられる
      また、MIDIはデジタルで表現されるので、コード／スケール検出、録音と再生、リアルタイム演奏を楽譜上に表示する機能も可能になる