Visiboxを入手 →
← ニュース一覧レシピ

Claude、ChatGPT、GeminiでAI音楽ビジュアライザーを作る

Claude、ChatGPT、GeminiでAI音楽ビジュアライザーを作る

Visiboxで動く、ブリジット・ライリーにインスパイアされたオーディオリアクティブなビジュアライザー

Claude、ChatGPT、Geminiのいずれかを契約しているなら、ライブで音に反応する映像のための専属シェーダープログラマーがすでに手元にいるようなものです。AIアシスタントをVisiboxに一度接続したら、欲しい映像を普段の言葉で説明するだけ。AIがシェーダーを書き、Visiboxがそれをライブで表示します。音から思い描いたとおりの見た目になるまで、何度でも調整できます。

GLSLも、コマンドラインも、ビルド作業も、コーディングも不要です。

必要なもの

  • Visibox 5.0以降
  • Model Context Protocolに対応したAIアシスタント。たとえば:
    • Claude DesktopまたはClaude Code(Anthropic)
    • Codex(ChatGPT Plus、Pro、Team、Enterpriseに付属するOpenAIのデスクトップアプリ)
    • Gemini CLI(Google)
    • Cursor、VS Code、Zed、Windsurf、Cline

接続は一度だけ

AIアシスタントが接続できるように、Visiboxを起動しておきます。

次に、「設定 → AIツールに接続…」を開きます(macOSではVisiboxメニュー、Windowsでは「ファイル」メニューの中にあります)。Visiboxがインストール済みのAIツールを探し、それぞれに自動で自分をインストールします。AIアプリを再起動すれば、接続完了です。

詳しいセットアップ手順:manual.spaceage.tv/5.0.0/integrations/ai

Claudeのコネクターとして表示されたVisibox。visibox_get_projectsなどのVisiboxツールが「Always allow」に設定されている

「Connectors」にVisiboxが表示されたClaude Desktopの設定画面

レシピ:音に反応するオプアート・ビジュアライザー

オプアートは、最初の題材にぴったりです。幾何学的でコントラストが強く、ISFシェーダーが本当に得意とする分野だからです。ブリジット・ライリー、ヴィクトル・ヴァザルリ、モアレ、同心円。ひと目で伝わる白黒から始めて、プロンプト3で色を加えます。ISFはフルカラーもグラデーションも、フラグメントシェーダーで描けるものなら何でも扱えます。プリセットの見た目を決めるのは何を頼むかであって、形式の制約ではありません。

最初のプロンプトを送る前に、Visiboxでビジュアライザーエディターを開いておきましょう。AIがシェーダーを書くにつれて、コードが埋まっていき、ライブプレビューがリアルタイムで更新されていく様子が見られます。この手応えのあるやりとりこそが、楽しさの源です。

プロンプト1:作る

「Visiboxに接続して、ブリジット・ライリーのオプアートにインスパイアされた新しいISFビジュアライザーを作って。黒い背景に高コントラストの同心円を描き、低音に合わせて外側へ脈打つように広がるように。色は使わず、白と黒だけで。」

AIはVisiboxのMCPサーバーに接続し、ビジュアライザーのエンジン(ISF)を選び、フラグメントシェーダーを生成し、オーディオ入力を登録して、プロジェクトに追加するはずです。アシスタントがせっせと作業するので、完了までに数分かかることもあります。

これで、ビジュアライザーウィンドウ(Macは「Visibox > ビジュアライザー…」、Windowsは「ファイル > ビジュアライザー…」)の「マイビジュアライザー」に新しいプリセットが表示されます。Visiboxには、作りながらプリセットを試聴できる曲が組み込まれています。プレビューの上に重なっている「再生」ボタンを押すと再生が始まります。開いているプロジェクトに含まれるオーディオなら、どれでも再生できます。

Visiboxのビジュアライザーエディターウィンドウ

Visiboxのビジュアライザーエディターウィンドウ

プロンプト2:手直しする

最初のバージョンは、まったく音に反応しませんでした。それをそのままAIに伝える(「まったく音に反応していないみたい」)だけで直りました。うまくいかないときは、見えている状況を説明して、AIにもう一度試してもらいましょう。

「ゆっくり時計回りに回転させて。高音が跳ねたときに、リングがモアレ状に波打つようにして。」

プロンプト3:スタイルを変える

「今度は温かみを出して。深い黒の上に琥珀色のリングを置いて、いちばん内側のリングの周りに柔らかな光をまとわせて。」

プロンプトを送るたびにシェーダーが書き換えられ、エディターが更新されます。ビジュアライザーは再生中の音に反応し続けます。気に入ったらライブラリに保存し、曲にドロップすれば、次のステージで使えます。

ほかのプロンプト例

「このプリセットを複製して、色でいろいろ試してみよう。」
「もっと有機的な感じにしたい。ぼかし、ざらつき、色収差のレイヤーを調整できるように追加して。」
「このプリセットをもっと面白くするには、ほかに何ができる?」

チャットに画像を添付して、こう聞くこともできます。

「この画像をヒントに、Visiboxの新しいビジュアライザーを作ろう。この画像を見て、どんなものを提案する?」

ISFがちょうどいい理由

ISFは、入力を宣言する小さなJSONヘッダーが付いたフラグメントシェーダーにすぎません。オーディオは最初から組み込まれていて、波形はaudio、周波数スペクトルはaudioFFTで扱えます。AIモデルはGLSLをよく知っていて、オーディオ入力は標準化されていて、シェーダーは1つのファイルで完結します。プロンプトで生成する対象として、ほぼ理想的です。MilkDropでも使えますが、もう少し細かく誘導する必要があります。

次に試したいこと

セットアップはそのまま、プロンプトを変えるだけ。手始めに5つ紹介します。

  • ビートに合わせて花のように開く万華鏡のマンダラ
  • 低音のアタックで色収差がかかるレトロなCRTの走査線
  • 画面を横切って軌跡を残す音に反応するリサジュー曲線
  • トランジェントのピークで細かく分割される幾何学的なテッセレーション
  • 中音域に合わせて形を変えるラバランプのような塊

具体的に伝えるほど効果的です。「ゆっくり、催眠的に、ほとんど暗く、アクセントカラーは1色だけ」と「速く、グリッチっぽく、ネオンカラーで、とにかくカオスに」では、まったく違うシェーダーができあがります。形だけでなく、どんなムードにしたいのかをAIに伝えましょう。

要するに

たいていのVJソフトウェアは、プリセットのライブラリから選ばせようとします。Visiboxなら、映像を言葉で説明すれば、その場でエディターの中で、目の前で組み上がっていきます。すでに払っているAIのサブスクリプションと一度きりのセットアップで、ビジュアライザーのライブラリは他人のアイデアの一覧ではなく、自分のアイデアの一覧になります。

「設定 → AIツールに接続…」で一度接続したら、あとは見たいものを頼むだけです。


ビジュアライザー以外もコントロールしたい?同じ接続を使えば、AIに普段の言葉で頼むだけで、エフェクトを作ったり、曲を並べたり、クリップを入れ替えたり、ステージを進行させたりできます。全体像はVisiboxマニュアルのAIアシスタントのページをご覧ください。