Visibox 받기 →
← 모든 뉴스레시피

Claude, ChatGPT, Gemini로 AI 음악 비주얼라이저 만들기

Claude, ChatGPT, Gemini로 AI 음악 비주얼라이저 만들기

Visibox에서 실행 중인, Bridget Riley에게서 영감을 받은 오디오 반응형 비주얼라이저

Claude, ChatGPT, Gemini 중 하나를 구독하고 있다면, 오디오에 반응하는 라이브 영상을 위한 개인 셰이더 프로그래머도 이미 있는 셈이에요. AI 어시스턴트를 Visibox에 한 번만 연결한 다음, 원하는 영상을 평소 말하듯 설명하세요. AI가 셰이더를 쓰고, Visibox가 그걸 라이브로 보여 주고, 귀로 듣는 느낌 그대로 보일 때까지 다듬으면 돼요.

GLSL도, 명령줄도, 빌드 과정도, 코딩도 필요 없어요.

준비물

  • Visibox 5.0 이상
  • Model Context Protocol을 지원하는 AI 어시스턴트, 예를 들면:
    • Claude Desktop 또는 Claude Code(Anthropic)
    • Codex(ChatGPT Plus, Pro, Team, Enterprise에 포함된 OpenAI 데스크톱 앱)
    • Gemini CLI(Google)
    • Cursor, VS Code, Zed, Windsurf, Cline

한 번만 연결하기

AI 어시스턴트가 연결할 수 있도록 Visibox를 실행해 두세요.

그런 다음 설정 → AI 도구에 연결… 메뉴를 여세요(macOS에서는 Visibox 메뉴, Windows에서는 파일 메뉴 아래에 있어요). Visibox가 설치된 AI 도구를 찾아서 각 도구에 자동으로 자신을 설치해요. AI 앱을 다시 시작하면 연결 완료예요.

전체 설정 방법: manual.spaceage.tv/5.0.0/integrations/ai.

Claude에 커넥터로 등록된 Visibox. visibox_get_projects 같은 Visibox 도구가 ’항상 허용’으로 설정되어 있어요

‘커넥터’ 아래에 Visibox가 표시된 Claude Desktop 설정 화면

레시피: 오디오에 반응하는 옵아트 비주얼라이저

옵아트는 기하학적이고 대비가 강한 데다 ISF 셰이더가 정말 잘 표현하는 분야라 시작하기 좋아요. Bridget Riley, Victor Vasarely, 모아레, 동심원 같은 것들이요. 한눈에 들어오는 순수한 흑백으로 시작해서, 프롬프트 3에서 색을 입힐 거예요. ISF는 풀 컬러, 그러데이션, 그 밖에 프래그먼트 셰이더로 그릴 수 있는 건 뭐든 다룰 수 있어요. 프리셋의 모습은 형식의 한계가 아니라 무엇을 요청하느냐에 달려 있어요.

첫 프롬프트를 보내기 전에 Visibox에서 비주얼라이저 편집기를 열어 두세요. AI가 셰이더를 쓰는 동안 코드가 채워지고 라이브 미리 보기가 실시간으로 바뀌는 걸 볼 수 있어요. 이 즉각적인 피드백이 재미의 핵심이에요.

프롬프트 1: 만들기

“Visibox에 연결해서 Bridget Riley의 옵아트에서 영감을 받은 새 ISF 비주얼라이저를 만들어 줘. 검은 배경 위에 대비가 강한 동심원이 베이스에 맞춰 바깥으로 퍼져 나가게. 순수한 흑백으로, 색은 넣지 말고.”

AI는 Visibox의 MCP 서버에 연결해서 비주얼라이저 엔진(ISF)을 고르고, 프래그먼트 셰이더를 생성하고, 오디오 입력을 등록한 다음 프로젝트에 추가해요. 어시스턴트가 열심히 작업하는 동안 몇 분 정도 걸릴 수 있어요.

그러면 비주얼라이저 창(Mac: Visibox > 비주얼라이저… / Windows: 파일 > 비주얼라이저…)의 ‘내 비주얼라이저’ 아래에 새 프리셋이 나타나요. Visibox에는 프리셋을 만들면서 확인해 볼 수 있는 곡이 내장되어 있어요. 미리 보기 위에 겹쳐 있는 ‘재생’ 버튼을 눌러 시작하세요. 열려 있는 프로젝트에 들어 있는 오디오라면 무엇이든 재생할 수도 있어요.

Visibox 비주얼라이저 편집기 창

Visibox 비주얼라이저 편집기 창

프롬프트 2: 다듬기

제 첫 결과물은 오디오에 전혀 반응하지 않았어요. AI에게 그대로(“오디오에 전혀 반응하지 않는 것 같아”) 말했더니 고쳐졌어요. 뭔가 이상하면 보이는 그대로 설명하고 AI가 다시 시도하게 하세요.

“천천히 시계 방향으로 회전하게 해 줘. 고음이 튈 때 동심원이 모아레 물결처럼 일그러지게.”

프롬프트 3: 스타일 바꾸기

“이제 따뜻하게 바꿔 줘. 깊은 검정 위에 호박색 동심원, 가장 안쪽 원 주위에는 은은한 빛을 더해서.”

프롬프트를 보낼 때마다 셰이더가 새로 쓰여요. 편집기가 업데이트되고, 비주얼라이저는 재생 중인 소리에 계속 반응해요. 마음에 들면 라이브러리에 저장하고 곡에 넣으세요. 다음 공연에서 바로 쓸 수 있어요.

더 많은 프롬프트 제안

“이 프리셋을 복제해서 색으로 실험해 보자.”
“좀 더 유기적인 느낌이면 좋겠어. 블러, 거친 질감, 색수차 레이어를 조절할 수 있게 추가해 줘.”
“이 프리셋을 더 흥미롭게 만들려면 또 뭘 해 볼 수 있을까?”

아니면 채팅에 이미지를 첨부하고 이렇게 물어보세요.

“이 이미지에서 영감을 받아 새 Visibox 비주얼라이저를 만들어 보자. 이 이미지를 보고 어떤 걸 제안하겠어?”

ISF가 딱 좋은 이유

ISF는 입력을 선언하는 작은 JSON 헤더가 붙은 프래그먼트 셰이더일 뿐이에요. 오디오도 기본으로 들어 있어요. 파형은 audio, 주파수 스펙트럼은 audioFFT예요. AI 모델은 GLSL을 잘 알고, 오디오 입력은 표준화되어 있고, 셰이더는 그 자체로 완결된 파일 하나예요. 프롬프트로 만들어 내기에 거의 이상적인 대상이죠. MilkDrop도 쓸 수 있지만, 좀 더 여러 번 다듬어야 해요.

다음엔 이걸 해 보세요

셋업은 그대로, 프롬프트만 바꾸면 돼요. 시작하기 좋은 다섯 가지예요.

  • 비트에 맞춰 꽃처럼 피어나는 만화경 만다라
  • 베이스가 칠 때마다 색수차가 생기는 레트로 CRT 주사선
  • 화면을 가로지르며 잔상을 남기는 오디오 반응형 리사주 곡선
  • 트랜지언트 피크마다 잘게 쪼개지는 기하학적 테셀레이션
  • 중음에 맞춰 모양이 바뀌는 라바 램프 방울 필드

구체적일수록 좋아요. “느리고, 최면적이고, 대부분 어둡고, 포인트 색은 하나”라고 하면 “빠르고, 글리치하고, 네온에, 완전 혼돈”과는 전혀 다른 셰이더가 나와요. 기하학적 모양만 말하지 말고, 원하는 분위기를 AI에게 알려 주세요.

핵심은

대부분의 VJ 소프트웨어는 프리셋 라이브러리에서 고르라고 해요. Visibox에서는 영상을 설명하면 그 자리에서, 편집기 안에서, 눈앞에서 만들어져요. 이미 결제하고 있는 AI 구독과 한 번의 설정만 있으면, 비주얼라이저 라이브러리는 남의 아이디어 목록이 아니라 내 아이디어 목록이 돼요.

설정 → AI 도구에 연결… 메뉴에서 한 번만 연결하고, 보고 싶은 걸 요청하세요.


비주얼라이저 말고도 더 많은 걸 다루고 싶나요? 같은 연결로 AI가 효과를 만들고, 곡을 정리하고, 클립을 바꾸고, 평소 말로 공연을 운영할 수 있어요. 전체 내용은 Visibox 매뉴얼의 AI 어시스턴트 항목에서 확인하세요.