VoiceStudio: 완전 로컬 오픈소스 ElevenLabs 대안

배경

음성 합성과 음성 복제는 최근 몇 년간 클라우드 서비스가 주도해 왔습니다. ElevenLabs 같은 상용 제품은 완성도가 높지만, 텍스트와 참조 녹음, 영상을 원격 서버로 보내야 하고 사용량만큼 요금도 냅니다. 개인정보 노출과 운영 비용 때문에 망설이는 크리에이터와 소규모 팀이 적지 않습니다. VoiceStudio는 바로 이 틈을 겨냥합니다. 오픈소스이면서 완전히 로컬에서 실행되는 ElevenLabs 대안을 표방하며, 음성 복제, 음성 디자인, 영상 더빙, 받아쓰기, 전사, 오디오북 제작을 하나의 데스크톱 앱에 모았습니다.

프로젝트는 GitHub에서 Python을 주 언어로 공개되어 있고 66375개의 별을 받았습니다. local-first, CUDA, MLX, Hugging Face 같은 주제 태그는 로컬 우선 소프트웨어와 오픈 모델 생태계의 접점에 서 있음을 보여 줍니다. 가장 눈에 띄는 수치는 공식 설명의 646개 언어입니다. 로컬 작업은 사용자의 하드웨어에서 돌아가고 원격 서비스는 선택 사항이며, 사용 통계도 동의해야만 켜집니다.

심층 분석

VoiceStudio는 단일 기능 도구가 아니라 소리를 중심으로 한 작업 공간입니다. 기본 엔진은 k2-fsa/OmniVoice이고 다른 엔진으로 바꿀 수 있으며, 지원 목록은 프로젝트의 기능 및 엔진 문서에 정리되어 있습니다. 음성 복제는 기존 음성을 고르거나 깨끗한 참조 녹음을 추가한 뒤 텍스트를 입력하면 끝납니다. 음성 디자인은 녹음 없이 새 목소리를 직접 정의하게 해 줍니다. 영상 더빙은 시간축에 맞춘 음성을 강조하는데, 번역문을 그냥 읽는 데 그치지 않고 원본 영상의 리듬에 맞춰 문장을 생성한다는 뜻입니다.

여기에 플로팅 위젯 형태의 받아쓰기, 전사, 이야기와 오디오북 제작, 일괄 작업이 더해집니다. 데모 페이지만 내놓는 여러 오픈소스 모델과 달리 로컬 API와 MCP를 제공해 AI 에이전트가 직접 호출할 수 있고, 재사용 가능한 레시피와 감시 폴더로 반복 작업을 자동화합니다. 하드웨어 면에서는 NVIDIA GPU는 CUDA, Apple Silicon은 Metal(MPS) 가속을 쓰며, 외장 GPU가 없어도 CPU로 실행할 수 있습니다. 다만 속도는 느려지고, 이 경우 설치 프로그램이 용량이 작은 CPU용 PyTorch를 설치하며 여유 디스크 약 5GB가 필요합니다.

설치 경로도 매끄럽습니다. macOS와 Linux에서는 curl 명령 한 줄로 최신 Electron 배포판을 설치하고, 버전 지정이나 main 브랜치 빌드, 삭제 시 데이터 보존도 가능합니다. Windows는 PowerShell 명령을 쓰고, 설정과 프로젝트와 모델은 설치 과정에서 유지됩니다. Releases에서 dmg, exe, AppImage, deb 파일을 받을 수도 있고 Docker 안내서도 있습니다. README에는 Claude Code, Codex, Cursor 같은 코딩 에이전트에 붙여 넣을 설치 프롬프트가 있어서, 에이전트가 하드웨어를 확인하고 기존 데이터를 재사용하며 모델을 내려받기 전에 먼저 묻고 시험 생성까지 수행합니다.

산업 영향

여러 서비스에 흩어져 있던 음성 기능을 로컬에서 쓰는 하나의 작업대로 모은 점이 핵심입니다. 처음부터 에이전트를 사용자로 상정해 로컬 API, MCP, 설치 프롬프트로 자동화 진입 장벽을 낮췄습니다. 엔지니어링 팀은 영상 소스가 외부로 나갈 걱정 없이 더빙과 전사를 사내 파이프라인에 넣을 수 있습니다. 숏폼 영상의 다국어 더빙, 긴 원고의 오디오북 변환, 키보드 대신 받아쓰기 위젯 사용, API를 통한 대량 음성 생성이 대표적인 사용처입니다.

냉정하게 볼 부분도 있습니다. 646개 언어는 프로젝트 측의 주장이며, 언어별 실제 음질과 엔진별 하드웨어 요구량은 크게 다를 수 있으므로 본인의 자료로 먼저 시험해 보는 편이 좋습니다. 음성 복제는 오용 위험이 있고, 로컬 실행이 동의와 규정 준수의 책임까지 대신해 주지는 않습니다. 다른 사람의 목소리는 허락을 받은 뒤에 써야 합니다. 플랫폼 지원에도 빈틈이 있어, Windows on ARM은 아직 실험 단계이고 Intel Mac은 앱 화면만 실행하며 원격 백엔드에 연결해야 합니다.

전망

README에 따르면 예전 Tauri 빌드는 보관 처리되었습니다. 기술 노선을 한 번 옮겼다는 뜻이므로, 이후 버전의 안정성과 배포 속도는 계속 지켜볼 대목입니다.

앞으로 볼 질문은 세 가지입니다. 기본 엔진인 OmniVoice 밖으로 모델 목록이 어떻게 넓어지는지, 감시 폴더와 레시피가 성숙한 자동화 생태계로 자랄 수 있는지, Apple Silicon과 CUDA와 CPU 환경 사이의 체감 격차가 줄어드는지입니다. 특히 CPU 사용자는 지금 느린 생성 속도를 감수해야 하므로, 이 부분이 개선되면 사용층이 넓어질 것입니다.

전체적으로 방향이 분명하고 완성도도 낮지 않은 로컬 음성 프로젝트입니다. 클라우드 구독에서 벗어나고 싶은 사람에게 어울리지만, 자신이 쓰는 언어에서 음질을 직접 확인하고 음성 복제 때 동의를 지키는 것이 전제입니다.