Ollama 0.40.11, 로컬 음성과 d3 의사결정 모델 소개

10월 24일 Ollama 릴리스의 주요 내용

Ollama는 10월 24일에 v0.40.11을 발표했습니다. 릴리스 노트에서는 macOS의 로컬 음성 생성과 d3 의사 결정 모델 제품군에 대한 액세스라는 두 가지 실용적인 기능을 강조합니다. 이는 기존 오픈 소스 런타임의 릴리스이며 모든 새로운 모델 경로가 모든 운영 체제에서 작동한다는 증거는 아닙니다. 음성 가이드 자체에는 Ollama v0.40.9 이상을 실행하라고 나와 있으므로 v0.40.11 노트는 음성이 이 정확한 패치에 처음 등장했다는 증거라기보다는 현재 릴리스의 스포트라이트로 읽어야 합니다. Ollama의 예제는 텍스트 음성 변환을 위해 Phonon 모델을 사용하고 애플리케이션을 위한 OpenAI 호환 오디오 엔드포인트를 노출합니다.

음성에는 스트리밍 경로와 제한된 입력이 있습니다.

공식 가이드에서는 생성된 사운드가 전체 텍스트를 말하기 전에 재생을 시작할 수 있다고 말합니다. 터미널에서 `ollama run phonon`은 리터럴 프롬프트, 표준 입력 또는 채팅 모델의 답변을 읽을 수 있습니다. 출력이 리디렉션되면 이 명령은 스피커를 통해 재생되지 않고 WAV 파일을 작성합니다. 동일한 서버는 `/v1/audio/speech`를 노출합니다. 애플리케이션은 WAV 또는 원시 PCM을 요청하고 스트림을 점진적으로 사용할 수 있습니다. 두 형식 모두 24kHz의 모노, 16비트 오디오로 문서화되어 있습니다. WAV 헤더의 크기 필드는 헤더가 전송될 때 스트림 길이를 알 수 없으므로 최대값을 사용합니다. 이러한 세부 사항은 재생 또는 저장 전에 일반적인 최종 길이를 가정하는 클라이언트에게 중요합니다.

요청 제한은 4,096자 입력 문자입니다. Ollama는 명령줄 경로가 단락과 문장 경계에서 더 긴 텍스트를 분할하는 반면 API 클라이언트는 요청별 경계를 중심으로 계획을 세워야 한다고 말합니다. 지원되지 않는 속도, 형식 또는 지침 옵션은 HTTP 400을 반환하며 알 수 없는 음성은 사용 가능한 음성 목록과 함께 거부됩니다. 음성 모델은 일반 모델 엔드포인트를 통한 채팅 또는 포함 요청에 응답하지 않습니다. OpenAI 호환 URL이 원격 음성 서비스의 모든 옵션이 구현되었음을 의미하는 것은 아니기 때문에 이러한 실패 동작은 통합 테스트에 포함되어야 합니다. Phonon은 Gradium 31M 영어 체크포인트와 영어 음성을 사용합니다. 가이드는 광범위한 다국어 음성 품질을 주장하지 않습니다.

d3의 용도

릴리스 노트에서는 vLLM Semantic Router의 결정 모델에서 파생된 제품군인 d3도 언급하고 있습니다. 2B, 4B, 9B 및 27B 크기가 나열되어 있습니다. 광고된 작업은 개방형 대화가 아닙니다. 텍스트, 구조화된 상태 또는 이미지를 가져와 점수가 매겨진 선택, 예/아니오 판단 또는 평가를 반환하는 것입니다. 모델 라이브러리는 상태와 이름이 지정된 질문을 전달하는 'systemone' 요청을 보여주며 해당 예시에는 명시적인 참 및 거짓 기준이 포함되어 있습니다. 이를 통해 라우팅 규칙, 검토 분류 또는 분류 결정을 구조화된 응답으로 전환할 수 있습니다. 기존 분류기와 마찬가지로 명확한 루브릭과 평가 데이터가 필요합니다.

점수는 실제 작업흐름에 대한 보정이 필요합니다

팀이 d3에게 고객 메시지가 청구와 관련된 것인지 묻는 경우 출력은 티켓을 발송하는 데 유용할 수 있습니다. 이는 비즈니스 피해, 사기 또는 고객 의도의 가능성을 자동으로 보정한 것이 아닙니다. 릴리스 노트는 도메인별 보정 연구가 아닌 모델 크기 및 기능 예제를 제공합니다. 프로덕션 파일럿은 대표 보유 샘플에 라벨을 지정하고 d3를 간단한 규칙 기준과 비교하고 결정 임계값의 정밀도, 재현율, 대기 시간 및 비용을 기록해야 합니다. 의도가 혼합되어 있거나 맥락이 누락된 사례에는 별도의 오류 분석이 필요합니다. 이미지가 제공되면 이미지 품질과 개인 정보 보호 의무를 테스트합니다. 이미지 입력을 수락한다고 해서 특정 조직의 데이터 권리가 확인되는 것은 아닙니다.

실질적인 매력은 로컬 제어입니다. 모든 예 또는 아니요 질문에 대해 일반 채팅 모델을 호출하는 대신 소규모 의사 결정 모델을 애플리케이션 근처에 배포할 수 있습니다. 더 빠르거나 저렴한지 여부는 하드웨어, 배치 크기 및 런타임 실행을 유지하는 데 필요한 작업에 따라 다릅니다. Ollama의 라이브러리에는 다양한 크기가 나열되어 있으므로 모델 크기를 변경하는 동안 공정한 비교를 통해 입력 세트와 루브릭이 일정하게 유지됩니다. d3 체크포인트가 크면 작업이 향상될 수 있지만 메모리와 대기 시간도 늘어납니다. 릴리스 페이지만으로는 모든 사용 사례에 대한 보편적인 승자를 게시하지 않습니다.

구현자가 확인해야 할 사항

음성의 경우 짧은 영어 구절로 시작하여 예상 모델을 가져왔는지, 선택한 음성이 존재하는지, 생성이 끝나기 전에 오디오가 시작되는지, 대상 플레이어와 함께 저장된 출력이 디코딩되는지 확인합니다. 그런 다음 긴 단락, 숫자 가격 및 지원되지 않는 매개변수를 테스트합니다. 가이드에서는 텍스트 정규화를 통해 가격, 숫자, URL이 표시되고 날짜는 작성된 대로 읽힌다고 설명합니다. 이는 애플리케이션이 표시하는 것과 비교하여 청취자가 듣는 것을 변경할 수 있으므로 접근성 또는 규제된 메시징에는 사람의 검토가 필요합니다. 특히 서버가 원격이고 스피커가 클라이언트 시스템에 속하는 경우 터미널 재생과 별도로 애플리케이션 경로를 테스트합니다.

결정을 내리려면 모델에 질문하기 전에 레이블을 정의하고 평가에 사용되는 정확한 프롬프트, 기준 및 모델 태그를 저장하세요. 모든 점수를 되돌릴 수 없는 작업에 대한 허가로 해석하는 대신 사람이 검토할 수 있도록 모호한 사례를 유지하세요. 두 가지 기능은 에이전트 시스템의 서로 다른 부분을 차지합니다. 음성은 출력 채널이고 d3는 좁은 결정 구성 요소입니다. 둘 다 로컬 워크플로에 유용할 수 있지만 v0.40.11 릴리스 노트는 테스트를 위한 시작점일 뿐 관찰된 안정성을 대체할 수는 없습니다. 이 기사는 10월 25일호에 실렸습니다. 버전의 GitHub 릴리스 타임스탬프는 10월 24일 UTC이며 음성 문서에는 더 광범위한 버전 요구 사항이 있습니다.