Coral NPU, 32비트 설계와 컴파일러 공개

Coral NPU는 더 많은 에지 스택을 게시합니다.

Google의 10월 20일 개발자 게시물에서는 개방형 32비트 Coral NPU 아키텍처, v1.0 컴파일러 기반 및 파트너 하드웨어에 대해 설명합니다. 원래 날짜가 중요합니다. 이것은 새로운 일요일 출시가 아니라 10월 25일자 발행분에 선정된 10월 20일 기술 발표입니다. Google은 최대 1 TOPS로 구성할 수 있고 약 10mW 평균 추론 전력을 목표로 하는 매트릭스 실행 장치를 포함하여 아키텍처의 1~4개 마일스톤을 현재 사용할 수 있다고 밝혔습니다. 이러한 수치는 모든 보드 또는 워크로드에 대해 독립적으로 검증된 벤치마크가 아닌 구성 및 설계 목표를 설명합니다. 완전한 32비트 RTL은 프로젝트 저장소에서 연결되므로 다이어그램만 보는 것보다 구현을 더 쉽게 검사할 수 있습니다.

개방형 디자인에 여전히 컴파일러가 필요한 이유

가속기 명령어 세트는 사용 가능한 에지 추론의 한 부분일 뿐입니다. 개발자는 JAX, PyTorch 또는 TensorFlow의 모델로 시작한 다음 내보내기 경로, 지원되는 연산자, CPU와 NPU 간 분할, 메모리 레이아웃, 양자화 및 반복 가능한 성능 측정이 필요합니다. Google은 IREE와 MLIR을 기반으로 구축된 Coral Compiler v1.0을 소프트웨어 브리지로 제시합니다. 스택은 StableHLO 및 TOSA를 포함한 표준 표현, 퓨즈 작업, 로컬 메모리에 대한 타일 매트릭스를 허용하고 대상을 시뮬레이션할 수 있다고 말합니다. 컴파일러 저장소는 사용 가능한 코드의 기본 소스입니다. 컴파일에 성공해도 특정 센서 제품의 수치 정확도나 에너지 효율이 입증되는 것은 아닙니다. 이를 확인하려면 실제 보드와 측정 환경이 필요합니다.

이 아키텍처는 C 프로그래밍 가능 RISC-V 스칼라 프런트 엔드, RVV 1.0 벡터 장치 및 새로운 매트릭스 장치를 결합합니다. 매트릭스 장치는 RISC-V VME 방향과 관련된 전용 외부 곱 곱셈 누적 엔진을 사용합니다. 이러한 작업 분할은 일반적인 에지 모델을 반영합니다. 제어 흐름과 전처리는 큰 행렬 곱셈처럼 보이지 않는 반면 주의 및 비전 계층은 종종 그렇게 보입니다. 공동 설계된 소프트웨어 스택은 각 작업이 속하는 위치를 결정할 수 있습니다. 효과는 센서 입력, CPU 폴백, 메모리 전송을 포함한 애플리케이션 전체에서 측정해야 합니다. 지원되지 않는 연산 때문에 프로세서 사이에 데이터가 반복 전송되면, 최대 TOPS 수치가 높아도 애플리케이션 지연 시간은 길어질 수 있습니다.

하드웨어 성능 수치는 서로 다른 제품에 해당합니다

동일한 게시물에서는 400 GOPS의 Synaptics Astra SR200 마이크로 컨트롤러 칩을 식별하고 Coralboard SR 개발 키트를 소개합니다. 또한 1 TOPS 보드로 설명되는 Coralboard SL은 이전 미리 보기 이후 DigiKey를 통해 일반 공급에 도달했다고 합니다. 이는 상호 교환 가능한 측정이 아닙니다. 하나는 2세대 마이크로 컨트롤러 시리즈를 설명하고 다른 하나는 보드를 설명하며 구성 가능한 아키텍처 대상은 별도의 설명입니다. 기사에서는 공급업체가 발표한 내용을 보고합니다. 각 지역의 전력 소모, 가격 또는 가용성을 측정하지 않았습니다. 제품을 평가하는 팀은 모델을 선택하기 전에 정확한 실리콘 개정, 메모리 용량, 지원되는 컴파일러 빌드 및 실제 구매 상태를 확인해야 합니다.

개방형 RTL은 하나의 장벽을 낮추고 다른 장벽을 노출시킬 수 있습니다.

RTL과 컴파일러를 게시하면 실리콘 및 툴체인 팀에 검사 및 실험을 위한 구체적인 기반이 제공됩니다. 완성된 칩의 제조 비용이 없어지는 것은 아니며 기존 모델의 모든 연산자가 지원된다는 것을 보장하지도 않습니다. 하드웨어 통합업체에는 여전히 검증, 타이밍 종료, 소프트웨어 드라이버 및 안전 자격이 필요합니다. 애플리케이션 개발자는 압축 또는 연산자 대체 후에도 에지 배포가 정확한지 확인하기 위해 데이터가 필요합니다. 게시물의 상업 사례는 아키텍처에서 제품까지의 경로를 보여주지만 일반적인 업계 채택 횟수가 아니라 공급업체에서 제공한 사례입니다.

소식통에 따르면 다음 로드맵 단계에는 64비트 아키텍처와 CHERI 지원이 포함됩니다. 이는 계획일 뿐 32비트 릴리스의 기능은 아닙니다. 현재 32비트가 필요한 프로젝트는 향후 분기에 대한 계획을 세우기보다는 출시된 RTL 및 컴파일러를 검토해야 합니다. 또한 보안에 민감한 장치는 메모리 안전 야망과 오늘날의 하드웨어 및 펌웨어의 격리 속성을 구별해야 합니다. 10mW 목표에도 동일한 주의가 적용됩니다. 평균 추론 전력 목표는 전체 장치 배터리 수명이 아닙니다. 라디오, 센서, CPU, 대기전력 등이 상시 켜져 있는 제품을 지배할 수 있다.

재현 가능한 에지 평가

소형 모델을 선택하고 시험에 사용된 정확한 그래프, 입력 형태, 수치 허용오차 및 평가 데이터를 게시합니다. 먼저 Coral 컴파일러와 시뮬레이터를 실행하여 지원되지 않는 연산자와 CPU 폴백을 식별한 다음 안정적인 클록, 전력 계측기 및 주변 조건을 사용하여 명명된 보드에서 동일한 모델을 측정합니다. 추론당 엔드투엔드 대기 시간, 처리량, 모델 품질, 메모리 사용 및 총 시스템 에너지를 기록합니다. 동일한 워크로드를 사용하는 CPU 전용 또는 다른 가속기 기준과 비교합니다. 모델에 재작성된 레이어가 필요한 경우 결과의 일부로 재작성을 보고합니다. 제안된 이 프로토콜은 측정된 제품 성능과 별도로 개방형 툴링에 대한 주장을 유지합니다.

중요한 발전은 엔지니어가 구체적인 파트너 하드웨어와 함께 검사하고 조정할 수 있는 아키텍처 및 컴파일러 아티팩트의 가용성입니다. Google은 기본 코드 링크와 제품 설명을 제공했지만 소스는 모든 엣지 사용 사례에 대해 독립적인 교차 기기 벤치마크를 제공하지 않습니다. 로봇 공학, 웨어러블 및 로컬 추론 분야의 독자에게 유용한 다음 단계는 하나의 TOPS 또는 하나의 전력 수치를 추정하는 대신 자체 모델을 테스트하는 것입니다. 10월 25일 발행일은 사설입니다. 업스트림 발표와 여기에 인용된 Synaptics 이벤트의 날짜는 10월 20일입니다.