Coral NPU、32ビット設計とコンパイラを公開

Coral NPUはエッジ向け技術スタックを公開

Google の 10 月 20 日の開発者投稿では、オープン 32 ビット Coral NPU アーキテクチャ、v1.0 コンパイラ基盤、およびパートナー ハードウェアについて説明しています。元の日付が重要です。これは、10 月 25 日号に掲載される 10 月 20 日の技術発表であり、新たな日曜日の発売ではありません。 Googleによれば、最大1 TOPSまで構成可能で平均推論電力約10mWを目標とするマトリックス実行ユニットなど、アーキテクチャのマイルストーン1から4が現在利用可能になっているという。これらの数値は、構成と設計目標を示すものであり、すべてのボードまたはワークロードについて個別に検証されたベンチマークではありません。完全な 32 ビット RTL はプロジェクト リポジトリからリンクされているため、図だけよりも実装を検査しやすくなっています。

オープン設計に依然としてコンパイラが必要な理由

アクセラレータ命令セットは、使用可能なエッジ推論の 1 つの部分にすぎません。開発者は、JAX、PyTorch、または TensorFlow のモデルから開始し、次にエクスポート パス、サポートされている演算子、CPU と NPU 間のパーティショニング、メモリ レイアウト、量子化、および再現可能なパフォーマンス測定が必要になります。 Google は、IREE と MLIR に基づいて構築された Coral Compiler v1.0 をソフトウェア ブリッジとして提供します。それによると、スタックはStableHLOやTOSAなどの標準表現を受け入れ、演算を融合し、ローカルメモリの行列をタイル化し、ターゲットをシミュレートできるという。コンパイラ リポジトリは、利用可能なコードの主要なソースです。コンパイルが成功しても、特定のセンサー製品の数値精度やエネルギー効率が証明されるわけではありません。これらにはボードと測定セットアップが必要です。

このアーキテクチャは、C でプログラム可能な RISC-V スカラーフロントエンド、RVV 1.0 ベクトルユニット、新しい行列演算ユニットを組み合わせています。行列ユニットは、RISC-V VME の方向性に沿った専用の外積積和演算エンジンを使います。制御フローや前処理は大規模な行列乗算とは性質が異なり、注意機構や画像処理の層には行列演算が多くあります。ソフトウェアスタックは処理を適切なユニットに割り当てます。効果はセンサー入力、CPU へのフォールバック、メモリ転送を含むアプリケーション全体で測る必要があります。未対応の演算によってプロセッサ間のデータ転送が繰り返されれば、ピーク性能が高くてもアプリケーションの遅延は悪化し得ます。

アーキテクチャ目標と製品仕様を分けて読む

同じ投稿では、400 GOPS の Synaptics Astra SR200 マイクロコントローラー チップを特定し、Coralboard SR 開発キットを紹介しています。また、1 TOPS ボードとして説明されている Coralboard SL は、以前のプレビューの後、DigiKey を通じて一般提供に達したとも述べています。これらは互換性のある測定値ではありません。1 つは第 2 世代のマイクロコントローラー シリーズを表し、もう 1 つはボードを表し、構成可能なアーキテクチャのターゲットは別の記述になります。この記事では、ベンダーが発表した内容を報告しています。各地域での消費電力、価格、可用性は測定されていません。製品を評価するチームは、モデルを選択する前に、正確なシリコン リビジョン、メモリ容量、サポートされているコンパイラ ビルド、および実際の購入状況を確認する必要があります。

オープンRTLが下げる障壁と残る統合作業

RTL とコンパイラを公開すると、シリコン チームとツールチェーン チームに検査と実験のための具体的な基盤が与えられます。完成したチップの製造費用が不要になるわけではなく、既存のモデルのすべての演算子がサポートされることも保証しません。ハードウェア インテグレータには、検証、タイミング クロージャ、ソフトウェア ドライバ、および安全性に関する認定が依然として必要です。アプリケーション開発者は、圧縮または演算子の置き換え後もエッジ展開が正確であるかどうかを確認するためのデータが必要です。この投稿の商用例は、アーキテクチャから製品への道筋を示していますが、これらは一般的な業界での採用数ではなく、ベンダーが提供する例です。

情報筋によると、次のロードマップ段階には64ビットアーキテクチャとCHERIのサポートが含まれるという。これらは計画であり、32 ビット リリースの機能ではありません。現在 32 ビットが必要なプロジェクトは、将来のブランチを計画するのではなく、リリースされた RTL とコンパイラを確認する必要があります。セキュリティに敏感なデバイスは、メモリの安全性に対する取り組みと、今日のハードウェアおよびファームウェアの分離特性を区別する必要もあります。同じ注意が 10 mW の目標にも当てはまります。平均推論電力の目標は、デバイスのバッテリ寿命全体ではありません。無線、センサー、CPU、スタンバイ電力は、常時オンの製品を支配する可能性があります。

再現可能なエッジ評価

コンパクトなモデルを選択し、トライアルで使用した正確なグラフ、入力形状、数値公差、評価データを公開します。まず Coral コンパイラとシミュレータを実行して、サポートされていないオペレータと CPU フォールバックを特定し、次に、安定したクロック、電源機器、および周囲条件を使用して、名前付きボード上の同じモデルを測定します。エンドツーエンドのレイテンシ、スループット、モデルの品質、メモリ使用量、推論ごとの総システム エネルギーを記録します。同じワークロードを使用する CPU のみのベースラインまたは別のアクセラレータ ベースラインと比較します。モデルでレイヤーの書き換えが必要な場合は、その書き換えを結果の一部として報告します。この提案されたプロトコルでは、オープン ツールに関する主張を、測定された製品のパフォーマンスとは切り離して保持しています。

重要な開発は、具体的なパートナー ハードウェアとともに、エンジニアが検査して適応できるアーキテクチャとコンパイラ アーティファクトが利用できるようになった点です。 Google は主要なコード リンクと製品クレームを提供していますが、ソースはすべてのエッジ ユース ケースに対する独立したクロスデバイス ベンチマークを提供しているわけではありません。ロボット工学、ウェアラブル、およびローカル推論の読者にとって有益な次のステップは、1 つの TOPS または 1 つのパワー数値を推定するのではなく、独自のモデルをテストすることです。 10 月 25 日の発行日は編集上の日付です。アップストリームの発表とその中で引用されている Synaptics イベントの日付は 10 月 20 日です。