Ahead-of-TimeコンパイラがエッジAIの推論レイテンシを削減

Ambiqは、トレーニング済みの機械学習モデルを高度に最適化されたCコードに変換する事前（AOT）AIコンパイラであるheliaAOT 1.0をリリースしました。このソリューションは、オンデバイスの推論レイテンシとエネルギー需要を最小限に抑えることで、ヘルスモニタリング、ビジョン、およびオーディオ処理における超低消費電力のエッジAIコンピューティングアプリケーションをターゲットとしています。

推論レイテンシとメモリ制約の最適化
このコンパイラは、デプロイ前にトレーニング済みのニューラルネットワークモデルを最適化されたCコードに変換することで、エッジAIコンピューティングの計算上の制限に対処します。Apollo510アーキテクチャで実行されたベンチマーク評価では、このコンパイラはLiteRT Microと比較して、推論レイテンシを最大76%削減し、推論あたりのエネルギー消費を最大72%削減しました。AmbiqのAI責任者であるAdam Page氏によると、「heliaAOT 1.0を活用することで、電力とメモリの制約を超えることなく、Apolloシリコンのパフォーマンスを最大化し、より幅広いモデルを展開し、製品間で開発された結果を再利用できます」とのことです。

アーキテクチャの互換性とモデルサポートの拡張
1.0リリースではより広範なアーキテクチャの互換性が導入され、整数量子化を必要とせずにFP16およびFP32モデルの両方をサポートします。ベンチマークテスト中、このコンパイラはLiteRT Micro FP32と比較して約4倍のFP32推論速度を達成しました。カスタム演算子に加えて65の標準演算子をサポートし、多様なモデルの展開を可能にします。

連続データ環境向けに、システムはストリーミングLSTM、GRU、およびSVDFフォーマットをサポートしています。これらは、音声、生体信号、およびセンサーストリームを継続的に処理するために不可欠です。さらに、LiteRT Microと比較してファームウェアのイメージサイズの中央値が29%から56%縮小され、追加のアプリケーションロジック用の重要なストレージとRAMが解放されます。開発者は、コンパイラ構成の1行を調整するだけで、15種類の異なるApollo SoC間でこれらのモデルをリターゲットできます。

ワークロードのベンチマークとエコシステムの統合
Apollo510とLiteRT Microの比較ベンチマークでは、複数のAIワークロード全体で大幅な改善が示されました。心電図、光電容積脈波、睡眠データを含むヘルスモニタリングアプリケーションでは、レイテンシが76%、ファームウェアサイズが56%削減されました。ビジョン処理のレイテンシは61%減少し、オーディオ処理のエネルギー消費は45%減少しました。さらに、ML Perf Tinyリファレンスモデルを使用した評価では、36%のレイテンシ削減と37%のファームウェアサイズの縮小が記録されました。

開発者エコシステムにはheliaPROFILERツールが含まれており、エンジニアは独自のモデルやハードウェアでパフォーマンス指標を直接測定できます。過去12か月間で、17回の構造的アップデートにより、互換性が8デバイスから15デバイスに拡張されました。このコンパイルツールは、以前Embedded World 2026で「Best Tools」に選出されています。

追加のコンテキスト
このセクションでは、元のニュースリリースには含まれていない技術仕様と競合ベンチマークについて詳しく説明します。

TinyMLおよびエッジAIコンピューティングのより広い状況において、heliaAOTなどの事前（AOT）コンパイラは、Apache TVM（microTVM）、PyTorch Glow AOT、STM32Cube.AIなどのフレームワークと競合します。従来の展開では、実行時にニューラルネットワーク操作を動的に実行するマイクロコントローラ向けの標準的なTensorFlow Lite（LiteRT Micro）などのインタープリタベースのランタイムに依存することがよくあります。AOTコンパイラは、展開前にネットワークグラフをネイティブC/C++またはマシンコードに直接事前コンパイルすることで、このインタープリタのオーバーヘッドを回避します。業界全体のベンチマークによると、AOTアプローチは通常、より高速な推論速度とより小さなメモリフットプリントをもたらし、未使用の演算子ライブラリを保存する必要をなくすことでバイナリサイズを縮小することがよくあります。heliaAOTはAmbiqのApolloアーキテクチャに特化していますが、GlowやmicroTVMなどの汎用AOTコンパイラは、LLVMバックエンドを活用して特定のハードウェアターゲットの中間表現を最適化することにより、より広範なCortex-Mおよび特殊なDSPターゲット全体で同様のレイテンシとメモリフットプリントの利点を提供します。

Aishwarya Mambet（Induportals編集者）、AIの支援により編集。

www.ambiq.com