エッジAIワークロード向けのオープンソース・プロファイラ

Ambiq Micro, Inc.は、組み込みハードウェア上で直接人工知能モデルの実行を評価するように設計されたオープンソースのソフトウェアツール「heliaPROFILER」をリリースしました。この技術は、常時稼働のエッジデバイス向けの機械学習ワークロードの評価と最適化に対応し、モデル開発から物理的なシリコンの展開への移行を合理化します。

エッジAIエコシステム内におけるアーキテクチャの統合
組み込みハードウェア上でのニューラルネットワークの評価には、従来、手動による分析と断片化されたツールチェーンが必要であり、モデルの正確なリソース要件が不明瞭になる可能性がありました。heliaPROFILERユーティリティは、これらの診断手順を、統合されたコマンド構造を介して実行される単一の自動化されたワークフローに統合します。このソフトウェアは、Ambiq Apolloシステム・オン・チップ（SoC）アーキテクチャと直接インターフェースをとることで、コンピュートサイクル、メモリ割り当て、オプションのリアルタイム消費電力などのサイクルレベルのテレメトリデータを、AIモデルの特定の構造レイヤーに直接マッピングします。

このレイヤーレベルの解像度により、厳しい電力およびメモリ制限の制約を受けるエッジマイクロコントローラ上で複雑な推論タスクを実行する際に発生する計算上のボトルネックを特定できます。理論的な推定ではなく、物理的なハードウェアの読み取り値を利用することで、開発者は、特定のモデルレイヤーがSoCの物理メモリ階層とどのように相互作用するかについての正確なメトリクスを得ることができます。

ランタイム分析とモデルの視覚化
このツールは、異なるランタイム環境間での直接的なパフォーマンスのベンチマーキングを可能にし、具体的にはheliaRTとheliaAOTの実行エンジンを比較します。この比較メカニズムにより、組み込みシステムエンジニアは、事前コンパイル（AOT）されたモデルと、製品版シリコン上での標準的なランタイム実行との間の物理的なトレードオフを定量化することができます。

AmbiqのAI責任者であるAdam Page博士は、AIの最適化を製品版ハードウェアに直接リンクさせることで、シリコンの物理的なエネルギー効率を最大化するために必要な実用的なデータを開発者に提供できると指摘しています。データの解釈を容易にするため、プロファイラはGoogleのModel Explorerとの互換性を持つようにフォーマットされた視覚的なパフォーマンスレポートを生成し、ハードウェアのテレメトリを既存の機械学習ワークフローにシームレスに統合します。

オープンソースの配布とプラットフォームのサポート
既存のHELIAソフトウェアスタック（heliaCORE、heliaRT、およびheliaAOTを含む）の拡張機能として、このプロファイラは、モデルの構築と展開の間の継続的なリンクとして機能します。このツールはオープンソースのPythonパッケージとして配布され、現在アルファビルドがPyPIおよびGitHub経由でアクセス可能です。初期リリースはApollo SoCプラットフォームに限定されていますが、バージョン1.0のリリースでは外部ハードウェア環境へのアーキテクチャサポートが予定されています。

追加のコンテキスト
このセクションでは、元のニュースリリースには含まれていない技術仕様と競合ベンチマーキングについて詳しく説明します。

組み込みAIエコシステム内で、heliaPROFILERのようなツールは、ARMのEthos-UツールチェーンやSTMicroelectronicsのSTM32Cube.AIと同様のユーティリティ領域で機能します。組み込みAIプロファイラのベンチマーキングは、通常、サイクル精度、メモリフットプリントの推定、および電力プロファイリングの統合に焦点を当てています。STM32Cube.AIが実行前にRAMおよびFlashの利用状況の静的分析を提供するのに対し、Ambiqのアプローチは、そのサブスレッショルド電力アーキテクチャに特化した、オンデバイスでのハードウェア・イン・ザ・ループの電力およびサイクル測定を強調しています。このハードウェア固有のプロファイリングは、動的なメモリ割り当てや実際のプロセッサ状態により、理論的なモデル推定が実際のシリコンのパフォーマンスと乖離することが多い常時稼働アプリケーションにおいて極めて重要です。

Aishwarya Mambet（Induportals編集者）、AIの支援により編集。

www.ambiq.com