75 GB/sのディスクへのデータ収録
ADQ35とlibadsを活用した低コストソリューション
www.spdevices.com
Teledyne SP DevicesのADQ3シリーズ・デジタイザーは、高いデータスループットと、アプリケーション開発を容易にするSDKを特長としています。本記事では、6チャンネルで50秒以上にわたり75 GB/sの書き込みスループットを維持し、合計4 TBのデータを収録できるディスクストリーミングシステムを紹介します。本システムはDPS7-PCIeプラットフォームに6台のADQ35デジタイザーを搭載し、各デジタイザーが10 GSPS（1チャンネル当たり12.5 GB/s）でデータを収録します。この種のシステムは、衛星監視やLiDARなどの用途で利用されています。
低コストのコンシューマー向けNVMeドライブをシングルレベルセル（SLC）モードに設定することで、ドライブ1台当たり12.5 GB/sを超えるスループットを実現します。これにTeledyne SP Devicesのディスクストリーミングライブラリー「libads」を組み合わせることで、ファイルシステムを介さず、CPUの負荷を軽減したコスト効率の高いソリューションを構築できます。低コスト構成の場合、より高価なエンタープライズ向けソリューションと比較して、コストをわずか5～10％に抑えることも可能です。エンタープライズ向け製品と同等の耐久性が求められない用途であれば、十分に検討する価値があります。
システム概要
本システムは、Teledyne SP DevicesのDPS7-PCIeプラットフォームをベースとし、コンパクトな4Uラックマウント／デスクトップ型フォームファクターを採用しています（図1）。6チャンネルで10 GSPS、または12チャンネルで5 GSPSのデータを収録できます。50秒以上の連続記録により、合計4 TBのデータを保存できます。また、クロック生成・分配機能と、全チャンネル間のトリガー同期機能を統合したオールインワンシステムです。
- DPS7-PCIe：構成変更が可能なサーバーグレードのコンピュータープラットフォーム。
- ADQ35デジタイザー×6台：各デジタイザーを12.5 GB/sのデータ収録に対応するよう設定。
- Kingston Fury Renegade G5 2 TB NVMe SSD×6台（実効容量を670 GBに設定）。
- libads：Teledyne SP Devicesのディスクストリーミングライブラリー。
- Ubuntu 24.04 LTS：オペレーティングシステム。
- Teledyne SP Devices製クロックファンアウトボード：基準クロックの生成および分配用。
クロックファンアウトボードで生成した10 MHzの基準クロックを、すべてのデジタイザーに分配しました。また、デジタイザーのトリガーポートをデイジーチェーン接続し、そのうち1台をマスターとして設定しました。これにより、すべてのデジタイザーで同期した収録開始が可能になります。
図1：4Uラックマウント／デスクトップ型フォームファクターを採用したTeledyne SP DevicesのDPS7-PCIe。デジタイザーを2台搭載した構成例。
libadsについて
libadsは、ADQ3シリーズのデジタイザー向けに開発された高性能ディスクストリーミングライブラリーです。デジタイザーAPIと緊密に統合されており、アプリケーションを容易に開発できます。豊富なパラメーター設定が可能なサンプルプログラムが標準で付属しており、幅広いユースケースをカバーするとともに、高度なアプリケーション開発の出発点としても活用できます。また、独自のファイルシステムを採用することでCPUのオーバーヘッドを排除し、保存したデータセットを容易に識別できるようにしています。
今回紹介するソリューションでは、デジタイザー1台につきドライブ1台を使用していますが、libadsは複数のデジタイザーによる1台のドライブの共有や、複数のドライブを1台のデジタイザーに接続する構成（RAID）にも対応しています。また、オプションのNVIDIA GPUDirect Storageに対応しており、データをストレージに保存する前にGPUでリアルタイム処理を実行できます。
本ライブラリーは、高スループットと低いシステム負荷を実現するよう最適化されています。データはOSのファイルシステムやキャッシュ機構を介さず、NVMe SSDに非同期で書き込まれます。この方式によりCPUの負荷が軽減され、主要なデータ転送経路はPCIe、ディスク、DRAM（またはGPU）に集約されます。図2にデータ転送経路を示します。収録したデータはデジタイザーからDRAMバッファーに転送され、そこからディスクがデータを読み出して保存します。この間、CPUは制御と監視のみに使用されます。
図2：高帯域幅のデータ転送経路（緑）と、低帯域幅の制御・監視経路（赤）を示すフローチャート。
システム構成コンポーネントの選定
本システムのコンポーネント選定に影響するアプリケーション要件は、以下のとおりです。
- スループット：10 GSPSで6チャンネル、または10ビット圧縮を使用して5 GSPSで12チャンネル。すなわち、6 × 12.5 GB/s、または12 × 6.25 GB/sで、合計75 GB/s。10ビット圧縮は、信号品質への影響を最小限に抑えながらデータ量を削減するために使用します。
- ストレージ容量：50秒以上の連続記録が必要。75 GB/s × 50秒 = 3.75 TB。
- 処理能力：リアルタイム処理は不要。
本アプリケーションにおける各コンポーネントの選定理由を以下に説明します。
- デジタイザー：高いサンプリングレートとデータスループットを理由に、ADQ35を選定しました。各デジタイザーは、10 GSPSで1チャンネル、または5 GSPSで2チャンネルのデータ収録に対応し、14 GB/sを超えるデータ転送が可能です。
- ストレージ：ストレージ構成は、主に必要な容量とスループットによって決まります。大量のデータを頻繁に書き込むシステムでは、耐久性、すなわちドライブの寿命に達するまでに書き込み可能なデータ総量が重要な検討事項となります。今回の用途では、低コストの2 TBドライブを採用しました。実効容量を1台当たり670 GBに削減することで、ドライブ1台当たり12.5 GB/sを超えるスループットを実現する構成としています。
本システムは、サーバーグレードのDPS7-PCIeプラットフォームをベースとしており、コンポーネントの選択によって、ほとんどのアプリケーション要件に合わせて構成できます。詳細なシステム仕様を以下の表に示します。また、図3にデジタイザーとNVMeドライブ、図4にPCIeスロットへの取り付けに対応したクロックファンアウトボードを示します。
図3：DPS7-PCIeシステムに搭載されたデジタイザーとNVMeドライブ。
図4：PCIeスロットへの取り付けに対応したTeledyne SP Devices製クロックファンアウトボード。
測定結果
連続データ収録試験では、6チャンネル（1チャンネル当たり12.5 GB/s）で、53秒間にわたり75 GB/sの持続スループットを達成し、合計4 TBのデータを正常に記録しました。実際の書き込み量は4,020 GB、平均スループットは74.989 GB/sでした。75 GB/sとの差はわずかであり、これは計測時間に収録の開始処理と終了処理が含まれていることによるものです。
収録完了後、開発用の検証機能を使用して、取得したデータおよびメタデータの完全性を確認しました。また、ドライブの全容量を使用する構成であるため、各試験の間にドライブをフォーマットし、複数回にわたって収録試験を繰り返しました。
ドライブの最大持続スループットを確認するため、16ビット形式で2,048サンプルの離散レコードを使用した追加の収録試験も実施しました。その結果、75.9 GB/sの持続スループットで正常に記録できました。これが本システム構成における最大持続スループットです。
拡張性と将来のアップグレード
ディスクストリーミングシステムは、ほとんどの要件に対応できるよう拡張可能です。また、デジタイザーのファームウェアオプションを活用することで、将来的なアップグレードにも対応できます。例えば、2台のADQ35に2チャンネル・5 GSPS対応ファームウェアを搭載して4チャンネルシステムを構築し、将来的には4台のADQ35に1チャンネル・10 GSPS対応ファームウェアを搭載した構成へ拡張できます。ディスクストリーミングシステムでは、以下のようなオプションを利用できます。
- ペタバイト規模のストレージ容量と80 GB/sを超える持続書き込みスループット：エンタープライズ向けNVMeドライブとドライブキャリアを活用することで実現できます。
- 高耐久性ドライブ：1台当たり70,000 TBW（総書き込み容量）を超える耐久性を備えたドライブを選択できます。
- チャンネル数の多いシステム向けの複数シャーシ間同期：16スロット拡張シャーシDPS16-PCIeを追加することでシステムを拡張できます。または、複数のDPS7-PCIeシステムを使用することも可能です。すべてのシャーシ間でデジタイザーのクロック信号とトリガー信号を同期できます。
- ストレージ保存前のGPUによるリアルタイム処理：GPUでデータを処理してデータ量を削減することで、必要なストレージ容量とスループットを低減できます。libadsライブラリーはNVIDIA GPUDirect Storageに対応しており、デジタイザーからGPUを経由してディスクへデータを直接転送できます。
- ストレージ保存前のFPGAによるリアルタイム処理：ADQ3シリーズデジタイザーで利用可能なファームウェアオプション、または開発キットオプションを使用して実装するカスタムロジックにより、FPGA内でデータを処理・削減できます。
- フォームファクター：PXIe、デスクトップ型、ラックマウント型から選択できます。
まとめ
今回紹介したディスクストリーミングソリューションは、Teledyne SP DevicesのlibadsライブラリーとSLCモードで動作するドライブを活用することで、高速ディスクストリーミングシステムの導入コストを削減します。ストレージの総コストを大幅に抑えられるほか、ストレージデバイスが使用するPCIeスロット数を削減できるため、1シャーシ当たりのチャンネル数を増やすことも可能です。
コスト効率に優れたディスクストリーミングソリューションは、ほぼあらゆる要件に合わせて構成できます。当社では、完成品システムの提供に加え、お客様独自のシステムの構築やアップグレードに関する技術的なサポートも行っています。
Teledyne SP Devicesについて
Teledyne SP Devicesは、高速データ収録分野のパイオニアとして、世界中の高度な要求が求められるアプリケーション向けに、先進的なデジタイザーおよび信号処理ソリューションを提供しています。10 GSPSデジタイザー技術の初期段階から業界をリードしてきた長年の技術革新の実績を基盤に、お客様がデータをより高速かつ高精度、効率的に取得・処理できるよう支援しています。
詳細については、以下をご覧ください：https://www.spdevices.com/en-us?utm_source=mepax
