Altera FPGA KI-Suite

Die Altera FPGA KI-Suite ist eine umfassende Entwicklungsplattform, die die Erstellung von KI-Inferenzlösungen auf FPGAs vereinfacht. Die Plattform lässt sich nahtlos in gängige KI-Frameworks wie TensorFlow und PyTorch sowie das OpenVINO-Toolkit integrieren und ermöglicht eine effiziente Modelloptimierung und -bereitstellung. Die Suite nutzt die Intel^® Quartus Prime Software, um die Integration von KI-Inferenz-IP in FPGA-Designs zu erleichtern und eine hohe Leistung und niedrige Latenz zu gewährleisten. Darüber hinaus unterstützt sie eine große Auswahl an vortrainierten Modellen aus dem Open Model Zoo, was eine schnelle und einfache Modellkonvertierung und -bereitstellung ermöglicht. Dies macht die Altera FPGA KI-Suite zur idealen Wahl für Entwickler, die die Leistungsfähigkeit von FPGAs für KI-Applikationen in Bereichen wie Telekommunikation, Rechenzentren und Industrieautomatisierung nutzen möchten.

Merkmale

Hohe Leistung – Die Baureihe M des Agilex™ 7 FPGA kann eine maximale theoretische Leistung von 88,5 INT8 TOPS oder 3679 Resnet-50-Frames pro Sekunde bei 90 % FPGA-Auslastung erzielen.
Niedrige Gesamtbetriebskosten mit einfacher Systemintegration – Integrieren Sie eine KI-IP mit anderen Komponenten auf Systemebene, um einen kleineren Footprint, einen geringeren Stromverbrauch und geringere Latenz zu erreichen.
KI-Frontend-Unterstützung – Verwenden Sie ein KI-Frontend, wie z. B. TensorFlow, Caffe, Pytorch, MXNet, Keras und ONNX.
Einfache und standardisierte Abläufe – Erstellen und Hinzufügen von KI-Inferenz-IP zu aktuellen oder künftigen FPGA-Designs mit Quartus Prime Software oder Platform Designer.
Zugriff auf vortrainierte Modelle – Die FPGA KI-Suite unterstützt die meisten Modelle im Open Model Zoo.

Nahtlose Konvertierung von vortrainierten Modellen – OpenVINO-Toolkit konvertiert Modelle aus den meisten Standard-Frameworks in Zwischendarstellungen.
Optimierte KI-IP-Erzeugung auf Knopfdruck – Erzeugt nahtlos eine optimale KI-Inferenz-IP aus vortrainierten KI-Modellen, die den Designplatz nach optimalen Ressourcen und Leistungszielen durchsuchen.
Hardwareunabhängige frühe Modellvalidierung – Die Bit-genaue Software-Emulation der KI-Inferenz-IP ist über die OpenVINO-Plugin-Schnittstelle verfügbar und ermöglicht so eine schnellere Evaluierung der Genauigkeit des Modells ohne Hardware.

Applikationen

Maschinelles Sehen
Medizinische Bildgebung und Diagnose
Industrieapplikationen
Rechenzentren

Industrieautomatisierung
Telekommunikation
Militärwesen
Rundfunk

Ablauf zur Entwicklung von Inferenzen

Der Entwicklungsablauf kombiniert nahtlos einen Hardware- und Software-Workflow zu einem generischen End-to-End-KI-Workflow. Die Schritte sind wie folgt:

1. Der OpenVINO Model Optimizer konvertiert Ihr vortrainiertes Modell in Dateien im Intermediate-Representation-Format (.xml) sowie in Gewichts- und Bias-Dateien (.bin).

2. Der FPGA KI-Suite Compiler wird verwendet für:

- Die Bereitstellung geschätzter Flächen- oder Leistungsmetriken für eine bestimmte Architekturdatei oder Erstellung einer optimierten Architekturdatei. (Architektur bezieht sich auf Inferenz-IP-Parameter, wie z. B. Größe des PE-Arrays, Präzisionen, Aktivierungsfunktionen, Schnittstellenbreiten, Fenstergrößen usw.)

- Das Kompilieren von Netzwerkdateien in eine *.bin-Datei mit Netzwerkpartitionen für FPGA und CPU (oder beides) zusammen mit Gewichts- und Bias-Dateien.

3. Die kompilierte *.bin-Datei wird von der Benutzerinferenz-Anwendung zur Laufzeit importiert. Die Programmierschnittstellen (APIs) der Laufzeitanwendung umfassen eine Inferenz-Engine-API (Laufzeitpartition CPU und FPGA, Inferenzlauf planen) und FPGA-KI (DDR-Speicher, FPGA-Hardware-Blöcke).

4. Es stehen Referenzdesigns zur Verfügung, um die grundlegenden Betriebsabläufe des Imports von *.bin-Dateien und der Ausführung von Inferenzen auf FPGAs mit Unterstützung von Host-CPUs (x86 und ARM^® -Prozessoren) sowie Host-Inferenzoperationen zu demonstrieren.

5. Die Software-Emulation der FPGA KI-Suite-IP ist über die OpenVINO-Plugin-Schnittstelle zugänglich und ermöglicht eine schnellere Evaluierung der Genauigkeit des FPGA KI-IP ohne Zugang zur Hardware (nur verfügbar für Agilex™ 5 FPGA).