Altera FPGA KI-Suite

Die Altera FPGA AI Suite ist eine umfassende Entwicklungsplattform, die die Erstellung von KI-Inferenzlösungen auf FPGAs vereinfachen soll. Die Plattform lässt sich nahtlos in gängige KI-Frameworks wie TensorFlow und PyTorch sowie in das OpenVINO-Toolkit integrieren. Dadurch wird eine effiziente Modelloptimierung und -bereitstellung ermöglicht. Die Suite nutzt die Intel^® Prime-Software, erleichtert die Integration von KI-Inferenz-IP in FPGA-Designs und gewährleistet so hohe Leistungsfähigkeit und geringe Latenz. Darüber hinaus unterstützt sie eine große Auswahl an vorab trainierten Modellen aus dem Open Model Zoo, was eine schnelle und einfache Modellumwandlung und -bereitstellung ermöglicht. Dies macht die Altera FPGA KI-Suite zur idealen Wahl für Entwickler, die die Leistungsfähigkeit von FPGAs für KI-Applikationen in Bereichen wie Telekommunikation, Rechenzentren und Industrieautomatisierung nutzen möchten.

Merkmale

Hohe Leistung – Die Baureihe M des Agilex™ 7 FPGA kann eine maximale theoretische Leistung von 88,5 INT8 TOPS oder 3679 Resnet-50-Frames pro Sekunde bei 90 % FPGA-Auslastung erzielen.
Niedrige Gesamtbetriebskosten mit einfacher Systemintegration – Integrieren Sie eine KI-IP mit anderen Komponenten auf Systemebene, um einen kleineren Footprint, einen geringeren Stromverbrauch und geringere Latenz zu erreichen.
KI-Frontend-Unterstützung – Verwenden Sie ein KI-Frontend, wie z. B. TensorFlow, Caffe, Pytorch, MXNet, Keras und ONNX.
Einfache und standardisierte Abläufe – Erstellen und Hinzufügen von KI-Inferenz-IP zu aktuellen oder künftigen FPGA-Designs mit Quartus Prime Software oder Platform Designer.
Zugriff auf vortrainierte Modelle – Die FPGA KI-Suite unterstützt die meisten Modelle im Open Model Zoo.

Nahtlose Konvertierung von vortrainierten Modellen – OpenVINO-Toolkit konvertiert Modelle aus den meisten Standard-Frameworks in Zwischendarstellungen.
Optimierte KI-IP-Erzeugung auf Knopfdruck – Erzeugt nahtlos eine optimale KI-Inferenz-IP aus vortrainierten KI-Modellen, die den Designplatz nach optimalen Ressourcen und Leistungszielen durchsuchen.
Hardwareunabhängige frühe Modellvalidierung – Die Bit-genaue Software-Emulation der KI-Inferenz-IP ist über die OpenVINO-Plugin-Schnittstelle verfügbar und ermöglicht so eine schnellere Evaluierung der Genauigkeit des Modells ohne Hardware.

Applikationen

Maschinelles Sehen
Medizinische Bildgebung und Diagnose
Industrieapplikationen
Rechenzentren

Industrieautomatisierung
Telekommunikation
Militärwesen
Rundfunk

Ablauf zur Entwicklung von Inferenzen

Der Entwicklungsablauf kombiniert nahtlos einen Hardware- und Software-Workflow zu einem generischen End-to-End-KI-Workflow. Die Schritte sind wie folgt:

1. Der OpenVINO Model Optimizer konvertiert Ihr vortrainiertes Modell in Dateien im Intermediate-Representation-Format (.xml) sowie in Gewichts- und Bias-Dateien (.bin).

2. Der FPGA KI-Suite Compiler wird verwendet für:

- Die Bereitstellung geschätzter Flächen- oder Leistungsmetriken für eine bestimmte Architekturdatei oder Erstellung einer optimierten Architekturdatei. (Architektur bezieht sich auf Inferenz-IP-Parameter, wie z. B. Größe des PE-Arrays, Präzisionen, Aktivierungsfunktionen, Schnittstellenbreiten, Fenstergrößen usw.)

- Das Kompilieren von Netzwerkdateien in eine *.bin-Datei mit Netzwerkpartitionen für FPGA und CPU (oder beides) zusammen mit Gewichts- und Bias-Dateien.

3. Die kompilierte *.bin-Datei wird von der Benutzerinferenz-Anwendung zur Laufzeit importiert. Zu den Laufzeit-Applikationen (APIs) gehören die Inference Engine API (Laufzeitpartitionierung von CPU und FPGA, Planung der Inferenz) und die FPGA AI (DDR-Speicher, FPGA-Hardwareblöcke).

4.Es stehen Referenzdesigns zur Verfügung, um die grundlegenden Operationen des Importierens von .bin-Dateien und der Ausführung von Inferenz auf FPGAs mit unterstützenden Host-CPUs (x86- und Arm^® - Prozessoren) sowie hostlose Inferenzoperationen zu demonstrieren.

5. Die Softwareemulation der FPGA AI Suite IP ist über die OpenVINO Plugin- Schnittstelle zugänglich und ermöglicht eine schnellere Evaluierung der Genauigkeit der FPGA AI IP ohne Zugriff auf die Hardware (nur für Agilex™ 5 FPGA verfügbar).