NXP Semiconductors Ara240 Diskrete neuronale Verarbeitungseinheiten (DNPUs)
Die Ara240 neuronalen Verarbeitungseinheiten (DNPUs) von NXP Semiconductors ermöglichen generative KI in Echtzeit, große Sprachmodelle (LLMs) und Bild-Sprach-Modelle (VLMs) auf Edge- und eingebetteten Rechensystemen und bieten geringe Latenz, niedrigere Betriebskosten und verbesserten Datenschutz. Die innovative Architektur kombiniert ausgewogene Rechenleistung und eine hohe Bandbreite außerhalb des Chips, um große Modelle effizient auszuführen.
Die Ara240 Architektur ist für die Unterstützung fortschrittlicher multimodaler und transformatorbasierter Workloads ausgelegt und erreicht bis zu 40 äquivalente Tera-Operationen pro Sekunde (eTOPS) und unterstützt bis zu 16 GB LPDDR4 Speicher. Diese Funktion ermöglicht die reibungslose Ausführung großer und komplexer Modelle direkt am Edge, ohne auf teure Cloud-Computing-Ressourcen angewiesen zu sein.
Mit integriertem Secure Boot und einem Hardware-Root-of-Trust-Prozessor bietet Ara240 erhöhte Sicherheit für industrielle, Unternehmens- und eingebettete Einsatzumgebungen. Dank der PCIe Gen4- und USB 3,2 Hostschnittstellen ist eine unkomplizierte Integration in Edge-Computing-Plattformen, PCs/Laptops und KI-fähige Embedded-Systeme möglich.
Der Ara240 von NXP Semiconductors wird durch das AI/ML-Ökosystem von NXP unterstützt, einschließlich des NXP eIQ Toolkit und des Ara Software Development Kit (SDK), das die Modellentwicklung, -optimierung und -bereitstellung beschleunigt.
Merkmale
- Prozessor
- Ara240 Diskrete neuronale Verarbeitungseinheit (DNPU) mit bis zu 40 äquivalenten Tera-Operationen pro Sekunde (eTOPS)
- Proprietäres neuronaler Netzwerk Prozessor (NNP), der bis zu 900 MHz arbeitet
- Speicher
- Unterstützt bis zu 16 GB externen stromsparenden Double Data Rate 4 (LPDDR4)-Speicher
- Beinhaltet 4 MB SPI NOR Flash und 8 KB I2C-EEPROM für Boot-, Bauform und Laufzeitdaten
- Sicherheit
- Secure Boot gewährleistet den authentifizierten Start des Moduls
- Der Root-of-Trust- Prozessor schafft eine Hardwaregrundlage für die sichere KI-Implementierung.
- Schnittstellen und Anschlussfähigkeit
- PCIe Gen4 Host-Schnittstelle, konfigurierbar als x1, x2 oder x4 Lanes für Datenübertragung mit hoher Bandbreite
- USB 3,2 Gen 2 für flexible Host-Kommunikation
- Bedienkomfort
- Betriebssystemunterstützung (Laufzeit) – Linux
- Ara Software Development Kit (SDK)
- 17 mm x 17 mm x 0,65 mm Raster Flip-Chip Ball Grid Array (FCBGA)-Gehäuse
- Hochleistungsfähige, Echtzeit-KI, die LLMs, VLMs, multimodale und generative KI-Workloads am Edge mit bis zu 40 eTOPS ausführt
- Ausführung mit niedriger Latenz und niedrigeren Betriebskosten mit lokaler Inferenz reduzieren Umlaufverzögerungen und Cloud-Abhängigkeit
- Unterstützung für die Ausführung großer Modelle mit hohem On-Chip-Speicher und bis zu 16 GB LPDDR4(X) zur effizienten Verarbeitung großer Transformatormodelle
- Sichere Bereitstellung mit integriertem Secure Boot und Root-of-Trust-Prozessor
- Flexible Host-Integration mit PCIe Gen4- und USB-Schnittstellen für Embedded-, PC- und Edge-Server-Plattformen
Applikationen
- Generative KI am Edge
- Maschinelles Sehen und multimodale Systeme
- Industrieautomatisierung
- Fortschrittliche Robotik
Blockdiagramm
Development Tool
NXP Semiconductors Ara240 16 GB M.2-Modul Development Board
Das Development Board ist ein KI-Beschleunigermodul, basierend auf der Ara240 diskreten NPU.