NXP Semiconductors Ara240 Diskrete neuronale Verarbeitungseinheiten (DNPUs)
Die diskreten neuronalen Verarbeitungseinheiten (DNPUs) der Baureihe Ara240 von NXP Semiconductors ermöglichen generative KI in Echtzeit, große Sprachmodelle (LLMs) und Bild-Sprach-Modelle (VLMs) auf Edge- und eingebetteten Rechensystemen und bieten geringe Latenz, niedrigere Betriebskosten und verbesserten Datenschutz. Die innovative Architektur kombiniert ausgewogene Rechenleistung und hohe Bandbreite außerhalb des Chips, um große Modelle effizient auszuführen.
Die Architektur der Ara240 ist für die Unterstützung fortschrittlicher multimodaler und transformer-basierter Workloads ausgelegt und erreicht bis zu 40 äquivalente Tera-Operationen pro Sekunde (eTOPS) und unterstützt bis zu 16 GB LPDDR4 Speicher. Diese Funktion ermöglicht die reibungslose Ausführung großer und komplexer Modelle direkt am Edge, ohne auf teure Cloud-Computing-Ressourcen angewiesen zu sein.
Mit integriertem Secure Boot und einem Hardware-Root-of-Trust-Prozessor bietet die Ara240 erhöhte Sicherheit für industrielle, unternehmensbezogene und Embedded-Umgebungen. Dank der PCIe Gen4- und USB-3.2-Hostschnittstellen ist eine unkomplizierte Integration in Edge-Computing-Plattformen, PCs/Laptops und KI-fähige Embedded-Systeme möglich.
Ara240 von NXP Semiconductors wird vom KI/ML-Ökosystem von NXP unterstützt, einschließlich vom NXP eIQ Toolkit und Ara Software Development Kit (SDK), das die Entwicklung, Optimierung und Bereitstellung von Modellen beschleunigt.
Merkmale
- Prozessor
- Ara240 Diskrete neuronale Verarbeitungseinheit (DNPU) mit bis zu 40 äquivalenten Tera-Operationen pro Sekunde (eTOPS)
- Proprietärer Neuronaler Netzwerk-Prozessor (NNP), mit bis zu 900 MHz
- Speicher
- Unterstützt bis zu 16 GB externe Low-Power Double Data Rate 4 (LPDDR4)
- Beinhaltet 4 MB SPI NOR Flash und 8 KB I2C-EEPROM für Boot, Konfiguration und Laufzeitdaten
- Sicherheit
- Secure Boot gewährleistet den authentifizierten Start des Moduls
- Der Root-of-Trust-Prozessor schafft eine Hardwaregrundlage für die sichere KI-Implementierung.
- Schnittstellen und Anschlussfähigkeit
- PCIe Gen4 Host-Schnittstelle, konfigurierbar als x1, x2 oder x4 Lanes für Datenübertragung mit hoher Bandbreite
- USB 3,2 Gen 2 für flexible Host-Kommunikation
- Bedienkomfort
- Unterstützung von Betriebssystemen (Laufzeit) – Linux
- Ara Software Development Kit (SDK)
- 17 mm x 17 mm x 0,65 mm Raster Flip-Chip Ball Grid Array (FCBGA)-Gehäuse
- Hochleistungsfähige Echtzeit-KI, die LLMs, VLMs, multimodale und generative KI-Workloads am Edge mit bis zu 40 eTOPS ausführt
- Ausführung mit niedriger Latenz und niedrigeren Betriebskosten mit lokaler Inferenz reduzieren Umlaufverzögerungen und Cloud-Abhängigkeit
- Unterstützung für die Ausführung großer Modelle mit hohem On-Chip-Speicher und bis zu 16 GB LPDDR4(X) zur effizienten Verarbeitung großer Transformatormodelle
- Sichere Bereitstellung mit integriertem Secure Boot und Root-of-Trust-Prozessor
- Flexible Host-Integration mit PCIe Gen4- und USB-Schnittstellen für Embedded-, PC- und Edge-Server-Plattformen
Applikationen
- Generative KI am Edge
- Maschinelles Sehen und multimodale Systeme
- Industrielle Automatisierung
- Fortschrittliche Robotik
Videos
Development Tool
NXP Semiconductors Ara240 16 GB M.2-Modul Development Board
Das Development Board ist ein KI-Beschleunigermodul, basierend auf der Ara240 diskreten NPU.
Blockdiagramm
