Source: Deutsche Nachrichten
KI-Anwendungen stellen Unternehmen zunehmend vor eine praktische Infrastrukturfrage: Wo soll die notwendige Rechenleistung bereitgestellt werden?
Cloud-Ressourcen lassen sich flexibel skalieren und eignen sich gut für wechselnde oder kurzfristige Workloads. Für dauerhaft laufende Anwendungen, sensible Daten oder Systeme, die direkt am Einsatzort arbeiten sollen, kann eine lokale KI-Infrastruktur jedoch Vorteile bieten.
Dazu zählen lokale LLM-Inferenz, Retrieval-Augmented Generation, interne KI-Assistenten, Computer Vision, digitale Zwillinge und andere GPU-intensive Anwendungen. Für solche Aufgaben stehen inzwischen kompakte Edge-AI-HPC-Systeme zur Verfügung, die hohe CPU- und GPU-Leistung bereitstellen, ohne eine klassische Rack-Infrastruktur vorauszusetzen.
Wann ist On-Premise AI sinnvoller als Cloud AI?
On-Premise AI kann sinnvoll sein, wenn Anwendungen kontinuierlich lokal laufen, sensible Daten verarbeitet werden oder kurze Reaktionszeiten erforderlich sind.
Ein Beispiel sind interne KI-Anwendungen, die mit vertraulichen Unternehmens- oder Produktionsdaten arbeiten. Werden Modelle und Daten lokal verarbeitet, müssen diese nicht zwingend an externe Cloud-Dienste übertragen werden.
Auch Netzwerkverfügbarkeit und Datenvolumen spielen eine Rolle. Bei großen, kontinuierlich anfallenden Datenströmen oder zeitkritischen Anwendungen kann die Verarbeitung am Einsatzort den Datentransfer reduzieren und unabhängig von einer permanenten Cloud-Verbindung erfolgen.
Für stark schwankende Rechenlasten oder kurzfristige Projekte bleibt die Cloud dagegen häufig flexibler. Auch Sicherheits- und Kostenfragen lassen sich nicht allein über den Standort der Hardware beantworten, sondern müssen für die jeweilige Infrastruktur bewertet werden.
Wann reicht eine AI-Workstation nicht mehr aus?
Eine leistungsfähige Workstation kann für Entwicklung, Prototyping und viele Single-GPU-Workloads ausreichen.
Mit größeren Modellen, mehreren parallelen Inferenzprozessen oder zusätzlichen Anforderungen an Speicher und Erweiterung steigt jedoch der Hardwarebedarf. Werden mehrere leistungsstarke GPUs, zusätzliche PCIe-Karten oder Funktionen wie redundante Stromversorgung benötigt, kann ein kompakter Edge-AI-HPC eine passende Alternative sein.
Klassische GPU-Rack-Server bieten noch mehr Skalierungsmöglichkeiten und eignen sich besonders für zentrale Rechenzentren oder größere KI-Infrastrukturen. Sie setzen allerdings eine entsprechende Serverumgebung voraus.
Kompakte Edge-HPCs adressieren damit Anwendungen, die mehr Ressourcen als eine klassische Workstation benötigen, aber nicht zwingend in einer großen Rack-Infrastruktur betrieben werden müssen.
Was bietet der Advantech AIR-420 für Edge AI und GenAI?
Der Advantech AIR-420 ist für rechenintensive AI-Workloads in einem kompakten Formfaktor ausgelegt.
Das System unterstützt AMD Ryzen 7000/9000 sowie AMD EPYC Embedded 4005 Prozessoren. In einem 28,6-Liter-Gehäuse lassen sich zwei Grafikkarten mit jeweils bis zu 3,9 Slots integrieren.
Advantech gibt für den AIR-420 je nach Konfiguration bis zu 192 GB DDR5-Speicher sowie eine KI-Rechenleistung von bis zu 208 TFLOPS FP32 an. Aktuelle Konfigurationen unterstützen beispielsweise die NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition. Insgesamt stehen vier PCIe-Steckplätze zur Verfügung, davon zwei für KI-Beschleuniger und zwei für zusätzliche Erweiterungskarten.
Zum System gehören außerdem ein redundantes Netzteil und eine temperaturabhängige Lüftersteuerung.
Eine Besonderheit für GenAI-Anwendungen ist die Unterstützung von SQ ai100 AI SSDs in Verbindung mit Advantechs aiDAPTIV+ Technologie. Dabei kann SSD-Speicher als zusätzliche Speicherebene für AI-Workloads genutzt werden, um vorhandene GPU-Ressourcen beim Training und Fine-Tuning größerer Modelle effizienter einzusetzen. Advantech ergänzt die Plattform mit GenAI Studio und dem Edge AI SDK für lokale LLM-Workflows und Inferenztests.
Der AIR-420 wurde 2025 mit dem COMPUTEX Best Choice Award ausgezeichnet.
Für welche KI-Anwendungen eignet sich der Advantech AIR-420?
Der AIR-420 adressiert Anwendungen, bei denen lokal hohe CPU- und GPU-Leistung benötigt wird.
Advantech nennt beispielsweise LLM-Inferenz und Fine-Tuning, Computer Vision, Machine Vision, medizinische Bildverarbeitung, Automatisierung und Real-Time Analytics. Auch Digital-Twin- und Simulationsanwendungen können von einer leistungsfähigen lokalen GPU-Plattform profitieren.
Die Hardwareanforderungen unterscheiden sich je nach Anwendung deutlich. Ein Computer-Vision-System mit mehreren hochauflösenden Kamerastreams benötigt beispielsweise hohe Inferenzleistung und Datenbandbreite. Bei einem lokalen LLM können dagegen GPU-Speicher, Arbeitsspeicher und Modellgröße stärker ins Gewicht fallen.
Deshalb sollte die Plattform nicht nur nach maximaler GPU-Leistung ausgewählt werden, sondern nach dem konkreten Workload.
Worauf kommt es bei der Konfiguration eines Edge-AI-Systems an?
Die GPU ist nur eine Komponente der Systemauslegung.
Bei der Planung spielen Modellgröße, GPU-Speicher, CPU- und RAM-Bedarf, Storage-Performance, Netzwerkbandbreite und zusätzliche Erweiterungskarten eine Rolle. Bei leistungsstarken Dual-GPU-Systemen kommen Stromversorgung und thermisches Management hinzu.
Auch die Software muss zur Hardware passen. Betriebssystem, GPU-Treiber, Frameworks und verwendete KI-Tools sollten deshalb bereits bei der Systemplanung berücksichtigt werden.
Eine maximale Ausstattung ist nicht automatisch die beste Lösung. Wird dauerhaft nur ein einzelnes Modell inferiert, kann eine Single-GPU-Konfiguration technisch und wirtschaftlich ausreichen. Für größere Multi-GPU-Trainingsumgebungen bietet ein Rack-System dagegen mehr Skalierungsmöglichkeiten.
Wie wird aus einer KI-Hardwareplattform ein einsatzfähiges System?
Der AIR-420 stellt eine flexible Hardwarebasis für unterschiedliche KI-Anwendungen bereit. Für den produktiven Einsatz müssen Rechenleistung, Erweiterungen, Software und Einsatzumgebung jedoch als Gesamtsystem zusammenpassen.
Aaronn unterstützt Unternehmen bei der Auswahl und Integration von Embedded- und Edge-Computing-Plattformen. Hierzu gehören die Abstimmung von CPU, GPU und Erweiterungskarten sowie die Integration von Storage, Betriebssystem und weiteren kundenspezifischen Komponenten.
Sie planen eine lokale KI-Anwendung? Sprechen Sie mit uns über Ihren Workload und die passende Systemkonfiguration.