Was sind NeoClouds? Die neue Infrastruktur-Ebene, die die KI in Unternehmen vorantreibt

In den letzten zwei Jahren haben sich die tatsächlichen Kosten für KI in Unternehmen verändert. Nicht in der Theorie – sondern in der Praxis, bei konkreten Beschaffungsentscheidungen, wenn Unternehmen versuchen, einen Proof of Concept in eine produktive Lösung umzusetzen.

Anfang dieses Monats versuchte eines unserer Entwicklungsteams bei der Arbeit an einer RAG-Plattform für Unternehmen, eine RAG-Pipeline auf der derzeitigen Standard-Cloud-Infrastruktur zu skalieren, stieß dabei jedoch schnell an die Grenzen der GPU-Zuweisung. Dies veranlasst uns, die zunehmende Nutzung von Nerocloud in der KI-Infrastruktur von Unternehmen zu untersuchen.

Die Nachfrage nach KI ist unübersehbar. Von ChatGPT-ähnlichen Anwendungen und KI-Agenten für Unternehmen bis hin zu RAG-Systemen, Modell-Fine-Tuning und groß angelegter Computer Vision – Unternehmen investieren massiv in KI-Fähigkeiten. Die größere Herausforderung taucht oft hinter den Kulissen auf. Wenn diese Workloads von der Testphase in die Produktion übergehen, sehen sich viele Teams mit GPU-Engpässen, langen Bereitstellungszeiten und stetig steigenden Cloud-Kosten konfrontiert. Beim groß angelegten Einsatz von KI geht es nicht mehr nur darum, Modelle zu entwickeln – es geht vielmehr darum, die Infrastruktur bereitzustellen, die für deren effiziente Unterstützung erforderlich ist.

AWS, Azure und Google Cloud wurden nicht für diesen Zweck entwickelt. Sie wurden für alles entwickelt – was bedeutet, dass sie für nichts Bestimmtes optimiert wurden. Um diese Lücke zu schließen, ist eine neue Kategorie von Anbietern entstanden. Sie werden als „NeoClouds“ bezeichnet und tauchen zunehmend auf den Auswahllisten für ernstzunehmende Unternehmensinfrastrukturen auf.

Was sind NeoClouds?

NeoCloud ist ein Cloud-Anbieter, dessen gesamtes Geschäftsfeld auf GPU-Rechenleistung für KI und Hochleistungs-Workloads ausgerichtet ist. Es handelt sich nicht um eine Produktlinie innerhalb einer umfassenderen Plattform, sondern um das gesamte Unternehmen.

Sie konzentrieren sich vor allem auf:

• Training von KI-Modellen
• KI-Inferenz in großem Maßstab
• Verwaltung der GPU-Infrastruktur
• Einsatz großer Sprachmodelle
• Anwendungen generativer KI

Im Gegensatz zu Hyperscalern, die jede erdenkliche Workload bedienen und die Vermietung von GPUs als eine von Tausenden von SKUs betrachten, sind NeoClouds speziell für KI konzipiert. Dieser Unterschied zeigt sich auf allen Ebenen der Infrastruktur.

Wichtigste Merkmale:

• GPU-orientierte Infrastruktur – Hier wird der neuesten Hardware Vorrang eingeräumt, sie wird nicht nur als Nebensache behandelt
• KI-optimierte Vernetzung – InfiniBand und Verbindungen mit hoher Bandbreite gehören zur Standardausstattung und sind keine optionalen Upgrades
• Hochleistungsspeicher – entwickelt, um GPU-Cluster mit Daten zu versorgen, nicht um allgemeine Objektspeichermuster zu bedienen
• Schnellerer Zugang zu den neuesten GPUs – Anbieter konkurrieren hinsichtlich der Aktualität ihrer Hardware; dies ist ihr wichtigstes Unterscheidungsmerkmal
• Auf KI spezialisierte Support-Teams – Ingenieure, die sich mit verteiltem Training, vLLM und Ausfällen bei Multi-GPU-Systemen auskennen, nicht mit allgemeiner Cloud-Fehlerbehebung

Warum NeoClouds auf dem Vormarsch sind

Der unmittelbare Grund ist klar: Die Nachfrage nach KI-Rechenleistung übersteigt das Angebot der Hyperscaler.

Zu den Arbeitslasten, die diesen Bedarf verursachen, gehören:

• Assistenten im Stil von ChatGPT und Copiloten für Unternehmen
• RAG-Systeme Abfragen in großen internen Dokumentenspeichern
• Modell-Feintuning anhand proprietärer Daten
• KI-Agenten für Unternehmen Ausführen mehrstufiger Workflows
• Bildverarbeitungssysteme im Einzelhandel, in der Logistik und in der Fertigung

Der Bau neuer Hyperscale-Rechenzentren dauert drei bis fünf Jahre. Die Zeiträume für die Einführung von KI werden in Quartalen gemessen. Diese Lücke schließt sich nicht so schnell.

Infolgedessen sehen sich Unternehmen, die anspruchsvolle KI-Anwendungen einsetzen, regelmäßig mit folgenden Herausforderungen konfrontiert:

• Lange Bereitstellungszeiten – Kontingentanfragen, Wartelisten und Kapazitätsengpässe bei den GPUs, die sie tatsächlich benötigen
• Unvorhersehbare Kosten – Die für kurze Rechenlastspitzen konzipierten On-Demand-GPU-Preise halten bei anhaltenden Trainings- oder Inferenzlasten nicht stand
• Begrenzte Verfügbarkeit – Bestimmte GPU-Familien, insbesondere die neuesten Generationen, sind über allgemeine Cloud-Kanäle oft nicht in ausreichendem Umfang verfügbar
• Operative Komplexität – Allzweckplattformen erfordern einen erheblichen technischen Aufwand, um sie für KI-spezifische Netzwerk- und Speicherstrukturen zu konfigurieren

NeoClouds gibt es, weil diese Probleme struktureller Natur und nicht nur vorübergehend sind.

NeoClouds im Vergleich zu herkömmlichen Cloud-Anbietern

Der entscheidende Punkt ist nicht, dass NeoClouds besser sind als Hyperscaler. Vielmehr sind sie für andere Aufgaben optimiert. Für das Hosting allgemeiner Anwendungen, Datenpipelines oder SaaS-Infrastrukturen bleiben Hyperscaler die sinnvolle Standardwahl. Bei anhaltenden GPU-intensiven KI-Workloads sieht die Rechnung oft anders aus.

Vorteile von NeoClouds

Schnellerer Zugriff auf die GPU

Unternehmen können leistungsstarke GPUs bereitstellen, ohne sich in Warteschlangen hinter Quotensystemen einreihen oder auf Kapazitäten warten zu müssen, die in der benötigten Region möglicherweise nicht verfügbar sind. Für Teams, die ein Modell trainieren oder ein Produkt auf den Markt bringen müssen, ist dieser Zeitunterschied entscheidend.

KI-optimierte Infrastruktur

Die Infrastruktur wurde speziell für folgende Zwecke entwickelt:

• Groß angelegtes Modelltraining über Multi-GPU-Cluster hinweg
• Inferenz-Serving mit geringer Latenz
• Feinabstimmung von Open-Source-Modellen anhand proprietärer Datensätze
• Verteiltes Training, das eine schnelle Kommunikation zwischen den GPUs erfordert

Die Ausführung von KI-Workloads auf einer Infrastruktur, die für allgemeine Rechenaufgaben ausgelegt ist, bedeutet, dass man sich mit Einschränkungen herumschlagen muss, die eigentlich gar nicht vorhanden sein sollten.

Bessere Wirtschaftlichkeit bei dauerhaften Auslastungen

Viele Unternehmen empfinden NeoClouds bei kontinuierlich laufenden Workloads als deutlich kostengünstiger als die On-Demand-Preise der Hyperscaler. Die Einsparungen hängen davon ab, dass die Vertragsverpflichtungen auf die tatsächlichen Nutzungsmuster abgestimmt sind – entscheidend ist die GPU-Auslastung, nicht der angegebene Stundensatz.

Native KI-Unterstützung

Support-Teams, die die praktischen Fehlerursachen bei verteilten Trainingsprozessen verstehen: warum ein Job bei 98% ins Stocken gerät, wie man vLLM im Hinblick auf Durchsatz versus Latenz optimiert und welche InfiniBand-Topologie sich auf die Modellparallelität auswirkt. Dieses Fachwissen ist über allgemeine Cloud-Supportkanäle nur selten verfügbar.

Arten von NeoCloud-Anbietern

Energieoptimierte NeoClouds

Beispiele: Crusoe, IREN

Der Schwerpunkt liegt auf einer nachhaltigen KI-Infrastruktur, die am Standort erneuerbarer oder ungenutzter Energiequellen errichtet wird. Dies ist relevant für Organisationen mit CO₂-Reduktionszielen oder Anforderungen an die ESG-Berichterstattung.

NeoClouds – speziell für Entwickler

Beispiele: DigitalOcean, Hot Aisle

Entwickelt für schnelle Bereitstellung und hohe Entwicklerproduktivität. Kürzere Bereitstellungszyklen, übersichtlichere APIs und eine klare Preisgestaltung. Eher geeignet für Teams, die KI-Funktionen zügig auf den Markt bringen, als für Unternehmen, die Trainingsläufe im Petabyte-Bereich durchführen.

Auf Skalierbarkeit ausgerichtete KI-Anbieter

Beispiele: CoreWeave, TensorWave

Entwickelt für KI-Training und -Inferenz im großen Maßstab. CoreWeave ist der größte Anbieter in dieser Kategorie – mit einem Jahresumsatz von über 1,45 Billionen Yen und Kunden wie Microsoft, Meta und OpenAI. Diese Anbieter agieren in einer Größenordnung, die der von Hyperscalern entspricht, konzentrieren sich dabei jedoch weiterhin auf ihren Kernbereich als GPU-Spezialisten.

KI-Clouds für Unternehmen und staatliche Stellen

Beispiele: Core42 (VAE/Europa), IBM

Entwickelt für Compliance, Governance und regulierte Branchen. Core42 ist derzeit der aktivste Akteur in diesem Bereich: ein von G42 unterstütztes Unternehmen, das kürzlich 1,455 Mrd. von HSBC eingeworben hat, eine Partnerschaft mit Red Hat und Microsoft Azure für eine von Grund auf auf Souveränität ausgelegte Infrastruktur eingegangen ist und den öffentlichen Sektor, die Verteidigungsindustrie sowie regulierte Branchen in den Vereinigten Arabischen Emiraten bedient – mit einem nun in Dublin eingerichteten europäischen Hauptsitz. Seine Plattform für souveräne Kontrollen, Insight, bietet regulierten Organisationen technische und richtlinienbasierte Kontrollen über Datenklassifizierung, Datenstandort und die Governance von KI-Workloads. Für Organisationen, die im Nahen Osten oder in regulierten Sektoren in Europa tätig sind, ist Core42 eine zunehmend glaubwürdige Alternative zu den souveränen Angeboten der Hyperscaler. Die Frage, die es beantwortet, lautet nicht nur “Wo befinden sich die Daten?”, sondern “Wer steuert die gesamte KI-Pipeline, einschließlich Modellgewichten, Inferenz-Eingaben und Prüfpfaden?”

Für wen ist NeoClouds geeignet?

KI-Startups

• Entwicklung von KI-nativen Produkten, die eine konstante Verfügbarkeit von GPUs erfordern
• Feinabstimmung von Open-Source-Modellen (Llama, Gemma, Mistral) anhand proprietärer Daten
• Einsatz von KI-Agenten oder Inferenzdiensten in großem Maßstab
• Wenn die Preisgestaltung der Hyperscaler nicht zur Wirtschaftlichkeit in der Anfangsphase passt

SaaS-Unternehmen

• Einbindung von KI-Funktionen, die eine zuverlässige und skalierbare Infrastruktur für die Inferenz erfordern
• Betrieb von Empfehlungssystemen oder Personalisierungssystemen mit hohen Durchsatzanforderungen
• Aufbau von KI-Fähigkeiten, die sich an der Produktnutzung orientieren müssen und nicht an den Zyklen der Cloud-Kontingente

Unternehmen

• Interne KI-Assistenten, die große Wissensdatenbanken abfragen
• Wissensmanagementsysteme mit RAG-Pipelines, die Dokumentationen aus mehreren Jahren umfassen
• AI-powered customer service platforms and real-time AI voice agents with strict latency requirements depend on GPU infrastructure
• Jedes Unternehmen, in dem aufgrund von Datenstandortvorschriften, der Einhaltung der britischen DSGVO oder branchenspezifischen Vorschriften eine eigenständige GPU-Infrastruktur zwingend erforderlich ist

Meinung unseres CTO: 

Wie viele Unternehmensleiter bereits festgestellt haben, besteht die aktuelle Herausforderung nicht mehr darin, zu entscheiden, ob in KI investiert werden soll, sondern vielmehr darin, die Cloud-Infrastruktur bereitzustellen, die erforderlich ist, um KI-Initiativen effizient zu unterstützen und das Unternehmenswachstum zu fördern.

Wie sich NeoClouds in die KI-Architektur von Unternehmen einfügen

Ein auf der NeoCloud-Infrastruktur basierender KI-Stack für die Produktion sieht in der Regel wie folgt aus:

Anwendungsschicht

Interne KI-Assistenten · Kundendienstmitarbeiter · Co-Piloten für Vertrieb und Personalwesen · Tools für das Wissensmanagement

Ebene „Modelle“

GPT-4o (über API) · Llama 3, Gemma, DeepSeek, Qwen (selbst gehostet) · Feinabgestimmte proprietäre Modelle

Framework-Ebene

PyTorch / TensorFlow · ONNX · vLLM / Triton

Infrastrukturebene

NeoCloud-GPU-Plattform · Kubernetes · Hochgeschwindigkeits-Netzwerk mit InfiniBand oder RoCE · KI-gestützte Überwachung und Observability

Die NeoCloud bildet die Basis dieses Stacks, ist jedoch nicht die einzige Komponente. Die Orchestrierung, die Überwachung, die Integration in bestehende Systeme und die darüber liegende Anwendungsschicht erfordern technische Arbeiten, die von der Wahl der Infrastruktur selbst unabhängig sind – und mindestens ebenso wichtig sind wie diese.

Was dies für Unternehmen bedeutet

Gartner schätzt, dass NeoCloud-Anbieter bis 2030 einen Anteil von rund 201 Tp3T am 1 Tp4T267 Mrd. schweren KI-Cloud-Markt halten werden. Die Hyperscaler selbst – Microsoft, Meta, Google – kaufen bereits NeoCloud-Kapazitäten ein, da sie nicht schnell genug Rechenzentren errichten können, um ihren eigenen Bedarf zu decken.

Für Unternehmen, die KI-Initiativen prüfen, lautet die praktische Frage nicht “Sollten wir eine NeoCloud einsetzen?”, sondern “Welche Workloads gehören auf eine spezialisierte Infrastruktur, und was muss unsere Architektur leisten, um dies zu unterstützen?”

Unternehmen sollten prüfen, ob NeoCloud-Plattformen in folgenden Bereichen Vorteile bieten:

• Kosten – Gesamtkosten bei realistischen Auslastungsgraden, nicht der Nennsatz
• Leistung – Durchsatz und Latenz unter realer Anwendungslast
• Skalierbarkeit – Kapazität, die ohne Quotenbeschränkungen mit der Arbeitslast mitwachsen kann
• Verfügbarkeit von GPUs – insbesondere für bestimmte GPU-Familien, die in großem Maßstab benötigt werden
• Geschwindigkeit der KI-Einführung – Zeit vom Modell bis zur Produktion

Carmatec kommt auf der Architektur- und Integrationsschicht zum Einsatz – bei der Charakterisierung von Workloads vor der Beschaffungsentscheidung, bei der Orchestrierung und bei DevOps zur portablen Ausführung von Workloads sowie beim Application Engineering (RAG-Pipelines, Inferenzdienste, Agent-Frameworks), das auf der Rechenebene aufsetzt. Die Infrastruktur bildet das Fundament. Die Anpassung an ein konkretes Geschäftsproblem ist der schwierigere Teil.

Abschluss

NeoClouds stellen einen bedeutenden Wandel in der Bereitstellung von KI-Infrastruktur dar. Angesichts der zunehmenden Verbreitung von KI werden Unternehmen zunehmend über traditionelle Cloud-Anbieter hinaus nach Plattformen Ausschau halten, die speziell für KI-native Workloads konzipiert sind.

Für Unternehmen, die KI-Anwendungen, KI-Agenten, RAG-Systeme oder groß angelegte Inferenzplattformen entwickeln, bieten NeoClouds möglicherweise einen schnelleren und kostengünstigeren Weg zur Produktionsreife, als weiterhin die Einschränkungen einer universellen Cloud-Infrastruktur zu umgehen.

Wenn Sie derzeit verschiedene Optionen für die KI-Infrastruktur Ihres Unternehmens prüfen, Sprechen Sie mit unserem Team um Ihren Arbeitsaufwand einzuschätzen, bevor Sie sich für einen Anbieter entscheiden.