Negli ultimi due anni il costo effettivo dell\u2019IA aziendale \u00e8 cambiato. Non in teoria, ma nella pratica, nelle reali procedure di appalto, quando le organizzazioni cercano di trasformare un proof of concept in un\u2019implementazione in produzione.<\/p>\n
All'inizio di questo mese, uno dei nostri team di sviluppo, mentre lavorava alla realizzazione di una piattaforma RAG aziendale, ha cercato di scalare una pipeline RAG sull'attuale infrastruttura cloud standard, ma si \u00e8 subito scontrato con i limiti di allocazione delle GPU. Questo ci porta ad approfondire il crescente utilizzo di Nerocloud nelle infrastrutture di IA aziendali.<\/p>\n
La domanda di IA \u00e8 evidente. Dalle applicazioni simili a ChatGPT e dagli agenti IA aziendali ai sistemi RAG, alla messa a punto dei modelli e alla visione artificiale su larga scala, le organizzazioni stanno investendo massicciamente nelle capacit\u00e0 di IA. La sfida pi\u00f9 grande spesso emerge dietro le quinte. Man mano che questi carichi di lavoro passano dalla fase sperimentale a quella produttiva, molti team si trovano limitati dalla carenza di GPU, dai lunghi tempi di provisioning e dai costi del cloud che continuano a salire.<\/span><\/span> L'implementazione dell'intelligenza artificiale su larga scala non consiste pi\u00f9 solo nella creazione di modelli, ma anche nel garantire l'infrastruttura necessaria per supportarli in modo efficiente.<\/span><\/p>\n AWS, Azure e Google Cloud non sono stati progettati per questo. Sono stati progettati per tutto, il che significa che non sono stati ottimizzati per nulla in particolare. Per colmare questa lacuna \u00e8 emersa una nuova categoria di fornitori. Si chiamano NeoClouds e stanno comparendo sempre pi\u00f9 spesso nelle liste dei candidati prescelti per le infrastrutture aziendali di alto livello.<\/p>\n NeoCloud \u00e8 un provider di servizi cloud la cui attivit\u00e0 si concentra interamente sul calcolo GPU per l'intelligenza artificiale e i carichi di lavoro ad alte prestazioni. Non si tratta di una linea di prodotti all'interno di una piattaforma pi\u00f9 ampia, ma dell'intera azienda.<\/p>\n Si concentrano principalmente su:<\/p>\n A differenza degli hyperscaler, che gestiscono ogni tipo di carico di lavoro immaginabile e considerano il noleggio di GPU come uno dei tanti SKU disponibili, i NeoCloud sono progettati appositamente per l'IA. Questa differenza \u00e8 evidente in ogni livello dello stack.<\/p>\n Caratteristiche principali:<\/strong><\/p>\n La causa immediata \u00e8 chiara: la domanda di risorse di calcolo per l'IA ha superato ci\u00f2 che gli hyperscaler sono in grado di fornire.<\/p>\n I carichi di lavoro che determinano tale domanda includono:<\/p>\n La realizzazione di nuovi data center hyperscale richiede dai tre ai cinque anni. I tempi di adozione dell'intelligenza artificiale si misurano in trimestri. Questo divario non si sta colmando rapidamente.<\/p>\n Di conseguenza, le organizzazioni che gestiscono carichi di lavoro significativi nel campo dell'intelligenza artificiale si trovano regolarmente ad affrontare:<\/p>\n NeoClouds esiste proprio perch\u00e9 questi problemi sono di natura strutturale, non temporanea.<\/p>\n Il punto fondamentale non \u00e8 che i NeoCloud siano migliori degli hyperscaler, ma che siano ottimizzati per un tipo di attivit\u00e0 diverso. Per l\u2019hosting di applicazioni generiche, le pipeline di dati o le infrastrutture SaaS, gli hyperscaler rimangono la scelta predefinita pi\u00f9 sensata. Per carichi di lavoro di IA intensivi in termini di GPU e prolungati, il ragionamento spesso va nella direzione opposta.<\/p>\n Le organizzazioni possono disporre di GPU ad alte prestazioni senza dover sottostare a sistemi di quota o attendere una capacit\u00e0 che potrebbe non essere disponibile nella regione di loro interesse. Per i team che devono addestrare un modello o lanciare un prodotto, questa differenza in termini di tempo \u00e8 significativa.<\/p>\n L'infrastruttura \u00e8 stata realizzata appositamente per:<\/p>\n Eseguire carichi di lavoro basati sull'intelligenza artificiale su un'infrastruttura ottimizzata per l'elaborazione generale significa dover aggirare dei vincoli che non dovrebbero esistere.<\/p>\n Molte organizzazioni ritengono che NeoClouds sia notevolmente pi\u00f9 conveniente rispetto alle tariffe on-demand degli hyperscaler per i carichi di lavoro in esecuzione continua. Il risparmio dipende dall\u2019allineamento delle strutture di impegno ai modelli di utilizzo effettivi: \u00e8 l\u2019utilizzo della GPU il dato che conta, non la tariffa oraria indicata.<\/p>\n Team di assistenza che comprendano le modalit\u00e0 di malfunzionamento concrete della formazione distribuita: perch\u00e9 un\u2019elaborazione si blocca al 98% di completamento, come ottimizzare vLLM in termini di throughput rispetto alla latenza, quale topologia InfiniBand influisca sul parallelismo del modello. Tale competenza \u00e8 raramente disponibile attraverso i canali di assistenza cloud generici.<\/p>\n Esempi:<\/strong> Crusoe, IREN<\/p>\n Incentrato su infrastrutture di intelligenza artificiale sostenibili, collocate in loco insieme a fonti energetiche rinnovabili o inutilizzate. Adatto alle organizzazioni con impegni in materia di emissioni di carbonio o con obblighi di rendicontazione ESG.<\/p>\n Esempi:<\/strong> DigitalOcean, Hot Aisle<\/p>\n Progettato per garantire un'implementazione rapida e massimizzare la produttivit\u00e0 degli sviluppatori. Cicli di provisioning pi\u00f9 brevi, API pi\u00f9 snelle e un modello di prezzi trasparente. Pi\u00f9 adatto ai team che devono rilasciare rapidamente funzionalit\u00e0 di intelligenza artificiale rispetto alle organizzazioni che eseguono sessioni di addestramento su scala di petabyte.<\/p>\n Esempi:<\/strong> CoreWeave, TensorWave<\/p>\n Progettato per l'addestramento e l'inferenza dell'IA su larga scala. CoreWeave \u00e8 il leader di questa categoria, con un fatturato annuo che supera i $5bn e che annovera tra i propri clienti Microsoft, Meta e OpenAI. Questi fornitori operano su una scala paragonabile a quella degli hyperscaler, pur mantenendo un focus specifico sulle GPU.<\/p>\n Esempi:<\/strong> Core42 (Emirati Arabi Uniti\/Europa), IBM<\/p>\n Progettato per la conformit\u00e0, la governance e i settori regolamentati. Core42 \u00e8 attualmente l\u2019azienda pi\u00f9 attiva in questo ambito: un\u2019azienda sostenuta da G42 che ha recentemente raccolto $550M da HSBC, ha stretto partnership con Red Hat e Microsoft Azure per un\u2019infrastruttura \u201csovereign-by-design\u201d e serve il settore pubblico, la difesa e i settori regolamentati in tutti gli Emirati Arabi Uniti \u2013 con una sede europea ora stabilita a Dublino. La sua piattaforma di controlli sovrani, Insight, offre alle organizzazioni regolamentate controlli tecnici e normativi sulla classificazione dei dati, sulla residenza e sulla governance dei carichi di lavoro dell\u2019IA. Per le organizzazioni che operano in Medio Oriente o nei settori regolamentati europei, Core42 rappresenta un\u2019alternativa sempre pi\u00f9 credibile alle offerte sovrane degli hyperscaler. La domanda a cui risponde non \u00e8 solo \u201cdove si trovano i dati\u201d, ma \u00abchi governa l\u2019intera pipeline di IA, compresi i pesi dei modelli, gli input di inferenza e le tracce di audit\u00bb.\u201d<\/p>\nCosa sono i NeoClouds?<\/h2>\n
\n
\n
Perch\u00e9 stanno emergendo i NeoClouds<\/h2>\n
\n
\n
NeoClouds vs fornitori di servizi cloud tradizionali<\/h2>\n
\n\n
\n \nCaratteristica<\/th>\n Cloud tradizionale (AWS, Azure, GCP)<\/th>\n NeoClouds<\/th>\n<\/tr>\n<\/thead>\n \n Obiettivo principale<\/td>\n Carichi di lavoro generici nel cloud<\/td>\n Carichi di lavoro relativi all'intelligenza artificiale e alle GPU<\/td>\n<\/tr>\n \n Disponibilit\u00e0 delle GPU<\/td>\n Condiviso tra i servizi<\/td>\n GPU-first<\/td>\n<\/tr>\n \n Velocit\u00e0 di implementazione<\/td>\n Moderato<\/td>\n Pi\u00f9 veloce per i carichi di lavoro di intelligenza artificiale<\/td>\n<\/tr>\n \n Competenze nel campo dell'intelligenza artificiale<\/td>\n Assistenza generale per il cloud<\/td>\n Team specializzati in IA<\/td>\n<\/tr>\n \n Modello dei costi<\/td>\n Ampia gamma di prezzi per tutti i servizi<\/td>\n Prezzi basati sull'intelligenza artificiale, per singola GPU<\/td>\n<\/tr>\n \n Aggiornamento dell'hardware<\/td>\n Equilibrato tra le diverse linee di prodotti<\/td>\n Priorit\u00e0 alle GPU pi\u00f9 recenti<\/td>\n<\/tr>\n \n Opzioni sovrane \/ regionali<\/td>\n Disponibile solo in alcuni mercati<\/td>\n In crescita, soprattutto nel Regno Unito e in Europa<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n I vantaggi di NeoClouds<\/h2>\n
Accesso pi\u00f9 veloce alla GPU<\/h3>\n
Infrastruttura ottimizzata dall'intelligenza artificiale<\/h3>\n
\n
Una gestione pi\u00f9 efficiente per carichi di lavoro costanti<\/h3>\n
Supporto nativo per l'IA<\/h3>\n
Tipi di fornitori NeoCloud<\/h2>\n
NeoCloud ottimizzati dal punto di vista energetico<\/h3>\n
NeoClouds: una soluzione pensata per gli sviluppatori<\/h3>\n
Fornitori di IA incentrati sulla scalabilit\u00e0<\/h3>\n
Cloud di intelligenza artificiale aziendali e sovrani<\/h3>\n
Chi dovrebbe prendere in considerazione NeoClouds?<\/h2>\n
Startup nel settore dell'intelligenza artificiale<\/h3>\n
\n
Aziende SaaS<\/h3>\n
\n
Imprese<\/h3>\n