Nel 2021, la spesa globale per il cloud pubblico ha raggiunto i 385 miliardi di dollari, ma si tratta solo di un dato iniziale; molte organizzazioni si trovano infatti ad affrontare costi per la propria infrastruttura cloud pubblica che crescono in maniera esponenziale. Un problema che anche Cloudera ha dovuto risolvere, tanto più che gran parte della propria infrastruttura interna di ricerca e sviluppo è gestita con capacità di calcolo e storage dei tre maggiori cloud provider. All’inizio del 2020, l’azienda aveva previsto una crescita della spesa per il cloud superiore a 25 milioni di dollari all’anno e ha dunque deciso non solo di ideare una strategia per frenare questa tendenza, ma anche di mettere in campo alcune azioni per dimezzare i costi entro la fine dell’anno. Per raggiungere questo obiettivo, Cloudera ha individuato tre direzioni fondamentali:

Avere una chiara panoramica della situazione

Un’indagine del 2021 ha rivelato che l’82% delle imprese spende molto più del dovuto per i propri cloud, con l’86% degli intervistati che ha dichiarato di non essere in grado di avere una visione d’insieme dei costi e delle spese legati alla gestione e al mantenimento dell’infrastruttura. Avere una panoramica completa dei costi è quindi fondamentale per prendere coscienza della situazione, sviluppare una strategia e mettere in atto le azioni più appropriate. Cloudera ha condotto un’indagine iniziale con l’aiuto di un provider SaaS, sviluppando poi velocemente una propria soluzione di automazione che tenesse conto di requisiti complessi. Il risultato è stato Project CloudCost, che ha l’obiettivo di fornire un’unica fonte attendibile per tutte le spese legate al cloud.

Allocare i costi

La nuova soluzione consente di acquisire i dati direttamente dalle API pubbliche dei tre fornitori di cloud permettendo di raccogliere i dati in maniera più veloce, affidabile e dettagliata e risparmiando sulle licenze. Inoltre, i dati possono essere acquisiti anche dai sistemi HR e finanziari dell’azienda al fine di restituire una visione completa dell’organizzazione. Le singole voci di consumo e i costi sostenuti possono essere dunque suddivisi in quattro categorie:

  • Account cloud (Cloudera ha circa 200 account cloud, principalmente assegnati ai centri di costo)
  • Proprietà di strumenti che possono essere ricondotti a un’unità organizzativa e quindi a un centro di costo
  • L’implementazione di un processo di tagging a livello aziendale consente di riassegnare i costi, laddove necessario
  • Grazie ad alcune dashboard specifiche, è possibile individuare gli andamenti di consumo e fornire informazioni utili ad avviare una discussione concreta per l’ottimizzazione delle risorse o a incoraggiare i singoli team ad apportare cambiamenti per ridurre gli sprechi.

spesa cloud pubblico

Uno dei punti di forza di questo progetto è che, qualora Cloudera decidesse di affidarsi anche ad altri fornitori on-premise o public cloud, può aggiungerli continuando ad avere una visione a 360 gradi delle spese e delle responsabilità.

Analytics e previsioni

In uno dei casi d’uso, analizzando il rapporto tra la spesa nei giorni feriali e quella nei fine settimana, Cloudera è riuscita a individuare rapidamente i dipartimenti e le aree di business in cui erano concentrati gli sprechi. L’azienda ha anche creato dei report dei consumi, analizzando l’utilizzo di istanze spot, inattive o in over-provisioning che non erano state eliminate.

La chiave per ottenere insight di business e risparmi sui costi è fare in modo che gli analytics siano nelle mani di personale effettivamente in grado di sfruttarli, ma bisogna comunque assicurarsi che le informazioni siano disponibili in un formato agevole e utile a tutti, riportando a colpo d’occhio il tasso di consumo preciso e le previsioni per il mese successivo.

Utilizzando il proprio Cloudera Data Visualization come front-end, Cloudera ha potuto costruire velocemente delle dashboard interattive e approfondite che hanno consentito di consultare la spesa quotidiana, le tendenze medie e le previsioni mensili e mese su mese. Il tutto, rimanendo nello stack senza dover spostare i dati.

La disponibilità di rapporti settimanali per tutti i responsabili di progettazione consente di renderli consapevoli delle spese dei propri team, delle evoluzioni future, e di possibili aree di miglioramento e riduzione degli sprechi. Una funzione cruciale per consentire ai manager di gestire i costi in maniera proattiva, piuttosto che dover apportare aggiustamenti a fine mese. Un esempio sono i cluster proof-of-concept non recuperati, forniti per un periodo di demo circoscritto e lasciati silenziosamente a consumare risorse economiche ingenti dovute ai costi di flussi di dati.

La creazione di una singola fonte di informazioni verificate, accessibili a chiunque, ha inoltre consentito ai team di Cloudera di evitare di riprogettare nuovi strumenti dall’inizio. I dati sono facilmente consultabili in tutta l’organizzazione, dai manager agli ingegneri, che possono fare riferimento a questo strumento centralizzato invece di sprecare tempo nel cercare di ideare dei tool specifici per l’analisi dei costi del proprio team.