Gestire le risorse cloud e i relativi costi è una sfida complessa persino per colossi come Netflix. In un post pubblicato oggi, il gigante dello streaming video ha parlato proprio dei suoi sforzi per migliorare l’efficienza e la gestione dei costi delle infrastrutture cloud.

Netflix utilizza ampliamente Amazon Web Services (AWS) per soddisfare le sue esigenze infrastrutturali e i suoi team ingegneristici dispongono di strumenti self-service per allocare risorse cloud in autonomia. Tuttavia, l’articolo rivela che mantenere una visione chiara sull’effettivo utilizzo delle risorse e sui relativi costi rimane un compito molto complesso.

Per affrontare questo problema, Netflix ha istituito un team dedicato di Data Science Engineering (DSE), il cui obiettivo è aiutare i vari dipartimenti ingegneristici a comprendere meglio l’uso delle risorse, valutarne l’efficienza e monitorare i costi associati.

A tal fine, il team ha sviluppato due strumenti principali:

netflix cloud

  • Foundational Platform Data (FPD): una piattaforma centralizzata che raccoglie e standardizza i dati infrastrutturali, garantendo una metodologia uniforme di elaborazione
  • Cloud Efficiency Analytics (CEA): costruito sopra FPD, questo strumento fornisce metriche di efficienza basate su serie temporali, utili per analisi aziendali dettagliate

FPD integra dati da applicazioni come Apache Spark, che registrano la durata di utilizzo dei core e la quantità di dati elaborati, mentre CEA utilizza tali informazioni per attribuire costi e proprietà in modo dettagliato, applicando logiche aziendali specifiche.

La portata e la complessità dei dati generati da Netflix sono significative, a causa delle peculiarità delle infrastrutture e delle personalizzazioni implementate sulle piattaforme. Questo comporta sfide nel garantire la completezza e la precisione dei dati, spesso aggravate dalla latenza nei flussi upstream e dalle trasformazioni necessarie per rendere i dati utilizzabili.

Il lavoro del team DSE, quindi, è continuo e Netflix punta a ottenere una copertura quasi totale della visibilità sui costi entro il prossimo anno. L’articolo si conclude con l’anticipazione di un’evoluzione verso approcci proattivi, sfruttando l’analisi predittiva e il machine learning per ottimizzare l’uso delle risorse e rilevare anomalie nei costi.