L’utilizzo del machine learning in meteorologia

L’utilizzo del machine learning in meteorologia

Negli ultimi anni il machine learning è entrato nel campo delle previsioni meteorologiche numeriche. Perché questo è importante per l’Ecmwf?

Intervista alla direttrice generale del centro meteo europeo per le previsioni a medio termine (ecmwf) florence rabier. Il machine learning svolgerà un ruolo sempre più importante nella previsione numerica, per potenziare le tecniche tradizionali e sviluppare nuovi sistemi ora in fase di sperimentazione.

Le applicazioni di intelligenza artificiale e machine learning si sono recentemente ampliate in modo significativo in tutti i settori. Il machine learning utilizza molti dati per produrre i risultati, e l’attività Ecmwf è tutta basata sui dati: ne utilizziamo molti – decine di milioni di osservazioni meteorologiche al giorno – e ne creiamo molti producendo analisi e previsioni meteorologiche ad alta risoluzione.

Tradizionalmente, utilizziamo metodi basati sulla fisica per i nostri calcoli nel Sistema integrato di previsione (Integrated forecasting system, Ifs). Questo avviene per le previsioni meteo numeriche (Numerical weather prediction, Nwp), le rianalisi del tempo passato e la composizione chimica dell’atmosfera. Tutte le operazioni richiedono una grande potenza di calcolo per produrre previsioni di alta qualità, basate su una descrizione accurata dei processi fisici.

Il machine learning può migliorare i nostri calcoli aggiungendo componenti o sostituendo alcune parti del processo. Questo è ciò che chiamiamo approccio “ibrido”. Ma il machine learning può anche sostituire completamente l’intero modello, con un costo di calcolo molto inferiore. Inoltre, l’intelligenza artificiale e il machine learning aprono nuove strade in altre attività in cui siamo coinvolti, come le previsioni di inondazioni, le previsioni di pericolo d’incendio, il monitoraggio delle osservazioni, la gestione dei supercomputer o il miglioramento dell’esperienza degli utenti.

Come funziona l’approccio ibrido?

Il machine learning può essere utilizzato per valutare meglio alcune componenti delle previsioni meteo numeriche e per stimare gli errori del modello. Questo è valido per il processo di definizione delle migliori condizioni iniziali possibili delle previsioni, denominato assimilazione dei dati, ma anche per le previsioni stesse.

Aspetti del sistema Terra, quali ghiaccio marino, neve, suolo e vegetazione, sono difficili da modellare dalla fisica pura; la modellizzazione può essere abbastanza empirica. In questi casi, c’è un grande potenziale per far sì che le osservazioni definiscano sempre di più i modelli. Come abbiamo dimostrato per l’assimilazione del ghiaccio marino, è più probabile che si ottengano i migliori risultati combinando con cura la fisica nota con componenti empiriche e di machine learning, piuttosto che scartando completamente i modelli fisici.

Esistono anche errori prevedibili del modello che, utilizzando il machine learning, possiamo stimare e rimuovere dall’assimilazione dei dati e dalle previsioni successive. Anche le rianalisi meteorologiche e climatiche possono trarre vantaggio dal machine learning.

Per esempio, per la prossima rianalisi dell’Ecmwf, applicheremo Era6, un metodo di correzione degli errori del modello basato su machine learning che è stato sviluppato per il periodo a partire dal 2006, ricco di osservazioni satellitari, verrà applicato anche a periodi precedenti con scarsità di dati.

Quali progressi sono stati compiuti sui sistemi di previsione basati esclusivamente sul machine learning?

Abbiamo fatto enormi progressi negli ultimi 18 mesi circa nella costruzione di un sistema di questo tipo, l’Artificial intelligence forecasting system (Aifs). Questo è il risultato delle decisioni prese dai nostri Stati membri in materia di investimenti, della motivazione e dedizione del nostro personale e dell’impegno di collaborazione con i partner. L’Aifs utilizza le rianalisi climatiche e meteorologiche di Copernicus per l’addestramento e si basa sulle condizioni iniziali dell’Ifs, quindi non è completamente separato dalle tecniche tradizionali. Ma fa previsioni solo sulla base del machine learning.

Quest’anno abbiamo ridotto il passo di griglia dell’Aifs da 100 a 28 km e diminuirà ulteriormente. Si può paragonare questo dato con la spaziatura attuale di 9 km per l’Ifs. Abbiamo anche costruito un primo sistema di ensemble Aifs, in cui sono fatte previsioni leggermente diverse per ogni momento futuro per analizzare gli scenari possibili e quindi consentire la stima dell’incertezza. Queste previsioni sono state aggiunte alla nostra pagina web che contiene i grafici e sono disponibili anche come open data.

Stiamo esaminando le scale temporali sub-stagionali, fino a 46 giorni in anticipo, e l’aggiunta di varie componenti del sistema Terra. Sono previsti inoltre progetti per previsioni Aifs di tipo idrologico e sulla composizione atmosferica. Stiamo collaborando a un progetto pilota di machine learning Ecmwf con gli Stati membri e i paesi cooperanti, e partecipiamo a un’iniziativa Eumetnet sull’intelligenza artificiale. Ciò ci aiuterà a mettere a confronto diversi approcci, con scale temporali e risoluzioni differenti. La collaborazione con i nostri Stati membri e cooperanti è fondamentale anche per lo sviluppo di una piattaforma chiamata Anemoi, che consentirà agli utenti di costruire i propri modelli di machine learning.

A che punto è l’utilizzo del machine learning solo sulle osservazioni?

Nell’ultimo anno abbiamo avviato un approccio radicalmente nuovo alla previsione meteorologica: la produzione di previsioni meteo direttamente dalle osservazioni. L’assimilazione dei dati basati sulla fisica si fonda su alcune assunzioni, come la perfetta conoscenza degli errori dei modelli e dell’osservazione, così come del legame tra il modello e le osservazioni. Il nuovo approccio cerca di aggirare questi aspetti dell’assimilazione convenzionale dei dati.

Questo significa che le osservazioni non devono essere mappate su una griglia fine di parametri non misurati. Inoltre, offre la possibilità di sfruttare il contenuto informativo di nuove e interessanti osservazioni. Questo progetto Ai-Direct observation prediction (Ai-Dop) prevede una rete neurale addestrata a prevedere le osservazioni future a partire da lunghe registrazioni storiche di osservazioni passate.

Con questo nuovo approccio, utilizziamo effettivamente le osservazioni per prevedere gli stati futuri dell’atmosfera, con un apprendimento diretto dalle osservazioni stesse. I primi risultati sono molto promettenti, ma questo approccio è ancora sperimentale.

Cosa ci aspetta per il futuro?

Nel 2025 il sistema Aifs sarà operativo come complemento dell’Ifs. Il lavoro continuerà a migliorare ulteriormente la modellizzazione del machine learning e ad aumentare la risoluzione spaziale, andando verso i 9 km. Oltre al medio raggio, saranno sviluppati approcci ibridi e basati sui dati per i sistemi di previsione stagionale e sub-stagionale. Un Aifs operativo per queste scale temporali sarà sviluppato entro il 2026.

Nell’ambito dell’iniziativa dell’Unione europea Destination Earth, la portata dell’Aifs sarà ampliata per includere i processi relativi agli oceani, al ghiaccio

marino, al terreno, all’idrologia e alle onde. L’Ecmwf potrebbe anche contribuire con la sua grande esperienza e le sue risorse a sostenere le Ai Factories della Commissione europea. Nell’ambito dei servizi Copernicus dell’Ue, saranno esplorati un modello ibrido e un modello di composizione atmosferica Aifs, nonché metodi basati sul machine learning per il ridimensionamento della ri-analisi globale Era5 alle regioni europee e artiche. Continuerà l’uso diretto delle osservazioni nello sviluppo di modelli di machine learning.

In collaborazione con partner di tutta la comunità meteorologica europea, stiamo anche progettando di sviluppare un modello di base per il tempo e il clima entro il 2027, che utilizzerà una grande varietà di dati e avrà la possibilità di adattarsi a una vasta gamma di compiti. Per esempio, fungerà da strumento di previsione, ridimensionamento e post-elaborazione. Si applicherà a settori quali meteorologia, acqua, energia, salute e sicurezza alimentare.

Ci sarà sempre un ruolo per un sistema di previsione basato sulla fisica?

L’Ecmwf si impegna a essere all’avanguardia degli sviluppi di intelligenza artificiale e machine learning, insieme all’Infrastruttura meteorologica europea, per sostenere l’obiettivo costante di essere leader a livello mondiale nelle previsioni meteorologiche. Ciò non significa che stiamo rinunciando alle previsioni basate sulla fisica. Gran parte del lavoro attuale riguarda il modo migliore di combinare i due elementi per ottenere i migliori risultati possibili.

Stiamo progettando, ad esempio, di sviluppare piccoli ensemble a risoluzione più elevata del modello basato sulla fisica per integrare la produzione attuale con una spaziatura delle griglie di 9 km. Ciò sarà utile in sé, ma aiuterà anche ad addestrare modelli basati sui dati, che funzioneranno anche a una risoluzione più elevata.

Da quanto ho descritto, si può vedere che in futuro ci sarà ancora un ruolo per la modellazione basata sulla fisica. Servirà ad ancorare il sistema, anche se una parte crescente della produzione operativa sarà effettuata con approcci basati sui dati.

Intervista a cura dello European centre for medium-range weather forecasts (Ecmwf) L’articolo originale è pubblicato su https://bit.ly/240909-ecmwf-machine-learning

Traduzione a cura di Stefano Folli