EO 517

DIGITAL AI MEMORIES dati preparati vengono trasmessi ripetutamente da un supporto di archiviazione all’hardware, un processore grafico (unità di elaborazione grafica, GPU) con memo- ria locale ad alta velocità. Nel corso del tempo, l’algorit- mo continua a migliorare il processo di apprendimento per cui è stato progettato, come ad esempio il ricono- scimento di tumori nelle immagini mediche. In que- sta fase, l’archiviazione di sola lettura ad alta velocità trasmette i dati a una memoria ad alta velocità per la durata di un periodo di apprendimento. La scelta ricade solitamente sulla DRAM, capace di garantire la velocità richiesta e supportata dall’architettura computaziona- le. Tuttavia, la maggior parte del compito della DRAM in questa fase è di lettura. La fase finale è la distribuzione (Fig. 2) e a questo punto le richieste per quel che concerne la memoria variano notevolmente. Gli utenti potrebbero accedere a un ser- ver per l’AI generativa per creare immagini o utilizzare una fotocamera intelligente su un drone con requisiti molto severi in termini di costi, consumi energetici e peso. In ogni caso, occorre abbastanza memoria princi- palmente di sola lettura per memorizzare il modello di IA necessario per eseguire la funzionalità appresa, ab- binata a qualche memoria di lettura-scrittura per ge- stire i risultati di calcolo intermedi e finali. Il divario tra DRAM e SSD Riassumendo, una DRAM offre un accesso ai dati in lettura e scrittura ad alta velocità che, generalmente, è fondamentale per accelerare molti aspetti dello svi- luppo e della distribuzione di algoritmi di AI. Tuttavia, ciò comporta alti costi per bit e un elevato consumo e rappresenta una soluzione sovradimensionata in nu- merosi passaggi della pipeline. Gli SSD, d’altra parte, potrebbero rappresentare un’alternativa, specialmen- te nei passaggi della pipeline in cui il trasferimento dei dati è ad alta intensità di lettura e richiede potenze die- ci volte inferiori. Gli SSD Kioxia NVMe M.2 e PCIe 4.0 offrono throughput di lettura sequenziale fino a 7 GB/s, che corrispondono alle larghezze di banda DDR5-5600 di una CPU a 10 core.[1] Ma la latenza dell’archiviazione su disco basata su flash (circa 100 μs) è 10.000 volte più lenta, il che comporta tempi di attesa elevati per l’arri- vo dei dati (Fig. 3). Secondo gli ultimi risultati della ricerca, una soluzione di memoria basata su flash è comunque capace di col- mare il divario tra la DRAM a bassa latenza e gli SSD con ampia frequenza di banda e consumi energetici ridotti. Non è raro che un set di dati per l’addestramento arri- vi a dimensioni fino a 10 TB, il che rende necessario il ricorso a decine di server con oltre 100 GB di DRAM per implementare la fase di addestramento. Tuttavia, il set di dati dovrà comunque essere letto dal supporto di ar- chiviazione. I ricercatori del MIT (Massachusetts Insti- tute of Technology) hanno scoperto che questi accessi al disco hanno rallentato il sistema fino a raggiunge- re velocità paragonabili a quelle della memoria flash. Hanno quindi sviluppato un approccio che combina i server con una rete di FPGA (Field Programmable Gate Array), ognuno collegato a 1 TB di memoria flash. Questa implementazione ha offerto le stesse prestazio- ni di un approccio basato su DRAM, riducendo il numero di server a dieci a parità di dimensioni del set di dati, garantendo quindi una significativa riduzione dei costi. Un nuovo livello di memoria: SCM I risultati di questa ricerca rafforzano l’idea che sia ne- cessario un nuovo livello nella gerarchia di memoria. La memoria SCM (Storage Class Memory) è stata pro- posta per colmare il divario tra DRAM e archiviazione basata su flash, contribuendo ad alleviare le pressioni sui costi senza incidere sulle prestazioni. Destinata ad applicazioni quali l’intelligenza artificiale che pre- vedono un accesso continuo a enormi set di dati, SCM è definita come un tipo di memoria completamente o parzialmente non volatile che offre latenze di lettura inferiori rispetto agli SSD a un prezzo minore a quello della DRAM. Fig. 3 – Laddove una memoria basata su flash non volatile potrebbe sostituire la DRAM durante i singoli passaggi, gli SSD non vengono considerati a causa della loro latenza di sistema [Kioxia potrebbe modificare questo tipo di diagramma in base alle esigenze: https://www.computerweekly.com/it/definition/ Storage-Class-Memory-SCM ELETTRONICA OGGI 517 - APRILE 2024 48