EO 517

Lighting che fornisce 30 fotogrammi al secondo (fps) con otturatore progressivo ( rolling shutter ), mentre una telecamera infra- strutturale per il pagamento di pedaggi potrebbe necessi- tare di 2 MP con 60 fps e otturatore globale ( global shutter ) per acquisire i dati delle targhe di veicoli in rapido movi- mento. Una telecamera per visione artificiale, invece, po- trebbe richiedere 2 MP in scala di grigi a 90 fps e global shutter per identificare i difetti su pezzi in rapido movi- mento su una catena di montaggio. I sensori di immagine possono includere un processore ISP che pre-elabora in- ternamente le immagini in un tipico formato come JPEG o YUV. Tuttavia, molti sensori non includono un ISP per ridurre i costi del sensore stesso e consentire di sceglie- re un ISP esterno che è possibile impostare in tempi più brevi rispetto a quelli richiesti da un ISP interno al senso- re. La scelta di un processore con il proprio ISP integrato, come quelli della famiglia AM6xA, offre i vantaggi di un ISP esterno, a fronte della semplificazione del progetto del circuito stampato e della riduzione dei costi della BoM, della latenza end-to-end e dell’utilizzo di DDR. Le varie applicazioni presentano inoltre requisiti di calco- lo diversificati per via dei differenti gradi di complessità della visione artificiale e del machine learning. Le attività di machine learning, come la classificazione delle imma- gini, richiedono minori risorse rispetto al rilevamento di oggetti o di punti chiave, che identifica oggetti specifici come persone o veicoli e la loro ubicazione. Attività più complesse, come la segmentazione a livello pixel, richie- dono ancora più risorse, in quanto ciascun pixel è clas- sificato come parte di un oggetto o di una regione, come ad esempio la corsia attualmente occupata nel caso di un algoritmo di rilevamento della corsia nelle applicazioni ADAS. Alcune applicazioni potrebbero richiedere modelli multipli. L’aumento della risoluzione, inoltre, contribuisce a incrementare drasticamente i requisiti di elaborazione. I processori AM6xA sono dotati di hardware per l’accelera- zione del deep learning per l’offload di queste attività ad alto utilizzo della capacità di calcolo. La tabella 1 riporta un elenco di apparecchiature/applica- zioni per AM62A con intervalli per le specifiche/funzio- nalità richieste. Esempio di telecamera di sicurezza Un esempio che illustra le potenzialità di AM62A è un’ap- plicazione per telecamera di sicurezza. I fotogrammi video sono acquisiti attraverso la porta MIPI CSI-2 utilizzando una telecamera con uscita “raw” (non elaborata). Il pro- cessore invia i parametri di configurazione per il guada- gno e per il bilanciamento del bianco attraverso la mede- sima interfaccia. Il rumore viene rimosso dal fotogramma dell’uscita “raw”, che viene anche demosaicizzato sul pro- cessore ISP VPAC-3L dell’AM62A, producendo immagini RGB utilizzabili. Se si utilizza un obiettivo grandangolare, l’acceleratore di correzione della distorsione dell’obiettivo (LDC, lens distortion correction ) all’interno dell’ISP trasfor- ma l’immagine per ridurre il warping. L’ISP del VPAC-3L può pre-elaborare ulteriormente l’immagine per adattarla alle specifiche di input di unmodello di machine learning, come una rete di rilevamento degli oggetti per riconoscere gli esseri umani, i veicoli e gli animali. Questo modello di ML gira sull’hardware per l’accelerazione deep learning a 2 TOPS all’interno del processore. Il risultato del modello potrebbe essere utilizzato per azionare un allarme o per l’uplink di una clip dell’evento codificata con H.265 sul- la rete. La figura 2 illustra questo esempio ad alto livello, mentre la figura 3 mostra lo schema a blocchi per valori di esempio di risoluzione, frame rate e formato pixel. Per le applicazioni con smart camera come la sicurezza o Caso d'uso Risoluzione (megapixel) Frame rate (fps) Complessità dell'IA Richiede codifica video Tipo di otturatore della telecamera Sorveglianza 2-8 MP 10-30 Media Sì Rolling Visione artificiale 5+ MP 60+ Bassa No Global Monitoraggio infrastruttura/ traffico 1-5 MP 5-15 Bassa Sì Global Automotive 2 MP+ 30-60 Alta No Global Monitoraggio conducente/dash cam 2-5 MP 15-30 Media Sì Rolling o global Telecamera sportiva 2-8 MP 60+ fps Media Sì Rolling Scanner di articoli/codici 1-5 MP 10-30 fps Media No Rolling Tab. 1 – Apparecchiature/applicazioni con le caratteristiche necessarie e specifiche tipiche EO LIGHTING - APRILE 2024 XXIV