profile.country.IT.title
Il primo sensore d’immagine al mondo con lo strato inferiore rappresentato da un chip logico che elabora i dati delle immagini con l’IA. L’IMX500 promette di essere velocissimo e applicare elaborazioni IA in tempo reale perché il tutto avviene sul sensore stesso.
Sony ha deciso di rendere il rapporto tra i propri sensori d’immagine e l’intelligenza artificiale molto più stretto. Anche in senso letterale. Ha presentato infatti il primo sensore d’immagine che integra un’elaborazione edge basata su IA.
La grande e importante differenza sta tutta qui. Il nuovo sensore IMX500 è stato sviluppato in una configurazione a strati formata da un chip pixel e un chip logico dedicato all’IA. Il segnale acquisito dal chip pixel è quindi elaborato dal chip logico dell’IA all’interno dello stesso sensore, e senza la necessità di un passaggio della comunicazione al processore centrale, o a uno dedicato esterno o addirittura a elaborazioni di calcolo IA in cloud.
Nello specifico, il chip pixel invia i dati dell’immagine al chip logico che però saranno ricevuti dall'elaboratore IA in forma di metadati, al quale quindi non finirà mai l'immagine stessa. Sony lo ha fatto per ridurre il volume dei dati, velocizzare il processo e ridurre i timori sulla privacy degli utenti. Questa velocità di esecuzione dovrebbe essere in grado di effettuare il tracciamento degli oggetti in tempo reale abbinandolo a un’elaborazione altrettanto veloce dell’IA.
Cattura dell'immagine ed elaborazione IA. Avviene tutto nel sensore
Per quanto riguarda i dati tecnici, il chip pixel è di tipo retroilluminato con schema Bayer e risoluzione di 12,3 MP (4.056 x 3040 pixel). La sua dimensione è di 1/2,3 pollici (con diagonale di 7,857 mm) e quella delle singole celle di 1,55 μm x 1,55 μm. Video in 4K (4056 × 2288) fino a 60 fps che diventano 30 fps se al video viene accompagnata l’elaborazione dell’IA.
Il chip logico processa i segnali acquisiti con un ISP (Image Signal Processor) e poi invia i metadati dell’immagine a un DSP (Digital Signal Processor) di Sony dedicato all’elaborazione del segnale tramite IA abbinato a una memoria per i modelli di IA. Per spiegarlo, Sony fa l’esempio dell’immagine di un cane. Al DSP sul chip logico dell’IA arriverà il metadato “cane”.
Gli utenti, quindi, oltre all’immagine registrata dal sensore d’immagine convenzionale possono selezionare il formato di output in base alle esigenze e all’uso, tra cui immagini in formato ISP (YUV/RGB) e immagini ROI (Region of Interest) con estratti di aree specifiche. Nel caso dell’esempio di Sony, la testa del cane.
Per l'acquisizione di immagini video, nell’IMX500 di Sony l’elaborazione ISP e l’elaborazione ad alta velocità basata su IA (che avviene in circa 3,1 millisecondi) avvengono sul chip logico e l’intero processo viene completato in un unico frame video. Una soluzione che permette il tracciamento degli oggetti ad alta precisione e in tempo reale durante la registrazione di video. In un sensore convenzionale è invece necessario l’invio di ogni singolo fotogramma a un’unità di elaborazione esterna, che pregiudica la gestione in tempo reale delle immagini.
Un’altra delle caratteristiche interessanti dell’IMX500 è che i modelli IA possono essere integrati, riscritti e salvati nella memoria integrata. Questo significa che l’IA del sensore può essere programmata a seconda dello scopo. Sony fa l’esempio di uno scaffale di un negozio monitorato da una telecamera che può avvisare delle scorte in esaurimento. Oppure visualizzare la mappa di calore dei clienti o le loro abitudini di acquisto.
Tuttavia, tra gli usi dell’IMX500 Sony indica anche quelli per il mercato “retail” e siamo certi che presto lo vedremo all’interno di molti smartphone top di gamma. Le spedizioni dei campioni sono già iniziate in aprile. La versione con il package ceramico sarà chiamata IMX501 e prevede appunto un LGA (Land Grid Array) che porterà le dimensioni del sensore a 12,5mm per 15 mm. L’IMX501 sarà disponibile a partire da giugno.
profile.country.IT.title
0online
1868139post