Apple Ferret: arriva l’IA multimodale di Cupertino

apple ferret
Apple Ferret è un nuovo modello di intelligenza artificiale multimodale in grado di comprendere le immagini attraverso un ragionamento congiunto su input visivi e testuali.

Apple Ferret è un nuovo modello di intelligenza artificiale multimodale in grado di comprendere le immagini attraverso un ragionamento congiunto su input visivi e testuali

Apple ha reso open-source un nuovo modello di intelligenza artificiale generativa multimodale chiamato Ferret. Sviluppato congiuntamente da ricercatori di Apple e della Cornell University, Ferret è approdato su GitHub nell’ottobre 2023 e combina la visione artificiale e l’elaborazione del linguaggio naturale per adottare un approccio innovativo all’interazione con i contenuti visivi. È in grado di identificare oggetti e regioni all’interno di un’immagine, di associare i concetti testuali agli elementi visivi e di sfruttare questa comprensione per avere conversazioni testuali ricche di sfumature sulle immagini.

L’innovazione principale di Ferret è la capacità di rilevare oggetti e concetti semantici all’interno di regioni di un’immagine specificate dall’utente, invece di analizzare l’intera immagine. Ad esempio, un utente può disegnare una forma irregolare intorno al volto di una persona in una foto e chiedere “Di che colore sono gli occhi di questa persona?”. Ferret identifica gli occhi all’interno di quella regione, rileva che sono blu e risponde: “Questa persona ha gli occhi blu”.

Ferret va però oltre il riconoscimento di base degli oggetti. È in grado di comprendere le relazioni tra gli oggetti, le azioni e altri dettagli contestuali per avere una ricca conversazione a più voci su un’immagine. Questo lo rende più capace di chattare in base alla regione rispetto ai precedenti sistemi di intelligenza artificiale multimodale.

Per raggiungere questo obiettivo, Ferret utilizza un’architettura a doppio encoder. Un decoder si concentra sugli aspetti visivi, mentre l’altro gestisce l’input testuale. I due flussi di dati vengono fusi utilizzando un nuovo meccanismo di fusione dinamica e ciò consente un uso equilibrato di entrambe le modalità durante l’addestramento.

apple ferret

Per ottimizzare le capacità di riferimento visivo e di messa a terra di Ferret, i ricercatori hanno curato con attenzione un set di dati su larga scala chiamato GRIT (Ground-and-Refer Instruction Tuning), che contiene oltre 1,1 milioni di campioni diversi con una ricca conoscenza spaziale a più livelli: oggetti, relazioni, descrizioni di regioni e ragionamenti.

Ferret ha fin qui superato in modo significativo i precedenti LLM multimodali nei compiti che richiedevano la comprensione e la localizzazione su base regionale durante le conversazioni. Secondo i ricercatori, le valutazioni quantitative e qualitative hanno dimostrato che le capacità di Ferret vanno oltre i modelli esistenti. Il modello ha infatti dimostrato di aver migliorato le capacità di descrizione delle immagini a grana fine e di aver ridotto i problemi di allucinazione presenti in altri LLM.

Ferret, come già detto, è concesso in licenza open-source non commerciale (scelta piuttosto atipica per Apple) e questo modello distributivo comporta tre vantaggi chiave:

  • Collaborazione: I ricercatori di tutto il mondo possono costruire sulle fondamenta di Ferret e Apple beneficia di questo progresso collettivo.
  • Innovazione: Con il codice disponibile pubblicamente, possono emergere nuove estensioni e applicazioni di Ferret al di là di quanto previsto da Apple.
  • Trasparenza: L’open-sourcing dissipa i timori di parzialità e sicurezza che circondano i sistemi di intelligenza artificiale proprietari e chiusi.

Alcuni sviluppi futuri per Ferret includono l’estensione ad altre modalità oltre alle immagini e al testo, il potenziamento del ragionamento basato sul buon senso e il miglioramento delle basi fattuali. Dal punto di vista applicativo, Ferret potrebbe inoltre essere incorporato in prodotti Apple come Spotlight per comprendere le richieste degli utenti sulle immagini.

Aziende:
Apple
Condividi:
 

IA e cybersecurity: un mercato che vale oltre 22 miliardi di dollari

cybercriminali
Secondo un nuovo rapporto di MarketsandMarkets, il mercato globale dell'intelligenza artificiale nella cybersecurity è destinato a crescere da 22,4 miliardi di dollari nel 2023 a 60,6 miliardi di dollari entro il 2028.

Nel settore della cybersecurity, il futuro dell’IA risiede nell’analisi comportamentale, nel rilevamento sofisticato delle minacce e nell’ulteriore automazione di processi come la risposta agli incidenti. Si prevede che l’intelligenza artificiale sarà quindi fondamentale per migliorare la sicurezza del cloud e degli endpoint, per risolvere il divario di competenze e per adattarsi alle mutevoli strategie ostili.

Secondo un nuovo rapporto di MarketsandMarkets, il mercato globale dell’IA nella cybersecurity è destinato a crescere da 22,4 miliardi di dollari nel 2023 a 60,6 miliardi di dollari entro il 2028, con un CAGR del 21,9% nel periodo di previsione. L’aumento delle tecnologie di intelligenza artificiale come l’elaborazione del linguaggio naturale (NLP) e il machine learning (ML) è fondamentale per migliorare la sicurezza informatica. Con l’aumento degli attacchi informatici alle aziende tecnologiche, alla difesa e alle agenzie governative, è cresciuta la domanda di soluzioni IA avanzate. La Cyber AI, in particolare la biometria comportamentale, è fondamentale per la protezione proattiva dalle minacce. Gli algoritmi di ML sono una priorità assoluta per gli operatori del settore per rafforzare l’intelligence della sicurezza. Anche il settore bancario, alle prese con crescenti preoccupazioni per la privacy, sottolinea l’importanza della cybersecurity basata sull’IA. Con l’evoluzione delle minacce informatiche, si prevede inoltre un’espansione del mercato, soprattutto grazie alla domanda delle piccole e medie imprese (PMI).

Centralità del segmento del software

In base al segmento di offerta, si prevede che il software deterrà le maggiori dimensioni del mercato durante il periodo di previsione. I sistemi informatici si affidano a software integrati per eseguire operazioni complesse, sintetizzando i dati provenienti dall’hardware ed elaborandoli attraverso sistemi di intelligenza artificiale per ottenere risposte intelligenti.

L’aumento della presenza dell’IA nel mercato del software di cybersecurity è dovuto all’incremento delle violazioni della sicurezza che colpiscono le applicazioni aziendali, dove gli hacker mirano ad accedere ai dati sensibili. Le politiche e le normative più severe in materia di privacy dei dati contribuiscono all’aumento della domanda di soluzioni di cybersecurity basate sull’IA, che affrontano le sfide poste dall’evoluzione delle minacce informatiche. L’adozione di soluzioni di cybersecurity è ulteriormente favorita dall’uso diffuso di dispositivi connessi, dalla tendenza BYOD nelle organizzazioni e dall’aumento globale dell’uso di Internet, tutti fattori che mirano a mitigare i rischi potenziali.

CVSS 4.0

I servizi gestiti registreranno un CAGR più elevato

Secondo il report i servizi gestiti registreranno il più alto CAGR nel periodo di previsione. I servizi gestiti stanno dando un’impronta significativa all’IA nella cybersecurity, promuovendo un panorama di difesa proattivo. Gli algoritmi di IA in questi servizi migliorano il rilevamento delle minacce in tempo reale, automatizzando le risposte agli incidenti per una rapida mitigazione. L’allocazione delle risorse viene ottimizzata grazie all’automazione dell’IA, consentendo ai team di cybersecurity di concentrarsi sulle iniziative strategiche.

Il monitoraggio continuo e le misure di sicurezza adattive forniscono inoltre una copertura completa contro le minacce informatiche in evoluzione. La gestione del rischio basata sull’intelligenza artificiale analizza vasti set di dati, proteggendo le organizzazioni da potenziali vulnerabilità. Scalabilità, flessibilità e analisi predittiva consentono alle organizzazioni di anticipare e rispondere efficacemente alle minacce informatiche, mentre le intuizioni strategiche dell’IA facilitano il processo decisionale informato, contribuendo a operazioni di cybersecurity efficienti ed economicamente vantaggiose.

Le aziende più importanti nel mercato dell’IA nella cybersecurity

Le principali aziende del mercato globale dell’intelligenza artificiale nella cybersecurity sono: NVIDIA (USA), Intel (USA), Xilinx Inc. (USA), Samsung Electronics Co, Ltd (Corea del Sud), Micron Technology, Inc. (USA), IBM Corporation (USA), Amazon Web Services, Inc. (USA), Microsoft (USA), Palo Alto Networks Inc. (USA), Trellix (USA), CrowdStrike (USA), NortonLifeLock (USA), Cylance Inc. (USA), ThreatMetrix Inc. (USA), Securonix Inc. (USA), Sift Science (USA), Acalvio Technologies (USA), Darktrace (UK), SparkCognition Inc. (Stati Uniti), Fortinet (Stati Uniti), Check Point Software Technologies, Ltd (Stati Uniti), High-Tech Bridge (Svizzera), Deep Instinct (Stati Uniti), SentinelOne (Stati Uniti), Feedzai (Stati Uniti), Vectra (Stati Uniti), Zimperium (Stati Uniti), Argus Cyber Security (Israele), Nozomi Networks (Stati Uniti), BitSight Technologies (Stati Uniti) e aziende antivirus come Kaspersky Lab (Russia), Bitdefender (Romania) ed ESET (Stati Uniti).

Vantaggi del mercato dell’intelligenza artificiale nella sicurezza informatica

  • L’intelligenza artificiale analizza schemi e anomalie in enormi insiemi di dati per consentire il rilevamento di sofisticate minacce informatiche
  • Rilevando gli scostamenti dal comportamento tipico di utenti e sistemi, l’intelligenza artificiale per l’analisi comportamentale migliora l’identificazione proattiva delle minacce
  • Le attività di routine della cybersecurity sono automatizzate dall’IA, che snellisce procedure come la risposta agli incidenti e libera gli esperti umani per concentrarsi su elementi strategici
  • L’intelligenza artificiale migliora la sicurezza sia per il cloud, sia per i singoli dispositivi, offrendo una difesa forte contro le minacce in costante evoluzione
  • L’analisi basata sull’intelligenza artificiale consente un’analisi efficiente di grandi insiemi di dati, aiutando gli esperti di sicurezza a ottenere approfondimenti e a identificare le tendenze

Condividi: