Come useremo gli occhiali AR di Apple e con quale interfaccia utente?
Quando arriveranno sul mercato nel corso del prossimo anno, Apple vorrà assicurarsi che l’esperienza di utilizzo dei suoi chiacchieratissimi occhiali AR sia naturale e immediata come quella di qualsiasi suo altro prodotto. E oggi siamo arrivati a un punto in cui possiamo speculare su come funzioneranno questi occhiali per la realtà aumentata.
Realtà virtuale, aumentata, mista e le ipotesi su come si svilupperà il metaverso collaborativo ipotizzato da Mark Zuckerberg come evoluzione naturale di Facebook saranno tra gli argomenti del convegno digitale ProgettistaPiù, che si terrà dal 25 al 28 gennaio. In particolare, il 27 alle ore 11:30 la sessione “Progettare per e con la realtà virtuale: dal 3D al metaverso”, toccherà l’argomento visto dal punto di vista dei progettisti e designer che dovranno plasmare ambienti, oggetti e interfacce nei nuovi spazi virtuali. La partecipazione è gratuita, ma è necessaria la registrazione che si effettua da questa pagina.
Occhiali AR di Apple: cosa non sono?
Gli occhiali AR di Apple non sono stati concepiti per essere un dispositivo controllato con un telecomando poco pratico, nemmeno con un iPhone. Apple vorrà che l’esperienza utente sia la più “frictionless” possibile, anche perché tutto, nella stria di Cupertino, ci dice che Apple vorrà costruire un’interfaccia che offra un naturale senso di connessione e vorrà creare un nuovo linguaggio di progettazione dell’interfaccia umana. È possibile che il piano per gli occhiali AR di Apple sia proprio creare l’interfaccia più umana di tutte, con noi al centro del sistema stesso.
Come pensa Apple
Questa mia osservazione nasce dopo una serie di recenti indiscrezioni. Ad esempio, è stato recentemente affermato che questi occhiali ospiteranno più telecamere e saranno in parte controllati tramite gesti e movimenti. Ma come potrebbe funzionare questo approccio di design?
Considerate tre aspetti:
- GUI: Apple ha reso mainstream l’interfaccia utente grafica controllata da tastiera e mouse. Questa è l’interfaccia umana che ha più senso quando si lavora su un computer. Ogni computer è ora controllato in questo modo.
- Touch: Quando Steve Jobs presentò l’iPhone nel 2007, ricorderete forse la sua argomentazione secondo cui l’interfaccia utente più logica per lo smartphone non era uno stilo, ma il vostro dito. Ogni smartphone è ora controllato dal tocco.
- Digital Crown: Apple ha introdotto la Digital Crown con Apple Watch. Questa “rotellina” offre agli utenti un’interazione fisica con il proprio dispositivo che riprende anche il design classico dell’orologio. Non tutti gli smartwatch hanno una “controller” simile, ma Apple è indubbiamente leader del settore.
Considerate anche l’ampio catalogo di progetti di accessibilità di Apple e il suo lavoro con Siri, che offrono entrambi profondi miglioramenti nell’utilizzo quotidiano a molti utenti.
Creare un futuro che sembri umano
Fondamentalmente, ciascuna di queste interfacce utente riflette la determinazione di Apple a creare modi di lavorare con la tecnologia che risultino completamente naturali. Anche quando l’azienda guidata da Tim Cook ci riesce meno bene (la Touch Bar, per esempio) itera e migliora i suoi sistemi fino a quando non crea un’interfaccia così semplice e naturale che gli utenti imparano a usarla senza alcun sforzo.
Questa ricerca significa che Apple cercherà di raggiungere tale obiettivo anche con i suoi occhiali AR. Non vorrà creare un prodotto per il quale sia necessaria una laurea in ingegneria; né vorrà creare un semplice espediente. Vorrà che l’esperienza dell’utente sia fluida e naturale ai massimi livelli.
Dopotutto, cosa facciamo quando indossiamo un qualsiasi paio di occhiali? Usiamo i nostri occhi, li muoviamo, sbattiamo le palpebre, fissiamo e ci concentriamo su cose diverse. Guardiamo vicino e guardiamo lontano, leggiamo, prestiamo attenzione e a volte ci piace persino fissare pigramente nel vuoto. A questo punto come si traducono queste azioni familiari in un’interfaccia utente per occhiali?
Ecco alcuni presupposti di base:
- Gli occhiali AR di Apple saranno abbastanza intelligenti da riconoscere la direzione del nostro sguardo
- Riconosceranno quale oggetto o oggetti state guardando
- Sapranno se vi state concentrando su un oggetto distante o su qualcosa di vicino
- Potranno discernere la differenza tra le pagine di un libro e un film in TV
- Punteranno a migliorare l’esperienza di qualunque cosa stiate guardando
Cosa potrebbero fare?
Immaginate di essere in vacanza in un Paese dove si parla una lingua diversa dalla vostra. A un certo punto vedete un cartello stradale in lontananza e i sensori negli occhiali identificheranno la direzione e la messa a fuoco del vostro sguardo, mentre i sensori rivolti verso l’esterno analizzeranno quell’oggetto e cercheranno di migliorare l’esperienza di visione. Nel caso del cartello, gli occhiali possono ingrandire per rendere più visibile un simbolo e forse per tradurre automaticamente le scritte; questa traduzione potrebbe essere visualizzata direttamente sulle lenti degli occhiali e verrebbe bista solo da voi.
Pensate bene a ciò che è avvenuto durante questa attività e pensate ai vari processi necessari per portarla a termine:
- Identificare dove state guardando
- Riconoscere il focus di ciò che si state guardando
- Determinare la distanza e la messa a fuoco
- Zoomare ciò che vedete
- Potenziare quello che state vedendo attraverso la traduzione
Tutte queste operazioni sono supportate da una grande quantità di machine learning e intelligenza visiva sul dispositivo, il che significa che processori integrati saranno sicuramente presenti su questi occhiali. Ma come verrebbero eseguiti tutti questi processi? Automaticamente o a comando?
Come controlleremo gli occhiali AR di Apple?
Anche se sembra inevitabile che alcuni comandi verranno eseguiti utilizzando le stanghette degli occhiali (come accade per gli steli degli AirPods Pro), quanti comandi potremo eseguire in questo modo? Non molti, credo. Per certe azioni infatti potremmo usare interfacce di controllo aggiuntive, tra cui forse il movimento degli occhi, il battito delle palpebre, le gesture, la voce e il touch. Poiché ciascuna di queste interazioni può aggiungere complessità, gli utenti avranno bisogno di un modo per tenere traccia dei vari comandi. Un modo per farlo potrebbe essere tramite un’interfaccia di controllo discreta come una ghiera virtuale (vi ricordate la clickwheel del primo iPod?) mostrata sulle lenti.
Durante l’uso, potremmo toccare due volte l’asta degli occhiali per accedere alla modalità di controllo, puntare o fissare un oggetto per metterlo a fuoco, quindi scorrere i comandi disponibili utilizzando la ghiera cliccabile sull’obiettivo tramite touch, gesture o movimento degli occhi. Questo tipo di sistema supporterebbe anche comandi complessi.
Un altro approccio potrebbe essere quello di utilizzare le gesture. Pugno chiuso, mano aperta, spostare la mano a sinistra o a destra (molto in stile Minority Report), il tutto basato su elementi già esistenti e sul framework Apple Vision. Tutti questi approcci (da soli o combinati) fornirebbero il tipo di interfaccia utente complessa di cui gli sviluppatori hanno bisogno per creare applicazioni complesse per questi dispositivi.
Ovviamente Apple vorrà anche che i suoi occhiali supportino applicazioni di terze parti. Questa necessità significa che dovrà lavorare per fornire un’interfaccia utente per mouse e tastiera o per una soluzione multitouch. Credo anche che Apple voglia creare un’opportunità per una “nuova” piattaforma (è stato recentemente affermato che i suoi occhiali saranno indipendenti e non richiederanno un iPhone per funzionare), il che significa che gli occhiali dovranno avere il proprio set avanzato di controlli.
