Percezione multimodale: quando il multitasking funziona

Si dice in giro che il multitasking sia impossibile. Questa sua fama negativa potrebbe aver avuto inizio con il pioniere della HCI Clifford Nass, che pubblicò degli studi che mostrano come le persone che si identificano come multitasker siano peggiori nel cambiamento di contesto, peggiori a filtrare le informazioni non rilevanti, peggiori a ricordarsi le cose nel breve periodo e hanno uno sviluppo emotivo peggiore degli unitasker.

Dando così tanta attenzione critica al multitasking, è facile dimenticarsi che ci sono cose che i nostri cervelli possono fare contemporaneamente. Siamo piuttosto bravi nella comunicazione multimodale: comunicazione che impegna più sensi, come quella tattile-visuale o audio-visuale. Comprendere il modo in cui processiamo input contrastanti può influenzare il design delle presentazioni multimediali, dei tutorial e dei giochi.

Quando ho cominciato a fare ricerca sulla comunicazione multimodale, ho scoperto un campo traboccante di teorie. La disciplina è ancora troppo nuova perché ci siano degli standard evoluti, ma molti studi di multimodalità cominciano con la teoria delle risorse multiple (MRT) di Wickens. Ed è questa teoria che serve come punto di partenza per portare la multimodalità nel vostro lavoro.

La teoria delle risorse multiple di Wickens#section1

Fortunatamente, Wickens ci ha risparmiato un po’ di duro lavoro scrivendo un articolo che riassume le decadi di ricerca (PDF) che ha passato a sviluppare la MRT. Le sue radici filosofiche, spiega, risalgono tra gli anni ’40 e gli anni ’60 del Novecento, quando gli psicologi hanno teorizzato che il tempo è un collo di bottiglia: secondo questa visione, le persone non possono processare due cose simultaneamente, ma, spiega Wickens, tali teorie non sussistono quando si considerano i task “stupidi”, come camminare o canticchiare, che occupano tutto il tempo di una persona ma ciò nonostante lasciano la persona libera di pensare ad altre cose.

Molti lavori degli ultimi anni del 1960 e dei primi anni ’70 ridefiniscono la teoria del collo di bottiglia, proponendo che quello che è limitato, in realtà, è il potere di elaborazione cognitiva. Seguendo il filo di questo discorso, le persone sono come computer con una CPU che può gestire solo una quantità finita di informazioni alla volta. Questa è la parte della “risorsa” della MRT: il limite delle risorse cognitive per gestire i flussi di informazione in ingresso. (Pertanto, la MRT dà credito all’approccio “mobile first”: è spesso meglio presentare solo le informazioni chiave da subito per via del potere limitato di elaborazione delle persone).

La parte “multiple” della teoria ha a che fare con il modo in cui l’elaborazione è condivisa tra risorse cognitive in qualche modo separate. Dico in qualche modo separate perché anche per i task che usano risorse apparentemente separate, c’è ancora un costo di controllo esecutivo sui task concorrenti. Questo è di nuovo simile al multiprocessing dei computer, in cui far girare un programma su due processori non rende l’esecuzione due volte più efficiente che su uno, perché la stessa capacità di elaborazione deve essere allocata per dividere il lavoro e combinarne i risultati.

Ad oggi, Wickens ed altri hanno esaminato quattro divisioni delle risorse cognitive.

Fase di elaborazione#section2

La percezione e la cognizione condividono una struttura separata dalle strutture utilizzate per reagire. Qualcuno può ascoltare mentre formula una risposta ma non può ascoltare molto bene mentre ascolta molto attentamente. Pertanto, le presentazioni basate sul tempo devono avere delle ampie fasi per permettere agli ascoltatori di elaborare il messaggio. I video player dovrebbero avere dei pulsanti di pausa molto evidenti: i contenuti dovrebbero essere strutturati per includere delle pause dopo le parti importanti di un messaggio.

Canale visivo#section3

I segnali visivi focali e ambientali non prosciugano la stessa sorgente delle risorse cognitive. Questa differenza potrebbe risultare da una visione ambientale che apparentemente non richiede alcuna elaborazione. I puzzle a tempo come Tetris usano dei lampeggi nella visione periferica per far sì che le persone sappiano che la loro azione precedente ha avuto successo – row cleared! – anche quando esse sono concentrate sul pezzo successivo che sta cadendo.

Codice di elaborazione#section4

I codici di elaborazione spaziale e verbale utilizzano risorse basate in emisferi separati del cervello. Questo potrebbe giustificare la popolarità di giochi di parole basati su griglie, che usano entrambe le fonti di risorse contemporaneamente.

Modalità percettiva#section5

È più semplice elaborare due flussi di informazione simultanei se questi vengono presentati in due modi diversi, per esempio, uno visuale e uno uditivo. Wickens nota che questa semplicità relativa potrebbe risultare dalle difficoltà di scansione (tra due stimoli visuali) e di masking (di uno stimolo uditivo da parte di un altro) piuttosto che da noi che abbiamo in effetti strutture mentali separate. I giochi di tower defense hanno un ritmo più veloce (e presumibilmente più coinvolgente) quando sono accompagnati da una componente audio: i giocatori possono non vedere l’ora di affrontare la successiva ondata di attaccanti mentre ascoltano i segnali di allarme vicino alla propria torre base. La modalità percettiva è la divisione cognitiva più applicabile alla progettazione di multimedia, quindi, è quella che esamineremo un po’ più approfonditamente.

Mille e una teoria#section6

Ora che abbiamo visto la teoria delle risorse multiple di Wickens, esaminiamo alcune altre teorie che si contendono il ruolo di vincitrice per spiegare il modo in cui si comprende l’informazione multimodale.

L’effetto modalità (PDF) si concentra sul modo (visuale, uditivo o tattile) dell’informazione in ingresso e stabilisce che noi processiamo l’informazione in ingresso in modi diversi usando sistemi sensoriali separati. L’informazione non solo viene percepita in modi diversi, ma viene anche memorizzata separatamente: l’effetto prossimità stabilisce che la presentazione simultanea di informazione in modi diversi supporta l’apprendimento aiutando a costruire delle connessioni tra diverse aree di memorizzazione dei modi. Per esempio, un video educativo sulla tecnologia sarà più efficace se include una traccia audio per rinforzare l’informazione visuale.
Questo effetto corrisponde allo step di integrazione della teoria generativa dell’apprendimento multimediale (PDF) di Richard Mayer, che afferma che apprendiamo selezionando le informazioni importanti, organizzandole e poi integrandole. La teoria di Mayer, a sua volta, dipende da altre teorie. (Se volete farvi un background su queste, potete esplorare la teoria della memoria di lavoro di Baddeley, la teoria del carico cognitivo di Sweller, la teoria dual-coding di Paivo e l’ipotesi dei flussi
separati di Penney). Siete confusi? Mi sembra di aver già detto qualcosa sul numero di teorie di questo settore…

Quello a cui puntano tutte queste teorie è che generalmente le persone comprendono meglio, ricordano meglio e fanno meno sforzi cognitivi se l’informazione è presentata contemporaneamente in molti modi percettivi. Le teorie forniscono supporto accademico per incorporare, per esempio, i video nel vostro contenuto piuttosto che fornire solo testo o testo con immagini a supporto (dice il tizio che scrive usando solo testo…).

Comunicazioni visive-tattili vs. visive-uditive#section7

Le teorie vanno benissimo, ma la loro applicazione è addirittura meglio. Potreste tranquillamente chiedervi come mettere in pratica la ricerca sulla comunicazione multimodale. La chiave sta nel riconoscere che certe combinazioni di modalità sono più adatte a determinati task piuttosto che altre.

Visiva~tattile#section8

Usate la presentazione visiva~tattile per supportare risposte veloci. Essa:

• riduce il tempo di reazione
• aumenta la performance (misurata cime tempo oer completare un task)
• cattura l’attenzione efficacemente (per un alert o una notifica)
• supporta la navigazione fisica (vibrando di più quando ci si avvicina a un target, per esempio)

Visuale~uditiva#section9

Usate la presentazione visiva~uditiva per prevenire errori e supportare la comunicazione. potreste pensare: “Aspetta, visiva~uditiva? Non voglio annoiare i miei utenti con il suono!” Vale la pena notare, però, che uno degli studi (PDF) ha scoperto che finché i suoni sono utili, non vengono percepiti come fastidiosi. La presentazione visiva~uditiva:

• attira l’attenzione quando si lavora su schermi grandi (PDF), come, per esempio, quando accidentalmente non si vede un pulsante e si guards rapidamente da un’altra parte
• fornisce informazioni sullo stato dei task in background
• aumenta la velocità di apprendimento (PDF)—questo apprendimento migliorato include riconoscimento, richiamo e applicazione migliore della conoscenza (PDF)
• supporta il ritrovamento di un target noto (in maniera simile alla visuale~tattile)

Combinazione di modi#section10

Potreste anche selezionare una combinazione di modi a seconda di quanto siano impegnati i vostri utenti:

• la presentazione visuale~tattile è più efficace con un carico di lavoro alto o quando si fa multitasking.
• la presentazione visuale-uditiva è più efficace con un singolo task e con un carico di lavoro normale

Tensione multimodale#section11

Tra l’effetto di attenzone condivisa e l’effetto ridondanza c’è in corso un braccio di ferro multimodale. Comprendere questi effetti può aiutarci a camminare sulla linea sottile che c’è tra il confondere i nuovi arrivati con la suddivisione dell’attenzione e l’annoiare gli esperti con la ridondanza:

• L’effetto di attenzione divisa afferma che la presentazione sequenziale in modi multipli non va bene per la memoria, mentre la presentazione in contemporanea va bene. La contemporaneità aiuta la memorizzazione perché è necessaria per codificare l’informazione in due modi contemporaneamente per memorizzare delle cross-referenze tra le due nella memoria.
• Di contro, presentare informazioni ridondanti attraverso più canali contemporaneamente può ostacolare l’apprendimento facendo aumentare il carico cognitivo senza aumentare la quantità di informazioni presentate. Avete mai provato a leggere una lunga citazione su una slide mentre chi sta presentando legge ad alta voce la stessa cosa? I due flussi di informazione si ostacolano a vicenda a causa dell’effetto ridondanza.

Quale effetto capiti è parzialmente determinato dal fatto che gli utenti siano novizi o esperti (PDF). L’informazione che serve a un novizio (suggerendo che dovrebbe essere presentata in contemporanea per evitare l’effetto dell’attenzione condivisa) potrebbe sembrare ridondante a un esperto (suggerisce che dovrebbe essere rimossa per evitare l’effetto ridondanza).

Inoltre, gli effetti della modalità appaiono solo quando si limita il tempo di presentazione visuale. Quando viene concesso alle persone di impostare il proprio tempo (esaminando l’informazione visuale dopo la fine della presentazione uditiva), spariscono le differenze studiate. Perciò è particolarmente importante aggiungere una seconda modalità alla propria presentazione se i vostri utenti potrebbero avere fretta.

Andate, umani multiprocessore, e prosperate#section12

Quindi, la prossima volta che sentirete qualcuno parlare di come il multitasking sia impossibile, fermatevi. Considerate come viene definito il multitasking. Considerate come può essere definito separatamente il multiprocessing e riconoscete che a volte possiamo creare qualcosa di più semplice da imparare, capire o notare rendendolo più complesso da percepire. A volte, la chiave per semplificare la presentazione non è di rimuovere informazione, ma di aggiungerne di più.

E, occasionalmente, è meglio fare alcune cose dopo altre. È giunto il momento di andare al prossimo livello di processing. Ora che avete finito di leggere questo articolo, avete le risorse mentali per pensarci.

Illustrazioni: {carlok}