Discovery economica, parte 3

Un breve riepilogo su Candor Network#section1

Per tutta questa serie ho usato come esempio una startup budget-conscious, e fittizia, chiamata Candor Network. Come la maggior parte delle startup, Candor Network è iniziato come una semplice idea:

Scommetto che gli utenti finali sarebbero disposti a pagare direttamente per un tool di social networking molto buono. Ma ci sono molte cose sconosciute dietro a questa idea. Cosa significherebbe esattamente “molto buono”? Quali sono le feature critiche? E quale sarebbe la motivazione centrale per gli utenti per provare un altro strumento di social networking?

Per cominciare la mia discovery research, ho creato un’ipotesi basata sulla mia esperienza personale: che un tool di social network migliore sarebbe uno progettato con la salute mentale in mente. Ma dopo aver condotto una serie di interviste, ho realizzato che le persone potrebbero essere più interessate a un social network focalizzato sulla privacy dei dati piuttosto che sulla salute mentale. Ho catturato questo insight in una seconda ipotesi in competizione. Poi ho lanciato due landing page “fake door” corrispondenti per Candor Network così da poter fare dei test A/B su entrambe le idee.

Per gli scorsi due messi ho fatto test A/B tra le due landing page in cui metà del traffico va alla versione A e metà alla versione B. In entrambe le versioni c’è un questionario breve, con due domande. Per cominciare la nostra discussione, oggi daremo un’occhiata più approfondita a tale questionario apparentemente semplice e analizzeremo i risultati del test A/B.

Questionari: procedere con cautela#section2

I questionari sono probabilmente il tool di ricerca più usato ma meno utile. È sempre molto allettante dire “facciamo un rapido sondaggio” quando vi trovate a chiedervi cosa i clienti desiderino o il comportamento degli utenti. Gli strumenti web-based hanno reso i questionari incredibilmente rapidi, economici e semplici da gestire. Ma come può testimoniare chiunque abbia mai cercato di fare un “rapido sondaggio”, essi forniscono raramente (sempre che li forniscano) gli insight che state cercando.

Nelle parole di Erika Hall, i questionari sono “troppo semplici”. Sono troppo semplici da creare, troppo semplici da diffondere e troppo semplici da conteggiare. Questa facilità intrinseca maschera la pecca più grande dei questionari come metodo di ricerca: è troppo, troppo facile creare delle domande inutili e non obiettive per il questionario. E quando si fa un sondaggio pieno di domande fazione e inutili, o (1) realizzate che i vostri risultati non sono affidabili e ricominciate di nuovo da capo o (2) procedete con l’analisi e prendete decisioni basate su risultati non obiettivi. Se non state attenti, un sondaggio potrebbe diventare una completa perdita di tempo o, peggio, guidarvi nella direzione del tutto sbagliata.

Comunque, a volte un sondaggio è il solo metodo a vostra immediata disposizione. Potreste avere come target uno user group difficile da raggiungere attraverso altri mezzi comodi – o “guerrilla-style” (pensate ai prodotti che ruotano attorno a un taboo o ad argomenti sensibili: è terribilmente difficile far partire quelle conversazioni con persone a caso che si incontrano in un caffè!). Oppure potreste lavorare per un cliente che è riluttante ad aiutarvi a localizzare dei partecipanti alla ricerca in modi che non siano l’invio di gruppi di email con un link al sondaggio. Qualsiasi sia il caso, ci sono volte in cui un sondaggio è l’unico passo in avanti che potete fare. Se vi trovate in quella posizione, tenete a mente i seguenti consigli.

Consiglio n.1: cercate di attenervi a domande sui fatti non sulle opinioni#section3

Se state costruendo un sito web per ordinare cibo e provviste per cani, una domanda come “quanti cani hai?” può fornire delle informazioni demografiche chiave non disponibili mediante statistiche standard. È il tipo di domanda che funziona bene in un questionario breve. Ma se dovete chiedere “perché avete deciso di adottare un cane innanzitutto?” allora sarebbe molto meglio procedere con un’intervista utente.

Se cercate di porre un qualsiasi tipo di domanda “perché” in un sondaggio, solitamente finirete con molti “Non so” o altrimenti avrete delle risposte in bianco. Questo è perché le persone, in generale, non vogliono scrivere un saggio sul perché hanno fatto una particolare scelta (come scegliere di adottare un cane) quando stanno facendo altro (come ordinare del cibo per animali). Tuttavia, quando le persone si riservano del tempo per una telefonata, sono più che disposte a parlare del “perché” che sta dietro alle loro decisioni. In breve, alle persone piace parlare delle loro opinioni, ma sono generalmente troppo pigre o occupate per scrivere delle loro opinioni. Risparmiatevi le domande “perché” per dopo (e leggete il Consiglio n.5).

Consiglio n.2: evitate di chiedere del futuro#section4

Le persone vivono nel presente e sognano solo del futuro. Ci sono molte cose fuori controllo che influenzano cosa compreremo, mangeremo, indosseremo e faremo in futuro. Inoltre, a volte l’io futuro che immaginiamo è più un’ispirazione che basato sui fatti. Per esempio, se doveste chiedere a un gruppo di persone a caso quante volte pianificano di andare in palestra il prossimo mese, potreste essere (non così) sorpresi dal vedere che la loro previsione è significativamente più alta rispetto al numero reale. È molto meglio chiedere “Quante volte sei andato in palestra la scorsa settimana?” come indicatore generale della frequenza in palestra piuttosto che chiedere dei piani futuri.

Ho fatto una domanda potenzialmente problematica e che guarda al futuro nel sondaggio sulla landing page di Candor Network:

Quanto saresti disposto a pagare, all’anno, per Candor Network?

• Non pagherei
• $1
• $5
• $10
• $15
• $20
• $25
• $30
• Pagherei di più

In questa domanda, sto chiedendo ai partecipanti di pensare a quanti soldi vorrebbero spendere in futuro per un prodotto che ancora non esiste. Questa domanda è problematica per una serie di ragioni, ma la questione principale è che le persone, in generale, non sanno come si sentono davvero riguardo ai prezzi fino al momento esatto in cui sono in procinto di fare un acquisto. Basarsi su questa domanda per, supponiamo, sviluppare proiezioni di introiti per un investor pitch sarebbe avventato, per non dire altro. (Discuterò di cosa pianifico di fare effettivamente con le risposte a questa domanda nel prossimo consiglio.)

Consiglio n.3: dovete sapere come analizzerete le risposto prima di lanciare il sondaggio#section5

Molte volte, si creerà e lancerà un sondaggio senza pensare bene a cosa fare con i risultati una volta che li si avrà tra le mani. A seconda della lunghezza e del tipo di sondaggio, l’analisi potrebbe richiedere una quantità di tempo significativa. Inoltre, se speravate di rispondere a delle domande specifiche con i dati del sondaggio, dovrete essere sicuri di aver pensato al modo in cui arrivare a quelle risposte. Raccomando che, mentre fate una bozza delle domande del sondaggio, pensiate anche contemporaneamente a delineare un piano di analisi.

Nel vostro piano di analisi, pensate a quello che fondamentalmente state cercando di carpire con ogni domanda del sondaggio. Come saprete quando avrete raggiunto la risposta? Se state facendo un test A/B come me, che analisi statistica dovete fare per vedere se c’è una differenza significativa tra le versioni? Dovreste anche pensare a come saranno i numeri e che tipo di grafici o tabelle avrete bisogno di costruire. In conclusione, dovreste cercare di visualizzare l’aspetto che avranno i dati prima di raccoglierli e pianificare di conseguenza.

Per esempio, quando ho creato le due domande del sondaggio sulle landing page di Candor Network, ho creato un breve piano di analisi per ciascuna. Ecco come appaiono questi piani:

Piano di analisi per la domanda: “Quanto saresti disposto a pagare, all’anno, per Candor Network?”#section6

Ogni risposta ricadrà in uno dei due bucket:

• Bucket 1: dice che non pagherebbe;
• e Bucket 2: dice che potrebbe pagare qualcosa.

Tutti quelli che hanno risposto “Non pagherei” vanno nel Bucket 1. Tutti gli altri vanno nel Bucket 2. Interpreterò ogni domanda che ricade nel Bucket 2 come un indicatore di interesse generale (e non metterò alcun valore sulla specifica risposta selezionata). Per vedere se una qualsiasi differenza nelle risposte tra le landing page A e B sia statisticamente significativa (i.e., attribuibile più che a un semplice caso), userò un test chi quadrato. (Nota a margine: C’è una serie di test statistici differenti che potremmo usare in questo scenario, ma a me piace il test chi quadrato per la sua semplicità. È un test che è semplice da fare e capire per chi non si occupa di statistica e rimane sul lato conservativo.)

Piano di analisi per il quesito 2: “Vorresti essere un beta tester o partecipare a ricerche future?”#section7

La domanda ha solo due possibili risposte: “sì” e “no”. Interpreterò ogni risposta “sì” come un indicatore di interesse generale all’idea. Di nuovo, il test chi quadrato mostrerà se c’è una differenza significativa tra le due landing page.

Consiglio n.4: Non fate mai affidamento su un questionario di per sé per prendere decisioni importanti#section8

È difficile fare bene dei sondaggi e, anche quando sono creati bene, i risultati sono spesso approssimazioni di quello che davvero volete misurare. Tuttavia, se accoppiate un questionario con una serie di interviste utente o di inchieste contestuali, avrete un insieme di dati da analizzare più completo e più ricco. Nelle scienze sociali, questa si chiama triangolazione. Se usate più metodi per triangolare e studiare lo stesso fenomeno, otterrete un’immagine più ricca, più completa. Questo mi porta al mio consiglio finale…

Consiglio n.5: terminate ogni sondaggio con un’opportunità a partecipare a ricerche future#section9

Ci sono state molte occasioni nella mia carriera in cui ho lanciato dei sondaggi con un solo obiettivo in mente: raccogliere informazioni di contatto di potenziali partecipanti allo studio. In casi come questi, le domande stesse del questionario non sono interamente superflue, ma sono sicuramente secondarie all’obiettivo di ricerca principale. Poco dopo aver raccolto i risultati del questionario, selezionerò e manderò un’email ad alcune persone che hanno risposto, invitandole a partecipare a interviste utente o studi di usabilità. Se pianificassi di portare avanti Candor Network, questo è assolutamente quello che farei.

Finalmente, i risultati#section10

Stando a Google Optimize, c’è stato un totale di 402 sessioni nel mio esperimento. Di queste sessioni, 222 hanno visto la versione A e 180 hanno visto la versione B. All’interno dell’esperimento, ho tracciato la frequenza con cui è stato cliccato il pulsante “submit” del questionario e Google Optimize mi dice “non è stato trovato nessun leader chiaro” su tale misura di ingaggio. Più o meno lo stesso numero di persone da ciascuna condizione ha inviato il questionario.

Ecco una ripartizione del numero di sessioni e risposte al sondaggio di ciascuna condizione ricevuta:

Quando guardiamo le risposte effettive alle domande del sondaggio, iniziamo a ottenere risultati più interessanti.

Inserendo queste figure nel mio calcolatore di chi quadrato preferito, ottengo i seguenti valori: chi quadrato = 2,7523, p = 0,097113. In generale, valori più grandi di chi quadrato indicano differenze maggiori tra i gruppi. E il valore p è meno di 0,1, il che suggerisce che il risultato è marginalmente rilevante (i.e., il risultato probabilmente non è dovuto a casualità). Questo mi dà un indicatore modesto che è più probabile che i rispondenti nel gruppo B che hanno visto la versione “dati sicuri” della landing page ricadano nel bucket “potrebbe pagare un po’ di soldi”.

E quando osserviamo la ripartizione e il calcolo del chi quadrato della seconda domanda, vediamo risultati simili.

Il chi quadrato = 2,9189 e p = 0,087545. Di nuovo, ho un indicatore modesto che è più probabile che i rispondenti del gruppo B dicano di sì alla partecipazione a ricerche future. (Se volete saperne di più su come fare e interpretare i test chi quadrato, il dipartimento di Interaction Design alla University of California, San Diego, ha creato un ottimo tutorial video.)

Come facciamo a sapere quando è ora di andare avanti?#section11

Vorrei potervi fornire una formula per calcolare il momento esatto in cui la ricerca è finita ed è ora di spostarsi verso la prototipazione, ma temo che non esista una tale formula. Non c’è un modo definitivo per determinare quanta ricerca sia sufficiente. Ogni round di ricerca vi insegna qualcosa di nuovo ma vi lascia sempre con più domande. Come disse Albert Einstein, “più imparo più mi rendo conto di quanto non so”.

Comunque, con l’esperienza arrivate a riconoscere certi tratti che indicano che è ora di andare avanti. Erika Hall, nel suo libro Just Enough Research, l’ha descritto come sentire un “click soddisfacente”. Dice: “Un modo per sapere che avete fatto abbastanza ricerca è ascoltare i click soddisfacenti. È il suono di tutti i pezzi che vanno a posto quando avete un’idea chiara del problema che dovete risolvere e sufficienti informazioni per cominciare a lavorare a una soluzione”. (Just Enough Research, pag. 36.)

Quando si tratta di creare un prodotto con un budget ristretto, potreste anche voler considerare che la ricerca è relativamente economica rispetto al costo del design e dello sviluppo. La regola che tendo a seguire è questa: continuate a fare discovery research finché alle domande a cui veramente volete delle risposte si può rispondere solo mettendo qualcosa di fronte agli utenti. Ossia, aspettate a costruire qualcosa finché non è assolutamente necessario. Imparate quanto più potete sul mercato target e sulla user base finché l’unica via per proseguire è creare degli sketch su carta.

Non sono ancora a questo punto con Candor Network. C’è ancora molta strada da fare nel ciclo di ricerca. Ora che so che la privacy dei dati è una ragione più motivante per considerare di pagare per un tool di social networking, ho bisogno di capire quali siano le altre feature essenziali. Nel successivo round di ricerca, potrei fare dei think-aloud studies e chiedere ai partecipanti di farmi fare un tour delle loro pagine Facebook e di altri social media. Oppure potrei continuare con altre interviste, ma reclutando da una fonte diversa e raggiungendo una demografica più ampia di partecipanti. Indipendentemente dal percorso esatto che scelgo di intraprendere da qui, la chiave è di concentrarsi su quali saranno i requisiti per un social network ultra privato, che protegga i dati, a cui gli utenti darebbero valore.

Un paio di parole prima di separarci#section12

La discovery research ci aiuta ad apprendere di più sugli utenti che vogliamo aiutare e i problemi per cui hanno bisogno di una soluzione. Non deve nemmeno essere costosa e di sicuro non è qualcosa che potrebbe essere omesso dal ciclo di sviluppo. Cominciando con un’ipotesi di problema e conducendo più round di ricerca, possiamo infine risparmiare tempo e soldi. Possiamo spostarci da istinto a esperienze personali fino a ipotesi verificate. E quando verrà il momento di lanciare, sapremo che sarà da una base solida di comprensione sostenuta dalla ricerca.

Letture consigliate#section13

Se state saggiando il terreno per nuove idee e volete buttarvi in un po’ di discovery research (economica), ecco alcune risorse aggiuntive per aiutarvi lungo il percorso:

Libri

• Just Enough Research di Erika Hall
• Validating Product Ideas di Tomer Sharon
• Quantifying the User Experience: Practical Statistics for User Research di Jeff Sauro e James Lewis

Articoli

• “The Minimum Viable Experiment” di Meg Dickey-Kurdziolek
• “UX Research Cheat Sheet” di Susan Farrell
• “On Surveys” di Erika Hall
• “10 Things to Know About A/B Testing” di Jeff Sauro