Discovery economica, parte 2

Un breve riassunto#section1

Nella parte 1 ho condotto il primo round di discovery research per la mia startup economica (e fittizia!), Candor Network. L’obiettivo originale di Candor Network era di fornire una piattaforma di social media che non desse dipendenza per cui gli utenti pagherebbero direttamente. Ho articolato l’obiettivo sotto forma di ipotesi di problema:

Sempre nella prima parte, mi sono presa la briga di documentare le supposizioni che sono entrate in gioco nella creazione di tale ipotesi. Erano:

• gli utenti sentono che i siti di social media come Facebook danno dipendenza;
• agli utenti non piace essere dipendenti dai social media;
• gli utenti sarebbero disposti a pagare per un sostituto di Facebook che non dia dipendenza.

Per il primo ciclo di ricerche, ho scelto di condurre delle user interview perché si tratta di un metodo di ricerca flessibile, efficace e, soprattutto, accessibile. Ho reclutato i partecipanti su Facebook, avendo cura di documentare il bias dell’utilizzo di un metodo di convenience sampling. Ho creato attentamente il mio protocollo di intervista e ho usato un certo numero di strategie per far continuare a parlare i miei partecipanti. Adesso è il momento di rivedere i dati e analizzare i risultati.

Analizzare i dati#section2

Quando abbiamo condotto la discovery research, abbiamo cercato dei dati che ci potessero aiutare o ad affermare o a rigettare le assunzioni fatte nell’ipotesi di problema. Indipendentemente dal metodo di ricerca scelto, è fondamentale mettere da parte del tempo per rivedere ed analizzare oggettivamente i risultati.

In pratica, analizzare i dati delle interviste implica creare delle trascrizioni delle interviste e poi leggerle molte, molte volte. Ogni volta che leggete le trascrizioni, sottolineate ed etichettate frasi o sezioni che sembrano rilevanti o importanti per il vostro quesito di ricerca. Potete usare dei prodotti come NVivo, HyperRESEARCH o un qualunque altro strumento di analisi qualitativa che possa facilitare questo processo. Oppure, se avete un budget piuttosto ristretto, potete semplicemente usare Google Sheets per tenere traccia di sezioni rilevanti in una colonna ed etichette in un’altra.

Screenshot della mia analisi delle interviste in Google Sheets

Per il mio progetto, nello specifico, ho cercato dei dati che mostrassero se i miei partecipanti si sentivano dipendenti da Facebook e se questa era una cosa negativa e se fossero disposti a pagare per un’alternativa. Ecco come è andata a finire questa analisi.

Supposizione 1: gli utenti sentono che i siti di social media come Facebook danno dipendenza

In modo schiacciante, i miei dati confermano questa ipotesi. Tutti i miei partecipanti (undici su undici) hanno menzionato che Facebook creava in qualche modo una dipendenza.

Supposizione 2: agli utenti non piace essere dipendenti dai social media

Questa ipotesi si è rivelata un po’ più difficile da confermare o rifiutare. Mentre tutti i miei partecipanti hanno descritto Facebook come avvincente, molti di loro (otto su undici) hanno dichiarato che “non è così male” o che si sentivano come se fossero meno dipendenti di un utente medio di Facebook.

Supposizione 3: gli utenti sarebbero disposti a pagare per un sostituto di Facebook che non dia dipendenza

Sfortunatamente per il mio progetto non posso subito confermare questa supposizione. Quattro partecipanti mi hanno detto chiaramente che non pagherebbero mai per un servizio di social media, quattro partecipanti hanno detto che sarebbero interessati a provare una versione a pagamento di un “Facebook che non dà dipendenza” e tre partecipanti hanno detto che lo proverebbero solo se diventasse così famoso che tutti lo usano.

Un risultato inatteso: “È super inquietante”

Durante la revisione delle trascrizioni delle interviste, mi sono imbattuta in un tema inaspettato. Più del 80% degli intervistati (nove su undici) hanno detto di trovare Facebook “inquietante” per via delle pubblicità mirate e della raccolta di dati personali. Inoltre, la maggior parte di quei partecipanti (sette su nove) sono andati avanti dicendo che pagherebbero per una versione “non inquietante di Facebook”. Questo è degno di nota perché non ho mai chiesto ai partecipanti come si sentono riguardo all’advertising mirato o all’uso dei dati personali. È saltato fuori nelle conversazioni sempre e in maniera naturale.

Ogni volta che iniziamo un nuovo progetto, le nostre idee iniziali ruotano intorno alle nostre esperienze e disagi personali. Ho avviato Candor Network perché personalmente ritengo che i social media siano progettati per dare dipendenza e che questo sia un grosso difetto presente in molti dei servizi più popolari. Tuttavia, mentre posso affermare la mia prima ipotesi, ho avuto risultati non chiari sulla seconda e devo considerare di respingere la terza. Inoltre, ho riscontrato una nuova esperienza utente a cui non pensavo o non avevo pensato prima: il modo in cui gli strumenti dei social media raccolgono e utilizzano i dati personali per la pubblicità può essere sconcertante e “inquietante”. Come spesso accade, l’analisi dei dati ha mostrato che ci sono una varietà di altre esperienze, aspettative e bisogni che devono essere considerati se il progetto deve avere successo.

Limare l’ipotesi#section3

Ciclo di discovery research: Creare Ipotesi, Testare, Analizzare e ripetere

Ogni volta che passiamo attraverso il processo di discovery research, cominciamo da un’ipotesi, la testiamo con i dati raccolti, analizziamo i dati e arriviamo a una nuova comprensione del problema. In teoria, potrebbe essere possibile fare un giro nel ciclo e: o confermare completamente o respingere completamente le nostre ipotesi e assunzioni. Tuttavia, come con Candor Network, molto più spesso ci troviamo nel caso in cui abbiamo un mix di risultati: alcune supposizioni possono essere confermate mentre altre vengono rifiutate e vengono alla luce degli insight completamente nuovi.

Un’opzione consiste nel continuare a lavorare con una singola ipotesi e semplicemente rifinirla per tenere conto dei risultati di ogni ciclo di ricerca. Questo è specialmente utile quando la ricerca perlopiù conferma le vostre supposizioni, ma dovete tenere conto di ulteriori sfumature e contesto. Tuttavia, se scoprite che i risultati della vostra ricerca vi trascinano in una direzione completamente nuova, può essere utile creare una seconda ipotesi concorrente.

Nel mio esempio, le interviste di ricerca hanno fatto emergere delle nuove preoccupazioni sui social media che non avevo considerato prima: la raccolta “inquietante” di dati personali. Mi ha fatto cominciare a domandarmi: “I clienti potenziali sarebbero più attratti dall’idea di una piattaforma di social media creata per prevenire la dipendenza o una creata per la privacy dei dati?” Per rispondere a questa domanda, ho articolato una nuova ipotesi concorrente:

Adesso ho due ipotesi da testare una rispetto all’altra: una è focalizzata sulla dipendenza da social media, l’altra è centrata sulla raccolta e sul tracciamento dei dati di comportamento.

A questo punto, sarebbe perfettamente accettabile condurre un altro ciclo di interviste. Dovremmo cambiare il nostro protocollo di intervista e trovare più partecipanti, ma sarebbe ancora un metodo efficace (ed economico) da usare. Tuttavia, per questo articolo ho voluto introdurre un nuovo metodo da farvi considerare, per illustrare che una tecnica come i test A/B non è solo per “le grandi aziende” del web. Quindi ho deciso di condurre un test A/B utilizzando due “fake door”.

Un test comparativo low-cost: fake door A/B testing#section4

Un test “fake door” è semplicemente una pagina di marketing, un ad, un pulsante o un altro asset che promuove un prodotto che deve ancora essere fatto. I test fake door (o “ghetto testing”) sono il metodo go-to di Zynga per testare le idee. Creano un riassunto di cinque parole di ogni nuovo gioco che stanno prendendo in considerazione, fanno un paio di pubblicità e le mettono su vari siti ad alto traffico. I dati sono poi raccolti per tracciare la frequenza di click dagli utenti su ciascuna delle “indagini fake door” e vengono realizzati solo quei giochi che attraggono un certo numero di “conversion” sulla fake door.

Uno dei molti vantaggi del condurre test fake-door è che vi permettono di misurare l’interesse in un prodotto prima di cominciare a svilupparlo. Questo lo rende un ottimo metodo per progetti low budget, perché può aiutarvi a decidere se vale la pena investire in un progetto prima di spendere alcunché.

Tuttavia, per il mio progetto, non ero solo interessata a misurare l’interesse dei potenziali clienti in una sola idea di prodotto: volevo continuare a valutare la mia ipotesi originale su un social media che non desse dipendenza e contemporaneamente cominciare a indagare la seconda ipotesi di una piattaforma di social media che non registri i dati di comportamento. Nello specifico, volevo vedere quale social media platform teorica fosse più attraente. Quindi ho creato due fake door landing pages, una per ogni ipotesi, e usato Google Optimize per condurre un test A/B.

Versioni A (destra) e B (sinistra) della landing page di Candor Network

La versione A della landing page di Candor Network pubblicizza il prodotto che avevo originariamente immaginato e descritto nella mia prima ipotesi di problema. Pubblicizza un social network “creato con la salute mentale in testa”. La versione B riflette la seconda ipotesi di problema e i dubbi dei partecipanti alla mia intervista sulla “inquietante” commodification degli user data. Pubblicizza un social network che “non traccia, usa, richiede o vende i vostri dati”. Sotto ogni altro aspetto, le pagine sono identiche ed entrambe riceveranno il 50% del traffico.

Fare un test A/B test con poco o zero traffico sul sito#section5

Uno dei maggiori avvertimenti quando si fanno test A/B è che dovete avere un certo numero di persone che partecipano per ottenere un qualsiasi tipo di risultato statisticamente significativo. Questo non sarebbe un problema se lavoraste in una grande azienda con una customer base esistente, perché sarebbe relativamente semplice trovare dei modi per dirigere parte del traffico esistente al test. Se state lavorando su un sito nuovo o con poco traffico, tuttavia, condurre un test A/B può essere delicato. Ecco un paio di strategie che vi raccomando.

Capire quanto traffico vi serve per ottenere un significato statistico in uno studio quantitativo è una scienza inesatta. Se stessimo facendo un esperimento con grandi rischi in un’azienda più consolidata, faremmo più cicli di pre-test per calcolare la dimensione effettiva dell’esperimento. Poi utilizzeremmo un calcolo come Cohen’s d per stimare il numero di persone che abbiamo bisogno che partecipino nel test effettivo. Questo approccio è rigoroso e aiuta ad evitare l’inquinamento dei campioni o il sampling bias, ma richiede molte risorse in anticipo (come tempo, soldi e molti partecipanti potenziali) a cui potremmo non aver accesso.

Tuttavia, in generale, potete usare questa regola pratica: più sono grandi le differenze tra le varianti, meno partecipanti vi serviranno per vedere dei risultati significativi. In altre parole, se i vostri A e B sono molto diversi tra loro, vi serviranno meno partecipanti.

Suggerimento 2: fate il test per un periodo di tempo più lungo

Quando lavoravo in Weather Underground, cominciavamo sempre un test A/B la domenica e lo terminavamo un’intera settimana dopo, la domenica seguente. In questo modo, eravamo sicuri di catturare sia gli utenti settimanali sia quelli del week-end. Dal momento che Weather Underground è un sito con molto traffico, questo risultava sempre nell’avere un numero di partecipanti più che sufficiente per vedere un risultato statisticamente significativo.

Tuttavia, se state lavorando su un sito nuovo o con poco traffico, dovrete fare il vostro test per più di una settimana per ottenere il numero di partecipanti al test richiesto. Raccomando di mettere a budget un tempo sufficiente così che il vostro studio possa andare avanti per sei settimane intere. Sei settimane forniranno un tempo sufficiente non solo per catturare dei risultati da tutto il vostro solito traffico sul sito, ma anche da qualsiasi nuovo arrivato che riuscirete a reclutare con altri mezzi.

Suggerimento 3: chiedete in prestito del traffico da qualcun altro

Ho un numero di follower piuttosto basso sui social media, quindi se twitto o posto qualcosa riguardo a Candor Network, lo vedranno solo poche persone. Tuttavia, conosco alcune persone e organizzazioni che hanno un enorme numero di follower. Per esempio, @alistapart ha circa 148k follower su Twitter e il publisher di A List Apart, Jeffrey Zeldman (@zeldman), ha 358k follower. Ho chiesto a entrambe di condividere il link di Candor Network con i propri follower.

Un tweet utile da @zeldman

Ovviamente, questo metodo di advertising non costa soldi, ma ha un prezzo in capitale sociale. Sono sicura che A List Apart e Mr. Zeldman non apprezzerebbero che chiedessi loro di twittare cose al mio posto regolarmente. Vi raccomando di usare con parsimonia questo metodo.

Suggerimento 4: Attenzione! C’è sempre il rischio di non ottenere risultati.

Prima di creare un test A/B per la vostra nuova idea di prodotto, c’è un rischio importante che dovete valutare: c’è una possibilità che il vostro esperimento non produca alcun risultato statisticamente significativo. Anche se usate tutti i suggerimenti che ho delineato qui sopra e riuscite ad ottenere un gran numero di partecipanti al vostro test, c’è una possibilità che non sarete in grado di “proclamare un vincitore”. Non si tratta di un rischio solo per le aziende che hanno poco traffico, è un rischio intrinseco che si corre quando si fa un qualunque tipo di studio quantitativo. A volte semplicemente non c’è un chiaro effetto sul comportamento dei partecipanti.

Sintonizzatevi la prossima volta per l’ultima puntata#section6

Nella terza e ultima puntata della serie “Discovery economica”, descriverò come ho progettato il sondaggio incredibilmente corto sulla landing page di Candor Network e discuterò i risultati del mio falso test A/B porta a porta. Inoltre, farò un’altra revisione della mia ipotesi di problema e discuterò come sapere quando si è pronti per lasciare il processo di discovery (almeno per ora) e imbarcarsi sulla terza fase del design: ideare possibili soluzioni.