Come ti dirà chiunque abbia mai avuto una relazione, le emozioni umane sono un concetto complicato. Ciò è particolarmente vero per i professionisti del marketing che stanno cercando di comprendere i vantaggi qualitativi - il valore che va oltre le funzionalità di base - del loro prodotto o servizio. Non è difficile capire cosa fa il tuo prodotto, ma sai come si sentono i tuoi consumatori?



Lo faresti se utilizzassi l'analisi del sentiment di ascolto sociale per distillare le riflessioni sui social media non filtrate del tuo pubblico di destinazione in intuizioni strategiche utilizzabili. Prendendo tutti i file dati social disponibili su Twitter e classificarlo per sentiment positivo, negativo o neutro è un'impresa importante e non esistono due metodi uguali. Ecco perché HASHTAGS ha creato un sistema ibrido di analisi del sentiment che combina i due approcci principali, elenchi di regole e apprendimento automatico.



Elenchi di regole

Uno dei modi più semplici per affrontare l'analisi del sentiment è utilizzare regole o dizionari creati dall'uomo. Con questo approccio, il sistema si basa su un elenco di parole o frasi che mappano direttamente a un sentimento specifico. Ad esempio, qualsiasi Tweet che contiene la parola 'batti il ​​cinque' potrebbe essere etichettato come positivo, mentre un Tweet contenente 'orribile' sarebbe negativo. Sistemi come questo sono altamente personalizzabili e possono essere estesi per includere migliaia di regole di parole e frasi.

222 relazione di significato

Al rovescio della medaglia, i sistemi di regole hanno difficoltà con i Tweet che corrispondono a regole contrastanti, come 'Il film non era così orribile come avevo previsto'. Qui, 'orribile' potrebbe essere etichettato come negativo, mentre 'anticipato' sarebbe positivo. Le regole contrastanti etichettano il Tweet come neutro, mentre alcuni lettori umani lo interpreterebbero come leggermente positivo e altri leggermente negativo.

Un'ulteriore limitazione dei sistemi basati su regole è la dipendenza dallo sforzo e dalla comprensione umana. La lingua si evolve rapidamente (specialmente su Twitter) e un sistema basato su regole richiede che qualcuno fornisca un flusso costante di nuovi termini e frasi. L'aggiornamento di un sistema di valutazione non è sempre una priorità assoluta e un sistema può diventare rapidamente obsoleto. Anche con un monitoraggio attento, può essere difficile identificare le tendenze linguistiche in evoluzione e determinare quando è necessario aggiungere nuove regole.

Apprendimento automatico

Utilizzo di sistemi di analisi del sentiment più avanzati Apprendimento automatico (ML) (a volte chiamate anche Intelligenza Artificiale o Elaborazione del linguaggio naturale ). L'apprendimento automatico è una famiglia di tecniche che utilizzano statistiche e probabilità per identificare modelli complessi che possono essere utilizzati per etichettare gli elementi.

A differenza dei sistemi basati su regole, i sistemi ML sono abbastanza flessibili da rilevare somiglianze che non sono immediatamente evidenti a un essere umano. Osservando molti, molti esempi, il sistema apprende modelli che sono tipicamente associati a sentimenti positivi, negativi o neutri.



Ad esempio, un sistema di analisi del sentiment ML potrebbe scoprire che i Tweet che contengono la parola 'pioggia' e terminano con un punto esclamativo sono negativi, mentre i Tweet con 'pioggia' e due punti esclamativi sono positivi. Un essere umano potrebbe non notare questo schema o capire perché si verifica, ma un sistema ML può utilizzarlo per fare previsioni molto accurate.

Sebbene i sistemi di Machine Learning possano produrre ottimi risultati, presentano alcuni difetti. Quando c'è molta varietà nella lingua, può essere difficile per un sistema ML setacciare il rumore per individuare i modelli. Quando esistono schemi forti, possono mettere in ombra schemi meno comuni e indurre il sistema ML a ignorare segnali sottili.

Approccio di Sprout

Per costruire il nostro sistema di analisi del sentiment, abbiamo progettato un sistema ibrido che combina il meglio degli approcci basati su regole e di apprendimento automatico. Abbiamo analizzato decine di migliaia di Tweet per identificare i luoghi in cui i modelli di machine learning hanno difficoltà e abbiamo introdotto strategie basate su regole per aiutare a superare queste carenze.



Integrando i modelli statistici con la comprensione umana, abbiamo creato un sistema robusto che funziona bene in un'ampia varietà di impostazioni.

germoglia l

Tutto sulla precisione

In superficie, l'analisi del sentiment sembra piuttosto semplice: basta decidere se un Tweet è positivo, negativo o neutro. Il linguaggio e le emozioni umane sono complicati, tuttavia, e rilevare il sentimento all'interno di un Tweet riflette questa complessità.

Considera questi tweet. Sono positivi, negativi o neutri?

https://twitter.com/alex/status/917406154321420289

Potresti sentirti sicuro delle tue risposte, ma è probabile che non tutti siano d'accordo con te. La ricerca ha dimostrato che le persone concordano solo sul sentimento dei Tweet 60-80% del tempo.

Potresti essere scettico. Lo eravamo anche noi.

numero 417

Per testarlo, due membri del nostro team di Data Science hanno etichettato lo stesso identico set di 1.000 Tweet come positivo, negativo o neutro. Abbiamo pensato 'lavoriamo con Tweets ogni giorno; probabilmente avremo un accordo quasi perfetto tra noi due '.

Abbiamo calcolato i risultati e poi li abbiamo controllati due volte e tre volte. La ricerca era azzeccata: eravamo d'accordo solo sul 73% dei Tweet.

Sfide nell'analisi del sentiment

La ricerca (insieme al nostro piccolo esperimento) mostra che l'analisi del sentiment non è semplice. Perché è così complicato? Esaminiamo alcune delle sfide più grandi.

Contesto

I tweet sono una piccola istantanea nel tempo. Sebbene alcuni siano autonomi, i Tweet fanno spesso parte di una conversazione in corso o di informazioni di riferimento che hanno senso solo se conosci l'autore. Senza questi indizi, può essere difficile interpretare i sentimenti di un autore.

Sarcasmo

Il rilevamento del sarcasmo è un altro sapore della sfida del contesto. Senza ulteriori informazioni, i sistemi di analisi del sentiment spesso confondono il significato letterale delle parole con il modo in cui sono intese. Il sarcasmo è un'area attiva della ricerca accademica, quindi nel prossimo futuro potremmo vedere sistemi che comprendono lo snark.

Confronti

Anche il sentimento diventa complicato quando i Tweet fanno confronti. Se sto conducendo una ricerca di mercato sulle verdure e qualcuno scrive 'Le carote sono meglio della zucca', questo Tweet è positivo o negativo? Dipende dalla tua prospettiva. Allo stesso modo, qualcuno potrebbe twittare: 'L'azienda A è migliore dell'azienda B.' Se lavoro per l'Azienda A, questo Tweet è positivo, ma se sono per l'Azienda B, è negativo.

Emoji

Gli emoji sono una lingua tutta loro . Mentre gli emoji esprimono un sentimento abbastanza ovvio, altri sono meno universali. Durante la costruzione del nostro sistema di analisi del sentiment, abbiamo esaminato da vicino come le persone usano gli emoji, scoprendo che anche gli emoji comuni possono causare confusione. è quasi ugualmente usato per significare 'così felice che sto piangendo' o 'così triste che sto piangendo'. Se gli esseri umani non possono essere d'accordo sul significato di un'emoji, nemmeno un sistema di analisi del sentiment lo può.

Definizione di neutro

Anche il sentimento 'neutro' non è sempre semplice. Considera il titolo di una notizia su un tragico evento. Sebbene siamo tutti d'accordo sul fatto che l'evento sia terribile, la maggior parte dei titoli delle notizie vuole essere dichiarazioni fattuali e informative. I sistemi di analisi del sentiment sono progettati per identificare l'emozione dell'autore del contenuto, non la risposta del lettore. Sebbene possa sembrare strano vedere notizie terribili etichettate come 'neutre', riflette l'intento dell'autore di comunicare informazioni fattuali.

I sistemi di analisi del sentiment variano anche nel modo in cui viene definito neutro. Alcuni considerano neutrale una categoria generica per qualsiasi Tweet in cui il sistema non può decidere tra positivo o negativo. In questi sistemi, 'neutro' è sinonimo di 'Non sono sicuro'. In realtà, però, ci sono molti Tweet che non esprimono emozioni, come nell'esempio seguente.

Il nostro sistema classifica esplicitamente i Tweet non emotivi come neutri, invece di utilizzare Neutro come etichetta predefinita per i Tweet ambigui.

Valutazione dell'analisi del sentiment

Con così tante sfide nell'analisi del sentiment, vale la pena fare i compiti prima di investire in un nuovo strumento. I fornitori cercano di aiutare a superare le complessità concentrandosi sulle statistiche sull'accuratezza del loro prodotto. Tuttavia, la precisione non è sempre un confronto tra mele e mele. Se prevedi di utilizzare la precisione come un metro, ecco alcune cose che dovresti chiedere.

La precisione riportata è maggiore dell'80%?
Poiché gli esseri umani sono d'accordo l'uno con l'altro solo il 60-80% delle volte, non c'è modo di creare un set di dati di prova che tutti concorderanno che contenga le etichette di sentiment 'corrette'. Quando si tratta di sentimento, 'corretto' è soggettivo. In altre parole, non esiste un gold standard da utilizzare per testare l'accuratezza.

Il limite superiore dell'accuratezza di un sistema di analisi del sentiment sarà sempre l'accordo a livello umano: circa l'80%. Se un fornitore dichiara una precisione superiore all'80%, è una buona idea essere scettici. La ricerca attuale suggerisce che anche una precisione dell'80% è improbabile; i massimi esperti del settore ottengono in genere precisioni nella metà degli anni '60.

Quante categorie di sentiment vengono previste?
Alcuni fornitori valutano l'accuratezza solo sui Tweet che sono stati identificati da valutatori umani come definitivamente positivi o negativi, escludendo tutti i Tweet neutri. È molto più facile che l'accuratezza di un sistema appaia molto alta quando si lavora con Tweet fortemente emotivi e solo due possibili risultati (positivi o negativi).

In natura, tuttavia, la maggior parte dei Tweet sono neutri o ambigui. Quando un sistema viene valutato solo rispetto a positivo e negativo, è impossibile sapere quanto bene il sistema affronta i Tweet neutri, la maggior parte di ciò che vedrai effettivamente.

Quali tipi di Tweet sono inclusi nel loro set di test?
Un sistema di analisi del sentiment dovrebbe essere costruito e testato su Tweet rappresentativi delle condizioni del mondo reale. Alcuni sistemi di analisi del sentiment vengono creati utilizzando Tweet specifici del dominio che sono stati filtrati e puliti per renderlo il più semplice possibile da comprendere per un sistema.

Ad esempio, un fornitore potrebbe aver trovato un set di dati preesistente che include solo Tweet fortemente emotivi sul settore del trasporto aereo, escludendo qualsiasi spam o Tweet fuori tema. Ciò renderebbe la precisione elevata, ma solo se utilizzato su Tweet molto simili. Se lavori in un dominio diverso o ricevi Tweet fuori tema o spam, vedrai una precisione molto inferiore.

Quanto era grande il set di dati di prova?
I sistemi di analisi del sentiment dovrebbero essere valutati su diverse migliaia di Tweet per misurare le prestazioni del sistema in molti scenari diversi. Non otterrai una vera misura dell'accuratezza di un sistema quando un sistema viene testato solo su poche centinaia di Tweet.

Qui a Sprout, abbiamo costruito il nostro modello su una raccolta di 50.000 Tweet tratti da un campione casuale di Twitter. Poiché i nostri Tweet non sono specifici del dominio, il nostro sistema di analisi del sentiment funziona bene su un'ampia gamma di domini.

Inoltre, facciamo previsioni separate per categorie positive, negative e neutre; non ci limitiamo ad applicare la neutralità quando altre previsioni falliscono. La nostra precisione è stata testata su 10.000 Tweet, nessuno dei quali è stato utilizzato per costruire il sistema.

numero che rappresenta dio

Guarda la Sentiment Analysis di Sprout dal vivo con gli ascoltatori

Tutta la ricerca nel mondo non può sostituire la valutazione di prima mano di un sistema. Dai al nostro nuovo sistema di analisi del sentiment un test drive all'interno del nostro più recente set di strumenti di ascolto sociale, Ascoltatori e guarda come funziona per te. In definitiva, il miglior strumento di ascolto sociale è quello che soddisfa le tue esigenze e ti aiuta a ottenere maggior valore dai social. Lascia che ti aiutiamo a iniziare oggi.

Condividi Con I Tuoi Amici: