Interview: Die Datenwissenschaft, die sich hinter Brandwatchs neuer Sentimentanalyse verbirgt

In diesem Monat veröffentlicht Brandwatch ein neues Sentimentmodell für mehr als 100 Mio. Online-Quellen, die von Brandwatch Consumer Research abgedeckt werden, sowie für die Brandwatch Apps für Cision Social Listening und Falcon Listen. 

Dieses große Upgrade für Brandwatchs bereits existierende leistungsstarke Sentimentanalyse liefert durchschnittlich eine 18% höhere Genauigkeit in den unterstützten Sprachen.

Dieses Modell ist mehrsprachig, das bedeutet:

• Offizieller Support ist jetzt für 16 neue Sprachen verfügbar, mehr werden folgen (dadurch erhöht sich die Anzahl der offiziell unterstützten Sprachen auf 44)
• Das Modell wird außerdem das Sentiment zu Posts in jeder anderen Sprache hinzufügen (und Posts, für die keine Sprache identifiziert werden konnte, wie etwa Posts, die nur Emojis enthalten), wenn dieses genug Informationen hat

Das Sentiment gehört zu den wichtigsten Metriken, auf die sich Brandwatch Kund:innen verlassen, um eine Reihe von Aufgaben durchführen zu können, wie z. B.:

• Die Markengesundheit bewerten
• Fürsprecher:innen oder Kritiker:innen identifizieren
• Aufkommende Krisen erkennen
• Positive und negative Themen in Gesprächen über die Marke oder ein bestimmtes Thema verstehen

Ich sprach mit Colin Sullivan, einem unserer Data Scientists, die das Team, das an unserem neuen Sentimentmodell gearbeitet hat, geleitet haben, um zu verstehen, wie es funktioniert und wie Brandwatch Kund:innen von dem Modell profitieren können.

Hallo Colin! Wir freuen uns sehr über das Ergebnis eurer harten Arbeit, die jetzt in die Sentimentanalyse von Brandwatch einfließt. Bevor wir über das neue Sentimentmodell sprechen, erzähl uns ein bisschen über dich.

Danke Nick, wir freuen uns auch sehr! Ich bin ein Data Science Manager bei Brandwatch und leite mehrere verschiedene Projekte und habe vorher Linguistik und rechnerische Linguistik studiert. 

Linguistik ist im Grunde eine Sozialwissenschaft, bei der Muster und Regeln identifiziert werden, wie eine Sprache funktioniert. Dabei werden der theoretische Hintergrund, Syntax und Semantiken der Sprache genauer betrachtet. Die rechnerische Linguistik ist die Erforschung, wie Computer diese Strukturen modellieren können und diese Modelle auf Dinge wie Natural Language Processing, Sprachidentifizierung und wie Dinge indiziert werden sollten. Es wird außerdem angewendet, um Dinge wie das Sentiment und Themen innerhalb großen Textdaten identifizieren zu können. 

Das Sentiment-Update wendet ein ganz neues Modell an. Warum habt ihr eine neue Vorgehensweise, wie das Sentiment analysiert wird, entworfen?

Aus zwei Gründen:

1. Wir wollten einen Sprung zu den modernen Methoden machen, die sich in der Forschungswelt auftaten. Es gibt einige sehr aufregende, neue Entwicklungen in den vergangenen Jahren, die uns dabei helfen können, bessere Ergebnisse zu liefern.
2. Wir sahen außerdem die Chance, die Art und Weise, wie wir bisher das Sentiment in Brandwatch bewerten, zu vereinfachen. Wir haben bisher das gleiche Verfahren auf jede Sprache, die wir unterstützen, angewandt. Das beinhaltet das Sammeln von Trainingsdaten für jede Sprache, diese müssen gekennzeichnet werden, die Sprachmuster müssen verstanden werden und dann wurde für jede Sprache unter Aufsicht Lernmodelle erstellt. In unserem neuen Setup haben wir eine einzige Methodik, die für viele Sprachen funktioniert.

Das neue Modell nutzt “Transfer Learning”. Was ist das genau? 

In den letzten Jahren gab es aufregende Entwicklungen im Bereich KI, was Transfer Learning betrifft. Beim Transfer Learning wird ein Modell zuerst darauf trainiert, ein allgemeines Verständnis zu erhalten und dieses Verständnis dann zu nehmen und auf eine andere Aufgabe anzuwenden. Das ist eine sehr andere Vorgehensweise, als einem Modell beizubringen, ein einziges, spezifisches Problem zu lösen, wie wir es bisher für unsere Sentimentanalyse getan haben.

Unser neues Modell wurde also zuerst trainiert, ein allgemeines Verständnis darüber zu erhalten, wie eine Sprache angewandt wird. Wir ordnen dem Modell dann eine Aufgabe wie die Sentimentanalyse zu.

Der erste Schritt ist sehr ähnlich, wie Technologien für Autovervollständigung von Phrasen und Sätzen funktioniert. Ein Modell mit genug Erfahrung über eine Sprache, das von Menschen genutzt wird, kann die nächsten Wörter vorhersagen, die wahrscheinlich nach dem ersten Wort auftauchen, und dem ganzen mehr Text geben. As nächstes sagt es ein Thema vorher, das den ganzen Satz oder Social Media Post auf den Punkt bringt. In diesem Fall sind die Themen “positiv,” “negativ” oder “neutral”. Das Modell greift wieder auf die gleichen Informationen wie im ersten Schritt zurück.

So funktioniert zum Beispiel unser Gehirn, wenn wir jemandem zuhören. Wir versuchen ständig unterbewusst vorherzusagen, was der andere als nächstes sagen wird, um besser zuhören und verstehen zu können.

Wie hilft das Brandwatch dabei, ein besser definiertes Sentiment liefern zu können?

Ein Hauptvorteil der neuen Vorgehensweise ist, dass es robuster ist, wenn es um komplexere oder nuanciertere Sprachen geht. Das neue Modell kann mit Schreibfehlern und Slang umgehen.

Bisher waren betreute Lernmodelle während dem Training auf ein festgelegtes Set an bekannten Mustern begrenzt. Diese Vorgehensweise kann nicht annähernd alle sprachlichen Ausdrücke erfassen. Moderne Modelle sind besser darin, darauf zurückzugreifen, was sie bereits wissen, um mit neuen oder seltenen Mustern umgehen zu können. 

Mit der Transfer-Learning-Vorgehensweise nimmt das Modell sein verfügbares Wissen, um die Lücken zu füllen. Es kann zum Beispiel ihm unbekannte Wörter herunter brechen, um in den Teilen nach Hinweisen zu suchen (genau, wie wir Menschen es machen würden). 

Und es funktioniert in fast jeder Sprache, da wir nicht jedes Mal für eine neue Sprache trainieren müssen. Das bedeutet außerdem, dass es mit einer größeren Brandbreite regionaler Mundarten und Posts, in denen zwischen Sprachen hin- und hergewechselt wird, umgehen kann.

Was führt dazu, dass ein Post als positiv oder negativ gekennzeichnet wird? Sucht das Modell nach “guten” oder “schlechten” Wörtern oder Begriffen? 

Das Modell betrachtet den kompletten Kontext eines Dokumentes. Dinge, die eine Rolle spielen, sind die Reihenfolge der Wörter, nicht nur positive oder negative Wörter. Wenn zum Beispiel etwas “nicht gut” ist, wird die Verneinung einfach verstanden. Es versteht außerdem Dinge wie Emojis, Satzbau und Groß- und Kleinschreibung.

Wenn wir uns die Ergebnisse ansehen, dann wirken sie wie Wissen in Echtzeit. Es kann Namen missachten, die ansonsten das Sentiment bei der typischen Nutzung übermitteln würden.

Hat es genug Beispiele einer Sprache gesehen, wie diese auf eine bestimmte Art und Weise genutzt wird, ist es sogar in der Lage doppelte Verneinungen oder mitunter Sarkasmus zu erkennen. Allerdings ist dies schwieriger, da nicht immer das benötigte Wissen in Echtzeit zur Verfügung steht. Wenn Sie allerdings ein bisschen Zeit auf Twitter verbracht haben, dann wissen Sie, dass auch wir Menschen nicht immer sofort Sarkasmus erkennen können!

Das neue Modell ist mehrsprachig. Wie funktioniert es?

Das Vortraining wurde mit einer riesigen Datenmenge aus 104 Sprachen durchgeführt. Unser erster Schritt war, das vortrainierte Modell zu nehmen, und ihm mehr Bespieltexte von Social Media zu geben. Dieser Schritt wird benötigt, damit das Modell die Arten an linguistischen Mustern, die auf Social Media im Vergleich zu herkömmlichen News und formalen Kontexten auftauchen, zu verstehen. 

Dann führten wir den betreuten Schritt durch, bei dem wir es mit Sentimentdaten füttern und auf das Problem aufmerksam machen, positive oder negative Posts zu finden. Wir nutzten nur 12 Sprachen auf einmal, aber bewerteten die Ergebnisse für 44 Sprachen und konnten sehen, dass das Modell diese auf einem guten Grad an Genauigkeit beherrscht. Da das Modell Sentimentbeispiele von ausreichend Sprachen erhielt, konnte es sich auf andere Sprachen konzentrieren, indem es auf das Wissen zurückgriff, das es bereits kannte.

Wir können nun offiziell 44 Sprachen unterstützen, aber das Modell wird das Sentiment in jeder Sprache identifizieren, wenn es genug Informationen hat. In der Zukunft können wir offiziellen Support für mehr Sprachen schneller als je zuvor anbieten. 

Wie genau ist das neue Modell? Und wie wird die Genauigkeit gemessen?

Das Sentiment ist grundsätzlich eine subjektive Aufgabe und die Definition dieser Aufgabe wird unterschiedlich interpretiert. Beispielsweise interpretieren zwei Menschen nur zu 80% auf die gleiche Weise das Sentiment von Dingen und das bezieht sich auf Tweets, die relativ einfach zu bewerten sind.

Brandwatch Kund:innen können normalerweise eine durchschnittliche Genauigkeit von 60-75% erwarten, aber das hängt immer von den Art der Daten ab, die betrachtet werden. Wir konnten zum Beispiel eine viel höhere Genauigkeit bei einem Datensatz von IMDB Filmbewertungen sehen. Mein Team ist damit beauftragt, das Sentiment für Posts von über 100 Mio. Datenquellen zu kalkulieren, daher versuchen wir diese mit einer Vielfalt an Datensätzen zu bewerten (In anderen Worten: Wir versuchen uns herauszufordern!). 

Wie Sie eine Bewertung durchführen hat einen großen Einfluss auf die Ergebnisse. Wir können unser Modell mit verschiedenen öffentlichen Datensätzen vergleichen, für die einige der großen Namen in KI und NLP auch Vorhersagen liefern. In diesem Eins-zu-Eins-Vergleich der allgemeinen Performance mit hochangesehenen Data Science Unternehmen schneidet Brandwatch regelmäßig als Spitzenreiter ab.

Welche Tipps kannst du als Datenwissenschaftler anderen geben, die die Sentimentanalyse für ihre Arbeit verwenden?

Als erstes sollten Sie sicherstellen, das Sie genau definieren, was Sie tun möchten. Was Menschen als positiv oder negativ betrachten, wird häufig voreingenommen betrachtet, je nachdem, welche Insights sie versuchen zu erhalten.

Die Sentimentanalyse ist mehr ein Werkzeug als eine einzige, unbestreitbare “Wahrheit”. Wenn Sie beispielsweise die Brand Health untersuchen, dann werden Sie Ihre Daten in Kategorien, Zielgruppen und Themen herunter brechen und das Sentiment untersuchen, um zu sehen, was die öffentliche Meinung antreibt und wie Sie diese verbessern können. Wenn Sie allerdings potenzielle Krisen vorhersagen möchten, dann müssen Sie sich stärker auf Veränderungen in Trends oder Gesprächsspitzen in Ihren Daten fokussieren, damit Sie schnell reagieren können.

Das Sentiment ist angehäuft am nützlichsten: Wenn es aufzeigt, wie sich die Verteilung mit der Zeit verändert, zum Beispiel signifikante Spitzen oder Absenkungen in den Gesprächen. Es ist immer wichtig zu vergleichen und dann die Daten genauer zu untersuchen, wenn sie von der Norm abweichen.

Vielen Dank, Colin, dass du dir die Zeit für dieses Interview genommen hast und an dein Team, die für Brandwatch Kund:innen diese aufregende neue Entwicklung in der Plattform möglich gemacht haben!

Wenn Sie die Sentimentanalyse von Brandwatch in Aktion sehen möchten, dann fordern Sie eine Demo an. Wenn Sie bereits Brandwatch Kund:in sind, dann können Sie ab heute von dem neuen Sentimentmodell in Ihren Projekten profitieren.