KI und Sprache
Posted by Julia Werner •
Natural Language Processing (NLP): Funktionen, Aufgaben und Anwendungsbereiche
Natural Language Processing (NLP) ist eine Methode der künstlichen Intelligenz, die es Computern ermöglicht, die natürliche Sprache des Menschen zu verstehen. Anwendungsgebiete sind z.B. Chatbots, Text Mining und digitale Assistenten wie Alexa oder Siri.
Natural Language Processing ist keine leichte Aufgabe des Machine Learning, denn Sprachen und Zusammenhänge sind oft komplex und durch Mehrdeutigkeit für die Computer nicht einfach zu verstehen.
Dieser Artikel gibt eine Einführung in die Verarbeitung natürlicher Sprache und wo diese eingesetzt werden kann.
Das Wichtigste auf einen Blick:
Natural Language Processing ist ein Zweig der künstlichen Intelligenz und beschäftigt sich mit der Analyse , dem Verständnis und der Generierung von natürlicher Sprache
und beschäftigt sich mit der , dem und der von natürlicher Sprache Zu den Funktionen zählen unter anderem die Sentiment-Analyse, Part of Speech-Tagging, Named-entity recognition und Spracherkennung
Neben Natural Language Processing existieren ebenfalls die Bereiche Natural Language Understanding (NLU) und Natural Language Generation (NLG)
und NLP hilft Krankheiten zu identifizieren , den Kundenservice zu verbessern oder Texte zu klassifizieren
hilft , den oder Zudem stellen Spam-Filter, Textverarbeitung, Text Mining, Anrufweiterleitung mittels IVR-Systeme und E-Mail-Routing weitere Aufgabengebiete von NLP dar
Was ist Natural Language Processing?
Natural Language Processing (NLP), im deutschen Sprachgebrauch auch als Computerlinguistik oder linguistische Datenverarbeitung benannt, ist ein Zweig der künstlichen Intelligenz und des maschinellen Lernens, der sich mit der Analyse, dem Verständnis und der Generierung von Wörtern und Sätzen (natürlicher Sprache) beschäftigt. Durch Natural Language Processing können wir Menschen mit den Computern auf natürliche Weise kommunizieren, sodass diese unsere menschliche Sprache verstehen.
Natural Language Processing mit Google Word2Vec ermittelt Zusammenhänge in der Sprache. Beispiel: König zu Königin oder Mann zu Frau. Quelle: Google Word2Vec
Natural Language Processing kann sowohl gesprochene als auch geschriebene Sprache erkennen, analysieren und den Sinn zur Weiterverarbeitung extrahieren. Dazu ist es notwendig, dass nicht lediglich einzelne Wörter, sondern vollständige Textzusammenhänge sowie Sachverhalte verstanden werden. Um diese Textbedeutungen zu erkennen, erfasst man im Vorhinein riesige Datenmengen und leitet daraus Muster anhand von Algorithmen ab. Dazu tragen vor allem Machine Learning sowie weitere Big-Data-Techniken als wichtiger Antreiber des Natural Language Processing bei.
Zu Beginn bezog sich der Terminus des Natural Language Processing lediglich auf die Lesefähigkeit von Computersystemen. Mittlerweile werden weitere Aspekte der Linguistik beachtet. Zu den Unterkategorien von Natural Language Processing gehören Natural Language Understanding sowie Natural Language Generation. Im Folgenden werden die Unterschiede sowie Bedeutung dieser Begriffe aufgezeigt.
Prozess eines Natural Language Processing Workflows
Damit Natural Language Processing in der Praxis gelingt, müssen vorab einzelne wichtige Schritte beachtet werden. Neben der Vorverarbeitung der Daten spielen die Feature-Erstellung, Modellierung und Evaluierung eine entscheidende Rolle. Die folgende Grafik verdeutlicht den Prozess eines Natural Language Processing Workflows:
Schritte eines Natural Language Processing Workflows von der Vorverarbeitung der Daten bis zur Erstellung einer Vorhersage.
Was sind die Unterschiede zwischen NLP, NLU und NLG?
Natural Language Processing und Natural Language Generation stellen Unterkategorien von Natural Language Processing dar. Quelle: IBM
Im Rahmen von Natural Language Processing tauchen immer wieder Begriffe auf, die sich zwar ähneln, aber dennoch unterscheiden. Da sich diese Begriffe überschneiden, werden sie häufig innerhalb der Praxis verwechselt. Dennoch ist auf folgende Unterschiede bei den Begriffen zu achten:
Natural Language Processing (NLP) = Verarbeitung natürlicher Sprache:
Im Rahmen von Natural Language Processing, der Verarbeitung von natürlicher Sprache, werden unstrukturierte Sprachdaten in ein strukturiertes Datenformat umgewandelt. Dies soll es Maschinen ermöglichen, Sprache sowie Text zu identifizieren und verstehen, um im Anschluss relevante Antworten zu generieren.
= Verarbeitung natürlicher Sprache: Im Rahmen von Natural Language Processing, der Verarbeitung von natürlicher Sprache, werden unstrukturierte Sprachdaten in ein strukturiertes Datenformat umgewandelt. Dies soll es Maschinen ermöglichen, Sprache sowie Text zu identifizieren und verstehen, um im Anschluss relevante Antworten zu generieren. Natural Language Unterstanding (NLU) = Verstehen natürlicher Sprache:
Natural Language Unterstanding befasst sich dem reinen Verständnis natürlicher Sprache. Dabei konzentriert sich NLU primär auf maschinelles Leseverständnis. Dazu werden vorwiegend Grammatik sowie Kontext analysiert, um den Sinn sowie die Bedeutsamkeit eines Satzes zu identifizieren. Mehr Informationen zu Natural Language Unterstanding finden Sie hier.
= Verstehen natürlicher Sprache: Natural Language Unterstanding befasst sich dem reinen Verständnis natürlicher Sprache. Dabei konzentriert sich NLU primär auf maschinelles Leseverständnis. Dazu werden vorwiegend Grammatik sowie Kontext analysiert, um den Sinn sowie die Bedeutsamkeit eines Satzes zu identifizieren. Mehr Informationen zu Natural Language Unterstanding finden Sie hier. Natural Language Generation (NLG) = Erzeugung natürlicher Sprache:
Im Rahmen von Natural Language Generation geht es um die konkrete Erzeugung von Textbausteinen. Dies bedeutet, dass NLG sich vorwiegend mit der Konstruktion von Texten befasst. Auf Grundlage eines vorliegenden Datensatzes kann eine Maschine dabei Texte in unterschiedlichen Sprachen konstruieren. Mehr Informationen zu Natural Language Generation finden Sie hier.
Welche Aufgaben hat Natural Language Processing?
Die Analyse von menschlicher Sprache ist für Maschinen enorm herausfordernd. Texte und Sprachdaten sind voll von Mehrdeutigkeit und Unregelmäßigkeiten. Verschiedene Aufgaben von Natural Language Processing (NLP) zerlegen die menschliche Sprache in Elemente, die ein Computer verstehen. Zu den Aufgaben von Natural Language Processing gehören:
Spracherkennung : Spracherkennung, befasst sich mit der Möglichkeit, aus Sprachdaten zuverlässige Textdaten herzustellen. Spracherkennung ist für eine alle Anwendungen erforderlich, die sich mit der Analyse von Sprachbefehlen beschäftigen. Dadurch, dass Menschen auf unterschiedlichste Weise kommunizieren, stellt die Spracherkennung eine große Herausforderung dar. Dabei sind vor allem Unterschiede bezüglich der Sprechart, Geschwindigkeit, Deutlichkeit oder der unterschiedlichen Betonung und Intonation sowie Akzente und falsche Grammatik zu beachten.
: Spracherkennung, befasst sich mit der Möglichkeit, aus Sprachdaten zuverlässige Textdaten herzustellen. Spracherkennung ist für eine alle Anwendungen erforderlich, die sich mit der Analyse von Sprachbefehlen beschäftigen. Dadurch, dass Menschen auf unterschiedlichste Weise kommunizieren, stellt die Spracherkennung eine große Herausforderung dar. Dabei sind vor allem Unterschiede bezüglich der Sprechart, Geschwindigkeit, Deutlichkeit oder der unterschiedlichen Betonung und Intonation sowie Akzente und falsche Grammatik zu beachten. Part of Speech-Tagging : Diese Funktion von Natural Language Processing wird auch grammatikalisches Tagging genannt. Dabei geht es darum, je nach Verwendung oder Kontext, bestimmte Wörter oder Textstücke richtig zu bestimmen und verstehen. Beispielsweise ist es dank Part of Speech-Tagging möglich, das Wort “make” in folgenden Sätzen unterschiedlich zu identifizieren. Einerseits kann “make” als Verb wahrgenommen werden (I can make a smoothie) und andererseits als Substantiv (What make of watch do you own).
: Diese Funktion von Natural Language Processing wird auch grammatikalisches Tagging genannt. Dabei geht es darum, je nach Verwendung oder Kontext, bestimmte Wörter oder Textstücke richtig zu bestimmen und verstehen. Beispielsweise ist es dank Part of Speech-Tagging möglich, das Wort “make” in folgenden Sätzen unterschiedlich zu identifizieren. Einerseits kann “make” als Verb wahrgenommen werden (I can make a smoothie) und andererseits als Substantiv (What make of watch do you own). Named Entity Recognition (NEM): NEM befasst sich mit der Aufgabe, Wörter oder Textbausteine in unterschiedlichen Kontexten zu erkennen. Beispielsweise ist es dank NEM möglich, dass der Begriff “Köln” als Ort identifiziert wird und “Jonas” als Name.
Sentiment-Analyse: Durch die Sentiment-Analyse ermöglicht es, Einstellungen, Emotionen und Präferenzen innerhalb von Textpassagen zu identifizieren und zu deuten. Zudem können unterschiedliche Redeformen wie Sarkasmus oder Ironie extrahiert sowie erkannt werden.
Durch die Sentiment-Analyse ermöglicht es, Einstellungen, Emotionen und Präferenzen innerhalb von Textpassagen zu identifizieren und zu deuten. Zudem können unterschiedliche Redeformen wie Sarkasmus oder Ironie extrahiert sowie erkannt werden. Maschinelle Übersetzung: Durch die Funktion der maschinellen Übersetzung, lassen sich Texte automatisch in eine andere Sprache übersetzen. Dank NLP-Algorithmen ist es möglich, umfangreiche Texte in verschiedenen Sprachen wiederzugeben. Zudem können moderne Übersetzungsprogramme erfassen in welcher Sprache die Texteingabe erfolgt, sodass daraufhin die gewünschte Übersetzung automatisch gelingt.
Durch die Funktion der maschinellen Übersetzung, lassen sich Texte automatisch in eine andere Sprache übersetzen. Dank NLP-Algorithmen ist es möglich, umfangreiche Texte in verschiedenen Sprachen wiederzugeben. Zudem können moderne Übersetzungsprogramme erfassen in welcher Sprache die Texteingabe erfolgt, sodass daraufhin die gewünschte Übersetzung automatisch gelingt. Dokumentenzusammenfassung: Diese Funktion ermöglicht dem Nutzer, dass eine automatische Generierung von Zusammenfassungen großer Texte erfolgt. Vor allem in Bereichen, in denen riesige Textmengen vorliegen, ist es hilfreich, dass die Wesentlichen Erkenntnisse prägnant zusammengefasst werden.
Diese Funktion ermöglicht dem Nutzer, dass eine automatische Generierung von Zusammenfassungen großer Texte erfolgt. Vor allem in Bereichen, in denen riesige Textmengen vorliegen, ist es hilfreich, dass die Wesentlichen Erkenntnisse prägnant zusammengefasst werden. Speech-to-text und Text-to-Speech-Konvertierung: Im Rahmen dieser Funktion wird Natural Language Processing dazu genutzt, dass eine Umwandlung von Text in eine akustische Sprachausgabe erfolgt. Zudem kann dieser Prozess auch umgekehrt erfolgen, sodass gesprochene Sprache in einen geschriebenen Text transformiert wird.
Was sind die Anwendungsbereiche von Natural Language Processing?
Die Verarbeitung von natürlicher Sprache stellt eine treibende Kraft hinter künstlicher Intelligenz dar. Dadurch ergeben sich unzählige moderne Anwendungen innerhalb des Alltags. Im Folgenden finden Sie einige Beispiele, die dank Natural Language Processing möglich sind:
Virtuelle Assistenten
Zu den Vorreitern virtueller Assistenten gehören Siri (Apple) und Alexa (Amazon). Diese nutzen Spracherkennung, um aus gesprochener Sprache, Befehle und Wünsche herauszufiltern. Zudem spielt die Generierung natürlicher Sprache eine wesentliche Rolle im Hinblick auf entsprechende Antworten des Systems.
Identifikation von Krankheiten
Dank Natural Language Processing ist es möglich, dass Krankheiten in der Medizin frühzeitig erkannt werden. Auf Grundlage von elektronischen Gesundheitsdaten und der Identifizierung gesprochener Sprache eines Patienten, kann das System Mängel bei Krankheiten wie Herz-Kreislauf-Erkrankungen, Depressionen oder Schizophrenie erkennen.
Kundenmeinungen analysieren
Innerhalb sozialer Netzwerke kann Natural Language Processing dazu dienen, Stimmungen und Auffälligkeiten von Kunden zu erkennen. Dabei werden relevante Daten wie beispielsweise Kommentare zu einem Produkt oder Service extrahiert, um im Anschluss Informationen und Hintergründe zur Stimmung eines Kunden zu erlangen. Dadurch können Unternehmen frühzeitig agieren und Kundenabwanderungen minimieren.
Textzusammenfassung
Natural Language Processing wird ebenfalls dazu verwendet, riesige Datenbanken in Form von Texten zusammenzufassen. Dadurch große Textpassagen auf den wesentlichen Inhalt gekürzt werden, wodurch Zeit gespart werden kann. Dazu nutzt man semantische Schlussfolgerungen und die Generierung natürlicher Sprache (NLG), um vorliegenden Zusammenfassungen einen nützlichen Kontext zu verleihen.
Spam-Filter
Ein Spam-Filter arbeitet auf Basis von NLP-Verfahren, somit lassen Junk-Mails ausfindig machen. Schaut man sich die einzelnen Betreffzeilen derjenigen E-Mails an, welche im Spam-Ordner gelandet sind, so ist schnell eine Ähnlichkeit festzustellen.
Dabei werden natürlich generierte E-Mails mit typischen Wörtern aus Spam-E-Mails verglichen. So lernt das System nach und nach zwischen einer spam- und sinnvollen E-Mail zu differenzieren.
Speech-to-Text-Konvertierung
Zudem kann Speech-to-Test-Konvertierung im Alltag dienen, Mailbox-Aufzeichnungen durch verpasste Telefonanrufe so zu konvertieren, dass diese als Textnachricht an Ihr E-Mail-Postfach weitergeleitet werden. Dies hat vor allem den enormen Vorteil, dass Mitarbeiter nicht zeitabhängig agieren müssen und trotzdem wichtige Nachrichten erhalten, auch wenn sie telefonisch eingehen.
Aber auch wenn Sie die integrierte Suchleiste einer Website nutzen, werden verschiedene NLP-Methoden für Suche, Themenmodellierung oder Content-Kategorisierung genutzt.
Textverarbeitung im Kundenservice
Im Bereich einer Anfrage eines Kunden kann ein Natural Language Processing System dabei helfen, das Anliegen sowie die Stimmung (Sentiment Analyse) des Kunden zu erkennen. Dadurch können je nach Bedarf, verschiedene Entscheidungen abgeleitet werden wie beispielsweise:
Bei Standardanfragen mit einem schnell zu lösenden Problem kommuniziert der Kunde weiterhin mit der Maschine bzw. dem Computer. Dies hat den Zweck, dass der Kunde schnell eine Antwort erhält und das Unternehmen kostbare Ressourcen wie Mitarbeiter anderweitig einsetzen kann.
mit einem schnell zu lösenden Problem kommuniziert der Kunde weiterhin mit der Maschine bzw. dem Computer. Dies hat den Zweck, dass der Kunde schnell eine Antwort erhält und das Unternehmen kostbare Ressourcen wie Mitarbeiter anderweitig einsetzen kann. Handelt es sich jedoch um eine komplexe Fragestellung, leitet das System die Anfrage an einen Mitarbeiter weiter. Dieser gewährleistet dem Kunden im weiteren Verlauf eine persönliche und individuelle Bearbeitung des Problems.
Zusätzlich lassen sich Telefonanrufe für Verfahren des Natural Language Processing nutzen. Dabei transkribiert ein System die vorliegenden Audiodateien und generiert einen Text. Im Anschluss analysiert ein Algorithmus diesen vorliegenden Text und klassifiziert Telefonate nach Themen.
Durch diese Klassifikation kann das Unternehmen dem Kunden verschiedenen Lösungen für unterschiedliche Probleme anbieten, wodurch eine starke Kundenzentrierung entsteht.
Textklassifikation von E-Mails
Bei vielen Unternehmen führt die Masse an Informationen im Bereich des E-Mail-Verkehrs zu Problemen. Durch Natural Language Processing sind Unternehmen jedoch in der Lage, E-Mails so zu klassifizieren, dass das Unternehmen einen besseren Überblick erhält.
NLP-Technologien sind in der Lage, verschiedene E-Mails zu scannen und im weiteren Verlauf die Dringlichkeit dieser E-Mail zu bestimmen. Somit erhalten E-Mails mit einer hohen Dringlichkeit eine besondere Priorität und werden zügig an Mitarbeiter des Kundenservice weitergeleitet.
Das System scannt dabei vorwiegend Wörter wie “Antwort”, “bestätigen”, “dringend” und lernt aus diesem Prozess dringliche E-Mails von weniger dringlichen zu unterscheiden. Unterschiedliche Anliegen wie beispielsweise Kündigung, Adressänderung oder Reklamation lassen sich differenzieren.
Zum Thema Textklassifikation haben wir hier einen Beitrag geschrieben.
Anrufweiterleitung mit IVR-Systemen
Sie haben bestimmt schon einmal bei einem Kundensupport anrufen und mussten ein bestimmtes Wort sagen, um an eine jeweilige Abteilung weitergeleitet zu werden. Dabei haben Sie höchstwahrscheinlich mit einem Interactive Voice Response-System gesprochen, welches ihr Anliegen verarbeitet hat. Diese IVR-Technologien erkennen gesprochene Sprache und wandeln diese Phrasen zu Textbausteinen um.
Dadurch, dass der Kunde im Vorhinein eine bestimmte Auswahl seines Anliegens bestimmen kann, muss er sich nicht zuerst eine Reihe folgender Optionen anhören, aus diesen er dann wählen kann.
Denn, IVR-Systeme agieren mit einem schnellen lösungsorientierten Ansatz, der den Kunden direkt nach seinem konkreten Problem fragt.
Riesige Unternehmen wie American Airlines konnten dadurch enorme Potentiale innerhalb des Kundenservices ausnutzen. So ließ sich durch die Überarbeitung ihres bereits bestehenden IVR-Systems die Anzahl an eingehenden Kundenanrufen um 5% steigern und zugleich Kosten in Höhe von mehreren Millionen Euro sparen.
E-Mail-Routing – am Beispiel Uber
Um dem Kunden die bestmögliche End-to-End Erfahrung zu bieten, hat sich Uber es zum Ziel gesetzt, den Kundensupport einfacher und zugänglicher zu gestalten. Dazu nutzt Uber fünf verschiedene Kommunikationskanäle, um die riesige Anzahl an Kontaktanfragen zu bearbeiten. Bei täglich Hunderttausenden von Anfragen aus rund 400 Städten weltweit stellt dies eine erhebliche Herausforderung für das Unternehmen dar.
Doch um dieser Herausforderung gerecht zu werden, hat Uber ein eignes System dafür entwickelt: COTA. COTA ist ein Akronym, welches sich aus den Begriffen Customer Obsession Ticket Assistant zusammensetzt. Es stellt ein Tool dar, was maschinelles Lernen und Natural Language Processing-Techniken für Verbesserung des Kundensupports einsetzt.
NLP-Pipeline. Quelle: Uber
COTA ermöglicht dem Unternehmen eine schnelle und effiziente Problemlösung von Kundenanfragen, wodurch mehr als 90% der eingehenden Anfragen automatisch bearbeitet werden können. Dies hilft vor allem Kundendienstmitarbeitern, die Geschwindigkeit und Genauigkeit ihrer Arbeit zu verbessern. Letztlich profitiert dabei der Kunde durch eine verbesserte Kundenerfahrung.
Für die Verarbeitung von Sprache gibt es einige Tools und Anwendungen, die dabei helfen. Im Folgenden erfahren Sie, welche gängigen Tools und Methoden es im Bereich Natural Language Processing gibt.
Python und Natural Language Toolkit (NLTK)
Die bekannte Programmiersprache Python bietet unzählige Werkzeuge zur Bewältigung von NLP-spezifischen Aufgaben. Einige davon sind im Natural Language Toolkit (NLTK) zu finden. Dies stellt eine Open-Source Sammlung von Programmen, Bibliotheken und weiteren Ressourcen zur Erstellung von NLP-Programmen dar.
Das Natural Language Processing Toolkit enthält einige Werkzeuge zur Bewältigung der vorhin aufgeführten Funktionen sowie Anwendungsgebiete. Zudem gibt es Bibliotheken für Teilaufgaben wie Wortsegmentierung, Satzparsing oder Stemming und Lemantisierung zum Verständnis eines Textes.
Statistisches NLP, maschinelles Lernen und Deep Learning
Zu den ersten NLP-Anwendungen gehörten handkodierte, regelbasierte Systeme. Diese konnten zwar bestimmte Aufgaben erfüllen, waren jedoch für ein breites Aufgabenspektrum nicht zu gebrauchen.
Statistisches NLP kombiniert Computeralgorithmen mit maschinellem Lernen sowie Deep Learning Modellen, um Text- sowie Sprachdaten automatisch zu extrahieren sowie zu klassifizieren und im Anschluss den Elementen mit einer statistischen Wahrscheinlichkeit eine mögliche Bedeutung zuzuweisen.
Mittlerweile bieten Deep-Learning Modelle die Möglichkeit, NLP-Systeme zu kreieren, welche während des Prozesses eigenständig lernen. Dadurch können diese Systeme im Laufe der Zeit immer präzisere Lösungen entwickeln.
Was sind die Herausforderungen der Sprachverarbeitung?
Natural Language Processing ist kein leichtes Problem der künstlichen Intelligenz, dies liegt vor allem in der Natur der menschlichen Sprache, die sehr komplex ist.
Es gibt viele Regeln und Zusammenhänge, die es den Computern schwer machen, diese zu verstehen und richtig zu interpretieren. Als Beispiel ist hier Sarkasmus genannt, ein Problem was extrem schwer für den Computer zu verstehen ist.
Natürlich gibt es auf der anderen Seite auch viele sehr einfache Aufgaben, beispielsweise Wörter oder das Erkennen von Plural, die ein Computer erlernen kann.
Zum Verstehen von natürlicher Sprache, muss der Computer sowohl Wörter als auch die Konzepte und Regeln dahinter verstehen. Für uns Menschen ist dies häufig sehr einfach, aber für Natural Language Processing ist das die große Herausforderung.
Demnach ergeben sich vorwiegend in den folgenden Bereichen Herausforderungen:
Modell
Häufig ist es in der Praxis anspruchsvoll, die Qualität der Modellergebnisse zu beurteilen. Beispielsweise ist das Deuten der Klassifizierung von Emotionen weitaus einfacher als die Beurteilung von Zusammenfassungen. Daher ist es gerade in der Anfangsphase eines Projekts wichtig ein Gütemaß zu bestimmen. Dieses sollte zum einen praktisch umsetzbar sein und zum anderen das zu lösende Problem widerspiegeln.
Zudem sollten Fragen rund um die Modellperformance geklärt sein. Beispielsweise hat ein Modell, welches in großen Zeitintervallen Ergebnisse berechnet andere Eigenschaften als ein Modell, welches innerhalb von Zehntelsekunden Anfragen beantworten muss.
Vortrainierte Modelle (Transfer Learning) besitzen die Eigenschaft, dass diese oftmals in verschiedenen Aufgaben gut performen. Dies führt oft dazu, dass diese Modelle zwar gute aber keine herausragenden Erkenntnisse liefern. Je ne nach Business Case sollte daher eine konkrete Feinabstimmung des Modells erfolgen, sodass optimale auf das Problem bezogen Ergebnisse generiert werden können.
Zur Feinabstimmung gehören zwei Dimensionen. Einerseits muss man das Modell auf Spracheinheiten anpassen. Vokabular, Slang oder der Dialekt spielen dabei eine entscheidende Rolle. Je nach Branche können diese Bereiche stark voneinander abweichen.
Andererseits sollte man das Modell neben einer Feinabstimmung zusätzlich konkret auf das vorliegende Businessproblem abstimmen. Zur Klassifizierung von Emotionen muss ein Modell anders arbeiten, als wenn es. zur Übersetzung von Texten genutzt wird.
Rechenleistung
Vor allem die stetige Verbesserung von Rechenleistung hat zum Vormarsch von künstlicher Intelligenz geführt. Dennoch bieten vortrainierte Modelle die Möglichkeit, dass nur noch ein Bruchteil eigener Rechenleistung erbracht werden muss.
Lediglich wird Computerleistung im Rahmen der Datenverarbeitung benötigt, was einen Bruchteil der Rechenleistung eines gesamten Trainings ausmacht. Und obwohl sich der Aufwand durch vortrainierte Modelle minimieren lässt, sollte ein Computer eine gewisse Rechenleistung aufbringen können. Deswegen wird in der Praxis meist auf Cloudcomputing zurückgegriffen. Die Kosten für Cloudcomputing werden in der Regel minutengenau abgerechnet, wonach sich ein Standard-Rechenzentrum aufgrund der Kosten meist nicht lohnt.
Fazit
Mittlerweile gehört es zur Realität, dass Mensch und Maschine miteinander kommunizieren. Aufgrund der immer größer werdenden Rechenleistungen und der Vielzahl an Daten, wird das Handeln von Natural Language Processing-Technologien immer besser.
Wie die verschiedenen Beispiele zeigen, dient Natural Language Processing vorwiegend zur besseren Interaktion mit dem Kunden. Dabei zeichnen sich NLP-Systeme dadurch aus, dass diese zu jeder Zeit verfügbar sind und sich beliebig skalieren lassen.
Wenn Sie weitere Fragen zu der praktischen Anwendung von NLP haben, dann kontaktieren Sie mich gerne.
Künstliche Intelligenz, Sprache, Content – ein Überblick
«Auf dem Planeten Cybertron lebte eine Rasse intelligenter Maschinenwesen, eigenständig agierender, mechanischer Wesen, die über die Fähigkeit verfügen, ihre Körper in andere Formen zu verwandeln.» So beschreibt Wikipedia den Film Transformers. Von einer anderen Form von Transformation, ist aktuell sehr oft zu lesen: Von Künstlicher Intelligenz namens GPT-3 (Generative Pretrained Transformer 3). Dabei werden nicht Maschinen transformiert bzw. generiert, sondern Sprache. Ist das gut, ist es schlecht, brauchen wir dazu vom Menschen definierte Rahmenbedingungen, um KI in dieser Form zu verwenden und weiter zu entwickeln? Stichwort Responsible AI.
Sprache und Text bleiben nach wie vor die wichtigste Form der Kommunikation im täglichen Leben und auch im Marketing: Für Maschinen, sprich Suchmaschinen, und für Menschen, für die Inhalte in ganz unterschiedlicher Form aufbereitet werden. Videos spielen zwar eine immer wichtigere Rolle und auch gesprochene Sprache in der Form von Voice User Interfaces wie Amazon Alexa oder Google Assistant gewinnen an Bedeutung.
GPT-2, GPT-3, NLU, NLP, NLG – über Äpfel und Birnen
Der Begriff natürliche Sprache bezeichnet die Sprache, in der Menschen miteinander kommunizieren, geschrieben und gesprochen. Im Kontext sprachbasierter KI sind drei Begriffe relevant: Natural Language Understanding (NLU), Natural Language Processing (NLP) und Natural Language Generation (NLG).
Seit den fünfziger Jahren ist NLP bereits ein wichtiges Forschungsfeld. Der MIT-Professor Joseph Weizenbaum schuf 1964 ELIZA, das mit einfachen Mitteln ein Gespräch zwischen einem Psychotherapeuten und einem Patienten simulieren konnte. ELIZA kann als erster Chatbot aufgefasst werden. Natural Language Generation kann überall dort eingesetzt werden, wo grosse Mengen an strukturierten Daten anfallen – etwa im E-Commerce, an der Börse oder in der Berichterstattung für Sport-, Wetter- oder Wahlereignisse. Seit einiger Zeit setzen Nachrichtenportale auf «Roboterjournalismus», um Sportnachrichten, Wetterberichte oder Börsenupdates zu produzieren. Auf den Plattformen von CH Media wird zum Beispiel lückenlos über regionale Fussballspiele berichtet. Diese Arbeit übernimmt seit kurzem ein Textroboter. Entwickelt wurde das Projekt «Footomat» von Stefan Trachsel, der schon mit der Textroboterin Lena bei Keystone-SDA ausgezeichnet wurde.
Mit NLG erstellen auch Immobilienportale und Online-Händler Angebote und Produktbeschreibungen für E-Commerce-Systeme. Heute gibt es gefühlt kaum mehr eine Website, die ohne Chatbot auskommt. Wobei Chats noch sehr unterschiedlich automatisiert sind. Auch in so mancher Hotline wird man heute zuerst von einem Voice Interface identifiziert und thematisch zugeordnet. Eine Studie von Uniserv zu Kundendatenmanagement zeigte 2019, dass 67 Prozent der Unternehmen in Deutschland KI und Machine Learning für die Planung und Steuerung von Marketing- sowie Vertriebskampagnen einsetzen. Jedes vierte befragte Unternehmen vertraut dabei auf NLP.
Als kleiner Exkurs gibt es diesen Use Case von NLG von Deloitte: «Er betrifft Marktfolgefunktionen in der Finanzbranche. Bei diesem Beispiel kann der Einsatz von automatisch erstellten Texten die Produktion von Reports und Entscheidungsvorlagen in Rahmen des Kreditgeschäfts wesentlich verbessern. Die Vorbereitung der Kreditentscheidung wird zu weiten Teilen automatisiert, wobei die finale Entscheidung noch immer der Mensch trifft. Im Workflow werden viele bislang manuell erbrachte Tätigkeiten neu digital ausgeführt: Zuerst werden Daten gesammelt und für die Weiterverarbeitung strukturiert. Dabei können zum Beispiel Methoden wie Robotic Process Automation (RPA) zum Einsatz kommen. Im nächsten Schritt leitet die NLG-Technologie aus den strukturierten Daten die wesentlichen Informationen ab. Daraus entsteht eine Handlungsempfehlung, die dann wiederum in sinnhafte sprachliche Einheiten verwandelt und in Form eines ausformulierten Textes als Entscheidungsvorlage für den Mitarbeiter ausgegeben wird.»
Was ist nun der Unterschied zwischen NLG und dem aktuell viel zitierten GPT-3? NLG hat mit KI nicht viel zu tun und ist salopp formuliert eine clevere Datenbank mit vorproduzierten Textbausteinen, die nach bestimmten Regeln ausgegeben werden.
Lassen wir das aber von den Spezialisten von Retresco auf den Punkt bringen: «Bei Retresco arbeiten wir im Bereich NLG zurzeit mit einen Template-basierten Ansatz, der auf von Menschen geschriebenen Textbausteinen basiert. Unsere linguistischen KI-Komponenten kümmern sich dabei um Problemstellungen wie die richtige Flexion der Wörter, so dass beim Zusammensetzen der Bausteine grammatikalisch korrekte Sätze entstehen. GPT-3 hingegen ist ein End-to-End System, das Texte komplett selbstständig generiert. Der grosse Vorteil von Template-basierter Textgenerierung im Geschäftskontext ist die Kontrollierbarkeit des Ansatzes. Es kann garantiert werden, dass das System keine abstrusen oder unerwünschten Sätze generiert.»
Arria NLG, das beispielsweise als Basis für den CH Media-Textroboter dient, ist «a form of artificial intelligence that transforms structured data into natural language.», schreibt Arria auf ihrer Website. Arria ist demnach ebenfalls mehr NLG als KI.
GPT-3 ist wie GPT-2 eine Entwicklung von OpenAI. OpenAI beschäftigt sich mit Erforschung von Künstlicher Intelligenz. Zentrale Geldgeber der Organisation sind der Tausendsassa Elon Musk sowie das Unternehmen Microsoft.
Über OpenAI ist auf Wikipedia weiter zu lesen: «Die Wissenschaftler Stephen Hawking und Stuart Jonathan Russell äusserten Befürchtungen, dass wenn künstliche Intelligenz eines Tages die Fähigkeit erlangen könnte, sich selbst zu verbessern, dies zu einer „Explosion der Intelligenz“ führen könnte. Durch die damit einhergehende Überlegenheit der KI wäre eine Verdrängung der Spezies Mensch durch superintelligente künstliche Intelligenz denkbar, die keinen menschlichen Wertvorstellungen unterworfen ist.»
Das führt uns zur folgenden Frage:
Responsible AI: Können wir Maschinen einfach machen lassen?
Ist es nicht niedlich, wenn GPT-3 über einen der grössten Förderer reimt:
«But then, in his haste, he got into a fight.
He had some emails that he sent that weren’t quite polite.
The SEC said, Musk, your tweets are a blight.»
Laufen wir Gefahr, von Maschinen unterjocht zu werden, wie im Film The Matrix oder oben erwähnt von «superintelligenter künstlicher Intelligenz»? Bleiben menschliche Wertvorstellungen dabei auf der Strecke und wie können wir sie in die Förderung von Künstlicher Intelligenz integrieren?
Die deutsche Organisation «Responsible AI» schreibt dazu: «KI und die damit verbundenen digitalen Technologien sind zu einer disruptiven Kraft in unserer Gesellschaft geworden. Gerechte ethische Leitlinien und Regulierung sind entscheidend dafür, wie wir mit KI unsere Zukunft gestalten. Wir vertreten, dass Verantwortung ein Schlüsselkonzept dafür ist, KI-Innovationen mit Menschenrechten und ethischen Grundprinzipien so zu verankern, dass KI uns als Menschen und unseren Gesellschaften nützt.»
Für Europa ist Künstliche Intelligenz eine der wichtigsten Zukunftstechnologien. Aber nicht nur für Europa. Kann die EU durch einheitliche Regularien eine starke Position in der Gestaltung von Rahmenbedingungen für AI einnehmen? Auch gegenüber den KI-Supermächten USA und China?
PWC Deutschland fasst wie folgt zusammen: «Führende Prinzipien für den vertrauensvollen Einsatz von KI sind Sicherheit, Transparenz und Erklärbarkeit, Fairness und Verantwortung. Diese bauen auf den europäischen Werten auf und sind das Fundament für den verantwortungsvollen Einsatz von Künstlicher Intelligenz. Die Verifizierung von KI-Systemen durch Menschen ist essentiell, wenn Menschenrechte im Spiel sind und sobald der Mensch durch den Einsatz von diesem System unmittelbar beeinflusst wird.»
Microsoft, das sich für OpenAI genauso einsetzt, wie für die Regulierung von KI, nimmt in ihrer Definition für «ethische KI» zu den PWC-Prinzipien noch Privatsphäre, Inklusion und Rechenschaftspflicht dazu. Privatsphäre und Datenschutz sind essentiell, wenn es um KI geht. Entscheiden doch Quantität und auch Qualität der Daten, ob ein KI-System trainiert werden kann und somit gute Ergebnisse erzielt. Ein europäischer Datenbinnenmarkt, in dem Daten bereitgestellt und geteilt werden können, könnte ein wichtiger Faktor für europäische KI-Technologie werden. Dafür müssten entscheidende Fragen zum Datenschutz geklärt werden und auch wie diese international anerkannt werden, um gleich lange Spiesse für Wissenschaft und Wirtschaft zu schaffen.
Aktuelle Beispiele und Diskussion um Robo-Texte
«I am not a human. I am a robot. A thinking robot.» schreibt GPT-3 in seinem Essay, vom britischen Guardian beauftragt und gebrieft. Der Auftrag lautete: Überzeuge in einem Beitrag von 500 Wörtern Menschen, dass sie von KI nichts zu befürchten haben. «For starters, I have no desire to wipe out humans.», fährt er dann beruhigend fort. Liebe Menschen, Glück gehabt. In der Diskussion um diesen Artikel ging es vornehmlich darum, ob dieser Text nun ein gutes Beispiel für KI-generierter Text ist, Leser aufklärt, was mit KI möglich ist oder vor allem Angst vor KI schüre.
Einer der Hauptkritikpunkte ist, dass im publizierten Beitrag nicht ersichtlich ist, wie der ursprüngliche Entwurf von GPT-3 ausgesehen hat und wie und wo Journalisten in das Ergebnis eingegriffen haben.
Benjamin Grewe von der ETH Zürich ordnet KI wie folgt ein und nimmt damit ein wenig die Angst davor: «Kinder können – obwohl sie wahrscheinlich quantitativ weniger Daten verarbeiten – trotzdem mehr als jede KI. Ich bin davon überzeugt, dass – wollen wir entscheidende Fortschritte hinsichtlich menschenähnlicher Intelligenz im Machine Learning machen – wir uns viel mehr an der Art orientieren müssen, wie z.B. Kinder lernen und sich entwickeln. Eine zentrale Rolle spielt dabei die physische Interaktion mit der Umwelt. Konkret könnte man sich folgende Herangehensweisen vorstellen: Wir bauen oder simulieren interaktive, am Menschen orientierte Roboter, die eine Vielzahl von sensorischen Erfahrungen ins maschinelle Lernen integrieren und selbstständig in einer realen oder virtuellen Umgebung lernen.» Damit bringt Grewe einen weiteren philosophisch-ethischen Aspekt ein: Muss Intelligenz menschlich sein? Grewe hat ganz praktikable Gründe, Menschenähnlichkeit bei Maschinen anzuwenden. Allgemein ist aber zu beobachten, dass Menschen Intelligenz mehrheitlich menschliche Züge verleihen. Ist das nun ein Versuch, Angst und Respekt abzubauen oder doch die Überzeugung, dass (nur) der Mensch für Intelligenz stehen darf als Krone der Schöpfung? Schreiben wir gerade das nächste Kapitel der menschlichen Kränkungsgeschichte?
Viel beunruhigender, ob wir nun die intelligenteste Spezies sind oder nicht, ist der Fakt, dass maschinell erstellte Texte Kommunikationskanäle fluten und damit viel zur Meinungsbildung beitragen können. In Zeiten von Fake News und Deepfakes ist es ein Leichtes, Inhalte zu erstellen, die nur noch schwer von Menschen erstellten, «echten» Inhalten unterschieden werden können. Folgende Schlagzeile lässt aufhorchen: «Sprach-KI glaubt „QAnon“-Verschwörungstheorie». Und das Schlimme daran: KI und NLG machen es viel einfacher, solche Inhalte zu verbreiten. Forscher am Middlebury Institute of International Studies Monterey haben GPT-3 beigebracht, an die weit verbreitete QAnon-Verschwörungstheorie zu glauben. «Wir haben mehrere Monate mit dem GPT-3-Sprachmodell experimentiert, um seinen möglichen Missbrauch durch Extremisten einschätzen zu können.», sagt Alex Newhouse, Koautor des Forschungsberichts. Sehr wichtig dabei ist «Bias» bzw. Voreingenommenheit von KI. Newhouse nimmt dazu auch in seinem Tweet Bezug.
Wir haben vor einiger Zeit auch in einem anderen Blog-Beitrag über automatisierte Erstellung von Content geschrieben: «Wie lange braucht es uns noch» ist der Titel.
KI und Sprache
KI und Sprache
KI und Sprache
Mit Maschinen sprechen – was kann künstliche Intelligenz mit Sprachsteuerung?
Hi Computer, was ist künstliche Intelligenz? Cortana, Siri und Co. wüssten die Antwort: Der Begriff beschreibt Programme und Maschinen, die in der Lage sind, zu lernen und Probleme automatisiert „intelligent“ zu lösen. Eine noch umfassendere Definition gibt es hier.
KI und Sprache
Ein wesentliches Anwendungsgebiet für KI ist die Sprachassistenz. Vor wenigen Jahren noch Zukunftsmusik, vertrauen heute Millionen Anwender auf Apps wie den Google Assistant. Warum? Die kleinen Helfer in allen Lebenslagen bieten große Vorteile: kein Tippen, kein Suchen, dafür schnelle Antworten auf individuelle Fragen. Wer zum Beispiel wissen möchte, welche Pizzeria in der Nähe geöffnet hat, kann den klassischen Weg gehen und eine Suchmaschine bedienen. Darauf folgt vermutlich eine Auflistung der italienischen Restaurants der Stadt, eventuell direkt mit Öffnungszeiten und Adresse. Auch wenn Google und Co. mit immer übersichtlicheren Ergebnissen Punkten möchten: Vielen Nutzern ist dieses Konzept zu aufwändig. Schließlich geht es nicht nur um die schnelle Pizza, sondern auch um den vertrauenswürdigen Arzt oder die aktuellen Top 10 der Charts.
Hier setzt der intelligente Sprachassistent an, der einen Großteil der als lästig empfundenen Aufgaben übernimmt. Konkret wandelt er das gesprochene Wort in eine Suchanfrage um, filtert und bewertet die Ergebnisse und gibt eine passende Antwort. „Die nächste Pizzeria mit mindestens vier Sternen liegt ...“ und so weiter. Das ist nicht nur im Auto praktisch, wenn die Hände am Lenkrad bleiben müssen. Wer in der Badewanne plötzlich Lust auf andere Musik bekommt, muss den Laptop nicht anrühren, sondern ruft seinen Wunsch zum Sprachempfänger herüber. Selbstverständlich ist die KI mit Sprachsteuerung längst nicht mehr nur ein freundlicher Butler für die Freizeit, sondern auch ein fleißiger Arbeitskollege. Wie war noch gleich der Wechselkurs zwischen Euro und Dollar? Welche Uhrzeit ist gerade in Shanghai? Was heißt artificial intelligence auf Deutsch? Der Assistent weiß es, der Arbeitsvorgang wird nicht unterbrochen. Was mit der Technik sonst noch möglich ist, zeigen verschiedene Beispiele realer Anwendungen.
KI-Sprachassistenten in der Praxis
Zu den Berühmtheiten unter den Computerstimmen gehört Amazon Echo, besser bekannt unter ihrem Rufnamen Alexa. Die intelligente Maschine leistet eine Menge: Sie spielt Musik, findet passende Produkte über die Amazon Suche und verschickt auf Wunsch Nachrichten. Vor allem in den USA, mittlerweile aber auch in Europa, kann die intelligente Maschine noch viel mehr. Als Teil der Smart-Home-Einrichtung dimmt sie das Licht, reguliert die Heizung, schaltet den Fernseher ein und und und .... Das alles auf Befehl. Dabei geht der Trend weg vom schlichten „Mach das Licht an“ hin zu subtilen Aufforderungen: „Hier ist es aber dunkel“ – kaum ausgesprochen, schon sorgt die intelligente Haustechnik für mehr Licht. Zudem spielt die Anpassung an den individuellen Nutzer eine zunehmend große Rolle.
Nach diesem Prinzip arbeitet ein weiterer intelligenter Sprachassistent, der mit seinem Können für Furore sorgt, der Google Assistant. Er trägt seine Funktion bereits im Namen: ein persönlicher Assistent für alle Lebenslagen. Er betätigt nicht nur die Google Suche, sondern kann auch Warenlieferungen abwickeln. Das heißt: Wer Lust auf eine Pizza hat, fragt nicht mehr nach der nächstgelegenen Adresse, sondern bitten den Assistenten einfach um Bestellung. Dabei soll das Programm zukünftig auch auf frühere Interaktionen zurückgreifen, könnte also beispielsweise die Lieblingspizzeria kennen und später vielleicht sogar den Belag richtig aussuchen. Dem Vernehmen nach setzen auch die Google-Mitarbeiter selbst zunehmend auf die Dienste ihres intelligenten künstlichen Helfers.
Sprachassistenten und Co. – wohin geht die Entwicklung?
Gedanken über die Zukunft der künstlichen Intelligenz mit Spracherkennung sind überaus spannend, schließlich lesen sich manche Ankündigungen wie Verheißungen aus Sci-Fi-Romanen. Zumindest für die nächsten Jahre sind die Entwicklungen gut absehbar: In jedem Fall zunehmen wird die Internet-Suche mithilfe der Assistenten. Schon heute deuten erste Anzeichen darauf hin. So finden sich in den beliebtesten Suchbegriffen zunehmend Phrasen wie „XY in der Nähe von“, „Wo ist ...“ und ähnliche. Ebenso werden die KIs den Onlinehandel verändern, da sind sich die Experten sicher. Erste Shop- und Webseitenbetreiber reagieren bereits darauf, indem sie neben klassischer Suchmaschinenoptimierung nun auch AEO-Strategien (Answer Engine Optimization) entwickeln. Für die etwas fernere Zukunft sehen Insider die weitere Verschmelzung zwischen realer Lebenswelt und (virtueller) Technik, beispielsweise die Verknüpfung künstlicher Intelligenz mit Augmented Reality. Das könnte so aussehen: Der Anwender betrachtet ein Gebäude durch sein Smartphone und fragt den Assistenten etwas zur Geschichte, zum Eintrittspreis oder zur Lage – und erhält die passende Antwort. Ebenso gibt es zahlreiche Ansätze, die Vernetzung in den eigenen vier Wänden voranzutreiben, sodass Bewohner mit Geräten wie dem Kühlschrank oder dem Herd kommunizieren können.
Tagged: