PODCAST -
#15 Automation Talk

Konversationelle KI und wie man sie erfolgreich einsetzt

Konversationelle KI und wie man sie erfolgreich einsetzt

Diese Podcast-Episode anhören

Personen in diesem Podcast

Gast
Sarah Topping
Berater für Intelligent Automation
Ciklum
Louise Kühns
MODERATOR
Louise Kühns
Programm-Manager
Bots & People

Lesen Sie die Zusammenfassung

In der heutigen Folge des Automation Talk spricht Louise mit Sarah Topping, Senior Intelligence Automation Consultant bei Ciklum, über die Vorteile und Herausforderungen von Conversational AI. Außerdem erzählt sie von ihrem Weg vom Zoologiestudium zur Spezialistin für Conversational AI, ihren Erfahrungen mit schlechten Chatbots und worauf man bei der Implementierung von Conversational AI achten sollte. Natürlich gibt es noch viele weitere Themen, über die die beiden sprechen, aber wir wollen nicht alles verraten. Viel Spaß beim Zuhören!

Lesen Sie die Abschrift

Louise
In der heutigen Folge habe ich Sarah Topping zu Gast, Senior Intelligent Automation Consultant bei Ciclum, wo sie an der Entwicklung von hochmodernen, nutzerzentrierten Designs für konversationelle KI arbeitet. Heute beschäftigen wir uns mit den Best Practices bei der Entwicklung eines intelligenten Konversationsagenten, von der Ideenphase bis zur Auslieferung. Wir sprechen über die Anforderungen, die Hürden und vor allem darüber, was man nicht tun sollte, um eine Abwanderung aufgrund einer schlechten Chatbot-Erfahrung zu vermeiden, was wir wahrscheinlich alle nachvollziehen können. Sarah erzählt auch, wie Konversations-KI mit anderen Automatisierungstechnologien wie RPA zusammenhängt und wie ihr volles Potenzial freigesetzt werden kann, wenn man die richtige Technologie für die Lösung des richtigen Problems wählt. Abschließend sprechen wir über ihre Gedanken zur Entwicklung eines Lernkurses in der Bots & People Academy, in dem Sarah eine großartige praktische Lernerfahrung rund um Conversational AI bietet. Ich hoffe, Sie genießen diese Folge.

Louise
Hallo und ein wirklich herzliches Willkommen an Sie, Sarah. Ich freue mich sehr, Sie heute in unserem Podcast begrüßen zu dürfen. Bitte lass uns damit beginnen, dass du dich kurz vorstellst und uns erzählst, was du machst.

Sarah
Ja, ich danke Ihnen für die Einladung. Erstens. Also, mein Name ist Sarah Topping. Ich bin Beraterin für intelligente Automatisierung bei Ciklum und arbeite im Bereich Conversational AI. Meine Rolle besteht also aus zwei Teilen. Ich arbeite eng mit Kunden zusammen, um ihnen bei der Identifizierung von Kunden- und Mitarbeiterinteraktionen zu helfen und diese in wirklich großartige Conversational AI Journeys zu übersetzen. Außerdem helfe ich ihnen bei der Definition von Best Practices für virtuelle Agenten in Bezug auf die Implementierung von Benutzererfahrung und konversationellem Design sowie bei der Verbesserung ihrer bestehenden automatisierten Customer Journeys. Der zweite Teil meiner Rolle spielt sich dann eher in Ciklum ab. Ich bin also, wie bereits erwähnt, der Conversational AI leader , aber auch der Leiter des Kontaktzentrums. Ich bin also in das Wachstum und die Entwicklung von Conversational AI bei Ciklum involviert, definiere also die Strategie, entwickle begleitende Methoden, leite Partnerschaften mit Anbietern und baue das Team aus und unterstütze dann auch unsere Go-to-Market-Teams mit Präsentationen für Kunden, sowohl für neue potenzielle Kunden als auch für bestehende Kunden, um ihnen zu helfen, ihr Repertoire an Technologien sozusagen zu erweitern.

Louise
Wie ich sehe, haben Sie bei Ciklum ein sehr breites Spektrum an Aufgaben, aber was mich wirklich interessiert, ist natürlich der Teil, in dem Sie über konversationelle KI sprechen und wie Sie diese für Ihre Kunden entwickeln, und darauf werden wir später eingehen. Aber bevor wir das tun, lassen Sie uns vielleicht ein wenig darauf zurückkommen, wie Sie Ihre Karriere an diesen Punkt gebracht haben. Welchen Bildungshintergrund haben Sie und was hat Ihr Interesse an diesem sehr speziellen Bereich der Automatisierung und der konversationellen KI geweckt?

Sarah
Ja, auf jeden Fall. Wenn Sie mich vor 20 Jahren oder sogar vor zehn Jahren gefragt hätten, hätte ich wahrscheinlich nicht einmal gewusst, was Konversations-KI in Bezug auf meinen Bildungshintergrund ist. Ich habe einen sehr naturwissenschaftlich orientierten Hintergrund. Auf dem College habe ich Psychologie, Biologie und Umweltwissenschaften studiert, bevor ich dann an der Universität Zoologie studierte. Eines der wichtigsten Dinge, die ich dabei entdeckt habe, war mein Interesse an menschlichem und tierischem Verhalten. Ich habe mich also immer für Psychologie entschieden. Das hilft bei der Gesprächsführung. Es geht wirklich darum, über Menschen nachzudenken und darüber, wie sie in verschiedenen Situationen reagieren. Ich glaube, das ist so ein bisschen der Bildungshintergrund, der dabei ins Spiel kommt. Aber als ich die Universität verließ, war ich mir nicht sicher, ob ich das wirklich wollte, um ehrlich zu sein. Ich fing an, bei HSBC zu arbeiten. Wir haben eine Assistentenstelle, die zufälligerweise im digitalen Team angesiedelt war. Ich arbeitete also als Assistentin im Digitalteam für eine leitende Führungskraft, und da war die Initialzündung für mich gegeben. Ich hatte schon viel im Kundenservice gearbeitet, als ich in Geschäften und Restaurants aufwuchs, aber ich hatte noch nie wirklich erfahren, wie Unternehmen mit ihren Kunden digital kommunizieren.

Sarah
Ich habe also in verschiedenen Funktionen bei HSBC gearbeitet, bevor ich in ein neues Team wechselte, das vor etwa fünf oder sechs Jahren gegründet wurde, und zwar in ein Conversational Banking Team und dann speziell in das Chatbot-Team. Das war eine sehr steile Lernkurve für mich, für die ich mich manchmal nicht wirklich qualifiziert fühlte. Was weiß ich schon über Chatbots? Aber es ging mehr um die Benutzererfahrung, und das Erlernen der technischen Seite war großartig. Ich bin zufällig ziemlich gut darin. Ich hoffe, dass ich ein Mitspracherecht habe. Ich bin ein Entwickler, aber ich verstehe genug, um die technischen Prinzipien in Geschäftsprinzipien zu übersetzen, und ich denke immer gerne an den Benutzer. Also dachte ich, weißt du was, eigentlich hat mir das richtig Spaß gemacht. Ich habe wirklich hart gearbeitet. Die Ergebnisse unserer Arbeit schienen wirklich großartig zu sein, z. B. waren die Bewertungen des Kundendienstes wirklich großartig, und so dachte ich, dass mir das wirklich Spaß macht. Also habe ich das zu meiner Leidenschaft gemacht, und wie ich schon sagte, vor zehn Jahren hätte ich nicht gewusst, was KI ist, aber jetzt bin ich ein großer Verfechter davon, und wenn mich jemand danach fragt, kann ich stundenlang darüber reden.

Sarah
Es ist wirklich großartig, und es war vielleicht keine typische Karriere im Bereich der Automatisierung, aber es hat mir sehr viel Spaß gemacht.

Louise
Schön. Ja, das klingt brillant, ehrlich gesagt. Und wie Sie sagten, können Sie stundenlang darüber reden. Das ist genau das, wonach wir suchen, um zu hören, wie Sie mehr darüber reden. Aber ich denke, es ist großartig zu sehen, wie Sie sich auch mit einem ganz anderen Hintergrund in den Raum bewegen und tatsächlich etwas darüber lernen können. Und ja, ich würde gerne wissen, vielleicht auch jetzt, wo du bei Ciklum bist, was macht es besonders, dort zu arbeiten? Was gefällt Ihnen jetzt daran?

Sarah
Die Arbeit bei Ciklum, das klingt jetzt ein bisschen kitschig, aber in erster Linie sind es die Menschen. Sowohl bei Ciklum als auch bei all den Kunden, mit denen ich zusammenarbeite, lerne ich verschiedene Arbeitsweisen, Unternehmen und Räume kennen. Zweitens das Vertrauen, das das Führungsteam mir und meinen Teammitgliedern entgegenbringt: Sie wissen, dass wir uns in unseren Bereichen auskennen, und übertragen uns diese Verantwortung. Sagen Sie mir, was wir tun sollen, und wir unterstützen Sie dabei. Dieses Vertrauen ist also sehr wichtig. Und dann nehme ich an, dass auch die Innovation und der Umgang mit Technologien eine Rolle spielen. Und wie sieht es aus, wenn sie Hand in Hand mit Conversational AI arbeiten? Bevor ich bei Sickler gearbeitet habe, war ich wahrscheinlich etwas zu sehr mit Conversational AI beschäftigt. Ich war zu 100 % darauf fokussiert. Aber jetzt habe ich so viel mehr von meinen Kollegen und von meinen eigenen Erfahrungen mit RPA und process mining Workflow-Technologien gelernt, und ich sehe jetzt, wie diese Technologien Conversational AI wirklich geholfen haben, nicht nur eine eigenständige Technologie zu sein, sondern wie man all diese großartigen Funktionen hinzufügen kann, um wirklich eine robuste und hyperautomatisierte Lösung zu schaffen.

Sarah
Es geht wirklich darum, den nächsten Schritt zu machen. Das ist es, was ich an der Arbeit bei Ciklum wirklich genossen habe. Es hat mir wirklich geholfen, mich weiterzuentwickeln, aber es hat auch dazu beigetragen, dass alle Technologie-Stacks zusammenarbeiten und wirklich die Fähigkeiten jedes Bereichs genutzt werden, damit jeder Bereich nicht nur für sich alleine steht, aber ja, es ist wirklich toll für diese Art von Dingen.

Louise
Richtig, OK, ich denke, du sprichst einen wichtigen Punkt an, den ich dich sowieso fragen wollte, also vielleicht auch die Zuhörer, die Ciklum nicht kennen, vielleicht kannst du ein wenig erklären, was ihr als Unternehmen macht. Was ist das Kerngeschäft und wo ist Conversational AI darin verankert? Und wie verhält es sich mit dem Rest der Automatisierungsbranche? Sie haben bereits erwähnt, dass Sie begonnen haben, sich mit anderen Technologien zu befassen und zu sehen, wie sie alle miteinander verbunden sind, aber vielleicht können Sie uns das ein wenig näher erläutern. Was machen Sie eigentlich bei Ciklum?

Sarah
Ja, auf jeden Fall. Ciklum ist also ein globales Unternehmen. Wir haben sehr starke Referenzen in den Bereichen Design und Lieferung. Digitales Engineering ist eine unserer wichtigsten Säulen, unsere Marke und unsere DNA. Aber als Unternehmen sind wir auch bestrebt, Lösungen zu entwickeln, die belastbar und nachhaltig sind. Wir wollen nicht, dass Sie sich wegbewegen und dann alles zusammenbricht. Mit unseren Lieferzentren an 20 Standorten auf der ganzen Welt gewährleisten wir hervorragende Leistungen und einen hohen Mehrwert für unsere Kunden, und das ist großartig, denn wir expandieren weiter. Und dann haben wir drei Kompetenzbereiche, die sich über unsere Beratungssparte erstrecken. Der erste Bereich ist die Entwicklung kundenspezifischer Produkte für unsere Kunden, das ist sozusagen das Produktteam. Dann bauen wir Daten- und Analysefähigkeiten und Lösungen auf. Und drittens haben wir eine wirklich starke Fähigkeit zur intelligenten Automatisierung, und dort ist Conversational AI angesiedelt. Die KI-Abteilung konzentriert sich auf die Zusammenarbeit mit Kunden, um deren Effizienz zu steigern und Innovationen zu ermöglichen. Neben Conversational AI haben wir, wie ich bereits erwähnt habe, Experten für RPA, IDP, also Workflow low code und no code sowie process mining. Und wir stellen sicher, dass alle unsere Berater, so wie ich, generell Spezialgebiete haben.

Sarah
Wir werden auch für die verschiedenen Technologien ausgebildet. Man wird also nicht einfach nur in eine bestimmte Technologie hineingezwinkert. Wir können dann wirklich in einen Geschäftsbereich gehen und sicherstellen, dass die beste Lösung vorgeschlagen wird. Und genau hier sehen wir oft wirklich spannende und effektive Lösungen. Wir fangen also an, RPA und IDP einzusetzen, um den Wert von Conversational AI zu steigern, und wir nutzen all die verschiedenen tools. Das ist es also, was Ciklum ist und wie wir arbeiten, kurz und bündig.

Louise
Richtig, okay, großartig. Ich denke, es ist wirklich wichtig, wie Sie sagten, das Problem oder die Sache, die Sie lösen wollen, zu betrachten und dann zu entscheiden, welche Technologie Sie einsetzen wollen. Und wenn Sie sich alle darüber im Klaren sind und zusammenarbeiten, halte ich das für einen großartigen Vorschlag. Jetzt möchte ich aber tiefer in das Thema eintauchen, in dem Sie ein besonderer Experte sind, nämlich in die Konversations-KI, und Sie ein wenig den Prozess dahinter auspacken lassen. Sie haben also die Idee, einen Chatbot zu entwickeln, und dann liefern Sie ihn aus, bis er tatsächlich funktioniert und läuft. Ja, vielleicht können Sie uns das ein wenig erläutern.

Sarah
Auf jeden Fall. Für diejenigen, die es nicht wissen: Konversationelle KI ist eine Möglichkeit, Konversationserfahrungen anzubieten. Sie imitiert eine Art Konversation mit echten Menschen durch KI-Algorithmen und man platziert sie an Orten, an denen die Menschen bequem Fragen stellen und Aufgaben erledigen können. Das können Websites, verschiedene Social-Media-Kanäle oder eine App sein. Die meisten Menschen haben in ihrem täglichen Leben bereits KI verwendet. Eines der Probleme, die ich feststelle, ist, dass die meisten Menschen sie genutzt haben, aber die meisten Menschen haben schlechte Erfahrungen damit gemacht. Die Technologie hat sich in den letzten Jahren wirklich weiterentwickelt advanced , aber es gibt viele Unternehmen, die immer noch eine ziemlich altmodische Technologie einsetzen, die sich in den letzten Jahren nicht wirklich verändert hat. Es gibt also leider eine Menge schlecht konzipierter und implementierter virtueller Agenten. So habe ich gestern einen benutzt, und natürlich mit einem gewissen Abstand, weil das mein tägliches Leben ist. Aber ich habe gestern einen benutzt, um die Versicherung für meinen Hund zu kündigen. Sie war nicht sehr neu. Der Bot war nicht in der Lage, damit umzugehen, und obwohl ich wetten kann, dass das ein sehr häufiger Anwendungsfall für die Kundendienstabteilung ist, sagte er, er könne damit nicht umgehen und müsse es an einen Menschen weitergeben.

Sarah
Es sagte mir dann, dass es mich nicht an einen menschlichen Agenten weiterleiten könne, da die Öffnungszeiten von 09:00 bis 17:00 Uhr seien. Es war jedoch 09:45 Uhr. Es hat also nicht nur versagt, die Aktion für mich durchzuführen, sondern kannte die Zeiten nicht, oder sie haben ihre Öffnungszeiten geändert, aber ihren virtuellen Agenten nicht aktualisiert, um den Kunden darüber zu informieren. In solchen Fällen ist das ein wirklich großartiger Anwendungsfall für Konversation. Es gibt so viele Möglichkeiten. Man hätte mich als Benutzer authentifizieren können, der mit dem Backend-System verbunden ist, mein Konto aktualisieren und meine Vertragsverlängerung in wenigen Minuten stornieren können, ohne dass es zu einer menschlichen Interaktion gekommen wäre. Ich denke jedoch, dass das Unternehmen damit etwas erreichen wollte, und das ist leider ziemlich häufig der Fall. Wir müssen aus dieser Denkweise herauskommen, wenn es um KI-Konversation geht. Denn ich kann mir vorstellen, dass das Unternehmen mich als Kunden behalten wollte. Deshalb wollen sie, dass ich mit einem menschlichen Agenten spreche und nicht über den Bot aktiv werde. Aber sie haben ihre Reise nicht gut gestaltet. Und dann habe ich nur meine Zeit verschwendet und mich als Kunde geärgert. Mein Vertrauen in das Unternehmen ist also stark gesunken.

Sarah
Ich hätte wahrscheinlich trotzdem gekündigt. Der Preis war nicht toll, aber ich wäre vielleicht in ein oder zwei Jahren als Kunde zurückgekommen, wenn mein nächster Vertrag verlängert werden sollte. Aber jetzt denke ich nur noch, ob ich wirklich zu diesem Unternehmen gehen werde, weil ich schlechte Erfahrungen mit ihnen gemacht habe. Die Kundenzufriedenheit hat dazu geführt, dass ich nun schon seit mehreren Jahren nicht mehr zu diesem Unternehmen zurückkehre. Deshalb ist die Benutzererfahrung der Schlüssel zur Konversation, und das ist es, was mir am Herzen liegt. Wir wollen nicht, dass die Leute solche Erfahrungen machen, denn das ist kein gutes Beispiel dafür. Wenn ich mir also eine Reise ansehe, kommt einmal ein Unternehmen zu mir und möchte einen Chatbot. Was wollen sie? Es geht darum, im Vorfeld über diese Anforderungen nachzudenken. Muss er also rund um die Uhr zur Verfügung stehen? Wird es einen menschlichen Agenten-Support geben? Auf welchen Kanälen werden Sie präsent sein? Denken Sie an den wirklich großartigen Weg des zufriedenen Kunden, aber denken Sie auch an den Weg des wirklich unzufriedenen Kunden, was kann ihn wertvoll machen, und planen Sie dafür, und was sind dann Ihre Erfolgskriterien? Und der Schlüssel zu diesem Punkt ist die Frage, ob eine Authentifizierung erforderlich ist, wenn Sie eine Customer Journey wie diese durchführen.

Sarah
Können Sie eine Verbindung zu einem Backend-System herstellen? Denken Sie an all diese Dinge im Voraus, so dass Sie tatsächlich ein wirklich cooles Ende der User Journey haben können, und dann geht es für mich darum, über die Priorisierung der Journeys nachzudenken, die Sie machen werden. Sie haben also all diese Anforderungen. Sie wissen, was Sie erreichen müssen. Aber was werden Sie tatsächlich tun? Was wird Ihr Buch tun? Was sind die häufigsten Fragen, die Ihre Benutzer stellen werden und die leicht beantwortet werden können, ohne dass ein Mensch beteiligt ist. Oder wenn ein Mensch involviert sein muss. Kann der Bot einige Vorbedingungen erfüllen. Sammeln Sie einige Informationen, um dem Agenten die Arbeit zu erleichtern und um zu verstehen, welche Kostenvorteile das Projekt mit sich bringt. Letzten Endes sind alle Unternehmen Unternehmen. Sie wollen ihre Customer Journey verbessern, aber sie wollen auch eine Rendite erzielen. Sie geben all dieses Geld aus, was werden sie damit erreichen? Das muss man wirklich verstehen, damit man einen Maßstab dafür setzen kann, was man zu erreichen versucht.

Sarah
Der nächste Schritt wäre für mich, dafür zu sorgen, dass Ihre Ressourcen aufeinander abgestimmt sind. Es braucht verschiedene Parteien, um dies zusammen zu bekommen, von einem Projektmanager über einen Ingenieur bis hin zu einem Gesprächsdesigner. Haben Sie all diese Leute zur Verfügung, um das Projekt rechtzeitig fertigzustellen? Und dann geht es an den Aufbau und die Schulung Ihres virtuellen Agenten. Und das kann die Erstellung von Inhalten beinhalten. Es ist ein Gesprächsentwurf. Es geht darum, Daten für die NLU zu sammeln, damit man das Gehirn des virtuellen Agenten trainieren kann. Und es geht um die Testphase. Man kann diesen Test nicht überfliegen, sondern muss ihn wiederholen. Funktioniert es? Warum funktioniert es nicht? Trainieren Sie es erneut. Und das kann ein bisschen Zeit in Anspruch nehmen. Wenn man alle Tests hinter sich gebracht hat, was manchmal ewig zu dauern scheint, aber in Wirklichkeit sehr wichtig ist. Es ist, als würde man live gehen. Also gut, wann werden Sie live gehen? Planen Sie auch wirklich, wann Sie live gehen werden. Gibt es irgendwelche anderen Ereignisse in Ihrem Unternehmen? Sie wollen einen Bot nicht live schalten, vor allem nicht, wenn es sich um einen sehr neuen Bot handelt, z. B. auf einer E-Commerce-Website am Black Friday, weil Sie wissen, dass die Nachfrage wahnsinnig groß sein wird und Sie möglicherweise nicht in der Lage sein werden, sie zu bewältigen.

Sarah
Versuchen Sie also, eine ruhige Phase zu wählen, in der nichts anderes passiert, und dann haben Sie eine wirklich unvoreingenommene Meinung über die Leistung Ihrer Bots, weil es keine anderen Versuche gibt, Ihre Variablen zu begrenzen, und danach ist es der Fall. Zu diesem Punkt ist es die Überwachung seiner Leistung? Wie sieht es mit den nächsten Schritten aus? Und das ist ein entscheidender Punkt, über den viele Unternehmen nicht wirklich nachdenken, nämlich die kontinuierliche Optimierung, z. B. die Reinvestition in das Produkt, denn Sie könnten all diese Kapazitäten in Bezug auf den erforderlichen menschlichen Einsatz eingespart haben. Nehmen Sie etwas davon und reinvestieren Sie es, um es frisch zu halten, um es neu zu halten. Was funktioniert gut? Was funktioniert nicht so gut? Macht es den Leuten keinen Spaß? Ist die Sprache nicht korrekt? Das sind für mich die wichtigsten Punkte, um wirklich zu verstehen. Wie wollen Sie es machen? Wie wollen Sie das umsetzen?

Anzeige
Warum die Prozessautomatisierung teuer einkaufen, wenn sie auch intern und nachhaltig aufgebaut werden kann? Umfragen zeigen, dass mangelnde Kenntnisse und Fähigkeiten die Todesursache Nummer eins für alle Automatisierungsinitiativen sind. Immer mehr Unternehmen erkennen, dass es bei der Automatisierung nicht nur auf teure tool Lizenzen ankommt, sondern auf die perfekte Kombination von Bots & People. Deshalb hat die Bots & People Automatisierungs-Akademie über 50 Lernmodule an, um Mitarbeiter und Führungskräfte in Themen wie Automatisierungsstrategie, citizen development tools und Technologien und vielem mehr zu schulen. Besuchen Sie www.botsandpeople.com oder klicken Sie auf den Link in der Beschreibung, um alles darüber zu erfahren.

Louise
Okay, also vielen Dank, dass Sie das so schön ausgepackt haben. Ich denke, es ist wirklich interessant, zunächst einmal das Beispiel, das Sie für eine wirklich frustrierende Erfahrung gegeben haben, und dann all die Best Practices zu sehen, die Sie vorschlagen, und wie man es tatsächlich in eine großartige tool für Unternehmen verwandeln und Konversations-KI auf eine wirklich vorteilhafte Weise nutzen kann. Vielleicht können wir als nächstes darüber sprechen, welche Art von Anwendungsfällen und Projekten Sie durchführen. In welchen Bereichen haben Sie diese Art von konversationeller KI oder diese Agenten, die Sie entwickeln, und was sind Ihre "No-Brainer"? Sagen wir, Sie haben über Interaktionen mit dem Kundenservice gesprochen, aber vielleicht auch über komplexere Fälle, da es sich nicht um eine fortschrittliche Technologie handelt.

Sarah
Als Faustregel gilt: Immer wenn ein Gespräch stattfindet, bietet sich eine Gelegenheit für die Implementierung von KI im Gespräch. Wenn wir uns also mit dem Kundenservice befassen, ist das in erster Linie einer der größten Bereiche. Aber dann gibt es auch unternehmensinterne Bereiche, die wir uns ansehen könnten. Mitarbeiterhilfe, also IT oder HR, und dann auch E-Commerce, das sind für mich die absoluten Renner. Sie können einen großen Mehrwert bieten, und um ehrlich zu sein, können sie alle sehr einfach bereitgestellt werden oder sie können alle komplex sein. Und die Komplexität ergibt sich in der Regel eher aus der Integration mit Backend-Systemen. Das ist ein Anwendungsfall. Wenn ein Unternehmen zum Beispiel sehr alte Backend-Systeme hat, die eine zusätzliche Komplexitätsebene darstellen, kann das zusätzliche Zeit in Anspruch nehmen. Ähnlich verhält es sich mit einer vorhandenen Wissensdatenbank, die Sie nutzen möchten. Viele Unternehmen stellen fest, dass diese aus der Sicht eines Agenten entwickelt wurde und nicht wirklich für die Nutzung durch den Benutzer geeignet ist. Sie müssen also einige Änderungen vornehmen, um sicherzustellen, dass die Sprache kein Jargon oder ähnliches ist und nur intern verstanden wird.

Sarah
Einige der anderen Komplexitäten, die damit zusammenhängen, dass sie noch nicht betriebsbereit sind. Viele Unternehmen haben vielleicht einen Sprachkanal oder etwas Ähnliches oder arbeiten mit E-Mail und gehen dann zu einer schnelleren Umgebung oder von einer Sprach- zu einer Textumgebung für ihre Agenten über. Man muss diese Agenten also schulen. Es ist eine andere Art zu arbeiten. Sie arbeiten vielleicht mit denselben Kunden, aber es ist etwas ganz anderes. Es ist eine große Umstellung für sie, und Sie müssen diese Agenten mit auf die Reise nehmen, denn Sie brauchen auch zuverlässige Daten. Sie müssen also in der Lage sein, ihr natürliches Sprachverständnis zu trainieren, das das Gehirn des virtuellen Agenten ist. Sie haben vielleicht nicht viele Daten aus dem wirklichen Leben, vor allem, wenn Sie neu auf dem Gebiet der Konversations-KI sind, oder Sie haben nicht einmal E-Mail oder Messaging als Kanal. Sie haben eine Stimme, und dann müssen Sie vielleicht einige Übersetzungen von Sprache in Text vornehmen, und das alles fügt eine weitere Ebene der Komplexität hinzu, und wie Menschen auf verschiedenen Kanälen sprechen. Das sind alles Komplexitäten, die man überwinden kann und die niemals als Hindernis betrachtet werden sollten. Man muss sich nur dieser Dinge bewusst sein und sicherstellen, dass man Zeit für die Lieferung einplant.

Sarah
Wenn Sie mit einigen dieser Herausforderungen konfrontiert sind. Es hilft wirklich, Erwartungen festzulegen und Enttäuschungen zu vermeiden. Es geht also um die Komplexität. Ich komme ziemlich oft rüber, aber ich würde sagen, es gibt keine, die wir nicht bewältigen konnten. Vielleicht hätte es nur ein bisschen mehr Zeit gebraucht. Das muss man einfach im Vorfeld klarstellen, und vor allem, wenn man hochrangige Interessenvertreter hat, die man auf dem Weg dorthin mitnehmen muss. Ehrlichkeit in diesen Dingen ist manchmal wirklich hilfreich, weil man damit zeigt, dass die Dinge nicht perfekt sind, aber wir werden das Ziel erreichen und versuchen, sie so perfekt wie möglich zu machen.

Louise
Richtig? Ich finde es großartig, dass Sie diese Art von Transparenz erwähnen und auch die Erwartungen in Bezug auf die Lieferung steuern. Aber ich denke, ein wichtiger Punkt ist, dass du sagst, dass man im Grunde in jeder Situation in der Lage ist, wenn man die richtigen Anforderungen hat und sie auf die richtige Art und Weise einrichtet, kann man diese Art von Dingen für viele Kunden und viele Anwendungsfälle tatsächlich bauen. Meine Frage ist also, dass ich immer noch mit vielen Situationen konfrontiert bin, in denen ich ewig in einer Hotline warten muss und dann keine wirklich zufriedenstellende Lösung für mein Problem erhalte. Ich habe das Gefühl, dass ich einfach irgendwo meine Kundennummer hätte eingeben können, und man hätte sich darum kümmern können. Ich habe das Gefühl, dass die Unternehmen oft noch nicht so weit sind, diese Möglichkeiten zu nutzen, und was würden Sie sagen, was sie zurückhält? Was sind Ihrer Meinung nach die größten Herausforderungen für Unternehmen in Bezug auf KI im Dialog und vielleicht auch, um eine weitere Ebene hinzuzufügen? Wie hat sich dies Ihrer Meinung nach durch die verdeckte Pandemie verändert?

Sarah
Auf jeden Fall. Ich würde sagen, die größten Herausforderungen sind die Backend-Systeme und der Einsatz einer anderen Technologie, wenn man sie nicht sofort integrieren kann, um die Lücke zu schließen. Kann also RPA verwendet werden oder kann die Plattform low code , wie z. B. eine Appian-Technologie, verwendet werden, um die Lücke zu schließen, wenn zwei Technologien nicht miteinander sprechen? Und das ist der Punkt, an dem Sie sehen werden, dass Sie in der Lage sein sollten, Ihre Kundennummer einzugeben. Die Technologie ist vorhanden, und wir sind in dem Zustand, dass die Technologie tatsächlich existiert, wir können es tun, aber manchmal ist es ein etwas langsamer Prozess, um es tatsächlich einzuführen. Im Grunde ist es wie mit der Priorisierung des Backlogs. Wenn es z. B. darum geht, welche Abfragen Sie erhalten, ist die Abfrage, die eine Backend-Entwicklung oder eine andere Technologie erfordert, um die Lücke zu schließen, wirklich diejenige, die im Hinblick auf das Volumen, das durchkommt, ganz oben steht, so dass sie den Wert wert ist. Ist dies nicht der Fall, kommt es wieder auf das Gesprächsdesign an. Versuchen Sie also nicht, die Leute auf einer Reise zu halten, wenn Sie wissen, dass Sie sie nicht unterstützen können.

Sarah
Bringen Sie sie zu einem menschlichen Agenten, denn dafür sind menschliche Agenten ja bekanntlich da. Halten Sie die Leute nicht bei einem virtuellen Agenten fest, wenn Sie wissen, dass Sie nicht damit umgehen können. Stellen Sie also sicher, dass das Design vorhanden ist, und kommen Sie an den Punkt, an dem Sie ehrlich mit Ihrer Technologie sind, und kommen Sie an diesen Punkt. Ihr virtueller Agent lernt noch, er wird geschult, er ist als Assistent da, aber wenn er nicht helfen kann, sollten wir Sie nach Möglichkeit an einen Menschen weiterleiten. Und es ist wirklich nur eine Reise von Unternehmen, die diese Art von Kriechgang machen, und dann sollte meine nächste Stufe der Optimierung auch eine kontinuierliche Kriechstufe sein. Machen Sie einfach weiter, bauen Sie es auf und haben Sie eine Planungsstelle. Was wollen Sie erreichen? Ja, das ist eine weitere Herausforderung, mit der man oft konfrontiert wird. Man hat vielleicht ein Projektteam, das wirklich klare Ziele hat, aber dann kann es intern bürokratische Hindernisse geben. Man muss also jede Art von interner Steuerung in Frage stellen. Stellen Sie den Status quo Ihres Projektteams in Frage. Ist er vorhanden? Ist es wirklich notwendig, ist es Governance, ist es der Schutz Ihrer Kunden oder ist es nur da, weil wir es schon immer so gemacht haben?

Sarah
Ist es wirklich notwendig, dass es da ist? Ja, manchmal muss man das in Frage stellen und sicherstellen, dass man versteht, warum es da ist und ob es wirklich eine Anforderung ist. Es könnte Ihre Entwicklung verlangsamen, aber es ist absolut notwendig, um die Sicherheit Ihrer Kunden zu gewährleisten, oder sollten wir es lieber abschaffen. Das war vor zehn Jahren und ist heute nicht mehr wirklich relevant.

Louise
Richtig.

Sarah
Die COVID-Pandemie hat der Konversations-KI einen enormen Schub gegeben. Sie war bereits in der Handelstechnologie angekommen, und es gab bereits viele Unternehmen, die sie einsetzten, vor allem viele größere Unternehmen, aber das Tempo, in dem die Menschen damals bei der Arbeit oder zu Hause arbeiteten, war sehr begrenzt. So kann es vorkommen, dass Agenten online sind und dann das Internet ausfällt, vor allem in einigen Ländern, in denen es vielleicht keine zuverlässige Internetverbindung gibt. Man braucht also etwas anderes, um seine Kunden zu unterstützen. Und es war großartig, denn es ist sicherlich ein Blick auf die Konversations-KI. Viele Unternehmen, die vielleicht vorher nichts davon wussten, sind sich jetzt dessen bewusst, aber viele haben es wahrscheinlich auch zu dieser Zeit in COVID implementiert, weil es eine Notwendigkeit war, es war wie eine Kurzschlussreaktion, aber vielleicht haben sie es jetzt beibehalten. Und jetzt, wo wir zu unserem neuen normalen Leben zurückkehren, funktioniert es immer noch so effektiv? Und deshalb sage ich, dass die Optimierung wichtig ist. Gehen Sie zurück und überprüfen Sie, ob das, was Sie in COVID implementiert haben, jetzt noch relevant ist. Bringt es Ihnen die gewünschten Ergebnisse? Und wie können Sie weiter daran arbeiten, um es zu verbessern, um es für die Gegenwart und die Zukunft fit zu machen und nicht nur für den Zustand, in dem wir uns vor zwei Jahren befanden.

Sarah
Ich denke, das war ein sehr wichtiger Punkt im Lebenszyklus der KI. Als ich einige dieser schlechten Bots da draußen erwähnte, sagte ich, dass sie manchmal wie Relikte von vor zwei Jahren sind, die man sich ansehen und in die man neu investieren muss, um sicherzustellen, dass sie immer noch diese großartige Erfahrung bieten.

Louise
Richtig, okay. Wenn Sie also sagen, dass das Thema in dieser Zeit seinen Höhepunkt erreicht und sich wirklich entwickelt hat, bedeutet das wahrscheinlich auch, dass die Unternehmen die Kompetenzen aufbauen wollten, um mit diesen Dingen umzugehen. Und Sie sagten auch, dass es wichtig ist, die Ressourcen in die Aufrechterhaltung und Verbesserung dieser Kompetenzen zu investieren. Aber vielleicht ist das auch etwas, das für die Organisation neu ist. Ich bin also neugierig, welche Anforderungen oder Kompetenzen in einer Organisation erforderlich sind, die versucht, virtuelle Agenten zu erhalten oder aufzubauen und zu pflegen. Die auch das Verständnis für eine gute Gestaltung einer Reise haben. Welche Art von Fähigkeiten. Was Sie sagen, ist neu und der Schlüssel zu einer erfolgreichen Arbeit.

Sarah
Ja, auf jeden Fall. Ich denke, es geht in erster Linie darum, das Nutzererlebnis in den Vordergrund zu stellen, sich in die Lage des Nutzers zu versetzen. Was bei COVID vielleicht aus organisatorischen Gründen gemacht wurde, ist das immer noch relevant? Man muss sicherstellen, dass man die Kunden nicht auf einen Weg drängt, der zwar organisatorisch passt, aber in Wirklichkeit zu massiver Kundenunzufriedenheit führen kann. Wenn Kunden mit einem Unternehmen sprechen, ist es ihnen egal, zu welcher Abteilung sie gehen müssen, sie wollen nur ihr Problem gelöst haben. Wenn Sie also sagen: "Oh, diese Abteilung hat einen Chatbot, der ganz anders spricht als dieser, oder er hat eine andere Erfahrung, kann das verwirrend sein. Sie sollten also sicherstellen, dass Sie die gesamte Reise im Blick haben und nicht nur einen isolierten organisatorischen Ansatz verfolgen. Und wieder geht es um die Reinvestition von Zeit. Und wenn Sie schon etwas haben. Sie haben so viele Daten zur Hand. Man sollte sie wirklich nutzen. Sie wissen schon. Sehen Sie sie sich an und sagen Sie. Genau. Ich habe all diese Zusicherungen von Kunden, die nicht übereinstimmen. Oder. Sie wissen schon. Die mit der falschen Absicht auf einen virtuellen Agenten oder einen Chatbot passen. Verwenden Sie es tatsächlich und analysieren Sie es und nutzen Sie die anderen Technologien, die ich angesprochen habe.

Sarah
Wissen Sie, es gibt process mining , die wirklich einige dieser Daten nehmen kann und einige davon weg, um sicherzustellen, dass Sie tatsächlich das Beste für Ihre Kunden aus all diesen Daten, die Sie haben, tun? Sie haben 100 Personen, die sich auf eine Reise begeben, aber 100 % von ihnen brechen bei einem bestimmten Schritt ab. Da gibt es ein Problem. Worin besteht es? Schauen Sie es sich an. Ist es, weil es nicht zweckmäßig ist? Stimmt die Sprache nicht? Es geht also darum, das auf die nächste Ebene zu bringen und sicherzustellen, dass ein Bot, der eher im FAQ-Stil aufgebaut ist, z. B. nur Fragen und Antworten, nicht sehr unterhaltsam ist. Kann man ihn auf die nächste Stufe heben und ihn konversationeller machen? Können Sie ihn in ein Backend-System integrieren, für das Sie vorher vielleicht keinen Bedarf hatten? Sie können sehen, dass die Kunden es nutzen. Können Sie es mit Ihrem CRM-System verbinden? Können Sie es mit einem Zahlungssystem verbinden? Es ist alles in einem Kanal. Und Sie leiten die Kunden nicht von einem Kanal zum anderen um, um etwas zu tun. Machen Sie einfach alles an einem Ort, wenn Sie können.

Sarah
Der Schlüssel zu den nächsten Schritten ist die Nutzung anderer Technologien, um die Ergebnisse zu betrachten und zu verbessern, aber auch die Integration mit anderen Systemen, um eine durchgängige Reise zu ermöglichen und nicht nur einen Teil davon.

Louise
In Ordnung, vielen Dank dafür. Es gibt noch ein anderes Thema, über das ich gerne mit Ihnen sprechen würde, weil wir auch mit Leuten aus Boston zusammengearbeitet haben. Sie haben kürzlich in unserer Akademie einen Kurs zum Thema Konversation und KI veröffentlicht. Ich würde gerne ein wenig über Ihre Erfahrungen damit hören und auch darüber, worauf Sie sich dabei konzentrieren und wie man Ihrer Meinung nach am besten über dieses Thema lernen kann. Wie können Sie andere in die Lage versetzen, all diese von Ihnen erwähnten bewährten Verfahren zu befolgen. Erzählen Sie uns doch einfach ein wenig über Ihre Erfahrungen als Trainerin in diesem Bereich.

Sarah
Auf jeden Fall. Es ist also eine sehr aufregende Reise für mich. Ich habe so etwas noch nie gemacht, aber wir wurden von einem Kollegen vorgestellt, ich arbeite bei Ciklum. Also, ja, es ist großartig. Ich habe es wirklich genossen. Es ist ein tolles Team, mit dem man arbeiten kann. Das war also auch toll. Und es war sehr einfach, die Inhalte zu erstellen, weil sie mir sehr am Herzen liegen. Was mir wirklich Spaß macht, und das wollte ich in dem Kurs vermitteln, ist, dass ich eigentlich ständig darüber rede. Es ist eine Benutzererfahrung, denn ich sage immer, dass man das beste Gehirn eines Bots in Form einer NL-Einheit bauen kann, und es ist, verstehen Sie mich nicht falsch, äußerst wichtig, dass Ihr Bot eine wirklich intelligente, natürliche Sprache versteht. Aber wenn Ihr Design nicht großartig ist, weil Sie nicht an die Benutzererfahrung gedacht haben, dann werden sie nie an diesen Punkt gelangen, weil sie aus der Reise herausgefallen sind. Weil sie denken: "Das ergibt keinen Sinn, ich kann es nicht lesen. Oder es ist aus sprachlicher Sicht voller Fachjargon oder berücksichtigt nicht die Probleme, die manche Menschen mit der Zugänglichkeit haben könnten. Das nationale Lesealter im Vereinigten Königreich liegt, glaube ich, bei zehn oder elf Jahren.

Sarah
Man muss also sicherstellen, dass man wirklich jeden anspricht und niemanden auf dieser Reise zurücklässt. Man muss sicherstellen, dass man Menschen berücksichtigt, die vielleicht Bildschirmlesegeräte benötigen, damit es für alle zugänglich ist, der Chatbot hat ein Timing, damit auch Bildschirmlesegeräte mit dem Gespräch Schritt halten können. Und dann sind da noch die wirklich wichtigen Dinge, die ich bei jedem Projekt, an dem ich arbeite, berücksichtige: Ich muss sicherstellen, dass es ein großartiges Benutzererlebnis gibt und dass es für alle zugänglich ist. Und bei der farblichen Gestaltung Ihres Verlobungsfensters kann es sein, dass bestimmte Menschen mit unterschiedlichen Problemen bestimmte Farben nicht sehen können. Achten Sie also wirklich auf alle Aspekte des Designs und der Benutzerfreundlichkeit, um die Zugänglichkeit zu gewährleisten. Und dann war ich wirklich daran interessiert. Wie ich bereits erwähnt habe, bin ich nicht auf traditionellem Wege zur Konversation gekommen. Wenn Sie also einen Bereich finden, der Sie wirklich begeistert und über den Sie mehr lernen wollen, dann würde ich sagen, investieren Sie diese Zeit in sich selbst und Ihre Entwicklung, stoßen Sie aus Ihrer Komfortzone heraus und tun Sie etwas Neues.

Sarah
Wenn Sie berufstätig sind, fragen Sie vielleicht Ihren Vorgesetzten oder Arbeitgeber, ob Sie zusätzliche Verantwortung übernehmen oder an einer Schulung teilnehmen können. Denn viele der großartigen Leute, die in der Konversation arbeiten, kommen, wie ich im Laufe der Zeit gelernt habe, eher aus dem Kundenservice, sie haben also einen großen Erfahrungsschatz, sie haben am vorderen Ende mit dem Kunden oder dem Nutzer gearbeitet. Sie bringen also eine Menge Talent mit, müssen aber möglicherweise in anderen Bereichen wie der Entwicklung oder der Umsetzung ihres gesamten Wissens in einen Arbeitsablauf aufgestockt werden. Deshalb hat mir die Zusammenarbeit mit Bots & People im Rahmen des Kurses in Ihrer Akademie so viel Spaß gemacht, oder?

Louise
Ja, ich bin wirklich froh, das zu hören, und ich denke, Sie sprechen viele verschiedene Dinge an, die wichtig sind. Aber eines davon ist, dass man Menschen mit vorhandenen Fähigkeiten befähigt, diese auf die nächste Ebene zu bringen, um mit der digitalen Transformation mitzugehen, mit dem Zeitalter, das gerade stattfindet, und diese Fähigkeiten auf eine neue Art und Weise zu nutzen. Und ich denke, das ist eine großartige Sache, die wir immer wieder zu predigen versuchen, wie wir schon sagten, dass man die Bedürfnisse der Kunden nur dann erkennt, wenn man wirklich in der Lage ist, wie sie zu denken oder sich in ihre Lage zu versetzen. Und ich denke, es ist ähnlich, wenn wir über andere Automatisierungsprojekte sprechen. Wenn man versucht, einen Prozess zu automatisieren, muss man sich fragen, warum es diesen Prozess gibt? Funktioniert er so, weil wir ihn schon immer so gemacht haben, oder weil er einen wirklichen Zweck erfüllt. Stellen Sie also sicher, dass Sie mit dieser digitalen Sache, die Sie schaffen, tatsächlich einen Wert schaffen, dass sie einen Zweck hat? Und das zu tun, indem man befähigt wird und all diese Fähigkeiten besitzt, halte ich für einen großartigen Weg nach vorne. Ich bin wirklich froh, dass Sie all dieses Wissen mit uns geteilt haben, und ich weiß, dass es eine Fülle von Dingen gibt, über die Sie sprechen könnten, aber leider müssen wir auf die Zeit achten, die Sie bisher geteilt haben.

Louise
Natürlich gibt es den Kurs, in den man hineinschauen kann, und viele verfügbare Ressourcen. Aber bevor wir diese Folge abschließen, hätte ich gerne noch ein paar Schnellfeuerfragen aus unserem Frageautomaten. Und du kannst einfach antworten, was dir gerade in den Sinn kommt, wenn du die Fragen hörst. Die erste Frage haben Sie vielleicht schon beantwortet. Was ist der größte Fehler, den Sie je mit einem Chatbot erlebt haben?

Sarah
Ja, nach meiner persönlichen Erfahrung ist es so, dass man sich fragt, warum man eine solche Chance hatte und sie nicht genutzt hat. Also ja. Das ist wahrscheinlich bei mir so. Eines der größten Probleme ist, wenn es eine Gelegenheit gibt und ein Unternehmen sie nicht wahrnimmt, oder aus welchem Grund auch immer, und das ist es, weil es einfach ärgerlich ist, und es ärgert dich als Nutzer, und dann ist es schlecht, wenn der Kunde dann einfach zu einem menschlichen Agenten geht. Der Kunde ist bereits verärgert, und dann muss sich der Agent damit befassen. Und dann kommt noch die Erfahrung des Agenten hinzu, die von entscheidender Bedeutung ist. Warum also verärgern Sie Kunden, um dann einen Ihrer Mitarbeiter zu verärgern? Das ist doch nicht nötig. Oder?

Louise
Ja, ich glaube, das können wir alle nachempfinden, und ich glaube, es gibt nichts Schlimmeres, als so eine schlechte Erfahrung zu machen. Also ja, definitiv verständlich. Eine andere Sache, die Sie kurz angesprochen haben, ist, was Sie bei Ihrer Arbeit antreibt.

Sarah
Ja, auf jeden Fall. Wenn man ein Projekt gesehen hat und tagein, tagaus dabei ist und sich so sehr darauf konzentriert, dann steckt man so viel Mühe und Zeit hinein und manchmal denkt man vielleicht sogar, dass das nie ans Licht kommen wird. Es gibt ein Problem nach dem anderen, aber dann sieht man, wie es in die Produktion geht und es ist ein Erfolg. Das ist der Moment, in dem man denkt: "Oh mein Gott, die Leute benutzen es, und es funktioniert, und sie benutzen es gut, sie sind glücklich damit, und das ist der Teil, der die ganze Zeit und Mühe und vielleicht sogar Zeiten, in denen man gestresst ist, für diesen Moment wert ist. Das ist es, was mich wirklich antreibt.

Louise
Großartig. Okay, und dann habe ich noch eine letzte Frage. Was ist Ihre Lieblingsbeschäftigung, um eine positive Kultur am Arbeitsplatz zu schaffen? Sie sagten, dass Sie es wirklich genießen, dort zu arbeiten, wo Sie sind, und ein großartiges Team zu haben, aber was ist etwas, das Sie gerne tun und vielleicht etwas, das Sie den Zuhörern empfehlen können?

Sarah
Auf jeden Fall. Für mich geht es vor allem um Kommunikation und dann auch um Zusammenarbeit. Die Kommunikation muss sich also nicht auf die Arbeit konzentrieren, sie kann auch Spaß machen, man kann ausgehen, virtuell oder von Angesicht zu Angesicht, aber man kann auch mit den Teammitgliedern an Projekten zusammenarbeiten. Das ist wirklich großartig. Vor allem, wenn es sich um ein Gebiet handelt, das Sie interessiert oder mit dem Sie bisher nicht viel zu tun hatten. Man lernt ständig dazu. Das ist es also auch. Das ist wirklich großartig.

Louise
Richtig, okay, also, vielen Dank, Sir. Ich denke, ich habe heute eine Menge gelernt und bin wirklich neugierig auf mehr. Vielen Dank, dass Sie alles mit mir geteilt haben und ja, dass Sie heute hier sind.

Sarah
Wunderbar. Danke, dass ich dabei sein durfte. Es war großartig. Ich danke Ihnen vielmals.

Louise
Vielen Dank.

Anzeige
Vielen Dank, dass Sie sich die Zeit genommen haben. Wir hoffen, dass Ihnen die heutige Folge gefallen hat und dass Sie viele interessante Informationen und Erkenntnisse von unseren Gästen mitnehmen konnten. Wenn Sie noch mehr Insiderwissen aus der Automatisierungsbranche hören möchten, dann hören Sie sich unser anderes Podcast-Format an Automatisierung Insider. Dieses wird von Nico Bitzer und Andreas Zehent moderiert. Wenn Sie lieber lesen möchten, abonnieren Sie unser zweiwöchentlich erscheinendes Automatisierungsmagazin.


Wenn dies Sie neugierig gemacht hat, mehr im Bereich der Prozessautomatisierung zu erfahren und dies auch für Ihr Unternehmen interessant ist, dann besuchen Sie doch einfach unsere
Automatisierungs-Akademie und lassen Sie sich zum Thema Upskilling beraten. Alle notwendigen Links finden Sie in der Beschreibung. Bis zum nächsten Mal. Ihr Bots & People Team.

Warte nicht ab.
Sprich uns an!

Smartphone-Symbol
NO MORE BORING
NO MORE BORING
NO MORE BORING
NO MORE BORING