Checkliste für KI-basierte Dienstleistungen in der Marktforschung (basierend auf den 20 Fragen von ESOMAR)

Im März 2024 hat ESOMAR ein Dokument veröffentlicht, das der Industrie helfen soll, fundiertere Entscheidungen bei der Beschaffung von KI-basierten Lösungen zu treffen.

Dies ist eine aufregende Entwicklung, denn sie wird Fachleuten helfen, Anbieter zu identifizieren, die die Standards erfüllen, die für einen vertrauenswürdigen und robusten Service erforderlich sind. ESOMAR hat 20 Fragen formuliert, auf die Unternehmen Antworten von Anbietern von KI-Tools einholen sollten.

Das Ziel dieses Beitrags ist es, die organisatorischen Verhaltensweisen zu ermitteln, die dazu beitragen, dass sie die von ESOMAR festgelegten Erwartungen erfüllen können. Außerdem habe ich die Fragen in 3 leicht verständliche und logische Abschnitte zusammengefasst. Schließlich habe ich eine einfache Checkliste zusammengestellt, die es Organisationen erleichtert, eine Bewertung durchzuführen.

Ich glaube fest an die Werte eines Unternehmens. Was Organisationen über ihre Überzeugungen mitteilen, wie sie nach außen auftreten und was sie intern vorantreiben, sagt eine Menge über sie aus.

Im Großen und Ganzen sind dies die Werte, die KI-Lieferanten bei allen Interaktionen mit Ihnen an den Tag legen müssen. Meiner Meinung nach wird dies die Bewertung unterstützen, die Sie auf der Grundlage der ESOMAR-Richtlinien vornehmen werden:

• Offenheit – Wie offen sind sie, wenn es darum geht, Ihre Fragen zu beantworten, zu zeigen, wie sie das gemacht haben, was sie gemacht haben, wo sie Daten Dritter verwenden und vor allem, wo sie glauben, dass sie Defizite haben und es besser machen müssen? Der Aufbau der erforderlichen Sicherheitsvorkehrungen für die ordnungsgemäße Anwendung von KI ist komplex, umständlich und teuer. Sie müssen darauf vertrauen, dass Ihr Partner die richtigen Dinge tut und auf dem richtigen Weg ist.
• Einfachheit – Achten Sie auf die übermäßige Verwendung komplexer Terminologien oder verworrene Erklärungen und Antworten auf einfache Fragen. Dies sind in der Regel Anzeichen dafür, dass der KI-Anbieter sein Angebot nicht versteht und sich stark auf Drittanbieter oder offene KI verlassen hat. Ein weiteres Problem könnte sein, dass sie nicht über die notwendigen Sicherheitsvorkehrungen verfügen.
• Kontinuierliche Verbesserung – Siemüssen den Nachweis erbringen, dass der KI-Anbieter über einen internen kontinuierlichen Entwicklungs- und Verbesserungsprozess verfügt. Die notwendigen Investitionen und Anstrengungen zur unabhängigen Überprüfung der internen Protokolle sind Teil der Unternehmenskultur.

Die ESOMAR-Leitlinien sind in 5 Abschnitte unterteilt:

• A. Unternehmensprofil – Verschaffen Sie sich einen ersten Überblick über die Referenzen des Anbieters.
• B. Ist die KI-Fähigkeit/Dienstleistung erklärbar und zweckmäßig? Ob die Fähigkeit mit ihrem Geschäftszweck übereinstimmt und wahrscheinlich einen klaren Nutzen bringt.
• C. Ist die KI-Fähigkeit/Dienstleistung vertrauenswürdig, ethisch vertretbar und transparent? Ob Käufer und Anbieter in Bezug auf ethische Grundsätze, potenzielle Verzerrungen, Datensicherheit und Widerstandsfähigkeit übereinstimmen.
• D. Wie sorgen Sie für die menschliche Aufsicht über Ihr KI-System? Verstehen Sie, wie die menschliche Beteiligung und Aufsicht sowohl bei der Entwicklung als auch beim Betrieb der angebotenen KI-Anwendungen berücksichtigt wurde.
• E. Was sind die Data Governance-Protokolle? Kann in Kombination mit den anderen Fragen in diesem Leitfaden oder als eigenständige Checkliste verwendet werden.

Nach einer eingehenden Lektüre des ESOMAR-Berichts befassen wir uns mit 3 Schlüsselthemen. Was ESOMAR von den Unternehmen wirklich verlangt, ist die Beantwortung von 3 Fragen, die alle mit dem Begriff „Vertrauen“ zusammenhängen:

1. Vertrauen Sie dem Unternehmen, das KI-Lösungen anbietet?
2. Vertrauen Sie dem Prozess, den das Unternehmen zur Entwicklung seiner KI-Produkte verwendet?
3. Vertrauen Sie darauf, dass Ihre Daten geschützt werden?

Nicht alle Käufer von KI-Dienstleistungen kennen sich mit allen Nuancen dieses Themas aus. Ein Großteil ihrer Bewertungen würde letztendlich von den Erklärungen des Anbieters abhängen. Daher müssen Wege gefunden werden, wie jeder, ob mit oder ohne technische Kenntnisse, eine fundierte Bewertung vornehmen kann.

Am Ende des Dokuments finden Sie eine einfach zu verwendende Checkliste, die Ihnen bei der Beantwortung der drei oben gestellten Fragen helfen soll.

1. Wie kann man einem Unternehmen vertrauen, das KI-Lösungen anbietet?

ESOMAR empfiehlt, vor der Bewertung des Produkts die Menschen zu betrachten, die das KI-Produkt entwickelt haben. Ich glaube, das ist der wichtigste Aspekt von allen anderen, die sie genannt haben.

Unternehmen, die nach KI-Lösungen suchen, verstehen oft nicht ganz, was sie kaufen, und geraten bei der Auswahl eines Anbieters in zwei mögliche Szenarien:

1. Was vs. Wer – Entscheidungen werden auf der Grundlage dessen getroffen, „was“ gesagt wird und nicht so sehr darauf, „wer“ es sagt. Das bedeutet im Grunde, dass das Erzählen einer guten Geschichte oder das Präsentieren von etwas, das „gut aussieht“, mit der „richtigen“ Lösung gleichgesetzt wird.
2. Wer vs. Was – Manchmaldelegieren Unternehmen die Last der Bewertung, indem sie sich für ein gut benanntes oder großes globales Unternehmen entscheiden. Sie ziehen nicht die Möglichkeit in Betracht, dass ein kleineres, weniger bekanntes Unternehmen bessere Arbeit geleistet und die gleiche Lösung zu einem besseren wirtschaftlichen Wert angeboten hätte.

ESOMAR ermutigt Sie, diese häufigen Fehler nicht zu begehen und hat Kriterien oder Fragen für die Bewertung eines Lieferanten festgelegt.

2. Wie kann man dem angebotenen KI-Produkt vertrauen?

Wir leben nun schon lange genug mit KI, dass die Neuheit nachgelassen hat. Die Risiken und Grenzen des Einsatzes von KI-Lösungen werden in einem höheren Maße erkannt.

Den Forschungsunternehmen fehlt es jedoch noch an Klarheit darüber, wie sie ein KI-Angebot effektiv bewerten können, worauf sie achten sollten und wie sie die häufigsten Fehler vermeiden können.

In dieser Hinsicht stellen die von ESOMAR hervorgehobenen Schlüsselpunkte einen soliden Weg für eine solche Bewertung dar. Der Leitfaden behandelt Aspekte wie:

• Erklärbarkeit
• Verwendung von Drittanbieter-Apps
• Verwendung von Daten
• Ethik/Transparenz
• Die Sorgfaltspflicht
• Menschliche Aufsicht
• GenAI-spezifische Probleme

3. Wie können wir darauf vertrauen, dass die Daten geschützt werden?

Es gibt kein Gespräch über ethische KI, ohne die Verwendung von Daten zu diskutieren. Während die Bedeutung von Daten und die Möglichkeiten zur Bewertung der Leitplanken für ihre Verwendung bereits in früheren Abschnitten erwähnt wurden, geht dieser Abschnitt auf einige technische Details ein.

Es gibt spezielle Richtlinien für die Bewertung von Datenqualität, Herkunft, Souveränität, Eigentum und Compliance.

Fazit

KI revolutioniert den Bereich der Marktforschung. Es gibt viele erfolgreiche Anwendungen von GenAI, um wichtige Forschungsprozesse zu optimieren und ungewöhnliche Erkenntnisse aus Daten schneller und besser als in der Vergangenheit zu gewinnen.

Diese Anwendungen sind jedoch mit einem gewissen Risiko verbunden. Als verantwortungsvolle Marktforscher müssen wir sicherstellen, dass wir bei der Auswahl von KI-Anbietern eine angemessene Sorgfaltspflicht walten lassen.

Checkliste für Käufer von KI-Dienstleistungen

Um Käufern von KI-Dienstleistungen in der Marktforschung die Arbeit zu erleichtern, habe ich eine einfache Checkliste auf der Grundlage der 20 Fragen von ESOMAR entwickelt.

Ich hoffe, dass dieses Dokument den Bewertungsprozess erleichtern wird. Ich habe die Checkliste in den 3 Abschnitten zusammengefasst, die ich zuvor in diesem Dokument identifiziert hatte.

1. Wie kann man einem Unternehmen vertrauen, das KI-Lösungen anbietet?

Bereich der Bewertung	Checkliste	Antwort (Ja / Nein)
Know-how und Erfahrung in KI für MR	Haben sie erfolgreich KI-Lösungen für andere Kunden implementiert?
	Haben sie eine gute Konversionsrate?
	Sind die Nutzer ihrer KI-Dienste in erster Linie Marktforscher und Insights-Profis?
	Haben sie ihre Modellentwicklungsprozesse wissenschaftlich überprüfen lassen?
	Haben sie den gesamten Marktforschungszyklus abgebildet, um Chancen für KI zu identifizieren?
Vision und Verständnis für Schmerzpunkte	Haben sie eine dokumentierte KI-Vision?
	Haben sie den gesamten Marktforschungszyklus abgebildet, um Chancen für KI zu identifizieren?
	Haben sie die Probleme, die sie mit KI lösen wollen, klar identifiziert?
	Haben sie sich Optimierungsziele gesetzt?
	Haben sie ein Verständnis für neue Trends in der Marktforschung?
Offenheit	Werden sie Profile ihres Teams, das an der Entwicklung von KI-Produkten beteiligt ist, veröffentlichen?
	Teilen sie mit, was bei ihnen nicht funktioniert hat?
	Haben sie in den letzten 3 Monaten größere Sicherheitsverletzungen oder andere kritische Vorfälle gemeldet?

2. Wie kann man dem angebotenen KI-Produkt vertrauen?

Bereich der Bewertung	Checkliste	Antwort (Ja / Nein)
Erklärbarkeit	Erwähnen sie proaktiv die Namen von Tools, Modellen und Verzeichnissen, die sie verwendet haben?
	Kann eine nicht technische Person in Ihrem Team verstehen, wie sie die KI-Lösung entwickelt hat?
	Können Sie einschätzen, inwieweit die Leistung dieser Anwendungen von Drittanbietern abhängt, und sind Sie zuversichtlich, dass die wichtigsten Funktionen kontinuierlich verfügbar sind?
Verwendung von Drittanbieter-Apps	Sagen sie Ihnen, dass sie Anwendungen von Drittanbietern verwendet haben?
	Gibt es Unternehmensvereinbarungen mit solchen Drittanbietern, die Bereiche wie Datensicherheit, Datennutzung und Identifizierung von Risiken (insbesondere in Bezug auf den Datenschutz) abdecken?
	Haben Sie die Ausgabe des Modells mit Originaldaten überprüft und Ihren eigenen gesunden Menschenverstand eingesetzt, um Halluzinationen zu erkennen (GenAI, die Daten/Fakten erzeugt, die nicht existieren)?
	Wenn sie Anwendungen und Modelle von Drittanbietern verwenden, haben sie dann über die Erstellung eigener Modelle gesprochen?
Verwendung von Daten	Werden die für die Modellierung verwendeten Daten anonymisiert?
	Wenn sie gefragt werden, teilen sie mit, was nicht funktioniert hat?
	Haben sie größere Sicherheitsverletzungen oder andere kritische Vorfälle mitgeteilt?
Ethik/Transparenz	Glauben Sie, dass Sie die Möglichkeit haben, der Verwendung Ihrer Daten für das Training der Modelle zuzustimmen oder nicht? (Dies ist nicht relevant, wenn sie Modelle speziell für Ihre Verwendung trainieren, z.B. für Ihre Branche oder für die Berichterstattung gemäß Ihrer Taxonomie)
	Haben sie nachgewiesen, wie sie ggf. PII-Daten maskieren?
	Glauben Sie, dass sie bereit sind, potenzielle Risiken und Gefährdungen zu kommunizieren?
	Kommen sie der Aufforderung nach, notwendige Informationen und Unterlagen weiterzugeben?
Sorgfaltspflicht	Haben sie Ihnen ihre Datenschutzbestimmungen mitgeteilt?
	Verfügen sie über ein KI-Governance-Dokument?
	Stehen diese Informationen allen Mitarbeitern zur Verfügung und werden sie auch auf der Website veröffentlicht?
Menschliche Aufsicht	Haben Sie den Eindruck, dass sie hauptsächlich unüberwachtes Lernen verwendet haben?
	Gibt es Verfahren für die Überprüfung und Validierung durch Menschen während des Modellentwicklungsprozesses?
	Hat man Sie eingeladen, an dem iterativen Modellentwicklungsprozess teilzunehmen, so dass Sie die Modellergebnisse überprüfen können?
	Verfügen sie über unabhängige Überprüfungen der Modellergebnisse?
	Verwenden sie Menschen für die Datenbeschriftung?
GenAI-spezifische Probleme	Hat man Sie über die Verwendung synthetischer Daten beim Modelltraining informiert?
	Haben Sie die Ausgabe des Modells anhand von Originaldaten und unter Verwendung Ihrer eigenen Logik des gesunden Menschenverstands überprüft, um Halluzinationen zu erkennen (GenAI, die Daten/Fakten erzeugt, die nicht existieren)?
	Haben Sie das Gefühl, dass der Anbieter Fragen im Zusammenhang mit GenAI ernst nimmt?
	Wenn sie gefragt werden, teilen sie mit, was nicht funktioniert hat?

3. Wie können wir darauf vertrauen, dass die Daten geschützt werden?

Bereich der Bewertung	Checkliste	Antwort (Ja / Nein)
Datenqualität	Haben Sie beim Training des Modells Daten entdeckt, die Sie für verzerrt oder unvollständig halten (z.B. Daten von gefälschten oder irrelevanten Bewertungsseiten)?
	Können Sie verhindern, dass der Anbieter Ihre Daten ganz oder teilweise für das Modelltraining verwendet?
	Glauben Sie, dass der Anbieter synthetische Daten ohne Einschränkungen oder Überprüfung verwendet hat?
Datenabfolge	Sind Sie sicher, dass sie ausreichende Kontrollen eingerichtet haben, um sicherzustellen, dass sie das Recht haben, die Daten zu verwenden?
	Wurde der Anbieter sogar wegen eines Verstoßes gegen die lokalen Datenschutzgesetze bestraft?
Einhaltung der Datenschutzgesetze	Sind Sie zuversichtlich, dass sie ausreichende Kontrollen eingerichtet haben, um sicherzustellen, dass sie das Recht haben, die Daten zu verwenden?
	Haben Sie die Möglichkeit, den Anbieter aufzufordern, bestimmte Daten nicht für das Modelltraining zu verwenden?
	Wurden Sie um Ihre Zustimmung zur Verwendung Ihrer Daten gebeten?
Besitz von Daten	Ist für Sie immer klar, dass Sie die volle Kontrolle über Ihre Daten und deren Verwendung haben?
	Haben Sie die Möglichkeit, den Anbieter aufzufordern, bestimmte Daten nicht an openAI weiterzugeben (z. B. ChatGPT)?
	Bietet der Anbieter genügend Flexibilität hinsichtlich des Ortes, an dem Ihre Daten gehostet werden (prüfen Sie, ob er lokale Server in den von Ihnen bevorzugten Märkten hat)?
Daten-Souveränität	Können Sie verhindern, dass der Anbieter Ihre Daten ganz oder teilweise für das Modelltraining verwendet?
	Haben Sie die Möglichkeit, die Verwendung aller oder eines Teils Ihrer Daten durch den Anbieter für Modellschulungszwecke zu unterbinden?

Sind Sie daran interessiert, mehr über die Auswirkungen von KI-basierten Dienstleistungen in der Marktforschung und deren Einfluss auf die Branche zu erfahren? Schauen Sie sich unser letztes Webinar an, in dem Dan Fleetwood und Sumair Sayani die Vor- und Nachteile dieser aufstrebenden Technologie diskutieren.