Das Projekt
Künstliche Intelligenz am Arbeitsplatz souverän einsetzen, verstehen und kontrollieren: ein KI-Cockpit für Beschäftigte
Künstliche Intelligenz (KI) kann Beschäftigte entlasten, die Arbeitsqualität verbessern und die Produktivität erhöhen. Eine entscheidende Voraussetzung dafür ist, dass die Entwicklung, Gestaltung und der Einsatz der Technologie menschenzentriert und eng an den Bedürfnissen und Fähigkeiten der Beschäftigten orientiert sind. Dazu gehört auch, dass Beschäftigte KI-Systeme im Arbeitsalltag verstehen, überwachen und steuern können. KI ist nur dann eine sinnvolle Unterstützung, wenn die Entscheidung über ihren Einsatz und die Kontrolle ihrer Ergebnisse beim Menschen liegen.
Ziel des Projekts KI-Cockpit ist es, Beschäftigten einen Überblick über die Entscheidungen des Systems zu vermitteln und sie damit zu befähigen, gut informiert und selbstständig über die Notwendigkeit von Eingriffen in maschinelle Abläufe zu entscheiden. Damit sollen insbesondere gesellschaftliche Risiken von KI-Technologien wie Verzerrungen und Diskriminierungen minimiert und die Akzeptanz ihrer Nutzung in der Arbeitswelt gesteigert werden. Zudem wird ein Vorgehensmodell entwickelt, das Organisationen bei der AI-Act-konformen Einführung von KI-Systemen unterstützt.
Im KI-Cockpit-Projekt greifen Grundlagenforschung, empirische Forschung (u.a. Feldstudien) und Software-Entwicklung eng ineinander.
-
In der Grundlagenforschung wird mittels Laborstudien und partizipativer Forschung ein interdisziplinäres Grundlagenmodell für Transparenz und menschliche Kontrolle entwickelt.
-
In drei Feldstudien mit KI-Anwendungen (Personalauswahlprozesse, Verkehrslenkung in Kommunen, Pflegekoordination) werden basierend auf den Bedarfen unterschiedlicher Nutzer:innengruppen im betrieblichen Kontext Benutzeroberflächen entwickelt, welche relevante Erklärungsvariablen von KI-Entscheidungssystemen darstellen. Die Entwicklung, Einführung und Evaluation der Software-Lösungen in den Feldstudien folgen dabei einem partizipativen Vorgehen, das die Bedürfnisse der Menschen in den Mittelpunkt stellt.
-
Aufbauend auf den Lösungen in den Feldstudien wird außerdem eine generische Mensch-Maschine-Schnittstelle und Maschine-Maschine-Schnittstelle (API) entwickelt und als Open-Source-Produkt veröffentlicht, um eine niedrigschwellige Weiterentwicklung und Nutzung in unterschiedlichen Anwendungsfällen zu ermöglichen.
Das Projekt erarbeitet zudem die theoretischen und praktischen Grundlagen, wie die Vorgaben zu „Human Oversight“ aus der europäischen KI-Verordnung in konkreten betrieblichen Anwendungen umgesetzt werden können. Damit werden in dem Projekt wichtige Erkenntnisse für den Umsetzungsprozess der europäischen KI-Verordnung sowie für die KI-Normung gewonnen.
Im Projekt arbeiten Praxis und Wissenschaft Hand in Hand, um die innovativen Potenziale kleiner und mittlerer Unternehmen mit denen universitärer und angewandter Forschungsinstituten zu kombinieren. Das Projektträgerkonsortium besteht aus der Hochschule Aalen - Technik und Wirtschaft, dem Institut für Arbeitswissenschaft und Technologiemanagement (IAT) der Universität Stuttgart, dem nexus Institut, der Chemistree GmbH, der Starwit Technologies GmbH und der Caritas Dortmund. Ein Projektbeirat aus KI-Expert:innen begleitet und berät das Projekt und fördert das Transfer- und Skalierungspotential der erarbeiteten Lösungen.
Die Abteilung Denkfabrik Digitale Arbeitsgesellschaft des Bundesministeriums für Arbeit und Soziales (BMAS) fördert das KI-Cockpit mit rund 3,5 Millionen Euro.
Rollen
Es lassen sich vier Rollen nach Betroffenheit und Eingriffsmöglichkeiten unterscheiden:
KIC-Operator:in:
Nutzer:innen, etwa in einer Fachaufsichts-Rolle, die das KI-Cockpit bedienen.
Endnutzer:innen:
Anwender:innen der KI-basierten Software, die keinen direkten Zugriff auf das KI-Cockpit haben. Ihr Recht auf menschliche Aufsicht wird zum einen durch die/den KIC-Operator:in gewährleistet, zum anderen werden sie von uns über das Transparenz-Interface angesprochen und zu informierten Entscheidungen über die Nutzung befähigt.
Betroffene
Personen, die nicht direkt mit dem KI-System interagieren, aber von den KI-Entscheidungen betroffen sind, beispielsweise Verkehrsteilnehmende, die basierend auf KI-gestützten Entscheidungen durch eine Stadt geleitet werden.
Deployer
Die Rolle der/des Deployers ist dem AI Act entnommen und wird von uns mit dem Transparenz Interface mit angesprochen. Der Deployer ist im AI Act sehr weit definiert als: „‘deployer’ means a natural or legal person, public authority, agency or other body using an AI system under its authority except where the AI system is used in the course of a personal non-professional activity“ (Europäisches Parlament, 2024, Artikel 3(4)). Nach unserem Verständnis fallen hierunter sowohl z.B. Firmen, die sich entscheiden ein KI-System einzusetzen, aber auch einzelne Mitarbeitende, die für ihre Arbeit (z.B. im Recruiting) im Einzelfall entscheiden, ein KI-System zu nutzen.
Beirat
Ein Projektbeirat aus KI-Expert:innen begleitet und berät das Projektkonsortium im Hinblick auf die Forschungs- und Entwicklungsaktivitäten. Zudem soll der Beirat das Transfer- und Skalierungspotenzial der erarbeiteten Maßnahmen bewerten und fördern. Der Beirat dient als Plattform für den Austausch von Ideen, Feedback und strategischer Ausrichtung.
Die Mitglieder des Beirates fungieren als Multiplikator:innen in ihren jeweiligen Communities. Mitglieder des Beirats können dabei auch an Veranstaltungen oder Publikationen des KI-Cockpit-Projektes mitwirken, um mit ihrer Expertise und Reichweite die Sichtbarkeit des Projektes zu maximieren.
Auswahl und Zusammensetzung
Der Beirat setzt sich aus folgenden Personen zusammen, die in der Wirtschaft, Wissenschaft, Zivilgesellschaft und Politik digitale Themen rund um die Künstliche Intelligenz auf nationaler und internationaler Ebene prägen.
Veröffentlichungen
Einreichung bei der KES2024 (International Conference on Knowledge Based and Intelligent Information and Engineering Systems)
Titel: “How to achieve trust, control, satisfaction, and acceptance in the interaction with AI through an AI Cockpit and a Transparency Interface? – A psychological framework”
Track: Interdisciplinary Approaches in Digital Transformation
Autorinnen und Autoren: Lisa Jantzen, Matthias Bottel, Regina Kempen (Hochschule Aalen, nexus Institut Berlin)
Einreichung Buchkapitel in: Nour Eldeen M. Khalifa, Mohamed Hamed N. Taha: Empowering AI Applications in Smart Life and Environment EAIASLE 2024 (Springer Nature)
Titel: “AI Integration Acceptance in the Elderly Care Institutions: A Step Toward a Smarter Life”
Autorinnen und Autoren: Andrea Sell, Cecilia Colloseus, Doris Aschenbrenner, Diellza Shala, Simon Haas (Hochschule Aalen)