ARCHIV

KI-basierte Funktionen finden zunehmend auch im Gesundheitswesen und in Softwarelösungen für Apotheken Anwendung. Sie können beispielsweise Prognosen unterstützen, Auffälligkeiten markieren oder Informationen für fachliche Entscheidungen bereitstellen. Für Beschäftigte stellt sich damit eine wichtige Frage: Was passiert, wenn die Technik einen Fehler macht – und der Mensch ihn nicht bemerkt? 

Entscheidend ist zunächst, wofür das System eingesetzt wird. Ein Fehler bei einer Bedarfsprognose in der Warenwirtschaft verursacht in erster Linie einen wirtschaftlichen Schaden. Kritischer wird es, sobald Software fachliche Entscheidungen rund um die Arzneimittelabgabe unterstützt. Übersieht ein System etwa eine relevante Wechselwirkung oder weist es nicht auf eine problematische Dosierung hin, kann die Gesundheit eines Patienten betroffen sein.

Der Einsatz eines KI-Systems ändert grundsätzlich nichts an den gesetzlichen Informations- und Beratungspflichten in der Apotheke. Nach § 20 Apothekenbetriebsordnung (ApBetrO) muss der Apothekenleiter im Rahmen des Qualitätsmanagementsystems sicherstellen, dass Patienten und andere Kunden hinreichend über Arzneimittel und apothekenpflichtige Medizinprodukte informiert und beraten werden. Dabei sind insbesondere Aspekte der Arzneimittelsicherheit und, soweit erforderlich, mögliche Neben- und Wechselwirkungen zu berücksichtigen.

Grundsätzlich sind Apotheker:innen für die Information und Beratung über Arzneimittel zuständig. Andere Angehörige des pharmazeutischen Personals dürfen diese Aufgabe übernehmen, wenn die Apothekenleitung dies zuvor schriftlich oder elektronisch festgelegt hat. Dabei muss sie auch bestimmen, in welchen Fällen grundsätzlich ein Apotheker oder eine Apothekerin hinzuzuziehen ist.

KI-Fehler heißt nicht automatisch Arbeitnehmerhaftung

Für Angestellte bedeutet ein Fehler des Systems nicht automatisch, dass sie persönlich für den entstandenen Schaden einstehen müssen. Im Verhältnis zum Arbeitgeber gelten die allgemeinen Grundsätze der beschränkten Arbeitnehmerhaftung beziehungsweise des innerbetrieblichen Schadensausgleichs.

Bei leichtester Fahrlässigkeit haftet der Beschäftigte grundsätzlich nicht. Bei mittlerer Fahrlässigkeit wird der Schaden unter Berücksichtigung der Umstände des Einzelfalls verteilt. Bei grober Fahrlässigkeit kann dagegen eine weitgehende Haftung des Beschäftigten in Betracht kommen. Entscheidend sind jeweils die konkreten Umstände.

Das Bundesarbeitsgericht hat diese Grundsätze in seiner Rechtsprechung wiederholt herausgearbeitet. So bestätigt etwa das Urteil vom 28. Oktober 2010 (BAG, 8 AZR 418/09), dass bei betrieblich veranlassten Tätigkeiten der Grad des Verschuldens und die Umstände des Einzelfalls für den Umfang der Arbeitnehmerhaftung maßgeblich sind. Der zugrunde liegende Fall betraf zwar weder den Einsatz von KI noch eine Apotheke, die dort dargestellten Grundsätze gelten jedoch allgemein für die Haftung von Beschäftigten bei betrieblich veranlassten Tätigkeiten.

Gerade beim Einsatz neuer Systeme kommt deshalb der Organisation in der Apotheke große Bedeutung zu. Beschäftigte sollten wissen: Welche Software ist für welchen Zweck vorgesehen? Welche Ergebnisse müssen fachlich kontrolliert werden? Wann muss ein Apotheker hinzugezogen werden? Und was ist zu tun, wenn ein Ergebnis unplausibel erscheint?

Wer solche Systeme einführt, sollte deshalb im Rahmen des Qualitätsmanagements klare Zuständigkeiten und Kontrollprozesse festlegen und die Beschäftigten für den Umgang mit dem System entsprechend qualifizieren. KI darf nicht dazu führen, dass Verantwortlichkeiten unklar werden oder Risiken neuer Technik stillschweigend auf die Person am HV-Tisch verlagert werden.

Auch Hersteller und Anbieter haben Pflichten

Nicht nur die Anwenderseite ist relevant. Je nach Art, Zweckbestimmung und Einsatzgebiet eines Systems können auch für Hersteller und Anbieter umfangreiche regulatorische Pflichten gelten.

Software kann beispielsweise als Medizinprodukt unter die EU-Medizinprodukteverordnung (MDR) fallen, wenn sie vom Hersteller für einen entsprechenden medizinischen Zweck bestimmt ist. Entscheidend ist also nicht allein, dass eine Software in einer Apotheke oder für eine medizinische Fragestellung verwendet wird.

Besonders relevant ist Regel 11 des Anhangs VIII der MDR. Sie betrifft Software, die Informationen liefert, die für Entscheidungen zu diagnostischen oder therapeutischen Zwecken herangezogen werden. Je nachdem, welche Folgen eine auf diesen Informationen beruhende Entscheidung haben kann, kann die Software unterschiedlichen Risikoklassen zugeordnet werden.

Auch der europäische AI Act stellt Anforderungen an bestimmte KI-Systeme. Für Hochrisiko-KI-Systeme sieht Art. 14 insbesondere eine wirksame menschliche Aufsicht vor. Die Systeme müssen so konzipiert und entwickelt werden, dass sie während ihrer Verwendung von natürlichen Personen angemessen überwacht werden können.

Allerdings ist nicht jede Warenwirtschafts-, Interaktions- oder Rezeptsoftware automatisch Hochrisiko-KI im Sinne des AI Act. Ob ein System darunter fällt, hängt unter anderem von seiner Funktion, seiner rechtlichen Einordnung und den gesetzlichen Kriterien für Hochrisiko-KI ab. Bei KI-Systemen im Zusammenhang mit regulierten Produkten wie Medizinprodukten können dabei zusätzliche Voraussetzungen eine Rolle spielen.

Für Beschäftigte in Apotheken bleibt deshalb eine wichtige praktische Konsequenz: KI kann fachliche Arbeit unterstützen, sie ersetzt aber nicht automatisch die vorgeschriebenen pharmazeutischen Prüf-, Informations- und Beratungspflichten. Gleichzeitig darf der Hinweis, dass „am Ende ein Mensch entscheidet“, nicht dazu führen, die Risiken und Verantwortlichkeiten beim Einsatz neuer Technik pauschal auf einzelne Beschäftigte abzuwälzen. Entscheidend sind klare Zuständigkeiten, geeignete Prozesse und die konkrete Ausgestaltung des jeweiligen KI-Einsatzes.

Michael van den Heuvel

Quellen

• Apothekenbetriebsordnung (ApBetrO), § 20 Information und Beratung
• Bundesarbeitsgericht (BAG): Urteil vom 28.10.2010 – 8 AZR 418/09.
• Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5.4.2017 über Medizinprodukte (MDR), Anhang VIII, Regel 11.
• Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13.6.2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (KI-Verordnung/AI Act), Art. 6 und Art. 14.