Hochschullehre und Prüfungen
Was es beim Einsatz von KI rechtlich zu beachten gibt
Laut einer Studie des Digitalverbandes "Bitkom" nutzen bereits 26 Prozent der Studierenden die Angebote bei Hausarbeiten, neun Prozent bei Abschlussarbeiten und vier Prozent setzen die Technik sogar während einer laufenden Prüfung ein. Fragt man die Studierenden allerdings nach der Zulässigkeit des Prüfungseinsatzes, plädiert knapp die Hälfte für ein Verbot von ChatGPT bei Haus- und Abschlussarbeiten. Mehr als die Hälfte räumt ein, dass der Bot unzulässige Vorteile verschaffen könne. Gar drei Viertel der Studierenden sind sich einig, dass man an der Hochschule den richtigen Einsatz von KI lehren soll.
KI kann auch bei der Notenvergabe eingesetzt werden. Als Korrekturhilfe ermöglichen KI-Systeme es, ein erwartetes Leistungsspektrum für bestimmte Aufgaben und Bewertungskriterien festzulegen. Wird die Software mit einer Arbeit "gefüttert", schlägt sie Verbesserungen und auch eine Bewertung vor, aufgefächert nach beliebigen Notenskalen. Für diesen Zweck wird Spezialsoftware jedenfalls an Schulen bereits eingesetzt. Für die Bewertung studentischer Leistungen kann man auch die Allzweck-KI ChatGPT nutzen, obwohl sie von ihrem Hersteller nicht für diesen Zweck konzipiert ist. "Du bist Professor an einer bestimmten Hochschule. Bewerte die nun folgende Masterarbeit im Fach X mit einer Notenskala von 1,0 bis 5 und lege dabei folgende Bewertungskriterien nach der Prüfungsordnung zu Grunde." So kann ein Prompt lauten. Im Selbstversuch bewertete ChatGPT 4 eine Arbeit zu KI im Arbeitsrecht mit einer plausiblen Begründung mit 1,0 bis 1,3. Die zuvor tatsächlich durch die Prüfer vergebene Note war 1,3. Wer das nicht nutzt, ist selbst schuld, könnte man schließen.
Notenvergabe per KI?
Noten per KI? Darf das sein? Wenn KI bestimmungsgemäß für die Bewertung von Lernergebnissen verwendet werden soll, dann lässt die KI-Verordnung (KI-VO), die im Sommer in Kraft treten wird, das zwar zu. Dieses EU-Gesetz wird dann zeitlich gestuft Geltung beanspruchen und es reguliert die Entwicklung und den Betrieb von KI-Modellen und KI-Systemen, wie ChatGPT, auch durch Hochschulen und deren Personal. Man wird sich ihr dort nicht entziehen können, wenn man KI nutzt. Die KI-VO tritt neben das vorhandene und kommende Recht zur Regulierung des KI-Einsatzes, etwa das Datenschutzrecht, Urheberrecht und natürlich das Hochschul- und Prüfungsrecht. Die KI-VO stellt aber enorme Anforderungen auf, etwa für alle Behörden eine aufwändige Grundrechteprüfung vor dem Einsatz und vieles mehr. Das ist auch richtig. Die Hochschulausbildung ist schließlich eine staatliche Aufgabe in der Keimzelle der Demokratie.
Das Experiment mit der Bewertung durch ChatGPT 4 ging weiter. Die Note für dieselbe Arbeit blieb gleich, wenn man ihr Thema veränderte – gleich, ob KI im Arbeitsrecht, im Baurecht, im Asylrecht oder im Polizeirecht. Die Note für die Arbeit zu KI lautete auch dann, wenn das Thema offenkundig verfehlt war, immer um 1,3. Hat der Bot einen Fehler gemacht? Nein, das kann eine Rechenmaschine nicht. Die autonome Black Box generative KI hat auf Grundlage einer schlechten Anweisung unter menschlicher Aufsicht und Verantwortung richtig gerechnet und ein unbrauchbares Ergebnis geliefert.
Die KI-VO erkennt das Problem. Damit der Einsatz von KI verantwortet werden kann, verpflichtet sie auch Hochschulen, die KI-Systeme für den dortigen Gebrauch zur Verfügung stellen, sicherzustellen, dass ihr Personal und ihre Studierenden über ein ausreichendes Maß an KI-Kompetenz verfügen. Hier gilt es, Wissen zu erzeugen, Missverständnisse auszuräumen.
Die wichtigste Lektion: Das enorme Potenzial der KI liegt ebenso im Menschen, wie ihr Risiko. Man darf nicht denken, KI könne uns das Denken abnehmen, auch wenn sie Ergebnisse erzeugt, die das vorgaukeln. KI erhöht vielmehr die Anforderungen an das menschliche Denken um die Dimension des KI-Verständnisses. Wer ChatGPT mit einer Suchmaschine vergleicht und in kritischen Kontexten wie eine solche nutzt, macht einen schweren Fehler.
Worin liegt der Unterschied sehr vereinfacht ausgedrückt? Eine Suchmaschine zeigt Ergebnisse zu eingegebenen Stichworten an. Sie hilft beim Finden.
Generative KI formuliert auf Anweisung autonom Texte. Sie erfindet plausible Geschichten auf Basis von Wahrscheinlichkeitsberechnungen, die sprachlich als potenzielle Weisheiten taugen. Je ungenauer die Anweisung des Menschen, desto autonomer die Erfindung des Bots. Passender ist es, die KI mit einem autonomen Tier zu vergleichen. Wie ein gut erzogener Hund mit gutem Wesen und ohne menschliche Agenda, aber einer unberechenbaren Schwäche für Eichhörnchen, die unkontrollierbar durchbricht, agiert auch generative KI autonom und unberechenbar. Sie muss durch den Menschen als Werkzeug eingesetzt und an die Leine genommen werden. Sonst ist sie unbeherrschbar und als menschliches Werkzeug in kritischen Kontexten unbrauchbar. Verkennt der Mensch das und lässt die KI, wenn es ernst wird, von der Leine, dann wird das autonome Werkzeug gefährlich.
Wie ein gut erzogener Hund mit gutem Wesen und ohne menschliche Agenda, aber einer unberechenbaren Schwäche für Eichhörnchen, die unkontrollierbar durchbricht, agiert auch generative KI autonom und unberechenbar.
Was bedeutet das für den Einsatz zur Benotung? Im obigen Beispiel ist es erforderlich, dass der Mensch der Maschine die Kriterien und Erwartungen an die Arbeit sowie ihren gesamten Kontext exakt vorgibt. Es geht eher um Verbesserung der Qualität als um Arbeitserleichterung per Zauberhand. Will der Prüfer die Verantwortung übernehmen können, dann muss er sich selbst auf eine Note festgelegt haben, bevor er die KI um ihren Impuls "bittet". Danach kann er vergleichen und die Note fundiert präzisieren. Ist das denn nötig, denn welcher Prüfer würde unbesehen die Note einer KI übernehmen? Selbst wenn er nach dem Notenvorschlag der KI noch so intensiv grübelt, ist der Prüfer durch den Ankereffekt der Erstentscheidung der KI festgelegt.
Die Neigung, dem Ergebnis der KI zu vertrauen, nennt die KI-VO "Automatisierungsbias". Sie verpflichtet zu dessen Abwehr dazu, ein Hochrisikosystem in bestimmten Fällen nicht zu verwenden oder das Ergebnis zu ignorieren. Die zwingend bei Hochrisiko-KI vorgesehene Stopptaste zur Sicherung der menschlichen Entscheidungssouveränität sollte in riskanten Kontexten eine KI-Starttaste sein, die den Dreischritt Mensch-Maschine-Mensch sichert. Der bestimmungsgemäße Einsatz zur Prüfungsbewertung ist nach der KI-VO ein hochriskanter Zweck.
Bedingungen für einen kontrollierten KI-Einsatz an Hochschulen
Was müssen Bildungseinrichtungen konkret tun, um für generative KI-Systeme einstehen zu können? Zunächst ist es wichtig, sich bewusst und aktiv für konkrete Produkte zu entscheiden und diese zu lizenzieren, statt den "wilden" Einsatz über private Accounts zu dulden. Öffentliche Vergaben müssen gut abgewogen sein. Der Markt wächst, und Angebote aus Europa sind möglicherweise eine bessere Alternative zu den Offerten der Platzhirsche unter den Tech-Giganten. Je nach Einsatzzweck können sich hier erhebliche Unterschiede ergeben. Um KI-Systeme zu implementieren, müssen Bildungseinrichtungen nach dem Gesetz KI-Kompetenz vermitteln und die eingesetzten Systeme, deren Zusammenhänge und das komplexe und in großen Teilen nicht einsehbare Gefüge der Sprachassistenten verstehen und ihr Wissen sowie Nichtwissen transparent vermitteln.
Es geht, so unzeitgemäß das klingt, darum, dem unkontrollierten und euphorischen Einsatz der KI menschliche Kategorien entgegenzustellen. Es geht um die Entdeckung der Langsamkeit frei nach Sten Nadolny. Es kommt zudem darauf an, die unterschiedlichen Risikosphären nach der KI-VO zu beachten. Wenn man KI nicht für den spezifischen und hochriskanten Zweck der Leistungsbewertung nutzt, sind die Anforderungen an den Einsatz deutlich geringer. Die KI-VO sieht für den Einsatz von Sprachbots ohne spezifische Zweckbestimmung eine Kennzeichnungspflicht und die Pflicht zur Vermittlung von KI-Kompetenz vor. Der Einsatz von ChatGPT in der Lehre durch die Hochschule und selbst die Nutzung des Bots von Studierenden in der Prüfung gilt nicht als riskant im Sinne der KI-VO.
Wenn man KI nicht für den spezifischen und hochriskanten Zweck der Leistungsbewertung nutzt, sind die Anforderungen an den Einsatz deutlich geringer.
Solange die Bildungseinrichtung sicherstellt, dass niemand über die Stränge schlägt und der Bot nicht für die Bewertung von Lernergebnissen verwendet wird, ist der Pflichtenkreis nach der KI-VO also noch überschaubar. Es gilt aber für die Hochschule, Missbrauch – über den erlaubten Zweck hinaus – zu verhindern. Kommt es doch dazu, wird es ernst: Dann greifen automatisch die strengen Pflichten für die riskante Nutzung.
Mit den Regeln der KI-VO ist es aber nicht getan. Zusätzlich muss zum Beispiel das geltende Datenschutzrecht beachtet werden. Das wird vor allem beim Einsatz zur Leistungsbewertung wichtig. Lehrkräfte müssen darüber aufgeklärt werden, was es datenschutzrechtlich bedeutet, persönliche Daten – von den Namen über den Leistungsstand von Studierenden oder Schülern bis hin zu Mailadressen und vielem mehr – in KI-Prompts zu verwenden, und wie hoch die Anforderungen an anonyme Daten sind.
Der Europäische Gerichtshof verlangt, dass bei KI-gestützten Bewertungen mit rechtlicher Relevanz, also auch bei der Notenvergabe in Hochschulen, die Maßgeblichkeit der menschlichen Entscheidung für das Ergebnis gewahrt bleibt. Bildungseinrichtungen müssen – wie die Schufa bei der Prüfung der Bonität von Kreditnehmern – rechtssichere Kriterien für den Nachweis entwickeln, warum sich der Mensch und nicht der Notenvorschlag der KI durchgesetzt hat. KI an der Hochschule steht unter dem Motto: von Schummelei bis Chance. Prüfungsrechtlich gilt es, KI-taugliche Prüfungsformen unter Wahrung der Chancengleichheit zu entwickeln und Prüfungsordnungen an den Einsatz der KI anzupassen. Gelingt das nicht, könnten Studierende, die sich vor Verwaltungsgerichten gegen KI-Notenvergaben wenden, das Bildungssystem an den Rand des Kollapses bringen.
Zwei sinnvolle Anregungen
Es besteht also Handlungsbedarf für Bildungseinrichtungen in Europa. Sie müssen Verantwortung für den Einsatz der neuen Technik übernehmen. Aus den beschriebenen Wertungen der KI-VO lassen sich zwei sinnvolle Anregungen ableiten. Erstens: Beim Einsatz der KI zur Bewertung wird es brenzlig, und für die Zulassung von KI in Prüfungen sollte größte Zurückhaltung gelten, schon um den Grundsatz der Chancengleichheit nicht über Bord zu werfen. Zweitens: In der Hochschule muss der verantwortungsvolle Einsatz generativer KI gelehrt, gelernt und verantwortet werden.
