„Bitte rechts abbiegen“ oder Warum das Auto im Fluss landet

Insassen aus dem Fahrzeug befreien, bevor es im Wasser versank.

Dies war ein besonders kurioses Navi-Malheur, aber bei weitem kein Einzelfall. Im Allgäu nahm ein Fahrer eine Brücke, eine Überführung und diverse Schilder mit, weil er brav den Vorgaben des GPS-Geräts folgte, ohne auf die Warnschilder am Straßenrand zu achten. In Bonn gehorchte eine Frau der Aufforderung „bitte hier rechts abbiegen“ an einem Bahnübergang zu wörtlich und fuhr geradewegs auf die Gleise, auf denen ein Zug herannahte. Nicht immer gehen solche Vorkommnisse glimpflich ab. In Niederbayern wurden fünf Menschen schwer verletzt, als sich ein Autofahrer auf Anweisung des veralteten Navis auf der linken Spur einordnete, die aber mittlerweile dem Gegenverkehr gehörte – Frontalzusammenstoß.

Navigationssysteme sind eine feine Sache. In unbekanntem Terrain lenken sie einen von A nach B, ohne dass man wegen schlechter Beschilderung oder eingeschränktem Orientierungssinn in Stress gerät. In vielen Fällen dürften sie das Fahren auch sicherer machen, weil man sich nicht mehr dazu hinreißen lässt, während des Steuerns auf eine Karte zu schauen oder sich im ungünstigen Moment nach einem Straßenschild umzudrehen. Aber die hilfreichen Geräte haben ihre Schattenseite. Sie verleiten dazu, nur noch auf die nette Stimme zu hören, anstatt sich auf die eigene Wahrnehmung und das eigene Urteil zu verlassen. Mehr noch: Dem ein oder anderen Autofahrer ist wohl schon der Verdacht gekommen, dass er, auf sich allein gestellt, den Weg immer schlechter findet. Die Sorge scheint nicht ganz unbegründet zu sein. Die Inuitjäger in Kanada wurden lange für ihren exzeptionellen Orientierungssinn in der Eiswüste bewundert. In letzter Zeit aber ist es laut einem Artikel im Magazin Atlantic vermehrt zu schweren Unfällen gekommen, weil die Jäger durch den Dauereinsatz von GPS-Geräten das Gefühl für das Land und seine Gefahren verloren haben. Kommt uns bald allen die Fähigkeit, in fremdem Terrain zu navigieren, abhanden? Und was ist mit anderen Tätigkeiten, die digitale Helfer heute übernehmen: vom Einparken und der Rechtschreibkontrolle bis hin zu Anlageentscheidungen, Partnersuche, medizinischen Diagnosen und Operationen?

Die zunehmende Automatisierung, bei all ihren Vorzügen, könne die Leistungen und das Können der Nutzer erheblich in Mitleidenschaft ziehen, warnt der amerikanische Journalist und Autor Nicholas Carr, von dem das Inuitbeispiel stammt. Nicht nur bei den Arktisbewohnern, argumentiert er, treten versteckte Kosten auf, wenn man Software & Co erlaubt, im beruflichen und privaten Leben die Führung zu übernehmen. Habe der Einsatz eines dampfgetriebenen Webstuhls den Weber von langweiligen Pflichten befreit und es ihm gestattet, sich mit anspruchsvolleren Tätigkeiten zu befassen, übernehme heute oftmals der Computer die intellektuellen und komplexen Arbeiten, während dem Menschen als eine Art Hightechgehilfen die Dateneingabe und Überwachung des Outputs bleibe. „Statt neue Grenzbereiche des Denkens und Handelns zu eröffnen, führt Software heute letztlich dazu, das menschliche Blickfeld zu verengen.“

Auch anderswo macht man sich Sorgen um die unerwünschten Nebenwirkungen, die der zu selbstverständliche Verlass auf technologischen Beistand erzeugt. Viele Piloten zeigten Schwächen im manuellen Flugbetrieb und wären in Krisensituationen überfordert, warnte Ende 2013 die amerikanische Luftaufsichtsbehörde FAA. Eine 34-köpfige internationale Expertenkommission hatte sieben Jahre lang die Situation in den hochautomatisierten Cockpits untersucht und beunruhigende Gepflogenheiten entdeckt: Delegation von Verantwortung auf Autopiloten, blindes Vertrauen in die Technik, Zögerlichkeit, in automatische Abläufe einzugreifen. Mehrere schwere Flugunfälle der letzten Jahre werden darauf zurückgeführt, dass an Automationssysteme gewöhnte Piloten kritische Situationen nicht überblickten und die Kontrolle über die Maschinen verloren. „Wir sind dabei zu vergessen, wie man fliegt“, so brachte es ein langjähriger United-Airlines-Pilot in einem Interview auf den Punkt.

Die amerikanische Luftaufsichts­behörde warnt: Viele Piloten zeigen Schwächen im manuellen Flugbetrieb und sind in Krisen­situationen überfordert

Automationssysteme können in der Tat gefährlich sein, bestätigt Dietrich Manzey, Professor für Arbeits-, Ingenieur- und Organisationspsychologie an der Technischen Universität Berlin. Gerade bei anspruchsvollen Tätigkeiten, die spontan richtiges Reagieren und komplexe kognitive Prozesse erfordern, falle es dem Nutzer unter Umständen sehr schwer, vom Automatik- auf Handbetrieb umzustellen. Haben wir es mit der Automatisierung in Gebieten wie der kommerziellen Fliegerei übertrieben? Das sei schwer zu sagen, meint der Technikexperte: „Aber Grenzen sind sicher dann erreicht, wenn Systeme zu extensiv genutzt werden oder sie so komplex sind, dass der menschliche Nutzer sie schwer überschauen kann. In manchen Bereichen ist diese Schwelle vermutlich überschritten.“

Die Implikationen, meint Carr, gehen weit über Sicherheitsfragen hinaus. Weil Automatisierung verändert, wie wir handeln, wie wir lernen und was wir wissen, beinhalte sie eine „ethische Dimension“, denn „die Entscheidungen oder Nichtentscheidungen darüber, welche Aufgaben wir an Maschinen abgeben, prägen unser Leben und unseren Platz in der Welt“. Das sei kein neues Phänomen, räumt er ein, aber in den letzten Jahren sei Automation allgegenwärtig geworden, auch wenn sie zunehmend im Verborgenen arbeite und deshalb nicht immer sichtbar sei. „Nach Bequemlichkeit, Schnelligkeit und Effizienz suchend, wälzen wir hastig Tätigkeiten auf Computer ab, ohne darüber nachzudenken, was wir möglicherweise dabei opfern.“

Man muss dieser etwas dramatisierenden Darstellung nicht zustimmen. Aber Wissenschaftler befassen sich schon eine ganze Weile mit der Frage, inwieweit die Delegation an Computer & Co zu Fehlern und Leistungsabbau bei den Nutzern führt. Fest steht: Automatisierung lässt den Nutzer nicht unberührt. Wer sich auf ein Navi oder ein klinisches Entscheidungsunterstützungssystem verlässt, mag glauben, er gebe einfach eine Aufgabe an einen Automaten ab, aber ansonsten bleibe sein Denken und Handeln unverändert. Dies ist ein Trugschluss, den man in der Forschung Substitutionsmythos nennt. Wenn man Automation an die Stelle menschlicher Aktivität setzt, erklären die Ingenieurwissenschaftlerin Nadine Sarter und Kollegen, transformiert man dadurch das ganze System, inklusive der Aufgaben, Einstellungen, Wahrnehmungen und Fähigkeiten der menschlichen Nutzer. Wissenschaftler haben mehrere Problembereiche identifiziert.

Nachlässigkeit

Aufgaben an Maschinen abzugeben verleitet zur Nachlässigkeit. Dies ist insbesondere fatal, wenn der Nutzer das System eigentlich überwachen soll. Anstatt die Anzeigen und Kontrolllampen im Auge zu behalten, mag ein Flugkapitän den Wetterbericht abhören, eine Passagieransage machen oder auch mit seinen Kollegen quatschen. Automation complacency, so der englische Fachbegriff, kann dazu führen, dass der Pilot davon ausgeht, alles sei „im grünen Bereich“, während sich in Wahrheit eine kritische Situation zusammenbraut. Achtsamkeit und Sorgfalt bleiben besonders leicht auf der Strecke, so zeigen Experimentalstudien, wenn der Nutzer neben dem Monitoring noch andere Aufgaben zu bewältigen hat. Das Problem wird nicht nur für Unfälle im Flugverkehr, sondern auch in der Schifffahrt und anderen Bereichen verantwortlich gemacht.

Vertrauensseligkeit

Der Hamburger, der seinen Bus in die Elbe fuhr, zeigte das, was Psychologen automation bias nennen. Er vertraute dem Navigationssystem blind, ohne selbst die Augen aufzumachen. Die Versuchung, Informationen, die aus einem Computer kommen, eher als der eigenen Wahrnehmung oder anderen Quellen zu glauben, ist groß. Der Psychologe Eugenio Alberdi, City University London, und Kollegen legten in einem Experiment erfahrenen Radiologen Mammografieaufnahmen vor, von denen die Hälfte von Brustkrebspatienten stammte. Eine Gruppe war bei der Bewertung auf sich allein gestellt. Die andere konnte ein Computersystem zurate ziehen, das kritische Gewebestrukturen markierte. Allerdings war es so programmiert, dass die Informationen teilweise fehlerhaft waren: Der Computer ließ manche auffälligen Stellen unmarkiert und warnte andererseits bei Aufnahmen, die gar keine Anzeichen für Tumore aufwiesen. Die Ärzte ließen sich erkennbar von der unzuverlässigen Hilfe beeinflussen und machten dadurch signifikant mehr Diagnosefehler als die Kontrollgruppe, die selbständig diagnostizierte.

Ebenso beunruhigend ist eine Studie mit Piloten, die in einem Flugsimulator einen Triebwerksbrand zu bewältigen hatten. Schlug eine automatische Entscheidungshilfe vor, den falschen, also nicht brennenden Motor abzuschalten, folgten drei von vier Teilnehmern diesem Rat, ohne vorher andere verfügbare Informationen zu überprüfen. Von den Piloten, die mit einer traditionellen Papiercheckliste gearbeitet hatten, machte dagegen nur jeder Vierte diesen fatalen Fehler.

Situationsbewusstsein

Viele Automationssysteme lassen den Nutzer mehr oder weniger außen vor. Das erschwert es ihm, sich ein umfassendes Bild von der Situation zu machen– und wenn das System ausfällt, schnell und angemessen zu reagieren. In einem Experiment sollten Teilnehmer während einer simulierten Autofahrt verschiedene Entscheidungen treffen. Beispielsweise mussten sie am Stadtrand eine von drei Routen wählen, um möglichst schnell, aber mit einem begrenzten Benzinverbrauch an ein Ziel zu gelangen. Dabei hatten sie keine oder unterschiedlich umfangreiche Hilfe durch ein computergestütztes Expertensystem. Eine Gruppe entschied völlig allein; eine zweite erhielt für alle Optionen Erfolgswahrscheinlichkeiten; der dritten Gruppe schlug das Programm die wahrscheinlich erfolgreichste Route vor; bei der vierten wählte es den besten Weg aus, aber die Teilnehmer konnten widersprechen, und bei der fünften entschied das System allein. Dann gab es einen technischen Defekt, und für weitere zwei Entscheidungen waren alle Teilnehmer auf sich allein gestellt. Prompt brauchten die Teilnehmer, denen das System die Entscheidungen bislang völlig abgenommen hatte, nun viel länger als die „manuelle“ Gruppe (die anderen lagen dazwischen). Fragen am Ende des Experimentes zeigten: Die „vollautomatische“ Gruppe hatte die Lage am wenigsten durchdrungen, während das Situationsbewusstsein bei den „hilflosen“ Teilnehmern am höchsten ausgeprägt war.

Qualifikationsverlust

Automation macht aus Akteuren Beobachter – und das kann das eigene Können schwächen. „Fähigkeiten lassen leider nach, wenn sie nicht benutzt werden“, warnte die Psychologin Lisanne Bainbridge bereits im Jahr 1983. Sie bezog das auf ursprünglich erfahrene Maschinisten, die durch den Einsatz von automatisierten Systemen das Gefühl für die Feinsteuerung verloren hatten. Wenn sie in einem Gefahrenmoment die Prozesssteuerung übernehmen müssen, würden sie unter Umständen nun länger brauchen, um das System zu stabilisieren.

Sorge um einrostende Fertigkeiten scheint auch in anderen Bereichen angebracht. Britische Wissenschaftler fanden Hinweise darauf, dass der häufige Gebrauch digitaler Rechtschreibhilfen die orthografischen Kenntnisse der Nutzer unterminiert. So konnten von 2000 befragten Erwachsenen nur 21 Prozent fünf häufige Wörter richtig buchstabieren; in der Altersgruppe der Studenten lag die Quote sogar nur bei 13 Prozent. Auch für den von der FAA beklagten Rückgang der Flugfähigkeiten gibt es wissenschaftliche Belege. Für seine Doktorarbeit lud der britische Ingenieurwissenschaftler Matthew Ebbatson 66 Piloten, die im Alltag hochautomatisierte Passagierflugzeuge fliegen, zu einem Experiment im Flugsimulator ein. Ihre Aufgabe: typische Manöver wie das Durchstarten oder eine Landung anhand von Instrumentendaten durchzuführen. Mehr als ein Fünftel der Piloten zeigte schwache Leistungen. Sie brachten die virtuellen Flieger zwar nicht gerade zum Absturz, ihre Fertigkeiten lagen aber zum Teil deutlich unter dem, was Fluggesellschaften von ihren Kapitänen erwarten. Interessanterweise hatte weder die Gesamtzahl an Flugstunden, die ein Pilot vorweisen konnte, noch die spezifische Erfahrung auf einem bestimmten Flugzeugtyp einen großen Einfluss auf seine Leistung. Was zählte, war vielmehr, wie viele Stunden er in den Wochen unmittelbar vor dem Experiment manuell geflogen war.

Der Beobachterstatus könnte eine weitere ungewollte Nebenwirkung haben: In der Psychologie weiß man seit langem, dass sich Wissen und Expertise am besten aufbauen, wenn man sich aktiv mit dem Lernmaterial befasst. Was aber passiert, wenn einem ein digitaler Helfer einen Teil des Denkens abnimmt? In einer niederländischen Studie sollten Teilnehmer einen Konferenztag planen: Es galt, eine Liste von Referenten drei verschiedenen Räumen zuzuweisen und dabei verschiedene Vorgaben wie Dauer des Vortrages und erwartete Zuhörerzahl zu beachten. Eine Gruppe von Probanden konnte sich dabei auf unterstützende Software stützen. Klickten sie auf den Namen eines Referenten, zeigte sie alle noch freien Zeitfenster an, die die Vorgaben erfüllten. Die andere Gruppe arbeitete mit einem rudimentären Programm und musste die Restriktionen selbst im Auge behalten. Die größere mentale Anstrengung war kein Nachteil, ganz im Gegenteil. Die „Selbstplaner“ brauchten zwar länger, um nach jeder Zuordnung über den nächsten Schritt zu entscheiden, doch weil sie tiefer nachdachten, leisteten sie sich weniger Fehlversuche, sodass sie insgesamt nicht mehr Zeit benötigten. Mehr noch: In einem Test nach dem Experiment konnten sie kundiger über mögliche Konfliktsituationen im Planungsprozess Auskunft geben. In einem anderen Experiment, in dem Teilnehmer ein logisches Problem zu lösen hatten, waren jene, die mit weniger Computerhilfe auskommen mussten, auch noch nach acht Monaten wissensmäßig überlegen und konnten die gelernten Erkenntnisse zudem besser auf ähnliche Problemstellungen übertragen.

Automation scheint Lernprozesse zu behindern. Das Ausmaß des Problems ist allerdings noch offen. „Es gibt noch viel zu wenig Forschung“, beklagt der Psychologe Manzey, „wie Automatisierung auf den Wissenserwerb und das Können wirkt.“ Dabei müssten offene Fragen schnell beantwortet werden. Er denkt beispielsweise an neue Entwicklungen wie selbststeuernde Autos. Wie wird diese Technologie die Fahrkunst der Nutzer beeinflussen? Wären die Fahrer noch in der Lage, traditionelle Fahrzeuge zu lenken, oder müsste man ihre Fahrerlaubnis beschränken? Und was passiert, wenn der Autopilot dem Fahrer in einem Gefahrenmoment signalisiert: „Bitte übernehmen Sie.“?

Vieles ist also noch ungeklärt, wenn es um den Einfluss von Automation auf das menschliche Denken und Handeln geht. Aber sicher ist, dass die Delegation an Maschinen nicht nur Vorteile, sondern auch Schattenseiten hat. Dennoch sind Schreckensszenarien à la „Wir automatisieren uns zu Tode“ oder „Computer & Co lassen uns verdummen“ verfehlt. Denn wir können den digitalen Helfern persönliche Grenzen setzen. „Wenn man das Navi immer und ständig benutzt, dann macht man sich auf Dauer hilflos“, meint Automationsforscher Manzey. „Mich persönlich würde das stören. Ich mag Abhängigkeiten nicht.“ Die Vorstellung, komplett auf Maschinen angewiesen zu sein, auch bei Dingen, die man eigentlich selbst bewältigen könnte, empfindet er als Verarmung. „Das widerstrebt mir.“ Solche Abhängigkeiten grundsätzlich auszuschalten sei aber wahrscheinlich nicht möglich, räumt er ein: „Man muss im Einzelfall entscheiden. Eine allgemeine Antwort gibt es nicht.“

Literatur

• L. Onnasch u. .: Human performance consequences of stages and levels of automation: An integrated meta-analysis. Human Factors, 56, 3/2014, 476–488

• N. Carr: The great forgetting. The Atlantic, November 2013, 77–81

• C. Thompson: Smarter than you think. How technology is changing our minds for the better. Penguin, New York 2013

• D. Manzey: Automation in surgery: The impact of navigated-control assistance on performance, workload, situation awareness, and acquisition of surgical skills. Human Factors, 53, 6/2011, 584–599

• M. Ebbatson: The loss of manual flying skills in pilots of highly automated airliners. Doktorarbeit, Cranfield University, Bedford (UK) 2009

• C. Van Nimwegen u. .: The paradox of the assisted user: Guidance can be counterproductive. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems 2006, ACM, 917–926

• N. Sarter: Automation surprises. G. Salvendy (Hg.): Handbook of Human Factors & Ergonomics, 2. Auflage. Wiley, Hoboken 1997

• L. Bainbridge: Ironies of automation. Automatica, 19, 6/1983, 775–779