Autopilot-Softwarechef geht nach nur sechs Monaten

Der bei Apple abgeworbene Chef von Teslas Assistenzsystem „Autopilot“ verlässt den Elektroauto-Hersteller nach nur einem halben Jahr. Es habe sich herausgestellt, dass Tesla und er doch nicht so gut zusammenpassten, schrieb Chris Lattner am späten Dienstag ohne weitere Details bei Twitter. Er sei auf der suche nach einem neuen Job. Bei Apple hatte Lattner unter anderem die Programmiersprache Swift entwickelt.

Tesla äußerte sich in einem ganz ähnlichen Wortlaut. Lattner habe nicht richtig zu Tesla gepasst, daher habe man sich zu einem Wechsel entschlossen, teilte der Elektroautobauer mit. Lattners Aufgaben übernimmt zunächst Jim Keller, der derzeit Chef der Autopilot-Hardware ist. Ob er sich dauerhaft um Hardware und Software kümmern soll, ist nicht klar. Keller war 2016 vom Chiphersteller AMD zu Tesla gewechselt.

Der Abgang von Lattner ist nicht der erste Personalwechsel in den oberen Ebenen der Autopilot-Sparte in diesem Jahr. Im Januar kündigte Sterling Anderson, zu dieser Zeit Direktor Autopilot, um sein eigenes Unternehmen zu gründen – zusammen mit dem ehemaligen Chefentwickler der Google-Roboterwagen, Chris Urmson, arbeitet Anderson in dem Start-up Aurora Innovation an Software für selbstfahrende Autos. Zwei Monate später verließ David Nistér, Vice President Autopilot Division, den Elektroautobauer. Er arbeitet inzwischen beim Halbleiterhersteller Nvidia, der seinerseits an den Computern für autonome Autos arbeitet – unter anderem in einer Kooperation mit Audi.

Personalwechsel sind in der Sparte keine Seltenheit, die Tech-Giganten werben sich regelmäßig gegenseitig die besten Fachkräfte ab oder diese sehen – wie Urmson und Anderson – das größere Potenzial in eigenen Unternehmen. Für Tesla machen es die häufigen Wechsel in dem sensiblen Entwicklungsbereich aber schwer, an dem großen Ziel von Elon Musk einen Schritt voran zu kommen: dem ersten autonomen Auto. Tesla arbeitet gerade daran, die „Autopilot“-Software von einem Assistenzsystem, das Spur und die Entfernung zum vorderen Fahrzeug halten kann, mit weiteren Funktionen auszubauen.

Noch ist die Software, anders als der Name suggeriert, jedoch nur ein Assistenzsystem. Im vergangenen Sommer geriet „Autopilot“ in den Mittelpunkt der Aufmerksamkeit nach einem tödlichen Unfall in den USA. Das Tesla-Auto fuhr ungebremst unter einen Lastwagen, der die Fahrbahn querte. Die Software hielt die weiße Seitenwand des Lastwagens wahrscheinlich für ein Autobahnschild, hieß es damals. Tesla betont aber, dass „Autopilot“ aktuell nur ein Assistenzsystem sei, bei dem der Fahrer stets die Kontrolle behalten müsse und das Auto nicht zum selbstfahrenden Wagen mache.

Anfang dieser Woche wurde nun bekannt, dass der Fahrer mehrere Warnhinweise der Software ignoriert haben soll. Daten des Fahrzeugs zeigten, dass der 40-Jährige mehrfach aufgefordert worden sei, die Hände wieder auf das Lenkrad zu legen, heißt es in neu veröffentlichten Unterlagen der US-Untersuchungsbehörde NTSB. Die mehr als 500 Seiten, die von der NTSB in der Nacht zum Dienstag veröffentlicht wurden, enthalten die zusammengetragenen Ermittlungsunterlagen. Schlussfolgerungen zur Ursache des Unfalls wird die Behörde erst später vorlegen. Die NTSB hatte – genauso wie die Straßenverkehrsbehörde NHTSA– bereits erklärt, dass der „Autopilot“ wie von Tesla beschrieben funktioniert habe. Das System soll unter anderem Spur und Abstand zum vorderen Fahrzeug halten.

KONTEXT

Ethische Grundregeln für autonome Autos

1. Sicherheit zuerst

Teil- und vollautomatisierte Verkehrssysteme dienen zuerst der Verbesserung der Sicherheit aller Beteiligten im Straßenverkehr. Daneben geht es um die Steigerung von Mobilitätschancen und die Ermöglichung weiterer Vorteile. Die technische Entwicklung gehorcht dem Prinzip der Privatautonomie im Sinne eigenverantwortlicher Handlungsfreiheit.

Quelle: Bundesverkehrsministerium

2. Schutz von Menschen hat Vorrang

Der Schutz von Menschen hat Vorrang vor allen anderen Nützlichkeitserwägungen. Ziel ist die Verringerung von Schäden bis hin zur vollständigen Vermeidung. Die Zulassung von automatisierten Systemen ist nur vertretbar, wenn sie im Vergleich zu menschlichen

Fahrleistungen zumindest eine Verminderung von Schäden im Sinne einer positiven Risikobilanz verspricht.

3. Die öffentliche Hand entscheidet

Die Gewährleistungsverantwortung für die Einführung und Zulassung automatisierter und vernetzter Systeme im öffentlichen Verkehrsraum obliegt der öffentlichen Hand. Fahrsysteme bedürfen deshalb der behördlichen Zulassung und Kontrolle. Die Vermeidung von Unfällen ist Leitbild, wobei technisch unvermeidbare Restrisiken einer Einführung des automatisierten Fahrens bei Vorliegen einer grundsätzlich positiven Risikobilanz nicht entgegenstehen.

4. Menschen müssen sich frei entfalten dürfen

Die eigenverantwortliche Entscheidung des Menschen ist Ausdruck einer Gesellschaft, in der der einzelne Mensch mit seinem Entfaltungsanspruch und seiner Schutzbedürftigkeit im Zentrum steht. Jede staatliche und politische Ordnungsentscheidung dient deshalb der freien Entfaltung und dem Schutz des Menschen. In einer freien Gesellschaft erfolgt die gesetzliche Gestaltung von Technik so, dass ein Maximum persönlicher Entscheidungsfreiheit in einer allgemeinen Entfaltungsordnung mit der Freiheit anderer und ihrer Sicherheit zum Ausgleich gelangt.

5. Technik soll Unfälle vermeiden

Die automatisierte und vernetzte Technik sollte Unfälle so gut wie praktisch möglich vermeiden. Die Technik muss nach ihrem jeweiligen Stand so ausgelegt sein, dass kritische Situationen gar nicht erst entstehen, dazu gehören auch Dilemma-Situationen, also eine Lage, in der ein automatisiertes Fahrzeug vor der „Entscheidung“ steht, eines von zwei nicht abwägungsfähigen Übeln notwendig verwirklichen zu müssen. Dabei sollte das gesamte Spektrum technischer Möglichkeiten – etwa von der Einschränkung des Anwendungsbereichs auf kontrollierbare Verkehrsumgebungen, Fahrzeugsensorik und Bremsleistungen, Signale für gefährdete Personen bis hin zu einer Gefahrenprävention mittels einer „intelligenten“ Straßen-Infrastruktur – genutzt und kontinuierlich weiterentwickelt werden. Die erhebliche Steigerung der Verkehrssicherheit ist Entwicklungs- und Regulierungsziel, und zwar bereits in der Auslegung und Programmierung der Fahrzeuge zu defensivem und vorausschauendem, schwächere Verkehrsteilnehmer („Vulnerable Road Users“) schonendem Fahren.

6. Pflicht zu autonomen Autos ist bedenklich

Die Einführung höherer automatisierter Fahrsysteme insbesondere mit der Möglichkeit automatisierter Kollisionsvermeidung kann gesellschaftlich und ethisch geboten sein, wenn damit vorhandene Potentiale der Schadensminderung genutzt werden können. Umgekehrt ist eine gesetzlich auferlegte Pflicht zur Nutzung vollautomatisierter Verkehrssysteme oder die Herbeiführung einer praktischen Unentrinnbarkeit ethisch bedenklich, wenn damit die Unterwerfung unter technische Imperative verbunden ist (Verbot der Degradierung des Subjekts zum bloßen Netzwerkelement).

7. Sach- und Tierschäden vor Personenschäden

In Gefahrensituationen, die sich bei aller technischen Vorsorge als unvermeidbar erweisen, besitzt der Schutz menschlichen Lebens in einer Rechtsgüterabwägung höchste Priorität. Die Programmierung ist deshalb im Rahmen des technisch Machbaren so anzulegen, im Konflikt Tier- oder Sachschäden in Kauf zu nehmen, wenn dadurch Personenschäden vermeidbar sind.

8. Dilemmata lassen sich nicht lösen

Echte dilemmatische Entscheidungen, wie die Entscheidung Leben gegen Leben sind von der konkreten tatsächlichen Situation unter Einschluss „unberechenbarer“ Verhaltensweisen Betroffener abhängig. Sie sind deshalb nicht eindeutig normierbar und auch nicht ethisch zweifelsfrei programmierbar. Technische Systeme müssen auf Unfallvermeidung ausgelegt werden, sind aber auf eine komplexe oder intuitive Unfallfolgenabschätzung nicht so normierbar, dass sie die Entscheidung eines sittlich urteilsfähigen, verantwortlichen Fahrzeugführers ersetzen oder vorwegnehmen könnten. Ein menschlicher Fahrer würde sich zwar rechtswidrig verhalten, wenn er im Notstand einen Menschen tötet, um einen oder mehrere andere Menschen zu retten, aber er würde nicht notwendig schuldhaft handeln. Derartige in der Rückschau angestellte und besondere Umstände würdigende Urteile des Rechts lassen sich nicht ohne weiteres in abstrakt-generelle Ex-Ante-Beurteilungen und damit auch nicht in entsprechende Programmierungen umwandeln. Es wäre gerade deshalb wünschenswert, durch eine unabhängige öffentliche Einrichtung (etwa einer Bundesstelle für Unfalluntersuchung automatisierter Verkehrssysteme oder eines Bundesamtes für Sicherheit im automatisierten und vernetzten Verkehr) Erfahrungen systematisch zu verarbeiten.

9. Alle Menschen sind gleich

Bei unausweichlichen Unfallsituationen ist jede Qualifizierung nach persönlichen Merkmalen (Alter, Geschlecht, körperliche oder geistige Konstitution) strikt untersagt. Eine Aufrechnung von Opfern ist untersagt. Eine allgemeine Programmierung auf eine Minderung der Zahl von Personenschäden kann vertretbar sein. Die an der Erzeugung von Mobilitätsrisiken Beteiligten dürfen Unbeteiligte nicht opfern.

10. Die Hersteller und Betreiber sind verantwortlich

Die dem Menschen vorbehaltene Verantwortung verschiebt sich bei automatisierten und vernetzten Fahrsystemen vom Autofahrer auf die Hersteller und Betreiber der technischen Systeme und die infrastrukturellen, politischen und rechtlichen Entscheidungsinstanzen. Gesetzliche Haftungsregelungen und ihre Konkretisierung in der gerichtlichen Entscheidungspraxis müssen diesem Übergang hinreichend Rechnung tragen.

11. Die Produkthaftung gilt

Für die Haftung für Schäden durch aktivierte automatisierte Fahrsysteme gelten die gleichen Grundsätze wie in der übrigen Produkthaftung. Daraus folgt, dass Hersteller oder Betreiber verpflichtet sind, ihre Systeme fortlaufend zu optimieren und auch bereits ausgelieferte Systeme zu beobachten und zu verbessern, wo dies technisch möglich und zumutbar ist.

12. Leitlinien entwickeln

Die Öffentlichkeit hat einen Anspruch auf eine hinreichend differenzierte Aufklärung über neue Technologien und ihren Einsatz. Zur konkreten Umsetzung der hier entwickelten Grundsätze sollten in möglichst transparenter Form Leitlinien für den Einsatz und die

Programmierung von automatisierten Fahrzeugen abgeleitet und in der Öffentlichkeit kommuniziert und von einer fachlich geeigneten, unabhängigen Stelle geprüft werden.

13. Vollständige Vernetzung ist bedenklich

Ob in Zukunft eine dem Bahn- und Luftverkehr entsprechende vollständige Vernetzung und zentrale Steuerung sämtlicher Kraftfahrzeuge im Kontext einer digitalen Verkehrsinfrastruktur möglich und sinnvoll sein wird, lässt sich heute nicht abschätzen. Eine vollständige Vernetzung und zentrale Steuerung sämtlicher Fahrzeuge im Kontext einer digitalen Verkehrsinfrastruktur ist ethisch bedenklich, wenn und soweit sie Risiken einer totalen Überwachung der Verkehrsteilnehmer und der Manipulation der Fahrzeugsteuerung nicht sicher auszuschließen vermag.

14. IT-Sicherheit ist Grundlage

Automatisiertes Fahren ist nur in dem Maße vertretbar, in dem denkbare Angriffe, insbesondere Manipulationen des IT-Systems oder auch immanente Systemschwächen nicht zu solchen Schäden führen, die das Vertrauen in den Straßenverkehr nachhaltig erschüttern.

15. Datenautonomie gibt Geschäftsmodelle vor

Erlaubte Geschäftsmodelle, die sich die durch automatisiertes und vernetztes Fahren entstehenden, für die Fahrzeugsteuerung erheblichen oder unerheblichen Daten zunutze machen, finden ihre Grenze in der Autonomie und Datenhoheit der Verkehrsteilnehmer. Fahrzeughalter oder Fahrzeugnutzer entscheiden grundsätzlich über Weitergabe und Verwendung ihrer anfallenden Fahrzeugdaten. Die Freiwilligkeit solcher Datenpreisgabe setzt das Bestehen ernsthafter Alternativen und Praktikabilität voraus. Einer normativen

Kraft des Faktischen, wie sie etwa beim Datenzugriff durch die Betreiber von Suchmaschinen oder sozialen Netzwerken vorherrscht, sollte frühzeitig entgegengewirkt werden

16. Es muss erkennbar sein, wenn ein autonomes System genutzt wird

Es muss klar unterscheidbar sein, ob ein fahrerloses System genutzt wird oder ein Fahrer mit der Möglichkeit des „Overrulings“ Verantwortung behält. Bei nicht fahrerlosen Systemen muss die Mensch/Maschine-Schnittstelle so ausgelegt werden, dass zu jedem Zeitpunkt klar geregelt und erkennbar ist, welche Zuständigkeiten auf welcher Seite liegen, insbesondere auf welcher Seite die Kontrolle liegt. Die Verteilung der Zuständigkeiten (und damit der Verantwortung) zum Beispiel im Hinblick auf Zeitpunkt und Zugriffsregelungen sollte dokumentiert und gespeichert werden. Das gilt vor allem für Übergabevorgänge zwischen Mensch und Technik. Eine internationale Standardisierung der Übergabevorgänge und der Dokumentation (Protokollierung) ist anzustreben, um angesichts der grenzüberschreitenden Verbreitung automobiler und digitaler Technologien die Kompatibilität der Protokoll- oder Dokumentationspflichten zu gewährleisten.

17. Abrupte Übergabe muss ausgeschlossen werden

Software und Technik hochautomatisierter Fahrzeuge müssen so ausgelegt werden, dass die Notwendigkeit einer abrupten Übergabe der Kontrolle an den Fahrer („Notstand“) praktisch ausgeschlossen ist. Um eine effiziente, zuverlässige und sichere Kommunikation zwischen Mensch und Maschine zu ermöglichen und Überforderung zu vermeiden, müssen sich die Systeme stärker dem Kommunikationsverhalten des Menschen anpassen und nicht umgekehrt erhöhte Anpassungsleistungen dem Menschen abverlangt werden.

18. Selbstlernende Systeme können erlaubt sein

Lernende und im Fahrzeugbetrieb selbstlernende Systeme sowie ihre Verbindung zu zentralen Szenarien-Datenbanken können ethisch erlaubt sein, wenn und soweit sie Sicherheitsgewinne erzielen. Selbstlernende Systeme dürfen nur dann eingesetzt werden, wenn sie die Sicherheitsanforderungen an fahrzeugsteuerungsrelevante Funktionen erfüllen und die hier aufgestellten Regeln nicht aushebeln. Es erscheint sinnvoll, relevante Szenarien an einen zentralen Szenarien-Katalog einer neutralen Instanz zu übergeben, um entsprechende allgemeingültige Vorgaben, einschließlich etwaiger Abnahmetests zu erstellen.

19. Im Notfall muss das Auto alleine bremsen können

In Notsituationen muss das Fahrzeug autonom, d.h. ohne menschliche Unterstützung, in einen „sicheren Zustand“ gelangen. Eine Vereinheitlichung insbesondere der Definition des sicheren Zustandes oder auch der Übergaberoutinen ist wünschenswert.

20. Digitale Bildung muss gewährleistet sein

Die sachgerechte Nutzung automatisierter Systeme sollte bereits Teil der allgemeinen digitalen Bildung sein. Der sachgerechte Umgang mit automatisierten Fahrsystemen sollte bei der Fahrausbildung in geeigneter Weise vermittelt und geprüft werden.