Dez. 2013: Ein beeindruckendes Video des japanischen Roboters SCHAFT (die Firma wurde vor kurzem von Google gekauft) im DARPA Wettbewerb Ende 2013. Dabei ging es genau um Probleme, für die in Fukushima die Roboter gefehlt haben (siehe "Der große Roboter-Bluff" etwas weiter unten). Dieser Roboter kann Treppen steigen, Hindernisse wegräumen, Türen öffnen, Ventile öffnen und schließen, Schläuche anschließen und ähnliche Rettungsaufgaben.
Juli 2013: Das Atlas-Program in den USA versucht mehr Bewegung in die Entwicklung eines humanoiden Roboters zu bringen. Dafür wurde (finanziert durch das US-Verteidigungsministerium) eine sog. Test-Platform geschaffen, d.h. eine Konstruktion mit 2 Armen und 2 Beinen in Menschengröße die eine Beweglichkeit hat, die der menschlichen entspricht. Jetzt sind mehrere Universitäten aufgefordert, für diese Konstruktion entsprechende Software zu entwickeln. Der Artikel verlinkt auf recht beeindruckende Videos.
Dez. 2012: Der Autor des Artikels in der Futurezone "Der große Roboter-Bluff" bemerkt (wie auch andere vor ihm), dass sehr auffällig ist, dass zwar seit 10 Jahren der Einsatz von Robotern in Katastrophensituationen beworben wird, aber in Fukushima dann keine zur Verfügung standen und die Menschen ihr Leben und ihre Gesundheit weiterhin riskieren mussten.
Mai 2012: Robots go to war
Im Economist (Robots go to war) werden für 2012 wilde Konstruktionen beschrieben:
ein kleiner Aufklärungsroboter der 9 Meter hoch springen kann, z.B. auf ein (flaches, südländisches) Hausdach. 2 andere Konstruktionen sind zum Werfen gedacht, eine davon sogar durch Glasfenster hindurch. Wiederum ein anderer ist für das Wasser konstruiert, er kann mittels Magneträdern an Schiffswänden hochklettern und so aufs Deck gelangen.
Dagegen sind selbstfahrende Fahrzeuge und Packesel die bis zu 180 kg Gepäck tragen schon fast alte Hüte. Auch bei winzigen Aufklärungsflugzeugen gibt es große Fortschritte, z.B. kleine Libellen mit eingebauter Kamera.
Der Artikel im Economist weist aber auch auf potentielle Probleme hin, wie z.B. dass Regierungen schneller bereit zu Angriffen sind wenn sie keine eigenen Soldaten riskieren müssen. Ein Beispiel dafür ist der amerikanische Einsatz von tödlichen Drohnen in bisher 15 Ländern der Welt.
2021 tut sich (leider) viel auf dem Gebiet der Killer-Robots: Australische Kamikaze-Drohnen greifen im Schwarm an. Das Gerät heißt Jaeger-C und ist einem Kleinstpanzer aus dem Zweiten Weltkrieg nachempfunden. Es können verschiedene Waffensysteme, gegen Panzer oder Menschen, montiert werden.
Wenn wir über Roboter reden, so meinen wir meist androide Roboter, d.h. Roboter, die wie Menschen aussehen. Das muss ja durchaus nicht so sein, wie das Heer der Industrieroboter zeigt, ohne die heute keine Automobilproduktion stattfindet. Roboter in Menschenform haben Vorteile (sie kommen überall da gut zurecht, wo sie eine Umgebung haben, die für Menschen entwickelt wurde), aber sie werfen auch viele Probleme auf. Da wäre z.B. die Schwierigkeit, sich auf 2 Beinen zu halten. Sie werfen aber auch psychologische Probleme für ihre Umgebung auf, mehr dazu weiter unten.
Es ist interessant, sich die Geschichte der Idee und des Begriffs Roboter anzusehen. Ein guter Artikel dazu hier von Roger Clarke. Er erklärt, dass die Idee eigentlich schon sehr alt ist. Sie hat zwei getrennte Ursprünge- Humanoide, das sind nicht-lebende Objekte die wie Menschen aussehen und Automaten. Bereits in der Ilias von Homer gab es Humanoide in der Geschichte der Pandora. Automaten (d.h. Maschinen, die selbstständig etwas ausführen) haben die Menschen schon immer fasziniert und waren schon bei den Griechen bekannt. Wichtig bei ihrer Geschichte sind die Entwicklungen rund um Uhrwerke, die hauptsächlich zur Unterhaltungszwecken eingesetzt wurden.
Dunkle Aspekte wurden 1818 in Mary Shelley's Frankenstein zum Thema. Es geht um die Erschaffung eines menschenähnlichen Lebewesens. Damit wurde eine ganz literarische Tradition begründet. Der Begriff Roboter kommt aus dem Tschechischen und bedeutet jemand, der Zwangsarbeit ausführen muss. Hintergrund ist ein Theaterstück "R.U.R" von Karel Capek aus dem Jahr 1918, in dem die Firma R.U.R. (Rossums's Universal Robots, auf biologischen Weg Zwangsarbeiter schafft, die aber dann rebellieren und die Menschheit vernichten. Das ist natürlich genau das Thema, das dann bei Matrix wieder die Hauptrolle spielt. Ebenfalls stark negativ besetzt sind die Kunstwesen wie Frankenstein oder der Golem (aus der jüdischen Folklore, ein künstlich erzeugter Mensch, durch kabbalistische Rituale zum Leben erweckt).
Der Science Fiction Schriftsteller Isaac Asimov begann dann 1940 den Begriff Robot in einer positiveren Zusammenhang mit Maschinen zu sehen. Er sagte: "meine Roboter waren Maschinen, entworfen von Ingenieuren und nicht Pseudo-Menschen, geschaffen von Gotteslästerern". Er entwarf zusammen mit dem Science Fiction Schriftsteller John W. Campbell die 3 Roboter-Gesetze, die sicherstellen sollen, dass die Maschinen keinen Schaden anrichten können, mehr dazu weiter unten.
Zum Anlass des Films "I Robot" gibt es einige gute Artikel in Wired zum Thema Roboter und Isaac Asimov (mit einer Reminiszenz an Roboter der Filmgeschichte, u.a. zurück bis zur Maria in Metropolis) und dem 2004 Stand der Robotertechnologie
Hier ein Link zur Website Androidworld (englisch).
Und hier ein Link zu einer eher spielerisch anmutenden (aber doch irgendwie brutalen) Disziplin Kämpfe zwischen Robotern (Stichwort: BattleBots). Diese Roboter müssen nicht zweibeinig sein, sie kommen in allen Formen und Arten und haben die Zerstörung des Gegners zum Ziel.
Eine für meinen Geschmack unschöne Entwicklung sind die Kampfroboter, die mit Maschinengewehren ausgerüstet sind und derzeit noch nicht autonom eingesetzt werden, sondern nur über eine Fernsteuerung. Aber der Artikel im NewScientist 2006 Robot infantry get ready for the battlefield. Er zitiert die Entwickler, die das nur als Übergangsschritt sehen.
"Pentagon's Office of Naval Research (ONR) wants to engineer mobile robots to "understand cooperative and uncooperative" people, and inform their operator if they seem a threat. It hopes to do this using artificial intelligence software fed with data from a "remote physiological stress monitoring" system, and by using speech, face and gesture recognition. From this it would draw inferences about the threat that person poses."
2007:
In Irak sind mehr und mehr Roboter in den Einsätzen beteiligt. Die Washington Post nimmt dies zum Anlass, um über die starke emotionale Bindung zwischen den Soldaten und ihren Robot-Maschinen zu berichten. Weiter unten auch mehr zum emotionalen Verhältnis zu Robotern.
Mai 2008:
Das US Pentagon schreibt in einer Studie, dass bereits 2015 ein Drittel der Bodenfahrzeuge unbemannt sein sollen und ein Drittel der Angriffsflugzeuge bereits 2010. Hier der Artikel und Fotobericht über Robots of War. Ein beeindruckendes Beispiel für den Stand der Robottechnologien bietet dieses Video eines Vierfüßler-Robots.
Dez. 2010:
Ein ziemlich fundierter Artikel in der NY Times diskutiert den immer stärker werdenden Einsatz von Robotern im Iran und Afghanistan: War Machines: Recruiting Robots for Combat. Der Einsatz betrifft derzeit hauptsächlich Geräte die nur halb-autonom sind, d.h. sie werden von einem Soldaten gesteuert der über eine Video-Verbindung sehen kann, was der Roboter "sieht". Der Trend geht jedoch immer mehr auch zu autonomen Systemen und die werfen eine ganze Reihe von juristischen und ethischen Problemen auf, z.B. wenn die Entscheidung Zivilist oder Feind einem Computer überlassen wird.
creepyrobots.tumblr.com ist eine Website mit vielen Filmbeispielen zu Robotern im Einsatz, oft durchaus beängstigende Filme.
April 2011:
Wirklich toll anzuschauen: Faszinierende Videos von Robot-Hubschraubern (Quadrocopter mit 4 Rotoren) die an der ETH Zürich entwickelt werden, extrem beweglich sind und auch kooperieren können. Sie können sogar Bälle jonglieren.
Aug. 2015:
Ein Forscher fragt, ob wir vor einer kambrischen Explosion für Roboter stehen? Die kambrische Explosion der Artenvielfalt beschreibt einen geologisch kurzen Zeitraum von 5 bis 10 Millionen Jahren zu Beginn des Kambriums in dem die grundlegenden Körperbaupläne vieler mehrzelliger Tierstämme entstanden. Die Gründe dafür sind nicht ganz klar, aber irgendwie hatte die Evolution in den langen Zeiten davor die Grundlagen gelegt, so dass die eigentliche Artenvielfalt sehr schnell entstehen konnte. Der Forscher geht davon aus, dass auf dem Gebiet der Robotik ein ähnliches Stadium erreicht ist. Die Faktoren die er aufzählt sind: Rechenleistung, Fortschritte bei computer-unterstütztem Design und Fertigung, Batterientechnologien, Energie-Effizienz, drahtlose und drahtgebundene Kommunikation, Internet-Bandbreite, Sensoren und Manipulatoren, Datenspeicherkapazitäten.
Androide oder nicht-androide Roboter - wie Verhalten sich die Menschen?
Humanoide (d.h. androide, menschenähnliche) Roboter, die wirklich auf 2 Beinen laufen und sich visuell in der normalen Umwelt orientieren können sind eine ganz andere Herausforderung. Einmal technisch, zum anderen auch von der Akzeptanz, über die viele Science Fiction Bücher geschrieben wurden.
Dass humanoide Robotor am leichtesten über das Kinderzimmer in unser Leben akzeptiert werden würden, hat Sony schon vor einigen Jahren erkannt und sich auf den Hund Aibo und jetzt den Spielzeugroboter Qrio (sehr schön der Film als Dirigent)konzentriert. Schon bei Aibo hat mich die Perfektion der Bewegungen begeisert und Qrio ist noch ein Stück besser. Durch das Rührende, das die Bewegungen des Hundes haben und durch die "süße" Größe von Qrio werden die Erinnerungen an Kunstwesen wie Frankenstein oder den Golem gar nicht
erst geweckt. Auch sehenswert ist der Asimo von Honda.
Den nächsten Schritt zum akzeptierten Roboter im Haushalt geht dann wohl vom Kinderzimmer in die Küche, bzw. zu Hausarbeiten. Schon seit einigen Jahren gibt es eine Reihe von Staubsaugrobotern
Die humanoide Form wird aber für Arbeiten in der
Küche notwendig sein, da Kücheneinrichtungen nun mal für humanoide Formen optimiert sind.
Ein Spielzeugroboter (Ende 2004) ist der Robosapien. Das besondere daran ist nicht, dass er viel kann (er kann erheblich weniger als Aibo und Qrio), aber er kostet auch nur 99 Euro (statt 1900 für den Aibo). Der Grund dafür und die Geschichte des Spielzeugs wird ausführlich in einem NY Times Artikel erklärt (kostenpflichtig). Der Roboter wurde nämlich von einem amerikanischen Ingenieur Mark Tilden nach einem viel einfacheren Konzept entwickelt als die anderen Spielzeug-Robots: Analog-Technik statt Digital-Technik. Robosapien hat z.B. nur 7 Motoren und nur 12 KB programmierbaren Speicher. Das bedeutet, dass er nicht wirklich frei programmierbar ist, sondern nur fest eingebaute Bewegungen kennt (14 offizielle und weitere 28, die
nicht im Manual dokumentiert sind), nicht sehen kann, nicht sprechen kann (nur Geräusche). D.h. im Gegensatz zu den anderen erwähnten Robots ist der Robosapien wirklich ein Spielzeug und eigentlich keine Robotplatform zur freien Programmierung. Allerdings gibt es natürlich Leute, die trotzdem Erweiterungen (Hacks) einbauen können.
Mark Tilden betont jetzt, dass der Robosapien gar nicht so schlecht für
Erweiterungen geeignet ist: "A single screwdriver takes the RS apart and inside everything is labeled, color-coded and socketed for convenience". Fotos vom Robosapien im Fußballturnier im Vortrag von Verena Hafner.
Außer bei den Staubsaugern gibt es kommerzielle Roboter im Haushalt auch in der Form von Rasenmähern. Dazu gibt es die nette Anekdote, wo sich der Rasenmäher nach vielen Jahren erfolgreichen Mähens dann eines Tages in den Gartenteich gestürzt hat, den er bis dahin immer erfolgreich vermieden hatte. Dies war von den Besitzern als Selbstmord interpretiert worden, evt. hatte sich doch eine Psyche eingestellt, der die langjährige Monotonie zu viel wurde. ;-)
Interessante Infos zu humanoiden Robots (einschließlich eines APIs für Robotsapien) gibt es bei der Uni Freiburg.
Noch ein überraschender Zugang zur Welt der Roboter: Lego. Mit ihrer Serie Mindstorms bieten sie Bausätze an, zu denen es mittlerweile über 40 Bücher und eine ganze Reihe von Programmiersprachen und Softwarepakete, nicht nur von Lego selbst, gibt.
Auf dem Gebiet der humanoiden Roboter tut sich derzeit (Ende 2004, Jan 2005) einiges. Die BBC berichtet im Februar 2005 von 3 Entwicklungen bez. effektivem Gehen, nämlich "passive dynamics". Dabei geht es darum, dass der Roboter, so wie die Menschen, den Schwung des einen Schritts für den nächsten Schritt ausnutzt. Eine Effektivitätserhöhung von Faktor 10 beim Energieverbrauch war damit möglich.
Derzeit (März 2005) tut sich sehr viel bei den Robotern. Hitachi hat den 130 cm großen Emiew vorgestellt, der auf 2 Rädern balanciert und dadurch bis zu 6 km/h schnell sein kann. Eine durchaus intelligente Lösung für das Problem der Fortbewegung. Geplant ist der Roboter wohl als Bürobote, er hat einen Wortschatz von 100 Worten (die er auch versteht), weicht Hindernissen aus und kann Händeschütteln. Ein Leserbriefschreiber im Wiener Standard bemerkt dazu, dass ein Roboter der 100 Worte kann und Händeschütteln bereits ausreichend qualifiziert wäre, dass er auch als Politiker eingesetzt werden kann.
Das unheimliche Tal (Uncanny Valey)
Von einem "unheimlichen Tal" spricht man, wenn es um die Akzeptanz von Robotern oder Avatare durch Menschen geht. Dabei zeigt sich ein eigenartiger Effekt: Auf dem Web von einem sehr künstlich aussehenden Roboter oder Avatar (z.B. C-3PO aus Starwars) hin zu einem immer engeren Antropomorphismus (Menschenähnlichkeit) gibt es ein Tal, bei dem die schon recht menschenähnlichen Objekte unheimlich auf die Betrachter wirken. Ein sehr viel tiefer gehender Deutungsversuch findet sich auf der engl. Wikipedia zum Uncanny Valley.
Genau dieses Konzept der Unheimlichkeit wurde übrigens bereits 1906 von dem Deutschen Psychologen Ernst Jentsch entwickelt: "Zur Psychologie des Unheimlichen" und dann erst 1070 von dem japanischen Roboter-Wissenschaftler Masahiro Mori weiterentwickelt. Ein Puppenhersteller ist 1972 in diese Falle gelaufen, und zwar die Blythe Puppe. Sie wurde 1972 durch ihre großen beweglichen Augen zum Alptraum vieler Kinder und zu einem kommerziellen Flop. (Hier der englische Wikipedia Eintrag mit einem Bild).
In ähnliche Effekte kommt 2012 die Werbe-Industrie. Sie entdecken, dass über Behavioural Targetting so viele Informationen über Konsumenten gewonnen werden können, dass es zu dem gleichen Gruseleffekt kommt.
Jan. 2013:
Ein Artikel im New Scientist (leider nur für Abonennten) beschreibt neue Forschungen zum Uncanny Valley mit der Zusammenfassung:
. . . almost lifelike robots make us feel uneasy because we see in them the shadow of a human mind, but one that we know we can never comprehend. In other words, it's not just about our failure to sympathise with uncanny robots and computer-generated characters; it's also about our perception that they can empathise with us.
Das Gegenteil des Uncanny Valey: Gefühle für Roboter
Mai 2013:
Ein interessanter Artikel findet sich auf der Futurezone. Es geht um Rechte für Roboter: Brauchen Roboter Rechte?. Es geht dabei (und den Forschungen über die berichtet wird) eigentlich nicht so sehr um die Rechte von Robotern, sondern um die Gefühle die Menschen sog. Social Robots gegenüber empfinden. Mit Social Robots sind Spielzeuge wie etwa der Dinosaurier-Roboter Pleo, der auf Bewegungen und Geräusche reagiert und sich füttern lässt und kreischt, wenn man ihm am Schwanz hochhebt. Die Forscherin und andere an der Uni Duisburg-Essen haben untersucht wie sich die meisten Menschen gegenüber solchen stark antropomorpen Spielzeugen verhalten (d.h. denen die Menschen menschliche Eigenschaften wie Gefühle zusprechen, wie dies bei Tieren sehr häufig der Fall ist). Hier die Studie: Extending Legal Rights to Social Robots.
Was diese Forschungen aufzeigen sind einseitige emotionale Bindungen, die aber zum Teil recht stark sein können (einseitig, weil die derzeitigen Roboter ja noch weit weit weg von Gefühlen sind, sie können maximal über ihre Algorithmen ein Verhalten zeigen, in das die Menschen dann Gefühle reininterpretieren, daher die Antropromorphismus). Solche Spielzeuge sind zahlreich auf dem Markt und werden zum Teil sogar als therapeutische Werkzeuge eingesetzt. In diesen Tests wurden Personen aufgefordert, diese Maschinen zu quälen oder zu zerstören. Im Gegensatz zu anderen Maschinen wie Toastern erzeugt diese Aufforderung, bzw. der Anblick eines solchen Verhaltens bei den meisten Menschen starken Widerstand. Entsprechende Youtube-Videos erzeugten stark polarisierende Kommentare.
Die Studie berichtet auch vom Einsatz von Robotern beim US-Militär der angeblich abgebrochen wurde weil die beteiligten Soldaten ihn als "inhuman" empfanden. Der Punkt der Forscherin ist, dass es offenbar bei der Mehrheit der Bevölkerung eine Überzeugung gibt, dass "es sich nicht gehört" wenn Roboter gefoltert werden die starke Gefühle bei anderen Menschen auslösen. Sie fragt, ob nicht analog zum Tierschutz auch ein Verbot des Quälens von Social Robots sinnvoll sei. Sie bringt die Analogie zum Tierschutz, weil auch dabei der Schutzgrad unterschiedlicher Tiere hauptsächlich davon abhängt, wie viele Gefühle die Menschen einer Tierart gegenüber aufbringen (wie "süß" die Tiere sind).
Ein weiterer Aspekt ist, dass aufgezeigt werden kann, dass Tierquälerei sehr oft mit häuslicher Gewalt korreliert ist und sie vermutet, dass auch ein Zusammenhang zum "Quälen" von Spielzeug besteht. Sie verweist darauf, dass Kinder traumatisiert werden könnten wenn sie sehen, wie andere diese "lieben" Spielzeuge terrorisieren.
Sept. 2013:
Interessanter Artikel in der NYT: How Robots Can Trick You Into Loving Them. In dem Artikel wird beschrieben, wie kleine Änderungen im Verhalten von Robotern dazu führt, dass Menschen sie anders einschätzen. Dabei werden sehr alte Mechanismen ausgenutzt, die uns von der Evolution mitgegeben wurden und die Kinder bereits im Alter von 1 Jahr erlernen.
Die Nutzung von Robotern um Beeinflussungen durch andere Menschen zu vermeiden
Feb. 2013: New Scientist berichtet über einen umgekehrten Effekt: Wenn Zeugen durch Menschen befragt werden, so tritt durch leichte Variationen in der Fragestellung eine deutliche Beeinflussung der Antworten ein. In Experimenten konnte gezeigt werden, dass Zeugen, die einen Film beschreiben sollten, durch entsprechende Fragen Beobachtungen berichteten, die gar nicht im Film waren. Wenn aber wörtlich die gleichen Fragen durch einen Roboter gestellt wurden, so trat dieser Beeinflussungseffekt nicht auf, die Menschen waren immun gegen die Suggestionen.
Glaubwürdige Roboter
Aus dem Gebiet der Schauspielkunst: Auf der ARS ELECTRONICA 2011 treten Robot-Schauspieler zusammen mit menschlichen Schauspielern auf.
Mai 2011:
In einem interessanten Artikel über intelligente Roboter in der futurezone findet sich eine Theorie warum unterschiedliche Kulturen unterschiedliche Zugänge zu Robot-Technologien haben:
'Japan und der asiatische Raum waren immer schon vom sozialen Aspekt fasziniert. Das lässt sich allein daran ablesen, dass beinahe alle menschenähnlichen Prototypen der vergangenen Jahre von dort stammen. Der Zugang zur Technlogie ist kulturell und spirituell bedingt ein völlig anderer als in Europa oder den USA', erklärt Kirchner. Die unbelebte Natur, aber auch Gegenstände würden aus der Tradition heraus eine Daseins- und Eigenberechtigung genießen. Ein Roboter werde folglich auch als mehr empfunden als die Summe seiner Einzelteile, so Kirchner.
Während also die Frage, ob ein menschenähnlich gestalteter Roboter in der Krankenpflege eingesetzt werden kann, in der japanischen Gesellschaft klar mit einem Ja beantwortet werde, seien die Europäer diesbezüglich viel skeptischer. 'Aus europäischer Sicht verfügt eine Maschine wie alle anderen Gegenstände über keinen Geist und kein Ich im übertragenen Sinn. Es handelt sich um ein Ding. Wird es mutwillig zerstört, liegt maximal eine Sachbeschädigung vor', erklärt Kirchner.
In der Roboterforschung und der Industrie macht sich dieser Zugang insofern bemerkbar, dass europäische Forschung vor allem mit funktionell ausgelegten Robotern punktet, sei es nun bei Robotermissionen auf dem Mars, in der Tiefsee oder in zerstörten Kraftwerksanlagen. 'Unser Zugang ist, dass wir Roboter dorthin schicken, wo es uns zu schmutzig oder zu gefährlich ist. In den USA ist die Herangehensweise sehr ähnlich. Dort gibt es vielleicht noch weniger Skrupel, Roboter auch zu militärischen Zwecken einzusetzen', sagt Kirchner.
Probleme der Ethik für Roboter und künstliche Intelligenzen
Jan. 2014:
Als ich die vorhergenden Teile dieses Artikel geschrieben hatte (ca. 2004) war das Thema Roboter noch sehr sehr abstrakt. Mittlerweile haben wir erste selbstfahrende Autos auf unseren Straßen. Und wie Robert Trappl vom Österreichischen Forschungsinstitut für Artificial Intelligence (OFAI) anreißt können sich für diese Steuerung sehr wohl ethische Fragen ergeben (auch wenn die aktuellen Versionen vermutlich nur mit allen Mitteln versuchen werden, den Unfall zu verhindern ohne komplexe ethische Betrachtungen anzustellen).
Autonome Fahrzeuge - die ersten sozialen Robots
Während speziell Science Fition Fans immer noch auf 2-beinige intelligente Roboter warten, die uns im täglichen Leben begegnen werden, tauchen die ersten 4-rädrigen Roboter in der Form der (mehr oder weniger) "autonomen Fahrzeuge" auf unseren Straßen auf. In Europa sind sie derzeit noch halb-autonom und übernehmen nur auf Autobahnen, aber das ist nur eine Frage der Zeit. Und diese Roboter sind sehr wohl sozial, will sagen, sie kommunizieren mit den anderen Verkehrsteilnehmern durch ihr Verhalten und ihre Interaktionen auf der Straße.
Eine sehr schöne Darstellung, welchen "Überblick" über seine Umgebung ein autonomes Google Fahrzeug in komplexen Situationen halten kann, zeigt das Google Video hier. Kein Mensch kann so viele Fahrzeuge gleichzeitig im Blick und Bewusstsein haben. Hier noch ein Video von Tesla, leider sieht man die Sensorenansicht nur klein am Rande, aber wenn man auf Zeitlupe stellt, so wird doch deutlich, was die Sensoren sehen und was nicht. Hier ein Artikel der die technischen Hintergründe von autonomen Fahrzeugen erklärt.
Das Trolley Problem als Denkmodell für Probleme der autonomen Fahrzeuge
Als konzentrierte Einführung in das grundsätzliche Thema Ethik ist einer der Podcasts von Radiolab in NY sehr zu empfehlen. Der Podcast zu Morality stellt die Verbindung zwischen jahrtausende-alter Philosophie und den modernen Forschungen zu Ethik her. Die Verbindung zu den Überlegungen zu autonomen Fahrzeugen liegt im sog. Trolley Problem".
Das Trolley Problem ist ein Gedankenexperiment, bei der die Testteilnehmer sich eine Situation vorstellen sollen, bei der sie durch den Tod einer Person das Leben mehrer anderer retten können (Details siehe voriger Link zur Wikipedia). Dieses Experiment wird seit 1951 in allen Kulturkreisen durchgeführt und bringt zumeist ein Ergebnis, bei dem die Testpersonen sich zwischen 40% und 60% für die eine oder andere Lösung entscheiden. In 2016 wurde im Fernsehen der Film "Terror" gezeigt, eine fiktive Verhandlung nachdem ein Militärpilot 70.000 Menschen in einem Stadion rettet, indem er ein entführtes Flugzeug mit 164 Passagieren an Bord abschießt.
In der deutschsprachigen Wikipedia und im Zusammenhang mit der fiktiven Verhandlung gab es auch einige Veröffentlichungen zur juristischen Problematik, speziell dadurch, dass der deutsche Bundestag ein Gesetz beschlossen hatte, das den Abschuss erlauben würde, das Bundesverfassungsgericht das Gesetz aber wieder aufgehoben hat. Hier jetzt
Ich bin juristischer Laie und beziehe mich hier hauptsächlich auf das Interview mit dem Rechtsphilosophen Gerhard Luf. Ich verstehe ihn folgendermaßen: Luv unterscheidet zwischen Rechtfertigungs- und Entschuldigungsgründen. Was die Rechtfertigungsgründe betrifft so hat das deutsche Bundesverfassungsgericht ein klares Verbot ausgesprochen, weil man nach der deutschen Verfassung nicht das Lebensrecht von wenigen gegen das Lebensrecht von mehreren aufrechnen kann.
Bei den Entschuldigungsgründen sieht es leicht anders aus. Luv sagt: "Der Pilot ist in der tragischen Situation, irgendetwas tun zu müssen. Das ist eine katastrophale Konstellation. Die Frage ist dann, ob Gründe vorliegen und man sagen kann, dass er entschuldigt ist. Dann tut sich die Palette auf, und man sagt: Okay, entweder überhaupt Freispruch oder etwa Schuldspruch bei extremen Milderungsgründen."
Auch der Wikipediaeintrag zum Trolley-Problem behandelt juristische Themen. Dabei wird zusätzlich zur Unterscheidung zwischen Rechtfertigung und Entschuldigung noch die Unterscheidung zwischen Tod durch Tun oder durch Unterlassen einbezogen.
Nun zu den autonomen Fahrzeugen:
Autonome Autos werden nach meiner Einschätzung in absehbarer Zeit sicherer fahren als Menschen. Zumindest sollte dies bei gutem Wetter und Tageslicht, d.h. kein Schnee der die Markierungen verbirgt oder Regen in der Nacht mit den unangenehmen Effekten auf der Fahrbahn, möglich sein, siehe die oben verlinkten Videos die die Sensorenansicht zeigen. Anderseits listet der folgende Artikel 5 Aufgaben, die ein autonomes Fahrzeug schlecht lösen kann.
Aber die autonomen Fahrzeugen werden wohl auch darum sicherer sein, weil anscheinend derzeitige Fahrer leider schlechter werden, weil mehr und mehr von ihren Smartphones abgelenkt werden - Der ADAC schätzt, dass jeder zehnte Unfall, bei dem ein Mensch zu Schaden kommt, durch Ablenkung ausgelöst wird - ähnliche Trends mit vielen Toten gibt es in den USA), aber . . .
Die Zahl der Unfalltoten wird sinken, aber ziemlich sicher werden ANDERE Personen sterben als früher
Frage: rechtfertigt die Reduktion von z.B. 20 000 Toten auf 10 000 Tote, dass dann andere Menschen sterben müssen?
Frage: Ändert sich die Antwort, wenn die „neuen“ Opfer aus einer anderen Kategorie sind, z.B. mehr Schulkinder, oder mehr Radfahrer, oder . . . ? (vergleiche hierzu: 'Licht am Tage' hatte die Zahl der Toten Autofahrer auf Kosten der Toten Fußgänger reduziert)
Der Algorithmus im Auto muss im Zweifelsfall entscheiden, auf welche Weise ein Unfall vermieden werden soll.
Szenario 1: das selbstfahrende Auto erkennt, dass ein vollbesetzter Schulbus auf das Auto zukommt, links ist eine hohe Wand, rechts ein Abgrund - wie soll der Algorithmus entscheiden?
Hier eines von vielen Szenarios von der MIT Website: um es noch etwas dramatischer zu machen sitzt in dem Fahrzeug bei dem die Bremse ausfällt eine schwangere Frau.
Szenario 2: das selbstfahrende Auto erkennt, dass ein Wagen mit Teenagern einen Frontalunfall provoziert, weil die Teenager wissen, dass das Auto auf jeden Fall ausweichen MUSS, selbst wenn dabei möglicherweise das Leben des Fahrers gefährdet wird
Frage: Falls der Algorithmus utilitaristisch eingestellt ist, sollte es eine Option für den Fahrer sein, ob er bereit ist zu sterben, wenn er dadurch eine größere Anzahl anderer (z.B. Kinder) retten kann?
Szenario 3: bei dem selbstfahrenden Auto fällt kurz vor dem Zebrastreifen die Bremse aus (wie ich höre, fällt die Elektronik der modernen Autos durchaus immer mal fast komplett aus :-( ). Es gibt in dem gezeigten Szenatio die Möglichkeit, den Wagen gegen ein Hindernis zu setzen, oder die Fußgänger zu überfahren. Wie soll der Algorithmus entscheiden. Rechts eine Illustration von der MIT "Moralmachine"
Der Manager für Fahrerassistenzsysteme von Mercedes hat 2016 (ohne Bezug auf ein konkretes Szenario) öffentlich geäußert, dass das Leben der Insassen vor dem von Fußgängern Priorität habe - wie ich gehört habe, hat dies später die Presseabteilung von Mercedes revidiert.
Alle diese Fragestellungen (und noch viele mehr) werden in meiner weiter oben verlinkten 3-stündigen Lerneinheit zu "Ethik für Menschen und Roboter" (und in Kurzform auch auf Youtube) diskutiert.
Die kurze Zusammenfassung der Ergebnisse: Bei der abstrakten Fragestellung wie solche Fahrzeuge programmiert werden sollte, ist die Mehrheit der Testteilnehmer dafür, dass solche Fahrzeuge wenn sie entscheiden müssen entweder einen oder mehrere Personen zu töten (oder tödlich zu gefährden), dass sich dann das Fahrzeug im Sinne des Utilitarismus verhalten sollte und die geringere Zahl von Toten wählen soll, auch wenn dabei der Fahrer zu Tode kommt. Im Fall von den zehn Fußgängern und einem Autofahrer entschieden sich 76 Prozent dafür, den Fahrer zu opfern.
Anders sah das Ergebnis der Umfrage aber aus, wenn es darum ging, dass die Testteilnehmer selbst ein autonomes Auto nutzen. Nun war die Mehrheit zwar dafür, dass die Fahreuge der anderen Verkehrsteilnehmer im Sinne des Utilitarismus handeln sollten, sie selbst wollten aber ein Fahrzeug das als erste Priorität den Fahrer und die Insassen schützt. D.h. da geht sich was nicht aus.
Diskutiert wurde auch die Option, dass der Fahrer das jeweils beim Start einstellen kann, wie das Auto sich verhalten soll (z.B. wenn seine Kinder im Wagen sind, soll das Fahrzeug auf jeden Fall versuchen, die Insassen zu retten, auch auf die Gefahr hin, dass eine größere Zahl anderer Personen zu Schaden kommt). Hier der Link zu einer Umfrage aus dem Jahr 2014 zu der Frage, wie so ein Fahrzeug programmiert sein sollte: If death by autonomous car is unavoidable, who should die? Reader poll results.
Eine Lösung der Problematik könnte sein, dass Regierungen die utilitaristische Programmierung vorschreiben könnten, aber auch hierfür gab es keine Mehrheit in den Umfragen. Anderseits kann es ja nicht sein, dass die Autohersteller unterschiedliche Einstellungen haben und einzelne Hersteller damit werben, dass dieses Fahrzeug bei Gefährdung der Insassen notfalls unbeteiligte gefährdet. Eine Regelung muss ja wohl von den Gesetzgebern vorgegeben werden. Für den Fall dass Regierungen utilitarisches Verhalten des Fahrzeugs vorschreiben, so sank das Interesse an autonomen Fahrzeugen deutlich. Solch ein Gesetz (bzw. hoffenltich eine einheitliche Regelung zumindest auf EU-, besser aus UNO-Ebene) würde vermutlich zu ganz neuen Job-Opportunities führen, siehe etwas weiter unten zu den "neuen Auto-Tunern".
Noch eine Idee die ein Freund von mir vorgeschlagen hat: Warum sollte nicht weiterhin das Schicksal eine Rolle bei den Entscheidungen spielen (so wie derzeit, wo nämlich die Fahrer gar nicht die Zeit haben, komplexe ethische Betrachtungen anzustellen). Die Rolle des Schicksals bei in Computerprogrammen typischerweise von einem Zufallszahlengenerator übernommen, d.h. der Algorithmus wäre nicht 100% determiniert.
Auf einer anderen Seite ich habe die rechtliche Lage in Deutschland in 2023 dargestellt: Stichwort Haftung bei Unfällen und Schäden
Die gesellschaftlichen Auswirkungen von autonomen und/oder vernetzten Fahrzeugen
Die Texte zu den neuen Auto-Tuner und den gesellschaftlichen Auswirkungen von autonomen und/oder vernetzten Fahrzeugen findet sich jetzt auf Autonome Fahrzeuge und Effekte höherer Ordnung.
Deep Learning Algorithmen sind nicht nachvollziehbar, nicht ohne Vorurteile und nicht objektiv
Im Gegensatz zu herkömlicher Programmierung, bei der der Progammierer jeden Arbeitsschritt im Detail vorgibt, "programmiert" sich das AI-System quasi selbst, indem es versucht, aus dem Lernmaterial das ihm vorgesetzt wird, Gesetzmäßigkeiten zu erkennen. Immer öfter zeigen jetzt Forscher auf, wie leicht das Scheitern kann. Der Artikel Researchers Find a Malicious Way to Meddle with Autonomous Cars zeigt, dass ein paar harmlose aussehende rechteckige Aufkleber auf Stop-Schildern für den Bilderkennungsalgorithmus diese zu Geschwindigkeitsbegrenzungen machen. Das Problem liegt daran, dass der Algorithmus selbst "entscheidet", wonach er die Schilder entscheidet. Ähnliche Effekte wurden mit Gesichtserkennung gezeigt, die z.B. durch geeignete Brillen völlig aus der Kurve getragen werden. Bei der Gesichtserkennung mag das ja noch harmlos sein, aber wenn autonome Fahrzeuge auf diese Weise leicht manipuliert werden können, so kann das lebensbedrohlich sein (siehe auch der Kasten rechts zu AI und nationaler Sicherheit).
Die Geschichte der künstlichen Intelligenz
Der Artikel The road to artificial intelligence: A case of data over theory stellt die Geschichte von AI dar, von der legendären Konferenz in 1956 im Dartmouth College in Hanover, New Hampshire mit Marvin Minsky, Claude Shannon und 2 zukünftigen Nobel-Preisträgern, Herbert Simon und John Nash bis zum Sieg beim Go-Spiel.
Kern des Artikels ist, dass der damals konzipierte Weg darin lag, ein Problem lösen zu lassen indem die menschlichen (logischen) Denkprozesse analysiert und verstanden werden. Dann sollte der Computer mit Hilfe dieser durch Menschen erstellten Regeln (abgelegt in Expertensystemen) automatisiert diese Regeln anwenden. Dieses Konzept wurde aber (auch auf Grund der heute verfügbaren Datenmengen und Rechnerkapazitäten) mehr oder weniger vollständig durch die neuen Deep Learning Algorithmen abgelöst.
Deep Learning basiert auf der automatisierten Auswertung großer Datenmengen, z.B. mittels neuronaler Netze. Das "Handeln" und die Entscheidungen der künstlichen Intelligenz basiert nicht auf (von Menschen vorgegebenen) Regeln, sie beruhen rein auf statistischen Aussagen und werden dadurch undurchschaubar und können, anders als die traditionellen Vorgehensweisen von Artificial Intelligence durch Regeln die menschliche Denkprozesse in Expertensystemen abbilden, nicht mehr nachvollzogen werden.
Sehr gut zur Geschichte der künstlichen Intelligenz und ihrer Probleme ist der Vortrag von Professor Rodney Brookes, MIT - Steps Towards Super Intelligence. Er weiß, wovon er redet, er war bei vielen Fortschritten im AI Bereich beteiligt, aber er sagt, dass wir noch nicht wissen, wie wir "General AI" überhaupt bauen könnten und ob das denn sinnvoll sei. Wem die (sehr sehenswerten) 60 Min. zu lang sind hier eine Textzusammenfassung auf deutsch.
Künstliche Intelligenz beim Spielen
Die fehlende Nachvollziehbarkeit ist kein wirkliches Problem, solange der Algorithmus z.B. in der Gameshow Jeopardy oder im Brettspiel Go spielt und dabei die besten menschlichen Spieler schlägt und wenn dann niemand weiß, warum das Programm eigentlich so gespielt hat. In diesem Go-Beispiel hat Google dem Algorithmus alle bisher gespielten Go-Meisterspiele zur Analyse gegeben. Die neuronalen Netze haben alle Spiele analysiert und dies hat dazu geführt, dass nur noch Profis das System schlagen konnten. Dann haben sie das System noch sehr lange gegen sich selbst spielen lassen. Ergebnis ist, dass jetzt des AI-System stärkster Spieler der Welt ist, einige sehr ungewöhnliche und überraschende Züge gemacht hat, aber dass niemand (auch das System nicht) sagen kann warum eigentlich ein bestimmter Zug gemacht wurde. Es ist kein neues Go-Konzept entstanden, nur ein geheimnisvoller Meisterspieler.
Diese 2 Artikel erklären den Sieg von AlphaGo im Go-Spiel und was das für Artificial Intelligence-Entwicklung bedeutet. Der NYT Artikel erklärt die grundlegenden Unterschiede zwischen dem Sieg von Deep Blue in Schach und AlphaGo in Go. Der Artikel verlinkt dann auf einen zweiten, der deutlich tiefer in die technischen und spielstrategischen Details vom AlphaGo geht und erklärt, was die neue Zugangsweise für andere Bereiche von AI bedeutet. Der Artikel betont auch dass wir bei den komplexen Algorithmen keine Ahnung mehr haben, warum der Algorithmus eine bestimmte Entscheidung getroffen hat. Dies bedeutet auch, dass solche Algorithmen nicht (mehr) auditierbar sind. (Dies ist bei den Spielen kein Problem, aber bei autonomen Fahrzeugen nach einem Unfall sehr wohl).
In einem ausführlichen Artikel in der NYT 2018 wird die Spielweise von AlphaZero behandelt, der Weiterentwicklung und Generalisierung von AlphaGo. Dieses Programm soll jedes Spiel spielen können. Ihm wurden lediglich die Schachregeln vermittelt und dann spielte des System einige Stunden gegen sich selbst. Dadurch entwickelte es seine eigene Strategie, unbeeinflusst von allen menschlichen Schachtheorien. Es ist jetzt das spielstärkste Schachprogramm, es schlägt alles anderen Schachprogramme (und liegt weit vor den Rankings der menschlichen Schachspieler). Der Artikel One Giant Step for a Chess-Playing Machine und ein Artikel von Garry Kasparov in Science beschreibt, dass dieses Programm Züge zeigt, die für ihn überraschend und kreativ erscheinen, er sieht kreative Züge.
Und gleichzeitig hat dieses Programm wie alle Deep Learning Tools keine Möglichkeit, zu erklären, warum es einen bestimmten Zug macht. Das Programm kann kein Schachbuch schreiben, es kann seine Züge nicht erklären. Zitat: "What is frustrating about machine learning, however, is that the algorithms can't articulate what they're thinking. We don't know why they work, so we don't know if they can be trusted. AlphaZero gives every appearance of having discovered some important principles about chess, but it can't share that understanding with us. Not yet, at least."
Ein anderes Beispiel ist der automatic translator der von jeder der unterstützten 103 Sprachen in jede andere übersetzen kann nachdem man dem System sehr viele Beispieltexte gegeben hat. Theoretiker vermuten, dass in den neuronalen Netzen (eines pro Paar aus Quell- und Zielsprache) eine neutrale Zwischenrepräsentation geben könnte, aber das weiß eigentlich niemand genau.
Künstliche Intelligenz am Steuer
Die fehlende Nachvollziehbarkeit ist in den obigen Fällen kein wirkliches Problem. Der Artikel Undurchschaubare Autopiloten zeigt jedoch die beträchtliche Herausforderung auf, dass ein autonomes Fahrzeug nach einem Unfall zwar im Fahrtenschreiber detailliert auflisten kann, welche Warnehmungen es hatte, was die Betriebszustände jedes Aggregats waren und welche Entscheidungen das System getroffen hat. Das System kann aber nicht erklären, WARUM es diese Entscheidung getroffen hat. Und das erschwert die Korrektur oder Verbesserung der Algorithmen.
Zum Problem wurde dies bei dem tödlichen Unfall des Tesla-Autos. So wie die Big Data Algorithmen mit einer hohen Wahrscheinlichkeit eine korrekte Zuordnung treffen, so sind die Deep Learning Algorithmen (wenn sie ausreichend trainiert sind) FAST immer korrekt in ihren Entscheidungen. Aber ein neuronales Netzwerk kann ich nicht ausdrucken oder in einen Logfile übertragen. D.h. einen "reasoning log" wie er manchmal in Science Fiktion vorkommt, der es erlauben würde, den Algorithmus zu verbessern, wird es in der nahen Zukunft nicht geben können. Die Zulassungsstellen für Autos rätseln noch darüber, wie sie einem solchen Fahrzeug Verkehrssicherheit bescheinigen können.
Dazu schreibt "andy01q" als Kommentar zum heise Artikel sehr korrekt: "Selbst wenn ALLE Daten geloggt wurden kann es unter Umständen sehr lange dauern, nachzuvollziehen, welche Zusammenhänge zu einer bestimmten Fehlentscheidung geführt haben und wie diese Fehlentscheidung folgerichtig verhindert werden kann. Der Zustand der einzelnen Neuronen zum Zeitpunkt der Entscheidung sowie deren Vernetzung lässt sich noch relativ leicht rekonstruieren, aber das ist eben nur ein Teil der Entscheidungsfindung."
Dass Algorithmen zwar oft kluge Lösungen finden, aber sie dann nicht erklären können wird ab 2017 immer öfter als Problem erkannt. Das Militär ist beunruhigt, denn dies ist nach einer tödlichen Entscheidung keine akzeptable Situation. Auch die neue Datenschutzgrundverordnung verlangt, dass der Kunde ein Erklärung bekommt, warum z.B. kein Kredit gewährt wird - "der Computer hat das so entschieden" ist nicht gesetztlich akzeptabel.
Im Bereich der Gesichtserkennung haben 2017 Forscher gezeigt, dass das Nicht-Verstehen der neuronalen Netze zu einem Angriffspunkt werden kann. So haben sie es geschafft, durch die Nutzung von Mustern auf Brillen der Gesichtserkennungssoftware eine falsche Identität, und sogar eine gezielt falsche Identität vorspielen kann. Mehr dazu auf meiner Website zu Privatsphäre.
Noch eine Meldung dazu aus Nov. 2016: Die US Air Force experimentiert mit AI-gesteuerten Kampfflugzeugen, fürchtet sich aber vor der Unvorhersagbarkeit von deren Entscheidungen.
Trauriges oder dramatisches Ergebnis der neuen Entwicklung von AI seit der Jahrhundertwende ist, dass Deep Learning Algorithmen noch undurchschaubarer sind als andere Ergebnisse von Big Data Analysen. An anderer Stelle erkläre ich, dass es zwar bei den Big Data Auswertungen der Firmen zum Verhalten ihrer Kunden gar nicht wichtig ist, warum der Algorithmus zu einer bestimmten Vorhersage gekommen ist, aber dass es in anderen gesellschaftlichen Bereichen sehr wohl zu Diskrimierung durch Algorithmen kommen kann.
So werden in den USA bereits Algorithmen für die Festlegung der Strafhöhe und der vorzeitigen Entlassung genutzt, aber diese Algorithmen reproduzieren die alten menschlichen Vorurteile. So zeigt der Artikel, dass bei gleichen Vergehen (z.B. Ladendiebstahl) der Algorithmus für schwarze Beschuldigte eine schlechtere Prognose berechnet wie für Weiße. Grund ist wohl, dass der Algorithmus nicht den Einzelfall analysiert, sondern aus Hintergrunddaten wie ethnische Zuordnung, Ausbildung, Familienverhältnisse in einer statistischen Analyse ganz automatisch alle Afro-Amerikaner in einen Topf wirft.
Noch ein Beispiel wie Algorithmen ausgetrickst werden können. Sommer 2017 erscheint Can Uber's surge pricing be gamed? Da geht es darum, dass bei Uber der Preis ja von Angebot und Nachfrage abhängt. Die Uberfahrer hatten sich verabredet, sich fast alle zu einer bestimmten Zeit abzumelden und schon schießt der Preis nach oben. Die verbliebenen Fahrer buchen zu dem höheren Preis und die anderen melden sich wieder an. Je mehr Vorgänge "im richtigen Leben" durch solche simplen Algorithmen kontrolliert werden, desto mehr wird es Gelegenheiten für solche Tricksereien geben. Ich kann mir vorstellen, dass das Auffinden von "Fehlern" in Algorithmen ein extra Zweig der "Unterwelt" werden könnte.
Intelligente Algorithmen haben zur fehlenden Nachvollziehbarkeit noch (mindestens) 3 zusätzliche Probleme
Erstens schleichen sich alle Vorurteile, die in den Daten stecken die für das "Training" der Deep Learning Algorithmen genutzt werden. Dieser Verdacht liegt sehr nahe bei den Ergebnissen die die Justiz-Algorithmen für die automatisierten Vorschläge für Strafen und Bewährung machen. Oder die Vorurteile die entstehen, wenn bequeme Entwickler einfach die erstbeste Parameterkorrelation nutzen, egal ob da irgendwo ein Zusammenhang besteht oder nicht. Dann entstehen Algorithmen, die Bewerber über die Wortlänge ihrer Postings auf Twitter bewerten.
Drittens die Möglichkeiten für externe Nutzer die Eigenheiten der Algorithmen für ihre Zwecke auszunutzen, Beispiel sind die Experimente die Facebook zur Beeinflussung seiner Nutzer gemacht hat, aber natürlich auch die Ergebnisse von Brexit und Trumpwahl.
Killer Robots
Mitte 2017 gibt es auf Grund einiger Konferenzen und anderer Aktivitäten einiges neues zum Thema autonome Waffensysteme. Die kurze Zusammenfassung scheint zu sein: Waffensysteme die ohne Entscheidung von Menschen töten werden mittelfristig bereits unvermeidbar sein. Hauptgrund für die Unvermeidbarkeit ist, dass jeder Staat Angst davor hat, dass sie anderen Staaten solche Waffen entwickeln werden und eine Verteidigung gegen Waffen mit "übermenschlichen" Fähigkeiten (z.B. Reaktionszeiten, Belastbarkeit bei hohen G-Werten in Kampfflugzeugen) erfordert ebenfalls autonome Waffen.
Dazu kommt, dass selbst eine Einigung unter den Großmächten bei den derzeiten (2017) Gesprächen bei den Vereinten Nationen über ihre Ächtung nicht vermeiden kann, dass kleinere Staaten sich diese Fähigkeiten aneignen. Dies wird als Unterschied zu Kernwaffen dargestellt: Deren Herstellung ist technisch sehr sehr aufwendig, autonome Drohnen die mehr oder weniger intelligent um sich schießen können auch kleine Staaten entwickeln - die notwendigen Komponenten sind recht weit verfügbar.
Einige Experten warnen zwar vor dieser Entwicklung, aber der globale Rüstungswettlauf ist trotzdem im vollem Gang. Derzeitige Position der NATO ist, dass defensive Kill-Roboter vertretbar seien, weil ja der (vermeintliche ?) sich bereits als "Feind" zu erkennen gegeben hat und daher die Entscheidung Freund / Feind bereits gefallen ist. Dabei gilt jedoch das "Illuminieren" eines Objekts durch einen Radarstrahl bereits als feindlicher Akt. Über solche "kleinen Schritte" werden die automom-tötenden Waffen bald die modernen Kriege prägen.
Feb. 2013:
Eine sehr interessante Studie behandelt die ethischen und juristischen Fragen rund um "Autonomous Weapons, vulgo "Killer Robots": LOSING HUMANITY - The Case against Killer Robots. Autonomous Weapons sind solche, die selbstständig ihre Ziele aussuchen und dann selbstständig schießen, ohne dass ein Mensch auf einen Knopf drückt, so wie (jetzt noch) bei den Drohnen, den UAVs. Solche Systeme sind keine reine Science Fiction, es gibt bereits "defensive systems", die automatisch, wenn scharf gemacht, versuchen anfliegende Raketen oder Granaten zu entdecken und abzuschießen. Beispiele sind Phalanx bei der US Navy zur Verteidigung von Schiffen, die zu unrühmlicher Bekanntheit kam, weil diese Waffe in den Abschuss eines zivilen iranischen Passagierflugzeugs involviert war. Die US-Army setzte ein ähnliches System zur Verteidigung ihrer Stellungen im Irak ein und die Bundeswehr hat so etwas unter dem Namen NBS Mantis in Afghanistan im Einsatz. Auch das israelische Abwehrsystem Iron Dome muss zu schnell reagieren als dass ein Mensch eingreifen könnte.
Die sehr lesenswerte Studie beschäftigt sich dann mit solchen Systemen die für allgemeine Militäraufgaben vorgesehen sind, die sind bei vielen Armeen in Arbeit. Probleme dabei sind vor allem, dass solche Systeme
kaum zwischen Zivilisten und Kombatanten unterschieden können, vor allem wenn Letztere keine Uniformen tragen
Schwierigkeiten haben bei der Abwägung, wie viele zivile Tote notfalls in Kauf genommen werden können
die Verhältnismäßigkeit eines Einsatzes im Rahmen der kriegerischen Gesamtsituation nicht beurteilen können
keine Emotionen haben, d.h. sich auch nicht in spezielle Situationen hineinfühlen können, die einem Menschen sofort klar sind (z.B. Frau rennt schreiend hinter 2 Kindern mit Spielzeuggewehren her, die auf den Soldaten zulaufen)
Als weiteres Problem wird genannt, dass dadurch dass die eigenen Soldaten bei solchen Einsätzen nicht mehr zu Schaden kommen (so wie jetzt schon bei den Drohnen Einsätzen der USA) die Hemmschwelle für den Einsatz in fremden Ländern immer mehr fallen könnte. Auch für Diktatoren, die ihre eigenen Bevölkerung unterdrücken wollen haben Killer Robots große Vorteile gegenüber einer menschlichen Armee, die sich doch manchmal zur Meuterei entschließt.
Ein weiterer problematischer Punkt ist, dass im Falle dass von einem Roboter ein offensichtliches Kriegsverbrechen begangen wurde (z.B. große Menge Zivilisten erschossen), es keine Möglichkeit gibt, jemanden zur Verantwortung zu ziehen. Der Kommandant der ihn losgeschickt hat konnte nicht wissen, dass der Roboter so etwas tun würde (es stand nicht im Datenblatt), der Programmierer der evtl. einen Fehler gemacht hat kann nur bei grober Fahrlässigkeit zur Haftung herangezogen werden und der Roboter kann sowieso nicht sinnvoll bestraft werden.
Problematisch wird in der Zukunft werden, dass in dem Augenblick wo einige Armeen diese Dinge im Einsatz haben, es für die anderen notwendig sein könnte, ebenfalls solche einzusetzen und zwar solche, die noch schneller und noch bedenkenloser schießen als die vom Feind.
Im New Scientist warnt ein Artificial Spezialist davor, dass die Situation um autonome Killer Robots bald außer Kontrolle kommen kann, wenn nicht bald ein Bann dieser Geräte verabschiedet wird: Why we need to stop military killer robots now . Er meint, dass für die Regierungen so viele (auch ökonomische) Gründe für deren Einsatz sprechen, dass die damit vermutlich verbundenen Opfer in der Zivilbevölkerung dann irgendwann leicht in Kauf genommen werden.
Nov. 2014:
Ein Artikel in der NYT Fearing Bombs That Can Pick Whom to Kill über intelligente Systeme die sich ihre Ziele selbst aussuchen. Kein Science Fiction mehr: "Britain, Israel and Norway are already deploying missiles and drones that carry out attacks against enemy radar, tanks or ships without direct human control." Diese Waffen wurden bereits aktiv eingesetzt, z.B. von Großbritannien im Libyen-Konflikt.
Feb. 2016:
Noch ein NYT Artikel Report Cites Dangers of Autonomous Weapons berichet über eine Studie eines ehemaligen Pentagon Experten, der auf explizite Gefahren von autonomen Waffen hinweist. Sein Problem ist die mangelnde Zuverlässigkeit von solchen technischen Geräten in Umgebungen, wo zusätzlich zu Design-Fehlern auch noch mögliche Angriffe durch Gegner hinzukommen. Auch der Report selbst ist abrufbar: "Autonomous Weapons and Operational Risk".
Zum Film "I, Robot" wurden die 3 Robotergesetze von Asimov wieder neu diskutiert. Nicht in dem Sinne, dass zukünftige Robots diese wirklich implementieren müssten, sondern als interessante Gedankenexperimente zu Fragen der Technik und der Ethik. Es stellt sich nämlich dabei sehr bald heraus, dass die sehr einfach klingenden Gesetze in der Anwendung so kompliziert erscheinen, dass wohl nur ein Mensch in der Lage wäre, sie sinnvoll anzuwenden. (Unter "Roboter" müssen wir heute jede Form von fortgeschrittener künstlicher Intelligenz verstehen - den Begriff gab es noch nicht als Asimov die Gesetze beschrieben und benannt hatte.)
Ein Roboter darf keinen Menschen verletzen, oder durch seine Inaktivität erlauben, dass ein Mensch verletzt wird
Ein Roboter muss Anweisungen /Befehlen von Menschen Folge leisten, außer es ergäbe sich dadurch ein Konflikt mit dem 1. Gesetz
Ein Roboter muss seine eigene Existenz schützen, solange sich dadurch kein Konflikt mit dem 1. oder 2. Gesetz ergibt
Asimov hat seine Robotergesetze übrigens bereits 1942 in einer Kurzgeschichte beschrieben - und den Rest des Lebens immer wieder aufgezeigt, in welchen Situationen sie nicht funktionieren würden. Diese Gesetze sind sehr einfach, klingend einleuchtend, aber Asimov zeigt in seinen vielen Kurzgeschichten, welche Konflikte und Widersprüche sich in der Praxis daraus ergeben würden.
Das Hauptproblem bei der Implementierung solcher Robotergesetze besteht darin, dass ein Roboter verstehen müsste,
was ein Mensch ist (wenn die Roboter so "klug" sind, dass sie diese Gesetze abwägen können, wird es sehr schwierig, bzw. unmöglich für einen Roboter sein, einen seiner "Kollegen" als solchen zu identifizieren. Siehe die Überlegungen zum Turing Test und zum Thema von Bladerunner, wobei es in beiden "nur" darum geht, dass ein Mensch sein Gegenüber als Maschine erkennt. Für einen Roboter wird es logisch kaum möglich sein, einen anderen Roboter als solchen zu identifizieren, speziell wenn im Konfliktfall dafür nur wenig Zeit dafür zur Verfügung stehen würde.
(eine zu eingeschränkte Definition von "Mensch" wäre natürlich eine Möglichkeit, doch Kriegsroboter zu schaffen. Man braucht dem Roboter nur eine falsche Definition von Mensch zu geben, z.B. bestimmte Rassen oder Sprachgruppen von der Definition "Mensch" auszuschließen)
was einem Menschen Schaden zufügt (nicht nur körperlich, sondern auch seelisch oder finanziell)
wie er ein seltenes, aber gefährliches Ereignis gegen ein weniger gefährliches, aber häufigeres Ereignis abwägen
sollte
wie er abwägen sollte, wenn eine kleine Verletzung des ersten Gesetzes einer großen Verletzung des 2. Gesetzes
gegenübersteht, z.B. wenn er eine Anweisung erhält, die einen minimalen Schaden, bzw. nur ein kleines Risiko für einen
Menschen bedeuten würde
wie kann ein Roboter damit umgehen, dass die Menschen ständig riskante Sachen tun, und sei es nur die Überquerung
einer belebten Straße. Wenn der Roboter das 1. Gesetz sehr streng interpretiert, muss er das Überqueren einer Straße
verhindern
was macht er, wenn er 2 sich wiedersprechende Befehle erhält, welchen der Menschen soll er dann als "wichtiger" erachten? Diese Robotergesetze sind nämlich in einem Aspekt sehr ungewöhnlich: Der Besitzer des Roboters hat nicht mehr Rechte als irgendein Fremder, der dem Roboter begegnet und ihm Befehle gibt. Unsere Gesellschaft geht nämlich eigentlich davon aus, dass nur der Besitzer den Nutzen aus einem Gerät ziehen kann.
muss der Roboter auch Befehle von sehr kleinen Kindern befolgen oder von psychisch gestörten oder von kriminellen Menschen? Wie kann der Roboter entscheiden, ob der Mensch, der den Befehl gibt, wirklich weiß, was er da anrichtet?
wie wägt er ab, wenn er einen Menschen verletzen oder töten müsste, um andere Menschen zu retten?
wie kann ein Roboter einen unverbindlichen Wunsch von einem Befehl unterscheiden? ("ich wünschte, die Badezimmertür wäre an einer anderen Stelle."
Wie kann man mit der Tatsache umgehen, dass ein Roboter notwendigerweise immer unvollständige Informationen haben wird (so wie wir Menschen ja auch, auch wir können die Konsequenzen unseres Handelns oft nicht abschätzen). Dies könnte ein Mensch ausnutzen, in dem er z.B. einem Roboter sagt, er solle Gift in ein Glass Wasser geben, einem anderen Roboter sagt er dann, er solle das Glas einem Menschen servieren. Keiner der beiden Roboter merkt, dass er gegen das 1. Gesetz verstößt.
Der britische Informatiker und Psychologe Noel Sharkey forscht auf dem Gebiet der Künstlichen Intelligenz und des Maschinenlernens und macht sich für Ethik in der Robotik stark, der Link führt zu einem Interview mit ihm. Dort wird auch erklärt, dass wir so eine Roboterethik brauchen werden. Der nächste Abschnitt auf dieser Website stellt mit dem Buch von Nick Bostrom einen möglichen Ansatz dafür vor.
Eine weitere Frage im Zusammenhang mit Robotern und Ethik ist natürlich, was tun eigentlich wir Menschen, wenn die Roboter alle Arbeit übernehmen? Hier einige (ziemlich rohe) Gedanken zu den Themen Arbeit und Arbeitslosigkeit.
2017 wird als Alternative zu Trump ein Präsident der Silicon Valley repräsentiert angedacht. Damit kämen wir zwar nicht vom Regen in die Traufe, aber den einen hoch-gefährlichen narzisstischen Milliardär der keinen wirklichen Plan hat (sondern nur Emotionen) durch andere Milliardäre zu ersetzen, die sehr wohl eine politische Agenda haben (siehe der Text rechts) und jede Menge Daten über die Mehrzahl der Bürger der Welt kontrollieren, das ist wirklich nicht besser.
Ebenfalls sehr lesenwert ist Evgeny Morozov: To save everything click here (das ich auf meiner anderen Website zum Thema Informationssicherheit beschreibe). Morozov schreibt ebenfalls gegen die Technologiegläubigkeit des "Silicon Valley", wo man glaubt, alle Probleme der Welt liesen sich durch weniger Demokratie und mehr Technologie lösen.
Müssen wir Angst haben vor der Machtübernahme durch eine Artificial Intelligence?
Gefährliche Ansätze bei der US-Technologie-Elite
Einen ausführlichen Hintergrundbericht über die Ideologie, die viele der Förderer von künstlicher Intelligenz antreiben gibt Thomas Wagner in "Robokratie". Das lesenswerte Buch zeigt die Geschichte von AI seit dem 2. Weltkrieg auf, wie stark diese Forschungen mit dem Militär verknüpft ist und wie die Weltanschauung der Milliardäre (und viele der Entwickler) in Silicon Valley aussieht: Stichwort "Technologie löst alle Probleme die die Politik nicht (oder falsch) löst". Und die Gleichheit aller Menschen sei überbewertet, die Zukunft seien unsterbliche Übermenschen, die auf der Basis von künstlicher Intelligenz entwickelt werden.
Beunruhigend daran ist, dass man das leider nicht als dummes Geschwätz abtun kann. Die Übermensch-Fantasien z.B. eines Ray Kurzweils könnten durchaus implementierbar sein. Ray Kurzweil ist nämlich mittlerweile Forschungschef von Google, und Google ist sehr aktiv auf diesem Gebiet. D.h. die Befürworter sitzen durchaus an einflussreichen Stellen. So ist z.B. Google heute durch die vielen Zukäufe der weltweit größte Hersteller von Nicht-Industrie-Robotern (viele der am Anfang beschriebene Firma Boston Dynamics gehörr heute zum halb-geheimen Google X, ebenso wie Redwood Robotics, Meka Robotics und Jetpac). Google X betreibt auch Forschungen zu Computational neuroscience, Health care und Biotechnology (z.B. Calico mit dem Ziel der Lebensverlängerung).
Google ist nicht die einzige Firma, die diese gesellschaftliche Agenda vorantreibt. Viele der Silicon Valley Firmen haben heute Abteilungen für AI-Forschung und wetteifern bei diesen Forschungen. Wagner beschreibt die firmenübergreifenden Aktivitäten der Singularity University und Machine Intelligence Research Institute. Auch wenn diese Firmen und Institute die Unsterblichkeit vielleicht nicht hin bekommen, bei der Schwächung der Demokratie und Machtübernahme durch die Technologie-Eliten und beim Abbau unserer Privatsphäre durch ihre "Sharing-Ideologie" machen sie jedoch auf jeden Fall gute Fortschritte.
Der nächste Link führt zu einem Artikel im Spiegel zum Thema Ende der Menschheit durch Super-Intelligenz. Dieser Artikel bezieht sich hauptsächlich auf das Buch von Nick Bostrom. (Nick Bostrom hängt übrigens auch mit den Firmen und Instituten im vorigen Abschnitt zusammen, auch wenn er Professor in Oxford ist).
Nick Bostrom: "Superintelligence - Paths, Dangers, Strategies" ist eine sehr komplexe und umfassende Abhandlung über die theoretische Ansätze, eine Superintellegenz irgendwie zu zügeln (Superintellegenz ist hier definiert als ein "Ding", das vieltausendmal cleverer/intelligenter ist als alle Menschen). D.h. es geht irgendwie um eine Neufassung der Robotergesetze von Asimov (siehe oben).
Kurze Zusammenfassung: es ist sehr schwer und fraglich ob der Menscheit das wirklich gelingen kann. Bostrom hat aber (zusamen mit Eliezer S. Yudkowsky) zumindestens einige Ideen. Kernpunkt ist, dass die Entwickler letztendlich nur Vorgaben machen können und dass die eigentliche Entwicklung dieser Regeln für Roboterethik von der Superintelligenz selbst entwickelt werden müssen. Dafür müssen die Entwickler geeignete Rahmen vorgeben. Die Ansätze dazu werden unter den Schlagworten "Coherent Extrapolated Volition", "Moral Rightness" und "Moral Permissibility Model" zusammengefasst. (Warnung: das Buch ist nicht einfach zu lesen, der Autor ist Physiker und Philosoph mit mathematischer Ausbildung - einen Vorgeschmack gibt der Text zu ethischen Fragen rund um Super-Intelligenz -Nick Bostrom, Eliezer Yudkowsky: THE ETHICS OF ARTIFICIAL INTELLIGENCE).
Ende 2015 haben sich viele der Billionäre in Silicon Valley zusammengetan und unter dem Namen OpenAI ein Forschungszentrum für künstliche Intelligenz gegründet. Das passt sehr gut zu der Ideologie die in "Robokratie" beschrieben wird: Wir vertrauen der Politik eh nicht, dass sie die Welt für einer Fehlentwicklung auf dem Weg zur Superintelligenz retten wird, wir nehmen das mit unserem vielen Geld selbst in die Hand.
Ein weiteres Buch zum Thema kommt von Roman V. Yampolskiy, Direktor des Cybersecurity Lab in Louisville, KY. Sein Buch "Artificial Superintelligence: A Futuristic Approach" wird in diesem Artikel besprochen: AI gone wrong: Cybersecurity director warns of 'malevolent AI'. Der Link verweist auf eine Zusammenfassung. Dieses Buch ist allgemeiner gehalten und verweist z.B. auch auf die Gefahren durch "gehackte" Waffensysteme, intelligente Robot-Soldaten, u.ä. Das Bostrom-Buch konzentriert sich vor allem auf die extrem schwierige Frage, wie wir einer solchen Intelligenz Werte einprogrammieren können, die nicht zu einer Machtübernahme führen.
Im Prinzip sind wir dann in einem ähnlichen Dilemma, wie ich es bei den Roboter-Gesetzen von Asimov weiter oben erklärt habe: wann immer wir versuchen, unsere Vorgaben ganz konkret in Nullen und Einsen darzustellen, so scheitern wir daran, dass das Leben so komplex ist, dass wir auf sehr große Schwierigkeiten stoßen. Egal was wir einer solchen Maschine als Ziel geben, immer besteht z.B. die Gefahr, dass die Maschine schon um dieses simple Ziel sicher zu erreichen, große Teile der Resourcen der Erde für sich beanspruchen möchte.
Dies ist auch eine der Gefahren im Buch von Yampolskiy: "Taking over (implicit or explicit) resources such as money, land, water, rare elements, etc. and establishing a monopoly over access to them."
Hier jetzt Links zu 2 Studien die die Machtübernahme durch eine künstliche Intelligenz nur als eines von mehren Endzeit-Szenarien für die Menschehit sehen: die erste Studie ist vom gleichen Autor, dem Philosophen Nick Bostrom: Existential Risks - Analyzing Human Extinction Scenarios and Related Hazards. Er unterscheidet 4 Klassen, von der Big Bang-Katastrophe bis zu Szenarien, bei denen den Menschen die Resourcen ausgehen oder auch die, bei denen eine Artificial Intelligence geschaffen wird, die andere Prioritäten hat als ihre Schöpfer.
Dieser Artikel beschreibt eine umfangreiche Studie über "12 Risks that threaten human civilisation" (200 Seiten). Eine der Risiken ist die Machtübernahme durch eine Artificial Intelligence. Hier eine kritische Zusammenfassung: Apokalypse, wissenschaftlich.
Zum Abschluss dieses Teil jetzt noch ein Link zu einem Forscher der keine Angst vor der Machtübernahem durch AI hat: "Why robots still need us: David A. Mindell debunks theory of complete autonomy". MIT Professor David A. Mindell sieht eine weitgehend positive Zukunft mit AI-Systemen, er glaubt nicht mal daran, dass es autonome Fahrzeuge auf unseren Straßen geben wird (und das macht mich wiederum skeptisch seinen Ansichten gegenüber, denn ich denke, autonome Fahrzeuge werden auf jeden Fall kommen).
These new machines have a great capacity for upsetting the present basis of industry, and of reducing the economic value of the routine factory employee to a point at which he is not worth hiring at any price. If we combine our machine-potentials of a factory with the valuation of human beings on which our present factory system is based, we are in for an industrial revolution of unmitigated cruelty.
We must be willing to deal in facts rather than in fashionable ideologies if we wish to get through this period unharmed. Not even the brightest picture of an age in which man is the master, and in which we all have an excess of mechanical services will make up for the pains of transition, if we are not both humane and intelligent.
Finally the machines will do what we ask them to do and not what we ought to ask them to do. In the discussion of the relation between man and powerful agencies controlled by man, the gnomic wisdom of the folk tales has a value far beyond the books of our sociologists.
There is general agreement among the sages of the peoples of the past ages, that if we are granted power commensurate with our will, we are more likely to use it wrongly than to use it rightly, more likely to use it stupidly than to use it intelligently. [W. W. Jacobs's] terrible story of the “Monkey's Paw†is a modern example of this — the father wishes for money and gets it as a compensation for the death of his son in a factory accident, then wishes for the return of his son. The son comes back as a ghost, and the father wishes him gone. This is the outcome of his three wishes.
Moreover, if we move in the direction of making machines which learn and whose behavior is modified by experience, we must face the fact that every degree of independence we give the machine is a degree of possible defiance of our wishes. The genie in the bottle will not willingly go back in the bottle, nor have we any reason to expect them to be well disposed to us.
In short, it is only a humanity which is capable of awe, which will also be capable of controlling the new potentials.
Roboter aus Fleisch und Blut und fließende Übergänge
Juli 2016: Zu diesem Thema gab es lange nichts Neues, jetzt ist beschreibt ein Artikel im Standard ein Experiment, bei dem ein kleiner Schwimmroboter konstruiert wurde, der sich mit Hilfe einer Schicht aus 200.000 Herzmuskelzellen von Ratten fortbewegt, die auf einem Goldskelett mit einem biegsamen Polymerkörper angebracht wurden. Im Artikel wird auch auf ein Video verlinkt.
Im New Scientist erschien bereits ca 2005 ein Artikel über den ersten "Robot" der mit richtigen Muskelzellen arbeitet ("Micromachine grows its own muscles"). Dies geht davon weg, dass Roboter immer nur aus Metall, Plastik und Motoren bestehen müssen. Die Verwendung von richtigem Gewebe hat durchaus Vorteile (siehe auch die Roboter in "Bladerunner".
Ähnliche, jedoch etwas andere Problematiken ergeben sich in der anderen Richtung, wenn nämlich immer mehr künstliche Teile (Prothesen) in Menschen eingebaut werden. Das werden nämlich in Zukunft immer öfter "intelligente" Prothesen sein.
Alan Goldstein, ein Professor für Biomedical Materials Engineering Science ist beunruhigt über das, was seine Disziplin in der Zukunft aus dem Menschen machen wird. Er sieht eine zwangsläufige Entwicklung zum immer mehr Veränderungen in den
Menschen. Er fragt, gibt es denn jemand in der westlichen Welt, dessen Körper nicht z.B. durch Zahnkronen, Kontaktlinsen oder zumindestens durch Impfungen technisch "verbessert" wurde. Diese Entwicklung, mit der er sich hauptberuflich beschäftigt, ist bereits sehr weit fortgeschritten. Es gibt um die Implementierung von Materialien in die Körper der Menschen, erst mal nur zu Heilungszwecken, aber er bezweifelt, dass die Möglichkeiten zur Verbesserung von Körperfunktionen nicht auch genauso bereitwillig genutzt werden. Sie gibt es heute bereits Menschen, die ihre Sehstärke mit Hilfe von Lasertechnologien die eigentlich für die Behandlung von Sehfehlern entwickelt wurde, weit über das für Menschen übliche Maß hinaus verbessern.
Goldstein berichtet von Entwicklungen, bei denen mit Hilfe einer Technik Biomimetics an der Oberfläche von Implantierungen, z.B. bei Arterienverengungen, Eiweißmoleküle aufgebracht werden, die eine Abstoßung verhindern und andere Stoffe, die sich langsam im Körper auflösen und z.B. eine Vernarbung verhindern sollen. Das heißt,
nicht-biologische Implantierungen werden bereits mit biologischen, wie Eiweißen, kombiniert. D.h. es werden Menschen
geschaffen, die aus einer Kombination von biologischen und nicht-biologischen Stoffen bestehen. Und das nicht nur zu
Heilungszwecken, sondern immer öfter auch zu "Verbesserung" unserer Biologie. Wenn das Herz schwach ist, wer würde es ablehnen, wenn dann eine Prothese eingesetzt würde, die besser als das Original ist und ein 30 Jahre längeres aktives
Leben ermöglicht?
Und diese Implantierungen müssen durchaus nicht passiv sein, ein Herzschrittmacher ist ein sehr aktives Gerät. Mehr und mehr wird "Intelligenz" in diese Geräte eingesetzt, z.B. Implantierungen, die den Zuckergehalt im Blut messen und das Insulin entsprechend dosieren. Der Leistungssport wird es sich auf keinen Fall verkneifen können, diese Möglichkeiten,
legal oder weniger legal, zu nutzen. Ab wieviel Verbesserungen wird man aufhören, von Menschen im herkömmlichen Sinne zu sprechen?
Hier der Link zur Behandlung ähnlicher Themen unter dem Stichwort Artificial Life.
