{"id":176175,"date":"2019-07-02T11:00:19","date_gmt":"2019-07-02T09:00:19","guid":{"rendered":"https:\/\/innovationorigins.com\/?p=176175"},"modified":"2019-07-02T11:00:19","modified_gmt":"2019-07-02T09:00:19","slug":"auch-roboter-werden-kreativer-wenn-man-sie-ihre-eignen-erfahrungen-machen-laesst","status":"publish","type":"post","link":"https:\/\/ioplus.nl\/archive\/de\/auch-roboter-werden-kreativer-wenn-man-sie-ihre-eignen-erfahrungen-machen-laesst\/","title":{"rendered":"Auch Roboter werden kreativer, wenn man sie ihre eignen Erfahrungen machen l\u00e4sst"},"content":{"rendered":"

Auf der RSS in Freiburg stellten Robotic-Forscher neuere Ideen vor, das eigenst\u00e4ndige Lernen von Robotern effizienter zu machen. Das richtige Weglassen ist das Wichtigste.<\/strong><\/p>\n

Robotern pr\u00e4zise Bewegungsabl\u00e4ufe vorzugeben, die sie erm\u00fcdungsfrei und zuverl\u00e4ssig wiederholen, das ist aus Sicht der KI- und Roboterforschung eher digitale Steinzeit. Die Gegenwart besch\u00e4ftigt sich damit<\/a>, Roboter mit Algorithmen auszustatten, die es ihnen erlauben, sich m\u00f6glichst eigenst\u00e4ndig, flexibel und schnell mit Unbekanntem zurechtzufinden. Das Firmenmotto von DeepMind, einem KI-Unternehmen der Alphabet-Gruppe, bringt das damit verbundene Versprechen pr\u00e4gnant auf den Punkt: Solve intelligence. Use it to make the world a better place. Wer es schafft, die Intelligenz digital nachzubilden, braucht sich um den ganzen Rest keine Gedanken mehr machen.<\/p>\n

Auch Lehrer machen Fehler<\/strong><\/p>\n

Die konkreten Probleme, denen sich die Forscher derzeit stellen, sehen allerdings eher ern\u00fcchternd profan aus: Ein Roboterarm soll lernen, eine Art Wischvorgang mit unterschiedlichen Objekten auszuf\u00fchren, verschiedenartige Objekte in einen Setzkasten zu werfen und dabei zu sortieren, ein Computer soll ein Fahrzeug unfallfrei \u00fcber eine Stra\u00dfe steuern usw.<\/p>\n

Mindestens zwei grunds\u00e4tzliche Probleme stellen sich dabei: die physikalischen Eigenschaften der beteiligten Objekte sind in der Regel nicht zu 100 Prozent bekannt und die durch Trainer vorgegebenen L\u00f6sungsabl\u00e4ufe sind oft nur Teill\u00f6sungen und au\u00dferdem nicht perfekt. Roboter sollen also lernen, in unzureichend definierten Situationen durch Versuch und Irrtum eine eigene L\u00f6sung zu finden und die erfolgsversprechenden Elemente zu einer neuen, besseren L\u00f6sung zusammenzusetzen. Reinforcement Learning, also interaktives Ausprobieren mit einer positiven Verst\u00e4rkung der erfolgreichsten Versuche, ist hier in der Regel das Mittel der Wahl. Entscheidend ist die Wahl des Belohnungssystems. Schlie\u00dflich will man endloses Ausprobieren verhindern und erfolgreiche Versuche nicht von vornherein ausschlie\u00dfen.<\/p>\n

500 pr\u00e4zise Picks pro Stunde<\/strong><\/p>\n

Einem Roboter eines Teams aus Forschern von Princeton, Google, Columbi\"\"a und MIT ist es jetzt gelungen, die Steuerparameter f\u00fcr das Greifen und Werfen von unterschiedlichen Objekten aus visuellen Beobachtungen im Versuch-und-Irrtum-Verfahren abzuleiten. In diesem Vorgang verstecken sich viele Herausforderungen: Der Roboter muss im unstrukturierten Haufen Objekte und deren Lage erkennen, sie greifen, beschleunigen und im rechten Moment am richtigen Ort loslassen. Masse und Gewichtsverteilung der Objekte sind dabei genauso unbekannt wie die jeweiligen Flugeigenschaften.<\/p>\n

Gleichzeitig sind die M\u00f6glichkeiten einer solchen L\u00f6sung verlockend: Roboter, die in der Industrie \u00e4hnliche Arbeiten verrichten, k\u00f6nnten deutlich schneller werden und ihre maximale Reichweite durch Werfen vervielfachen.<\/p>\n

Der neuentwickelte Tossingbot<\/a> korrigiert \u00fcber die eigenen Beobachtungen die Vorhersagen, die ein einfaches physikalisches Wurfmodell vorschl\u00e4gt und optimiert dabei Griffposition, Wurfgeschwindigkeit und Abwurfpunkt selbstst\u00e4ndig. Um im Schnitt 500 Objekte in der Stunde in die richtigen K\u00e4sten zu werfen, waren 15.000 Test-Versuche n\u00f6tig. Danach warf er die Objekte fehlerfrei.<\/p>\n

Den Trainer \u00fcbertrumpfen<\/strong><\/p>\n

Man muss Roboter nicht von Null starten lassen. Trainer k\u00f6nnen dem Ger\u00e4t unterschiedliche L\u00f6sungsans\u00e4tze mit auf den Weg geben. Die typischen Probleme beim sogenannten Imitation Learning: Man will die Anzahl der n\u00f6tigen Trainings reduzieren, der Roboter soll L\u00f6sungen entwickeln, die besser sind als der Ausgangsinput und das System soll robust sein ge\"\"gen sehr schlechten Input.<\/p>\n

Eine Forschergruppe an der K\u00f6nig-Abdullah-Universit\u00e4t in Thuwal, Saudi Arabien, schl\u00e4gt dazu ein Verfahren namens OIL vor, Observational Imitation Learning. OIL liefere deutlich robustere Ergebnisse als das blo\u00dfe Nachahmen von mehr oder weniger guten Trainingsdurchg\u00e4ngen und komme so schneller zum Ergebnis, als Lernsysteme, die vor allem auf Belohnung basierten. Die k\u00e4men zwar komplett ohne menschliche Trainings aus, blieben aber oft weit unter den M\u00f6glichkeiten, weil das Belohnungssystem zu gro\u00dfe Spielr\u00e4ume lasse.<\/p>\n

OIL<\/a> bewertet deshalb den Input und \u00fcbernimmt nur die erfolgreichsten Sequenzen, etwa beim Steuern eines Wagens \u00fcber eine Teststrecke. Der Input einer gro\u00dfen Zahl von Trainern k\u00f6nne so verarbeitet werden und erm\u00f6gliche auf diese Weise auch das Ausloten unterschiedlicher Strategien. Gleichzeitig vergeude OIL keine Zeit mit dem Erforschen von sinnlosen Optionen, da die Trainer diese, im Gegensatz zu den autonomen Lernsystemen, von vornherein ausschl\u00f6ssen.<\/p>\n

Das Team setzte den Algorithmus bei der Steuerung einer Drohne und eines simulierten Autos ein. Im Vergleich zu anderen Algorithmen und menschlichen Piloten war OIL \u00e4u\u00dferst erfolgreich. Der als Experte eingestufte menschliche Fahrer konnte beispielsweise das Auto zwar noch etwas schneller \u00fcber die Strecke steuern, machte dabei aber mehr als doppelt so viele Fehler wie OIL. Was dabei stutzig macht: auch OIL machte Fehler.<\/p>\n","protected":false},"excerpt":{"rendered":"

Auf der RSS in Freiburg stellten Robotic-Forscher neuere Ideen vor, das eigenst\u00e4ndige Lernen von Robotern effizienter zu machen. Das richtige Weglassen ist das Wichtigste. Robotern pr\u00e4zise Bewegungsabl\u00e4ufe vorzugeben, die sie erm\u00fcdungsfrei und zuverl\u00e4ssig wiederholen, das ist aus Sicht der KI- und Roboterforschung eher digitale Steinzeit. Die Gegenwart besch\u00e4ftigt sich damit, Roboter mit Algorithmen auszustatten, die […]<\/p>\n","protected":false},"author":1659,"featured_media":510742,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"advgb_blocks_editor_width":"","advgb_blocks_columns_visual_guide":"","footnotes":""},"categories":[36843],"tags":[90142,97648,97651,97654],"location":[24328],"article_type":[],"serie":[],"archives":[],"internal_archives":[],"reboot-archive":[],"class_list":["post-176175","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-digital-de-de","tag-artificial-intelligence-de","tag-autonomou-de","tag-imitation-learning-de","tag-reinforcement-learning-de","location-deutschland"],"blocksy_meta":[],"acf":{"subtitle":"","text_display_homepage":false},"author_meta":{"display_name":"Volker Joksch","author_link":"https:\/\/ioplus.nl\/archive\/author\/volker-joksch\/"},"featured_img":"https:\/\/ioplus.nl\/archive\/wp-content\/uploads\/2019\/07\/20190702-Tossing-Robot.jpg","coauthors":[],"tax_additional":{"categories":{"linked":["Digital<\/a>"],"unlinked":["Digital<\/span>"]},"tags":{"linked":["Artificial Intelligence<\/a>","autonomou<\/a>","Imitation Learning<\/a>","Reinforcement Learning<\/a>"],"unlinked":["Artificial Intelligence<\/span>","autonomou<\/span>","Imitation Learning<\/span>","Reinforcement Learning<\/span>"]}},"comment_count":"0","relative_dates":{"created":"Posted 7 years ago","modified":"Updated 7 years ago"},"absolute_dates":{"created":"Posted on July 2, 2019","modified":"Updated on July 2, 2019"},"absolute_dates_time":{"created":"Posted on July 2, 2019 11:00 am","modified":"Updated on July 2, 2019 11:00 am"},"featured_img_caption":"","series_order":"","_links":{"self":[{"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/posts\/176175","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/users\/1659"}],"replies":[{"embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/comments?post=176175"}],"version-history":[{"count":0,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/posts\/176175\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/media\/510742"}],"wp:attachment":[{"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/media?parent=176175"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/categories?post=176175"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/tags?post=176175"},{"taxonomy":"location","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/location?post=176175"},{"taxonomy":"article_type","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/article_type?post=176175"},{"taxonomy":"serie","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/serie?post=176175"},{"taxonomy":"archives","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/archives?post=176175"},{"taxonomy":"internal_archives","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/internal_archives?post=176175"},{"taxonomy":"reboot-archive","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/reboot-archive?post=176175"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}