{"id":447002,"date":"2023-05-20T14:39:00","date_gmt":"2023-05-20T12:39:00","guid":{"rendered":"https:\/\/innovationorigins.com\/?p=447002"},"modified":"2023-05-20T14:39:00","modified_gmt":"2023-05-20T12:39:00","slug":"draggan-bildmanipulation-mit-interaktiver-punktbasierter-steuerung","status":"publish","type":"post","link":"https:\/\/ioplus.nl\/archive\/de\/draggan-bildmanipulation-mit-interaktiver-punktbasierter-steuerung\/","title":{"rendered":"DragGAN: Revolution\u00e4re Bildmanipulation mit interaktiver punktbasierter Steuerung"},"content":{"rendered":"\n<p>F\u00fcr diejenigen, die sich immer noch von dem erholen, was uns Midjourney und Dall-Es KI-gest\u00fctzte Bilderzeugung gebracht haben, gibt es eine beunruhigende Nachricht: Wir haben die Grenzen der k\u00fcnstlichen Intelligenz noch nicht erreicht. Die F\u00e4higkeit von KI-Tools, Bilder zu manipulieren, nimmt weiter zu. Das j\u00fcngste Beispiel wird in einer <a href=\"https:\/\/arxiv.org\/pdf\/2305.10973.pdf\">Forschungsarbeit<\/a> des Max-Planck-Instituts gezeigt. Vorerst ist es &#8220;nur&#8221; eine Forschungsarbeit, aber eine sehr beeindruckende, die es dem Benutzer erm\u00f6glicht, Elemente eines Bildes zu ziehen, um ihr Aussehen zu ver\u00e4ndern.<\/p>\n\n\n\n<p>Falls Sie es noch nicht verstanden haben, hier ist ein Beispiel:<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"DragGAN - Next-Level Image Editing Like You&#039;ve Never Seen Before! Quick Demo\" width=\"1290\" height=\"726\" src=\"https:\/\/www.youtube.com\/embed\/ll49tu5cEIc?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<p>Sie k\u00f6nnen nicht nur die Abmessungen eines Autos \u00e4ndern oder ein L\u00e4cheln durch einfaches Klicken und Ziehen in ein Stirnrunzeln verwandeln, sondern auch das Motiv eines Bildes drehen, als w\u00e4re es ein 3D-Modell &#8211; zum Beispiel die Blickrichtung einer Person \u00e4ndern. Eine weitere M\u00f6glichkeit besteht darin, die Spiegelungen auf einem See oder die H\u00f6he eines Berges mit ein paar Klicks anzupassen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">DragGAN<\/h2>\n\n\n\n<p>Die Erstellung visueller Inhalte, die den Bed\u00fcrfnissen der Benutzer entsprechen, erfordert oft eine pr\u00e4zise und flexible Kontrolle \u00fcber Attribute wie Pose, Form, Ausdruck und Layout der generierten Objekte. Traditionelle Methoden zur Steuerung von Generative Adversarial Networks (GANs) st\u00fctzen sich auf manuell beschriftete Daten oder vorherige 3D-Modelle. Diesen Ans\u00e4tzen mangelt es jedoch oft an Pr\u00e4zision, Flexibilit\u00e4t und Allgemeinheit. Als Antwort auf diese Unzul\u00e4nglichkeiten stellt das Max-Planck-Institut DragGAN vor, einen neuartigen Ansatz, der es dem Benutzer erm\u00f6glicht, interaktiv beliebige Punkte in einem Bild an die gew\u00fcnschte Stelle zu &#8220;ziehen&#8221;.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/archive.ioplus.nl\/wp-content\/uploads\/2023\/05\/Screenshot-2023-05-20-at-09.15.02-1004x501.png\" alt=\"DragGAN \u00a9 Max Planck Institute\" class=\"wp-image-446990\"\/><figcaption class=\"wp-element-caption\">DragGAN \u00a9 Max Planck Institute<\/figcaption><\/figure>\n\n\n\n<p>DragGAN besteht aus zwei Hauptkomponenten: einer merkmalsbasierten Bewegungs\u00fcberwachung und einem neuen Punktverfolgungsansatz. Die Bewegungs\u00fcberwachung erm\u00f6glicht die benutzergef\u00fchrte Bewegung von Griffpunkten im Bild zu Zielpositionen. Der Punktverfolgungsansatz nutzt markante Generatormerkmale, um die Positionen der Griffpunkte zu verfolgen, w\u00e4hrend sie bewegt werden. Auf diese Weise k\u00f6nnen Benutzer Bilder pr\u00e4zise verformen und Attribute wie Pose, Form, Ausdruck und Layout in verschiedenen Kategorien wie Tiere, Autos, Menschen und Landschaften beeinflussen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Flexibel, pr\u00e4zise, generisch<\/h2>\n\n\n\n<p>Diese Methode stellt eine flexiblere, pr\u00e4zisere und generische Methode zur Steuerung von GANs dar, die es dem Benutzer erm\u00f6glicht, eine beliebige Anzahl von Griffpunkten und entsprechenden Zielpunkten auf einem Bild auszuw\u00e4hlen. Das Ziel ist es, diese Griffpunkte zu bewegen, um ihre jeweiligen Ziele zu erreichen. Dieser Ansatz erm\u00f6glicht es dem Benutzer, eine Reihe von r\u00e4umlichen Attributen zu kontrollieren, unabh\u00e4ngig von den Objektkategorien. Damit unterscheidet sich DragGAN von bisherigen Methoden, die oft nicht auf neue Objektkategorien verallgemeinert werden k\u00f6nnen oder nur eine begrenzte Kontrolle \u00fcber r\u00e4umliche Attribute bieten.<\/p>\n\n\n\n<p>Der Ansatz von DragGAN st\u00fctzt sich nicht auf andere Netzwerke wie RAFT, was ihn f\u00fcr Manipulationsaufgaben effizient macht. Die Forscher geben an, dass er in den meisten F\u00e4llen nur wenige Sekunden auf einer RTX 3090 GPU ben\u00f6tigt. Dies erm\u00f6glicht interaktive Live-Bearbeitungssitzungen, bei denen verschiedene Layouts schnell durchgespielt werden k\u00f6nnen, bis das gew\u00fcnschte Ergebnis erreicht ist.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/archive.ioplus.nl\/wp-content\/uploads\/2023\/05\/Screenshot-2023-05-20-at-09.11.08-1004x357.png\" alt=\"\u00a9 Max Planck Institute\" class=\"wp-image-446988\"\/><figcaption class=\"wp-element-caption\">DragGAN \u00a9 Max Planck Institute<\/figcaption><\/figure>\n\n\n\n<p>Im Rahmen einer umfassenden Evaluierung verschiedener Datens\u00e4tze hat DragGAN seine F\u00e4higkeit unter Beweis gestellt, benutzerdefinierte Griffpunkte an Zielpositionen zu verschieben und so verschiedene Manipulationseffekte in vielen Objektkategorien zu erzielen. Ein wesentliches Merkmal von DragGAN ist die M\u00f6glichkeit der Eingabe einer bin\u00e4ren Maske durch den Benutzer, die den zu bewegenden Bereich in einem Bild angibt. Dies erm\u00f6glicht eine nuanciertere Steuerung von Manipulationen und tr\u00e4gt dazu bei, Mehrdeutigkeiten zu reduzieren und bestimmte Regionen zu fixieren.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Beschr\u00e4nkungen und Missbrauch<\/h2>\n\n\n\n<p>Die Forscher warnen jedoch auch, dass DragGAN seine Grenzen hat. Obwohl es \u00fcber einige Extrapolationsf\u00e4higkeiten verf\u00fcgt, kann die Qualit\u00e4t der Bearbeitung durch die Vielfalt der Trainingsdaten beeintr\u00e4chtigt werden. Au\u00dferdem leiden Griffpunkte in texturlosen Regionen manchmal unter Drift bei der Verfolgung. Trotz dieser Einschr\u00e4nkungen bietet DragGAN einen effektiven, interaktiven Ansatz f\u00fcr die Bildbearbeitung.<\/p>\n\n\n\n<p>Die Autoren der Studie weisen auf das Missbrauchspotenzial der Technologie hin, da sie dazu verwendet werden kann, Bilder einer realen Person mit einer falschen Pose, einem falschen Ausdruck oder einer falschen Form zu erstellen. Sie betonen, wie wichtig es ist, bei der Anwendung ihres Ansatzes die Pers\u00f6nlichkeitsrechte und Datenschutzbestimmungen zu beachten.<\/p>\n\n\n\n<p>Zusammenfassend l\u00e4sst sich sagen, dass DragGAN einen bedeutenden Fortschritt auf dem Gebiet der GAN-basierten Bildmanipulation darstellt. Die Methode nutzt ein vortrainiertes GAN, um Bilder zu erzeugen, die sich eng an die Benutzereingaben anlehnen und dabei realistisch bleiben. Durch die Optimierung latenter Codes und ein Punktverfolgungsverfahren bietet DragGAN pixelgenaue Bildverformungen und interaktive Leistung. Die Autoren hoffen, diese punktbasierte Bearbeitung in Zukunft auf generative 3D-Modelle ausweiten zu k\u00f6nnen.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>F\u00fcr diejenigen, die sich immer noch von dem erholen, was uns Midjourney und Dall-Es KI-gest\u00fctzte Bilderzeugung gebracht haben, gibt es eine beunruhigende Nachricht: Wir haben die Grenzen der k\u00fcnstlichen Intelligenz noch nicht erreicht. Die F\u00e4higkeit von KI-Tools, Bilder zu manipulieren, nimmt weiter zu. Das j\u00fcngste Beispiel wird in einer Forschungsarbeit des Max-Planck-Instituts gezeigt. Vorerst ist [&hellip;]<\/p>\n","protected":false},"author":1568,"featured_media":495126,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"advgb_blocks_editor_width":"","advgb_blocks_columns_visual_guide":"","footnotes":""},"categories":[36843],"tags":[78139,78136,78142],"location":[24328],"article_type":[36655],"serie":[],"archives":[],"internal_archives":[],"reboot-archive":[],"class_list":["post-447002","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-digital-de-de","tag-draggan-de","tag-max-planck-de","tag-max-planck-institut-2-de","location-deutschland","article_type-aktuell"],"blocksy_meta":[],"acf":{"subtitle":"Im Moment ist es \"nur\" eine Forschungsarbeit des Max-Planck-Instituts, aber eine sehr beeindruckende, die es dem Benutzer erlaubt, Elemente eines Bildes zu ziehen, um deren Aussehen zu ver\u00e4ndern.","text_display_homepage":false},"author_meta":{"display_name":"Bart Brouwers","author_link":"https:\/\/ioplus.nl\/archive\/author\/brewbart\/"},"featured_img":"https:\/\/ioplus.nl\/archive\/wp-content\/uploads\/2023\/05\/Screenshot-2023-05-20-at-09.12.44.png","coauthors":[],"tax_additional":{"categories":{"linked":["<a href=\"https:\/\/ioplus.nl\/archive\/de\/category\/digital-de-de\/\" class=\"advgb-post-tax-term\">Digital<\/a>"],"unlinked":["<span class=\"advgb-post-tax-term\">Digital<\/span>"]},"tags":{"linked":["<a href=\"https:\/\/ioplus.nl\/archive\/de\/category\/digital-de-de\/\" class=\"advgb-post-tax-term\">DragGAN<\/a>","<a href=\"https:\/\/ioplus.nl\/archive\/de\/category\/digital-de-de\/\" class=\"advgb-post-tax-term\">Max Planck<\/a>","<a href=\"https:\/\/ioplus.nl\/archive\/de\/category\/digital-de-de\/\" class=\"advgb-post-tax-term\">Max Planck Institut<\/a>"],"unlinked":["<span class=\"advgb-post-tax-term\">DragGAN<\/span>","<span class=\"advgb-post-tax-term\">Max Planck<\/span>","<span class=\"advgb-post-tax-term\">Max Planck Institut<\/span>"]}},"comment_count":"0","relative_dates":{"created":"Posted 3 years ago","modified":"Updated 3 years ago"},"absolute_dates":{"created":"Posted on May 20, 2023","modified":"Updated on May 20, 2023"},"absolute_dates_time":{"created":"Posted on May 20, 2023 2:39 pm","modified":"Updated on May 20, 2023 2:39 pm"},"featured_img_caption":"","series_order":"","_links":{"self":[{"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/posts\/447002","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/users\/1568"}],"replies":[{"embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/comments?post=447002"}],"version-history":[{"count":0,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/posts\/447002\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/media\/495126"}],"wp:attachment":[{"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/media?parent=447002"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/categories?post=447002"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/tags?post=447002"},{"taxonomy":"location","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/location?post=447002"},{"taxonomy":"article_type","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/article_type?post=447002"},{"taxonomy":"serie","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/serie?post=447002"},{"taxonomy":"archives","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/archives?post=447002"},{"taxonomy":"internal_archives","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/internal_archives?post=447002"},{"taxonomy":"reboot-archive","embeddable":true,"href":"https:\/\/ioplus.nl\/archive\/wp-json\/wp\/v2\/reboot-archive?post=447002"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}