Arten lernen in neuer Dimension: App-Anwendung „Flora Incognita“

Ilmenau liegt im Grünen. Dass gerade in der Kleinstadt am Rande des Thüringer Waldes an der Zukunft gearbeitet wird, nimmt man erst wahr, wenn man genauer hinsieht; wenn man etwa die Universität besucht. Da begegnet einem die Technik hautnah zum Beispiel in Form eines Roboters, der in Begleitung einer wissenschaftlichen Fachkraft über die Flure des Zusebaus auf dem Ilmenauer Campus fährt. „Der trainiert hier regelmäßig für Einsätze im Krankenhaus und wird immer intelligenter“, sagt Prof. Dr. Patrick Mäder grinsend, während der Automat die offene Bürotür passiert. In seinem Institut geht es in Lehre und Forschung um Digitalisierung und Sicherheit. Mit Botanik hatte das, was die Fakultät für Informatik und Automatisierung bisher gemacht hat, herzlich wenig zu tun. Mäder ist EDV-Spezialist. Sein Arbeitsgebiet ist Softwareentwicklung für sicherheitskritische Systeme. Ein wichtiger Teil davon sind Bilderkennungstools.

Mit am Tisch sitzt Dr. Jana Wäldchen. Sie ist Biologin am Max-Planck-Institut für Biogeochemie in Jena. Sie hatte die Idee, Pflanzen mithilfe der damals noch jungen Smartphonetechnik zu bestimmen, als ihr eigenes Pflanzenwissen in der Promotion gefragt war. Mäder und Wäldchen entwickelten die Idee zum Projekt weiter.

Staatliches Förderprojekt als Glücksfall

Es beruht auf einem Zufall und einer relativ einmalig gehaltenen Ausschreibung für ein Forschungsvorhaben, dass daraus die Flora Incognita entstanden ist. Einerseits war es ein Glücksfall, dass kurz nach der Idee, Arten über Software zu erkennen, die passende Förderung kam, auf die sich Mäder und Wäldchen mit ihrem Projekt und ihren Einrichtungen 2011 bewerben konnten. Andererseits war die Art der Unterstützung einmalig. Das Bundeswissenschaftsministerium und das Bundesamt für Naturschutz (BfN) hatten im Rahmen der nationalen Strategie der biologischen Vielfalt eine gemeinsame Förderung ausgeschrieben; Laufzeit sechs Jahre, Fördervolumen 1,5 Mio. Euro und die Vorgabe, Theorie und Praxis miteinander zu verbinden. Eine Citizen-Science-Komponente als Bestandteil war von den Auftraggebern von Anfang an gefordert.

„Normalerweise werden Projekte 24 bis 36 Monate gefördert und hier konnte man bis zu sechs Jahre beantragen“, beschreibt Mäder die Besonderheit der Ausschreibung. „Das hat uns wirklich die Möglichkeit gegeben, das auch umzusetzen“, fügt der Wissenschaftler an und liefert damit gleich einen Hinweis darauf, wie Forschung in Deutschland praxistauglicher werden könnte; nämlich mit bereichsübergreifender Zusammenarbeit, längeren Förderperioden, der Ausschreibung eines Umsetzungsteils und der Erprobung desselben in der Praxis. „Wir konnten letztes Jahr schon online gehen, obwohl wir noch mitten im Projekt waren und konnten so auch schon Erfahrungen sammeln und über den Winter einarbeiten“, beschreibt Wäldchen den Unterschied zu Projekten, an deren Ende ein mehr oder weniger ausgereifter Prototyp eines Ergebnisses steht.

Aller Anfang ist schwer

Bis die App letzten Sommer online gehen konnte, waren einige Hindernisse zu überwinden. Erst dauerte es fast zwei Jahre, bis der Förderungsbescheid kam, dann galt es viel Grundlagenarbeit zu leisten und ein interdisziplinäres Projektteam aufzubauen. Die ITler in Ilmenau mussten lernen, wie eine biologische Taxonomie funktioniert, die Botaniker mussten verstehen, dass Algorithmen Arten nicht mithilfe derselben Parameter wie Menschen voneinander unterscheiden. Beide Professionen arbeiten unterschiedlich. Deswegen hat es eine Weile gedauert, bis alle auf einer Ebene waren und sich ein tolles Team formiert hatte, das nun auch eine gemeinsame Sprache spricht. „Der Anfang ist immer eine Taxonomie“, beschreibt Mäder die Bedeutung eines klaren Rahmens für das Vorgehen. Und da die Nomenklatur sich von Land zu Land unterscheidet und sich durch wissenschaftliche Arbeit verändert, war es erst einmal wichtig, sich auf einen Rahmen zu verständigen.

Gleichzeitig bewegte sich das Projektteam in einem Umfeld mit rasender Technologieentwicklung. Das Smartphone stand 2011 noch ganz am Anfang. Die Bilderkennungstechnik ebenfalls. Die Leistung damals gängiger Rechner betrug nur ein Bruchteil heutiger Computer. „Als wir begonnen haben, haben wir noch mit konventionellen Bilderkennungstechniken geplant. Das war der Stand 2010/2011, als wir die ersten Skizzen dazu hatten“, sagt Mäder. „Deep Learning – also Künstliche Intelligenz – ist ja erst 2012/2013 aufgekommen.“ Und die Entwicklung geht rasend schnell weiter. Schon mehrfach hat das Team die komplette Architektur ausgetauscht – also eigentlich alles außer den Daten, zum letzten Mal beim großen Update im Frühjahr.

Im Herz eine Bildersammlung

„Das systematische Sammeln von Trainingsdaten nimmt einen ungeheuren Raum ein“, beschreibt Mäder eine der Problemstellungen. Zahlreiche glaubwürdige Bilder mussten gesammelt werden, um der Maschine das Bestimmen beizubringen. Für die heimische Flora hieß das, Tausende Bilder zu beschaffen, urheberrechtlich gesichert und sicher bestimmt. Ein Mammutwerk. Von jeder Pflanze braucht es mindestens 100 Bilder aus unterschiedlichen Perspektiven. Für die fast 5.000 Arten, die die Flora Incognita mittlerweile mit einer Sicherheit von etwa 93 Prozent bestimmen kann, sind rund 2 Millionen Bilder auf dem Server hinterlegt, Tendenz schnell wachsend. Diese stammen aus drei großen Quellen. Das sind zum Beispiel Bildersammlungen aus dem Internet, wie die encyclopedia of life (eol) oder das FloraWeb des Bundesamtes für Naturschutz (BfN), in dem auch die Bilddaten des Standardwerks „Flora von Deutschland“ (Haeupler/Muer) hinterlegt sind. Das sind geprüfte Bilder mit Creative-Commons-Lizenzen. Als zweite große und besonders wichtige Quelle sind die Bildsammlungen, die Botaniker und Experten der heimischen Flora den Wissenschaftlern zur Verfügung gestellt haben. Und die dritte Quelle sind Bilder aus der App „Flora Capture“, einer Vorläuferversion der Flora Incognita. Diese hatte das Projektteam bereits 2017 freigeschaltet, um botanisch versierte Laien zu ermuntern, Pflanzen zu fotografieren und den Botanikern in Jena zur Begutachtung zu überlassen. Die App läuft immer noch und sammelt weiter Bilder, die dem Aufbau der Bilddatenbank dienen.

Je bildfüllender das Motiv, Desto besser die Technik

Dass die Flora Incognita schon so gute Ergebnisse liefert, ist auch deshalb so erstaunlich, weil das System immer noch nur mit einem Bruchteil der Möglichkeiten der Bilderkennung arbeitet. Denn aus technischen Gründen kann nur eine geringe Auflösung der Bilder zum Trainieren verwendet werden. Während schon eine Handykamera 2000 × 3000 Bildpunkte – also 6 Megapixel – für die Aufnahme nutzt, müssen die Forscher die Auflösung der Bilder, die sie zum Trainieren der Software nutzen, auf 350 × 350 Pixel reduzieren. Größere Datenmengen sind mit den derzeit technischen Möglichkeiten nicht zu verarbeiten. „Es passiert da zwar etwas seit letztem Jahr. Die ganz Großen – also Google und Amazon – schalten ihre Cluster zusammen, um riesige Rechenzentren zu bilden, die dann in der Lage sind, auch mit höheren Auflösungen zu trainieren. Aber der Stand der Technik ist 350 × 350 Pixel“, weiß Mäder. „Das macht es aber umso wichtiger, dass sie das Bild möglichst mit dem Detail ausfüllen.“ Denn mit zunehmender Entfernung vom Objekt bei gleichzeitiger Reduktion der Auflösung reduziert sich die Aussagekraft eines Bildes. „Wir versuchen die Leute dahin zu führen, dass wir sagen: Geht möglichst nahe ran, nehmt das im großen Detail auf, nutzt den Zoom“, sagt der Forscher. „Wir wollen ja nicht das perfekte Bild machen, sondern möglichst viele Informationen für unseren Algorithmus erhalten.“ Auch der Hintergrund liefert der Software wertvolle Erkenntnisse für die Einordnung. Denn bestimmte Arten haben auch eine bestimmte Lebensraumumgebung, deren Muster der Algorithmus erkennen kann.

90 Mio. Parameter geben ein Ergebnis

„Es passiert gerade ein Paradigmenwechsel in der Art, wie wir Software entwickeln“, erklärt Mäder. Denn das Maschinenlernen nehme ihm ja einen Teil der Arbeit ab, Software zu schreiben. Der Projektleiter will es noch nicht mal unbedingt KI nennen. „Letztlich betreiben wir Statistik auf ganz großer Skala.“ Wie die Software dabei zu ihren Wahrscheinlichkeitsabschätzungen gelangt, ist für Laien gar nicht so einfach zu verstehen. Das Besondere hinter der Flora Incognita ist, dass sie nicht nur jeweils ein Netz aus mehreren Lagen nutzt, um in einem Bild eine bestimmte „Klasse“ – in diesem Fall eine Art – zu erkennen. Erst die Fusion aus mehreren Netzen und der Zusammenführung von Deep-Learning-Ergebnissen mit Standortdaten, Verbreitungshäufigkeit oder Zeitpunkten der Aufnahme macht die Qualität des Ergebnisses aus.

„Bei der traditionellen Bilderkennung hat sich ein Experte – in diesem Fall zum Beispiel ein Botaniker mit IT-Kenntnissen – hingesetzt und sich gefragt, was denn die charakteristischen Merkmale für dieses Subjekt sind, was ich da erkennen will“, blickt Mäder zurück. Das hätte so etwas sein können wie „gezahnter Blattrand“ oder „runde Blattform“. Diese Merkmale oder Features hätten früher Klassen charakterisiert. „Was man heute macht, ist sogenanntes Repräsentationslernen. Dabei lernt das System die vorher aufgestellten Regeln mit“, erklärt der Wissenschaftler. Beim „Deep Learning“ werden mit jedem zusätzlichen Layer spezifischere Merkmale gelernt; Merkmale, die sich dem Menschen gar nicht unbedingt erschließen müssen, weil es Muster sind, die zwar für die maschinelle Unterscheidung von Bedeutung sind, die das Auge aber gar nicht als solche erkennen muss.

„Unser Klassifikator kann aktuell knapp 5.000 Klassen unterscheiden. Dahinter stecken knapp 90 Mio. Parameter, die gelernt werden und aus denen die Repräsentation zusammengebaut wird“, beschreibt Mäder. Allein die Bilderkennung erreicht mittlerweile 87 Prozent Treffsicherheit. Nach Fusion mit den übrigen Parametern steigt sie auf rund 93 Prozent.

Ein Parameter interessiert die Forscher übrigens besonders – und das ist der Standort. Er hilft nicht nur beim Bestimmen, indem er die Wahrscheinlichkeit des Auftretens einer Art unter den am Standort herrschenden Bedingungen beschreibt, sondern gibt dem Team auch wertvolle Hinweise über die Verbreitung von Arten. Die helfen dann unter anderem auch wieder, die FI noch präziser zu machen.

Dafür haben die Forscher ein Modell entwickelt, mit dem sich Standortvorhersagen machen lassen. Es nutzt Habitatkarten, Bodenkarten, Verbreitungskarten von FloraWeb sowie phänologische Jahreszeiten. „Sie haben natürlich die Möglichkeit, die Standortfreigabe nicht zu erteilen“, verrät Mäder. Die App funktioniere trotzdem, wenn auch mit geringerer Trefferquote, weil das Fusionsmodell nicht angewendet werden kann. „Für uns macht es das natürlich ein klein bisschen uninteressanter, weil wir ja wissen wollen, wo die Pflanzen vorkommen.“

Die Spieleindustrie als KoVater des Erfolgs

Die Flora Incognita ist auch ein Spiegel der technischen Entwicklung. Zum Start der FI sei 2012 eine Reihe wichtiger Faktoren zusammengekommen, zählt Mäder auf: der methodische Durchbruch beim Deep Learning, die Verfügbarkeit von Bildern über das Internet, die Möglichkeit, mit dem Smartphone in großem Stil Bilder aufzunehmen und hochzuladen, sowie die Steigerung der rechentechnischen Leistung – interessanterweise getrieben von den Anbietern von Computerspielen. Sie benötigen für möglich realistisch animierte Bilder große Rechnerleistungen und leistungsfähige Grafikkarten. Diese machen mathematisch ähnliche Rechenvorgänge, wie sie für die Klassenunterscheidung notwendig sind. „Wir verwenden hier einen Spezialserver der Firma Nvidia der Größenordnung von 150.000 Euro“, erzählt der Projektleiter. Darin seien acht miteinander verschaltete Grafikkarten enthalten, die besonders schnelle Rechenleistung an den Tag legen.

Sechs Wochen lang werden die vorhandenen Bilder immer wieder gezeigt, jedes Bild mehrfach. In dem automatisierten Durchlauf werden pro Bild dabei nach einem Zufallsprinzip ausgewählte quadratische Bildausschnitte („Patches“) gescannt. „Daraus lernt das Netz immer subtilere Details“, erklärt der Wissenschaftler. Um die Ungleichverteilung der Arten auszubalancieren, werden unterrepräsentierte Pflanzen häufiger gezeigt.

Dazu gehörten natürlich ein sehr, sehr schnelles Netzwerk und ein guter Datenspeicher, sagt Mäder.

Mit dem Erfolg mitrüsten

Was das bedeutet, hat das FI-Team am Pfingstmontag feststellen dürfen. 50.000 Bestimmungen liefen da an einem Tag. Das war Rekord. Für die Server in Ilmenau war es auch deshalb ein Stresstest, weil das Unisystem für diesen Tag ein Back-up angesetzt hatte. Da ging die FI für eine Stunde in die Knie.

Im Juni hat Mäder weiter aufgerüstet: „Wir haben den Server in allen Dimensionen verdoppelt: doppelt so viel Speicher, die doppelte Menge Prozessoren“, versichert er. Die Software sei noch einmal optimiert worden. „Wir haben jetzt außerdem ein System aufgesetzt, bei dem wir Belastung künstlich erzeugen und einen Stresstest machen können“, erzählt der Projektleiter. Daneben haben die Ilmenauer ein Monitoringsystem an den Server gehängt, um Nutzerprobleme draußen zu identifizieren. Mit dem Server im Haus und einem schnellen Netz bekommen die Forscher von Problemen bei schlechterer Internetanbindung sonst nämlich nichts mit.

Diesen Sommer muss das bestehende System noch halten. Wenn dann im September die Nutzerzahlen heruntergehen, soll es noch mal für den nächsten Sommer erweitert werden. Im Übrigen sind die FI-Entwickler in der glücklichen Lage, die Gesamtkapazität des Unisystems nutzen und auch auf andere Rechner zugreifen zu können. Ilmenau bekommt zudem ein neues Rechenzentrum. Die Fakultät bemüht sich um einen weiteren Cluster für das Maschinenlernen.

Ganz nebenbei – eine andere Baustelle wird dabei leicht übersehen: Es geht ja nicht nur um den Teil der FI, der in Ilmenau auf dem Server liegt. „Die App-Seite hat ja noch mal eine ganz eigene Komplexität“, ist Mäders Erfahrung. Mit jedem Update, mit jedem neuen Gerät, das erscheint, ließen sich die Hersteller neue Funktionen einfallen, die es dann sehr oft auch notwendig machten, die App weiterzuentwickeln. „Ganz, ganz viel Zeit geht auch in die Entwicklung der Apps.“

Dem Citizen-Science-Ansatz gerecht werden

Das Schöne an dem Projekt ist, dass die Macher aus den Unibiotopen heraustreten. Das Team bemüht sich intensiv, dem Citizen-Science-Format gerecht zu werden und die FI zu einem Bildungsinstrument zu machen. Die Mitarbeiter am Max-Planck-Institut bedienen zum Beispiel den Twitter-Account @Flora_Incognita, sind auf Facebook aktiv (@Flora.Incognita) und setzen sich lebhaft mit den Nutzern auseinander.

Um möglichst vielen Menschen Erfolgserlebnisse beim Bestimmen zu bescheren, wurde die Zahl der Arten mit dem letzten Update fast verdoppelt. Viele Stauden und Gehölze aus Gärten und Parks kamen hinzu. „Man kann ja einem Laien nur schwer vermitteln, weshalb die eine Art drin ist und die andere nicht“, meint Mäder und seine Kollegin belegt das mit einer Anekdote: Neulich habe jemand der App im Google-Store nur einen Stern gegeben, weil sie seine Hängegeranie nicht erkannt hatte.

Nach einem Beratungsgespräch und einem E-MailWechsel gab der Mann begeistert fünf Sterne: Er war überrascht, dass Geranien in Deutschland gar nicht vorkommen, und ließ sich dann von den Bestimmungsübungen in der Natur überzeugen.

Die Qualität der Bestimmung hat übrigens durch den Zuwachs an Datensätzen nicht gelitten – ganz im Gegenteil: Die Erkennungsquote ist noch um 2 Prozent gestiegen. „Das Netz lernt insgesamt, wie Pflanzen aussehen“, ist Mäders Mutmaßung.

Ein lange To-do-Liste

Das Projektteam hatte sich seinerzeit für eine Projektlaufzeit von fünf Jahren beworben. Diese Zeit läuft gerade aus. Aber es gibt die Erlaubnis, die verbleibenden Mittel bis zum nächsten Jahr aufzubrauchen. Denn die eigentliche Förderperiode war ja auf sechs Jahre ausgelegt. Außerdem haben sich die Forscher für ein Anschlussprojekt beworben. Wenn alles gut läuft, geht die Entwicklung der FI also weiter – vielleicht mit etwas anderen Schwerpunkten.

Auf der Wunschliste stehen noch etliche Punkte. So sollen die Ergebnisse für Gräser und Farne noch besser werden. Hier hatten die Forscher das Problem, dass Gräser schwieriger zu fotografieren sind und dass es für Farne weniger Fachleute gibt. Für beide Pflanzengruppen gibt es im Verhältnis zu den Krautigen und Gehölzen viel weniger sicher bestimmte und gute Bilder.

Nachlegen wollen die Wissenschaftler auch noch bei schwer unterscheidbaren Arten und Artengruppen. Hier endet der Pfad meist auf der Aggregatebene. Einerseits will das Team hier noch mit weiteren Bildern nachsteuern, andererseits soll an die FI die App „Flora Keys“ angefügt werden – ein Bestimmungsschlüssel, bei dem der Algorithmus die Fragen in Abhängigkeit von den Nutzerantworten liefert.

Am Ende ist die Flora Incognita gleich aus mehreren Gründen ein Vorzeigeprojekt: weil sie zeigt, dass Forschungsförderung anders aufgestellt werden muss, um in der Praxis anzukommen; weil sie ermöglicht, Expertenwissen der Bevölkerung zugänglich zu machen und gleichzeitig Menschen hilft, zu Experten zu machen und neues Artenwissen aufzubauen. Und weil sie über den Weg der Nutzung viel mehr Daten über die Verbreitung von Arten liefert, als das Experten über die Kartierung zu erbringen vermögen. Mal ganz zu schweigen davon, dass ganz nebenbei ein Referenzsystem entstanden ist, das als Vorbild für die Verbesserung der Artenkenntnis bei anderen Tier- und Pflanzenarten stehen kann.

Nicht zuletzt übrigens ist die FI auch ein wissenschaftliches Projekt, das viel Stoff für Veröffentlichungen liefert; ein sehr lebendiges Stück Wissenschaft eben.

Weitere Infos

finden Sie unter dem Webcode NuL4819.

Download

Unter www.nul-online.de finden Sie ein Dossier zur Flora Incognita mit dem Kontakt zu den Teams sowie Links zu weiteren Informationen. Einfach den WebcodeNuL4837 oben rechts in das Suchfeld auf der Webseite eingeben und das Lupensymbol antippen.

Kontakt

TU Ilmenau Fakultät für Softwaretechnik für sicherheitskritische Systeme

www.tu-ilmenau.de/secsy/

MPI für Biogeochemie

www.bgc-jena.mpg.de