Data Science Tierwohl Emotionen von Kühen in Realtime erkennen

Shortcuts zum Inhalt:
Idee & Projekt - Vorgehen/Modelle - Anwendung/Resultat - Hinter den Kulissen
Programm Information & Kontakt | Info-Events | Applied Data Science Berufsbilder

Ehemaliger HSLU Master Applied Data Science Student

Professor Peter Gloor
MIT Massachusetts (Boston) Institute of Technology
Innovativer Forscher, Wissenschaftler, Dozent & Unternehmer

Die Masterarbeit von Cengiz ebnet den Weg, artgerechte Tierhaltung neu zu denken 
Bereits in der Entwicklung ist ein «Happy Cow»-Gütesiegel für Landwirtschaftsbetriebe. Damit können Züchter:innen eine Aussage über den emotionalen Zustand ihres Viehs treffen und dies der Öffentlichkeit zeigen.

Und wer künftig herausfinden möchte, wie sich der liebste Vierbeiner gerade fühlt, benutzt die «waggydog»-App des Startups FaunaAI. Die App ist in der ersten Version auf Hunde ausgelegt und bereits erhältlich (App Download). Prototypen für Kühe, Pferde oder Katzen sind auch bereits in Entwicklung. 

Kühe verstehen, besser handeln
Kühe werden seit jeher wegen ihres Fleisches und ihrer Milch geschätzt. Neuere Studien zeigen, dass sie komplexe Emotionen und soziale Verhaltensweisen zeigen, wie zum Beispiel Trennungsangst. Trotz der nachgewiesenen emotionalen Komplexität der Tiere leiden viele von ihnen weiterhin in der Industrie, weil ihr emotionaler Zustand immer noch unterschätzt wird. Zwar gibt es bereits Ansätze wie die Obsalim-Methode, bei der die Fütterung von Kühen analysiert wird, aber das mentale Wohlbefinden von Kühen wird weder in der Wissenschaft noch in der Wirtschaft systematisch erfasst.

Cengiz und sein Team sind überzeugt: Wenn wir ein besseres Verständnis für die Emotionen von Kühen erlangen, können wir eine rücksichtsvollere und nachhaltigere Landwirtschaft umsetzen. Wir fördern damit einen bewussteren Fleischkonsum und schärfen das Bewusstsein für die Umweltauswirkungen von Nutztieren. Und Machine Learning soll uns dabei helfen.

Von GoPro-Aufnahmen zu Emotionen in Echtzeit
Cengiz sammelte zuerst möglichst viele hochwertige Bilder und Videos von Kühen. Eine im Stall oder auf der Weide platzierte GoPro wurde dabei von den Tieren eher akzeptiert als eine Drohne, die über der Herde flog und Panik verursachte. Zusätzlich erhielt Cengiz eine Sammlung an Bildern von den zwei Demeter-Höfen «Gut Rheinau» und «Kloster Schönthal Langenbrugg». Aber auch Internetvideos von Kühen, die auf dem Weg zum Schlachthaus gefilmt wurden, flossen in die Sammlung mit ein.

In einem Workshop mit Experten und auf Basis eines Schemas des Forschungsinstituts für biologischen Landbau (FiBL) entwickelte Cengiz ein Framework für die Identifizierung von Stimmungen bei Kühen. Die gesammelten Bilder und Videos kennzeichnete er mit zwei Zuständen: happy oder unhappy.  

Mit den Daten wurden zwei separate Modelle trainiert: Das eine Modell leitet den Gemütszustand aus dem Gesicht und der Kopfposition der Kuh ab, das andere aus der Körperhaltung. Das Ganze übersetzte Cengiz in einen Prototyp für eine App, die Gesichtserkennung und Körperhaltungsanalyse kombiniert und so die Emotionen von Kühen in Realtime erkennen kann.

Vom Input zum Output: Ein Blick auf die Modelle
Das Ziel von Cengiz war, Artificial-Intelligence-Modelle so zu trainieren, dass diese möglichst zuverlässig und bei beliebigen Kuhbildern vorhersagen können, ob es sich um eine zufriedene oder unzufriedene Kuh handelt. Um die Genauigkeit zu erhöhen, kombinierte Cengiz zwei Ansätze: Der erste sollte Emotionen mittels Gesichtserkennung vorhersagen, der zweite anhand der Körperhaltung der Kühe. Sein Vorgehen unterteilte er in drei Schritte: Kennzeichnung der Bilder, Modelltraining und Bewertung des Outputs.

Emotionen erfassen über die Kopfstellung
YOLO, you only live once? You only look once! Zumindest gilt das beim Einsatz von YOLOv5, eines Modells zur Objekterkennung in Echtzeit. Es ist aus Schichten mit tiefem Lernvermögen aufgebaut («Convolutional Neural Network»). Cengiz «fütterte» es mit seinen Daten und verwendete dabei das integrierte PyTorch-Framework. Das Modell für die Kühe wurde mit Hilfe des YOLOv5-Algorithmus von Grund auf neu trainiert, ohne mit Transferlernen die vortrainierte Objekterkennung von YOLOv5 selbst zu erweitern. So wurde eine unabhängige Erkennung von Kuhemotionen anhand der Kopfstellung erstellt. 

Schritt 1: Die Daten vorbereiten 
Zuerst wurden die Bilder für das Training beschriftet. Das bedeutete, Rahmen um die Kuhköpfe zu zeichnen und ihnen Label zu geben – happy oder unhappy. Dank der Rahmen kann das YOLOv5-Modell die Position des Kopfes erkennen. Jeder für das Training verwendete Rahmen ist mit einer Datei verknüpft, die Informationen über den Kopf im Verhältnis zum Gesamtbild enthält.

Schritt 2: Das Modell trainieren
Das Basismodell von YOLOv5 dient als Ausgangspunkt für den Trainingsprozess. Es ist ein einfaches, aber effektives Modell, das bereits an Hunderten von Bildern trainiert wurde. Das Training kann zwischen 5 und 20 Stunden dauern, abhängig von Variablen wie Epochen, Stapelgrösse und der GPU-Leistung (Graphics Processing Unit) des Systems. Alle zehn Iterationen heisst es: zwischenspeichern, so bleiben frühere Modelle erhalten und können bei Bedarf genutzt werden. 

Schritt 3: Den Output bewerten
Machine Learning kann dazu verwendet werden, die Emotionen von Kühen anhand ihrer Kopfhaltung festzustellen, und das mit einer Genauigkeit von 70 bis 80 Prozent. Das Training umfasste 236 Proben und einen Testsatz von 59 Proben. Diese vergleichsweise geringe Anzahl an Bildern schränkt die Genauigkeit ein. Aber sobald grössere Datensätze und mehr Iterationen vorliegen, könnte das Modell auch in einem landwirtschaftlichen Betrieb eingesetzt werden. Beispielsweise um die Emotionen von Kühen im Laufe der Zeit statistisch zu erfassen und ihnen das Gütesiegel «Happy Cow» zu verleihen, wenn sie einen bestimmten Schwellenwert für positive Emotionen erreichen.

Emotionen erfassen über die Körperhaltung
Zusätzlich zur Gesichtserkennung fügte Cengiz einen zweiten Ansatz hinzu, die Vorhersage auf Basis der Körperhaltung einer Kuh. Er setzte dafür zwei unterschiedliche Deep-Learning-Modelle ein: Das erste erkennt die Anwesenheit einer Kuh und ihre Körperhaltung in einem Bild und das zweite Modell identifiziert die Emotionen der Kuh anhand ihrer Pose. 

Schritt 1: Die Daten vorbereiten
Cengiz markierte zuerst 16 Punkte am Körper der Kuh. Zum Beispiel am Kiefer oder an den Hufen. Danach analysierte er die Körperhaltungen auf Kuhbildern und vergab jeweils 200 Labels für zufriedene und 200 für unzufriedene Kühe. So kamen 400 Trainingsbilder zusammen. 

Schritt 2: Das Modell trainieren
Die gelabelten Kuhposen wurden nun in das Modell eingespeist. Cengiz entschied sich für DeepLabCut, eine Methode zur Positionsschätzung in 2D und 3D. DeepLabCut basiert auf Lerntransfer und ist für seine Genauigkeit bei der Einschätzung von Tierposen bekannt. 

Nachdem die Kuhposen trainiert wurden, verwandelte Cengiz die Daten mit den Positionspunkten und den Labels happy und unhappy in einen NumPy Array. Das ist eine mit Python programmierte 3D-Matrix, die Informationen darüber enthält, wie ein Element zu lokalisieren und interpretieren ist. Der Output ist dann ein Bild, das die Position und den dazugehörigen Zustand zeigt: 

Schritt 3: Den Output bewerten
Das Modell der Emotionserkennung auf Basis der Position einer Kuh lieferte eine hohe Genauigkeit von 97%.  

Von Happy Cow zu Happy Dog
Wer an einer Weide vorbeispaziert, wird bald die Kühe scannen und erfahren können, wie es den Tieren geht. Cengiz hat seine Modelle nämlich in einen Prototyp für eine App umgesetzt. Der Prototyp ist in der Lage, Kuhemotionen und -rassen mithilfe eines überwachten Lernmaschinenmodells zu erkennen, das auf beschrifteten Bildern trainiert wird. Landwirt:innen und Interessierte können so künftig Informationen über Kühe suchen und finden. 

Das Potenzial dieses Ansatzes überzeugt: Ein ganzes Team aus ehemaligen Studierenden und renommierten Forscher:innen der HSLU, der Technischen Universität München (TUM) und des Massachusetts Institute of Technology (MIT Peter Gloor) arbeitet nun daran, diese Arbeit über das Startup FaunaAI zu kommerzialisieren. Damit können neben Kuhemotionen auch die Emotionen von Hunden, Katzen und Pferden erkannt werden.

Hier ein Einblick, wie die App waggydog für Hunde funktioniert: 

Die App ist für Android und iOS bereits verfügbar: 

Herausforderungen und Potenzial
Die Genauigkeit eines Machine-Learning-Modells hängt stark von der Menge und Qualität der Bilder pro Kategorie ab. Diese zu beschaffen und bereitzustellen, war eine grössere Herausforderung als die richtigen Methoden zu finden und das Setup für die Pipeline zu erstellen. Daten sind sehr wertvoll, jedoch erst, wenn sie verfügbar und nutzbar gemacht werden können.

Ein Beispiel: Wie konnte Cengiz Material von Kühen mit negativen Emotionen sammeln, ohne diese künstlich zu erzeugen, indem er die Tiere erschreckt oder überrascht? Bilder aus Schlachthöfen wurden grundsätzlich nicht zur Verfügung gestellt und so musste Cengiz die emotionalen (Angst- und Panik-) Bilder im Internet suchen. Diese hatten oft eine schlechte Auflösung, was sich auf das Modelltraining auswirkte. 

Um die Qualität des Modells laufend zu steigern, sollen noch viel mehr Bilder in den Datensatz einfliessen. Das lässt sich über automatisierte Crawler und über eine Zusammenarbeit mit Landwirt:innen lösen – denn diese haben Zugang zu den authentischsten Bildern von Kühen in deren Alltag. Cengiz reflektiert in seiner Arbeit noch einen grundsätzlichen Aspekt: Wie entscheidet man als Mensch über das emotionale Label einer Kuh? Wer kann Tieremotionen für die Trainingsdaten zuverlässig klassifizieren? 

Hier liegen noch keine standardisierten Verfahren vor und so zählt vor allem das Erfahrungswissen von Landwirt:innen und Expert:innen. Eine Möglichkeit wäre eine kollektive Bewertung mit Bauern und Bäuerinnen , welche Milchproduktion in den Vordergrund stellen und sich gegenüber ihrem Vieh «einfühlsamer» verhalten. Mehr Meinungen und Klassifizierungen von kompetenten Personen könnte die Verlässlichkeit der emotionalen Labels erhöhen und damit die Trainingsdaten und den Output der KI-Modelle verbessern.

Wir danken Cengiz Cetinkaya und Peter Gloor herzlich für die interessanten Einblicke in dieses spannende und absolut wegweisende Projekt!

Autor & Masterstudent: Cengiz Cetinkaya
Betreuender Dozent: Prof. Peter Gloor, MIT Massachusetts Institute of Technology

Decision Scientist - Internal Audit Manager/Data Analytics Leader - Data Engineer/Data Scientist - Analyst/Credit Management Office - Data Analyst - Senior Consultant - Specialist Data Analytics - Controlling Professional and Data Science Specialist - Data Science Consultant - Chief Digital Officer - Research Associate - Digital Solutions Engineer - Chief Revenue Officer