Lernen übertragen

Transferlernen ist eine Technik des maschinellen Lernens (ML), bei der ein für eine Aufgabe entwickeltes Modell als Ausgangspunkt für ein Modell für eine zweite, verwandte Aufgabe wiederverwendet wird. Anstatt ein Modell von Grund auf neu zu erstellen, was eine riesige Menge an Daten und Rechenressourcen erfordert, wird beim Transfer-Lernen das Wissen - z. B. Merkmale, Gewichte und Muster - genutzt, das aus einer Ausgangsaufgabe gelernt wurde. Dieser Ansatz ist äußerst effizient und hat sich zu einem Eckpfeiler des modernen Deep Learning entwickelt, insbesondere im Bereich der Computer Vision (CV). Durch die Verwendung eines vorab trainierten Modells können Entwickler mit deutlich weniger Daten und kürzeren Trainingszeiten eine höhere Leistung erzielen.

Wie Transferlernen funktioniert

Der Kerngedanke hinter dem Transfer-Lernen ist, dass ein Modell, das auf einem großen und allgemeinen Datensatz trainiert wurde, wie z. B. ImageNet zur Bildklassifizierung, bereits gelernt hat, universelle Merkmale wie Kanten, Texturen und Formen zu erkennen. Dieses grundlegende Wissen wird in den ersten Schichten des Modells gespeichert, die oft als "Backbone" bezeichnet werden.

Das Verfahren umfasst in der Regel zwei Hauptschritte:

1. Beginnen Sie mit einem vortrainierten Modell: Es wird ein Modell ausgewählt, das zuvor auf einem großen Benchmark-Datensatz trainiert wurde. Die meisten YOLO-Modelle von Ultralytics werden zum Beispiel mit Gewichten geliefert, die zuvor auf dem COCO-Datensatz trainiert wurden. Diese Modelle verfügen bereits über ein solides Verständnis der allgemeinen Objektmerkmale.
2. Feinabstimmung: Das vortrainierte Modell wird dann an eine neue, spezifische Aufgabe angepasst. Diese Anpassung, die als Feinabstimmung bezeichnet wird, beinhaltet ein weiteres Training des Modells auf einem kleineren, aufgabenspezifischen Datensatz. Während dieser Phase wird die Lernrate in der Regel niedrig gehalten, um kleinere Anpassungen an den Modellgewichten vorzunehmen, ohne dass die wertvollen, zuvor gelernten Merkmale verloren gehen. Eine detaillierte Anleitung finden Sie im PyTorch-Tutorial zum Transfer-Lernen.

Anwendungen in der realen Welt

Transferlernen ist nicht nur ein theoretisches Konzept, sondern findet in vielen Branchen praktische Anwendung.

• Medizinische Bildanalyse: Ein Modell kann auf dem allgemeinen ImageNet-Datensatz vortrainiert und dann feinabgestimmt werden, um spezifische Anomalien wie Hirntumore auf MRT-Scans zu erkennen. Da beschriftete medizinische Daten oft knapp und teuer sind, ermöglicht das Transferlernen die Entwicklung präziser Diagnoseinstrumente, ohne dass Millionen von medizinischen Bildern benötigt werden. Weitere Informationen zu diesem Thema finden Sie unter Wie KI eine neue Ära der Präzision in der Radiologie einleitet.
• Autonome Fahrzeuge: Ein Objekterkennungsmodell kann anhand eines riesigen Datensatzes von Straßenbildern vortrainiert und dann von einem bestimmten Fahrzeughersteller feinabgestimmt werden, um bestimmte Fahrzeugmodelle zu erkennen oder unter bestimmten Wetterbedingungen zu arbeiten. Auf diese Weise wird das vorhandene Wissen über Autos, Fußgänger und Schilder genutzt, was die Entwicklung beschleunigt und die Sicherheit verbessert.

Transfer Learning vs. Verwandte Konzepte

Es ist wichtig, das Transfer Learning von anderen ML-Techniken zu unterscheiden:

• Stiftung Modelle: Dabei handelt es sich um groß angelegte Modelle, die mit großen Datenmengen trainiert wurden und speziell für die Anpassung an verschiedene nachgelagerte Aufgaben entwickelt wurden. Transferlernen ist der Prozess der Anpassung dieser Basismodelle.
• Zero-Shot Learning: Diese Technik ermöglicht es einem Modell, Klassen zu erkennen, die es beim Training nicht gesehen hat. Während das Transfer-Lernen ein Modell an eine neue Aufgabe mit einigen neuen Daten anpasst, zielt das Zero-Shot-Lernen auf eine Verallgemeinerung ohne Beispiele für die neuen Klassen ab. In unserem Leitfaden über Few-Shot-, Zero-Shot- und Transfer-Lernen werden diese Unterschiede ausführlicher erläutert.
• Wissensdestillation: Dabei wird ein kleineres "Schüler"-Modell darauf trainiert, das Verhalten eines größeren "Lehrermodells" zu imitieren, um Effizienz zu erreichen. Beim Transferlernen geht es darum, Wissen von einer Aufgabe auf eine andere zu übertragen, während bei der Destillation das Wissen innerhalb derselben Aufgabe verdichtet wird.

Tools und Rahmenwerke

Die Anwendung von Transfer Learning wird durch verschiedene Tools und Plattformen zugänglich gemacht. Frameworks wie PyTorch und TensorFlow bieten eine umfangreiche Dokumentation und bereits trainierte Modelle. Plattformen wie Ultralytics HUB rationalisieren den gesamten Arbeitsablauf, indem sie es den Benutzern ermöglichen, bereits trainierte Modelle wie YOLOv8 und YOLO11 zu laden, benutzerdefiniertes Training auf neuen Datensätzen durchzuführen und die Modellbereitstellung zu verwalten. Für ein tieferes theoretisches Verständnis sind Ressourcen wie der Stanford CS231n Überblick über Transfer Learning von unschätzbarem Wert.