QCM : Effektive Deep-Learning-Techniken verstehen — 10 questions

Questions et réponses du QCM

1. Was ist Datenaugmentation?

Verfahren, bei dem die Modellparameter zufällig deaktiviert werden, um Überanpassung zu verhindern
Normalisierung der Zwischenausgaben einer Schicht anhand der Mini-Batch-Statistiken
Technik zur künstlichen Erweiterung des Trainingsdatensatzes durch Modifikation irrelevanter Eingabeeigenschaften
Tiefe neuronale Netze mit vielen Schichten, die komplexe Funktionen modellieren

Technik zur künstlichen Erweiterung des Trainingsdatensatzes durch Modifikation irrelevanter Eingabeeigenschaften

Explication

Datenaugmentation ist eine Technik, die den Trainingsdatensatz künstlich vergrößert, indem irrelevante Eigenschaften der Eingabedaten verändert werden, um die Robustheit und Generalisierungsfähigkeit des Modells zu verbessern.

2. Was ist die Ursache dafür, dass Dropout die Generalisierungsfähigkeit eines neuronalen Netzwerks verbessert?

Dropout verlängert die Trainingszeit, was zu besserem Lernen führt.
Dropout verändert die Netzwerkarchitektur grundlegend.
Dropout erhöht die Lernrate während des Trainings.
Dropout führt dazu, dass einzelne Neuronen während des Trainings zufällig deaktiviert werden.

Dropout führt dazu, dass einzelne Neuronen während des Trainings zufällig deaktiviert werden.

Explication

Dropout wirkt, indem es während des Trainings zufällig Neuronen deaktiviert, was die Abhängigkeit einzelner Neuronen voneinander verringert und somit die Generalisierungsfähigkeit des Netzwerks verbessert.

3. Welches Jahr ist in der Kursübersicht als Veröffentlichungsjahr für den ursprünglichen Artikel zur Batch Normalization genannt?

2016
2015
2018
2014

2015

Explication

Das Jahr 2015 ist in der Kursübersicht als Referenz 'Y (2015)' für die ursprüngliche Veröffentlichung von Batch Normalization genannt. Dieses Jahr ist daher die korrekte Antwort auf die Frage nach dem Veröffentlichungsjahr.

4. Wer hat das Konzept der Residual-Netzwerke vorgeschlagen, um das Vanishing-Gradient-Problem in tiefen neuronalen Netzen zu lösen?

Szegedy et al. (2014)
Srivastava et al. (2014)
Y (2015)
He et al. (2015)

He et al. (2015)

Explication

He et al. (2015) sind die Autoren, die Residual-Netzwerke (ResNets) vorgestellt haben, um das Vanishing-Gradient-Problem in tiefen Netzen zu überwinden. Ihre Arbeit ist eine grundlegende Referenz in der Forschung zu tiefen neuronalen Netzen.

5. Welche Rolle übernimmt Transferlernen in der Modellierung?

Es sorgt dafür, dass Modelle nur auf einem einzigen Datensatz trainiert werden.
Es reduziert die Modellkomplexität durch Vereinfachung der Architektur.
Es dient der Übertragung von bereits erlerntem Wissen auf eine neue, verwandte Aufgabe.
Es ermöglicht das vollständige Neuentwickeln eines Modells ohne Vorwissen.

Es dient der Übertragung von bereits erlerntem Wissen auf eine neue, verwandte Aufgabe.

Explication

Transferlernen hat die Funktion, das bereits erworbene Wissen eines vortrainierten Modells auf eine neue, verwandte Aufgabe zu übertragen. Dadurch kann die Lernzeit verkürzt und die Leistung bei der neuen Aufgabe verbessert werden.

6. Wie sollte man einen Lernratenplan in der Praxis anwenden, um das Training eines neuronalen Netzes zu optimieren?

Die Lernrate konstant bei einem festen Wert halten, um Stabilität zu gewährleisten
Mit einer niedrigen Lernrate starten und diese im Verlauf des Trainings schrittweise erhöhen
Mit einer hohen Lernrate starten und diese im Verlauf des Trainings schrittweise verringern
Die Lernrate zufällig während des Trainings anpassen, um Überanpassung zu vermeiden

Mit einer hohen Lernrate starten und diese im Verlauf des Trainings schrittweise verringern

Explication

Die gängige Praxis bei Lernratenplänen ist, mit einer hohen Lernrate zu starten, um schnell voranzukommen, und diese dann im Verlauf des Trainings schrittweise zu verringern, um eine präzise Feinjustierung zu ermöglichen. Damit wird die Balance zwischen schneller Konvergenz und genauer Optimierung erreicht.

7. Was ist eine charakteristische Eigenschaft des Verschwindens der Gradienten in tiefen neuronalen Netzen?

Die Gradienten in den frühen Schichten werden so klein, dass sie kaum noch die Gewichte beeinflussen.
Nur in flachen Netzen tritt das Problem des Verschwindens der Gradienten auf.
Das Verschwinden der Gradienten tritt nur bei Verwendung der ReLU-Aktivierungsfunktion auf.
Die Gradienten wachsen in den frühen Schichten exponentiell, was zu Instabilitäten im Training führt.

Die Gradienten in den frühen Schichten werden so klein, dass sie kaum noch die Gewichte beeinflussen.

Explication

Das Verschwinden der Gradienten ist durch die exponentielle Abschwächung der Gradienten in den frühen Schichten bei tiefen Netzen gekennzeichnet. Insbesondere bei Funktionen wie der Sigmoid-Aktivierung, deren Ableitungen maximal 0,25 sind, schrumpfen die Gradienten bei der Rückpropagation durch viele Schichten, sodass sie kaum noch die Gewichte in den unteren Schichten beeinflussen. Dies beschränkt die Lernfähigkeit in den frühen Schichten erheblich.

8. Wie unterscheiden sich der Batch-Gradientenabstieg und der Stochastische Gradientenabstieg hinsichtlich ihrer Berechnung und Anwendung im Optimierungsprozess?

Der Batch-Gradientenabstieg ist schneller, weil er nur eine Stichprobe benutzt, während der Stochastische Gradientenabstieg den gesamten Datensatz benötigt.
Der Batch-Gradientenabstieg aktualisiert die Gewichte in kleinen Schritten, während der Stochastische Gradientenabstieg größere Schritte macht.
Der Batch-Gradientenabstieg verwendet keine Berechnung der Gradienten, während der Stochastische Gradientenabstieg sie direkt berechnet.
Der Batch-Gradientenabstieg berechnet die Gradienten anhand des gesamten Trainingsdatensatzes, während der Stochastische Gradientenabstieg nur eine zufällige Stichprobe verwendet.

Der Batch-Gradientenabstieg berechnet die Gradienten anhand des gesamten Trainingsdatensatzes, während der Stochastische Gradientenabstieg nur eine zufällige Stichprobe verwendet.

Explication

Der Batch-Gradientenabstieg berechnet die Gradienten anhand des gesamten Trainingsdatensatzes, was zu genauen Updates, aber auch zu längeren Berechnungszeiten führt. Der Stochastische Gradientenabstieg hingegen nutzt nur eine zufällige Stichprobe (Mini-Batch) pro Update, was die Berechnung beschleunigt, jedoch zu noisier Updates führt. Diese Unterscheidung ist zentral für das Verständnis der beiden Ansätze.

9. Wann wurde Backpropagation erstmals systematisch veröffentlicht und etabliert?

In den 2000er Jahren
In den 1990er Jahren
In den 1980er Jahren
In den 1970er Jahren

In den 1980er Jahren

Explication

Backpropagation wurde erstmals in den 1980er Jahren durch die Veröffentlichung von Rumelhart, Hinton und Williams im Jahr 1986 systematisch etabliert und bekannt gemacht, was es zu einem Meilenstein in der Entwicklung neuronaler Netzwerke machte.

10. Was ist eine Aktivierungsfunktion in einem neuronalen Netz?

Ein Algorithmus, der die Fehler rückwärts durch das Netzwerk propagiert
Eine Funktion, die die Ausgabe eines Neurons beeinflusst, indem sie die lineare Kombination der Eingaben transformiert
Eine Technik, um die Lernrate während des Trainings anzupassen
Eine Methode, um die Gewichte in einem neuronalen Netz zu initialisieren

Eine Funktion, die die Ausgabe eines Neurons beeinflusst, indem sie die lineare Kombination der Eingaben transformiert

Explication

Eine Aktivierungsfunktion ist eine mathematische Funktion, die die Ausgabe eines Neurons beeinflusst, indem sie die lineare Kombination der Eingaben transformiert. Sie führt die Nichtlinearität ein, die notwendig ist, um komplexe Muster zu modellieren.

Révisez avec les flashcards

Mémorisez les réponses avec 19 flashcards sur Effektive Deep-Learning-Techniken verstehen.

Datenaugmentation — Ziel?

Vielfalt der Trainingsdaten erhöhen

Dropout — Zweck?

Overfitting verhindern, Robustheit steigern

Batch Normalization — Funktion?

Zwischenausgaben standardisieren, Training stabilisieren

Voir les flashcards →

Approfondir avec la fiche

Consultez la fiche de révision complète sur Effektive Deep-Learning-Techniken verstehen.

Voir la fiche →

Cours similaires

Introduction à l'Intelligence Artificielle Symbolique

Intelligence Artificielle

Introduction aux documents et sécurité en construction

Bases de données

Introduction à l'Informatique et IA

Introduction aux marchés publics et réglementations du bâtiment

Bases de données

Gestion des imprimantes Windows et PDF

Introduction aux bases de données relationnelles

Bases de données

Crée tes propres QCM

Importe ton cours et l'IA génère des QCM avec corrections en 30 secondes.

Générateur de QCM