Een wandeling door de geschiedenis van Deep Learning - Deep Learning Arises

Zoals gezien in het vorige bericht, na de gebeurtenis van CNN's (Convolutionele Neurale Netwerken) stappen we in de tweede AI Winter, maar in 2006 zou dit veranderen...

• 2006: Diep leren ontstaat
  In 2006 publiceerden Hinton, Simon Osindero en Yee-Whye Teh een artikel waarin zij het probleem van de verdwijnende of exploderende gradiënt oplosten. In dit artikel, "A fast learning algorithm for deep belief nets", toonden zij aan dat in plaats van de neurongewichten willekeurig te initialiseren, neurale netwerken met veel lagen goed konden worden getraind als de gewichten op een slimme manier werden geïnitialiseerd. Het idee was om elke laag te trainen met een Restricted Boltzmann Machine (RBM). Een RBM is een netwerk dat lijkt op een neuraal net. Het heeft eenheden die lijken op perceptron's, maar in plaats van een output te berekenen op basis van inputs en gewichten, kan elke eenheid in het netwerk een waarschijnlijkheid berekenen dat zij een waarde 1 (aan) of 0 (uit) heeft, gegeven de waarden van verbonden eenheden en gewichten. RBM's hebben, in tegenstelling tot Boltzmann Machines, geen verbindingen met verborgen eenheden.

Fig. 1. RBM-initialisatie

• 2010: Diep leren en GPU's
  Nu CPU's een plafond begonnen te bereiken in termen van snelheidsgroei, begon de computerkracht voornamelijk toe te nemen door zwak parallelle berekeningen met meerdere CPU's. Om de miljoenen gewichten te leren die typisch zijn voor diepe modellen, moesten de beperkingen van zwakke CPU-parallelliteit achter zich gelaten worden en vervangen worden door de massaal parallelle rekenkracht van GPU's. In 2005 groeide de productie van GPU's en werden ze goedkoper.
  Met de rekenwinst van GPU's vestigt een GPU-implementatie van back-propagatie in een groot neuraal net in hetzelfde jaar een nieuw record op de beroemde MNIST-benchmark voor handgeschreven cijferherkenning.
• 2012: Overwinning in ImageNet competitie
  Met behulp van CNN's met efficiënte GPU-implementaties was het de eerste keer dat een Deep Learning-systeem een visuele objectdetectiewedstrijd won. De systeemfout was 15,3% en de tweede beste had 26,2%. Dit systeem was de eerste en enige CNN-inzending in die competitie, vandaag zijn alle inzendingen in de competitie CNN's. Dit was het keerpunt. Deep learning was ontstaan en is blijven bestaan.

 

Referenties

1.  Andrey Kurenkov, "Een korte geschiedenis van neurale netten en diep leren."
2. Scholarpedia, "Deep Learning."
3. Nature, "Computer Science, The Learning Machine."
4. LeCun, Y, Bengio, Y., Hinton, G.: Deep Learning. Nature. 521, 436-444 (2015)
5. Nilsson, N. J.: De zoektocht naar kunstmatige intelligentie. Cambridge University Press, New York (2010)
6. KDnuggets, exclusief interview
7. Schmidhuber, J.: Diep leren in neurale netwerken: Een overzicht. Cornell University (2014)
8. Scholarpedia, "Boltzman Machine."