Apprendimento profondo

Rappresentazione stratificata di immagini su più livelli di astrazione.

Deep learning ( tedesco : multilayered learning , deep learning o deep learning ) descrive un metodo di apprendimento automatico che utilizza reti neurali artificiali (ANN) con numerosi strati intermedi ( strati nascosti in inglese ) tra lo strato di input e lo strato di output, creando così un ampio struttura interna. È un metodo speciale di elaborazione delle informazioni.

A sinistra: livello di input con in questo caso tre neuroni di input. A destra: livello di output con i neuroni di output, due in questa immagine. Lo strato intermedio è chiamato strato nascosto perché i suoi neuroni non sono né input né output. Qui è possibile vedere solo un livello nascosto, ma molte reti ne hanno molti di più. Il numero necessario di livelli da cui si parla di “deep learning” non è definito con precisione.

Requisiti e basi

I problemi risolti nei primi giorni dell'intelligenza artificiale erano intellettualmente difficili per gli umani , ma facili da elaborare per i computer . Questi problemi potrebbero essere descritti da regole matematiche formali . La vera sfida per l'intelligenza artificiale, tuttavia, era quella di risolvere compiti facili da eseguire per gli esseri umani, ma la cui soluzione è difficile da formulare utilizzando regole matematiche. Questi sono compiti che gli umani risolvono intuitivamente , come il riconoscimento vocale o facciale .

Una soluzione basata su computer per questo tipo di attività implica la capacità dei computer di apprendere dall'esperienza e comprendere il mondo in termini di una gerarchia di concetti. Ogni concetto è definito dalla sua relazione con i concetti più semplici. Acquisendo conoscenza dall'esperienza, questo approccio evita la necessità per gli operatori umani di specificare formalmente tutte le conoscenze di cui il computer ha bisogno per svolgere il proprio lavoro. La gerarchia dei concetti consente al computer di apprendere concetti complicati assemblandoli da quelli più semplici. Se disegni un diagramma che mostra come questi concetti sono costruiti uno sopra l'altro, il diagramma è profondo, con molti livelli. Per questo motivo, questo approccio è chiamato "apprendimento profondo" nell'intelligenza artificiale.

È difficile per un computer comprendere il significato dei dati di input sensoriali grezzi, come nel riconoscimento della scrittura a mano , in cui un testo inizialmente esiste solo come una raccolta di pixel. La conversione di un insieme di pixel in una catena di numeri e lettere è molto complicata. I modelli complessi devono essere estratti dai dati grezzi. Imparare o valutare questo compito sembra insormontabilmente difficile se fosse programmato manualmente.

Una delle tecniche più comuni nell'intelligenza artificiale è l'apprendimento automatico . L'apprendimento automatico è un algoritmo autoadattativo . Il deep learning, un sottoinsieme del machine learning, utilizza una serie di livelli o concetti gerarchici per eseguire il processo di machine learning. Le reti neurali artificiali utilizzate qui sono costruite come il cervello umano, con i neuroni collegati tra loro come una rete. Il primo livello della rete neurale, il livello di input visibile, elabora l'input di dati grezzi, come i singoli pixel di un'immagine. L'input dei dati contiene variabili accessibili per l'osservazione, da cui il "livello visibile".

Questo primo turno inoltra la sua uscita al turno successivo. Questo secondo livello elabora le informazioni dal livello precedente e inoltra anche il risultato. Il livello successivo riceve le informazioni dal secondo livello e le elabora ulteriormente. Questi livelli sono chiamati rispettivamente livelli nascosti ( livelli nascosti in inglese ). Le caratteristiche che contengono stanno diventando sempre più astratte. I loro valori non sono indicati nei dati originali. Invece, il modello deve determinare quali concetti sono utili per spiegare le relazioni nei dati osservati. Questo continua a tutti i livelli della rete neurale artificiale. Il risultato viene emesso nell'ultimo turno visibile. Questo divide l'elaborazione dei dati complessi desiderata in una serie di associazioni semplici nidificate, ognuna delle quali è descritta da un diverso livello del modello.

Storia, sviluppo e utilizzo

Il metodo di gestione dei dati di gruppo -KNN (GMDH-ANN) degli anni '60 di Oleksiy Iwachnenko sono stati i primi sistemi di apprendimento profondo del tipo percettrone multistrato feedforward. Ulteriori approcci di deep learning, in particolare nel campo della visione artificiale , sono iniziati con il neocognitron , sviluppato da Kunihiko Fukushima nel 1980. Nel 1989, Yann LeCun e colleghi hanno utilizzato l' algoritmo di backpropagation per addestrare ANN multistrato con l'obiettivo di riconoscere i codici postali scritti a mano. Dal 1997, Sven Behnke ha ampliato l'approccio gerarchico-convoluzionale lungimirante nella piramide dell'astrazione neuronale con connessioni laterali e retrospettive al fine di includere in modo flessibile il contesto nelle decisioni e risolvere in modo iterativo le ambiguità locali.

Il termine "deep learning" è stato utilizzato per la prima volta nel contesto dell'apprendimento automatico nel 1986 da Rina Dechter , per cui descrive un processo in cui vengono registrate tutte le soluzioni utilizzate in un'area di ricerca considerata che non ha portato a una soluzione desiderata. L'analisi di queste soluzioni registrate dovrebbe consentire di controllare meglio i test successivi e quindi di prevenire possibili vicoli ciechi nella ricerca della soluzione in una fase iniziale. Al giorno d'oggi, tuttavia, il termine è utilizzato principalmente in connessione con le reti neurali artificiali ed è apparso in questo contesto per la prima volta nel 2000, nella pubblicazione Multi-Valued and Universal Binary Neurons: Theory, Learning and Applications di Igor Aizenberg e colleghi.

I recenti successi dei metodi di deep learning, come la vittoria del torneo Go del programma AlphaGo contro i migliori giocatori umani del mondo, si basano sulla maggiore velocità di elaborazione dell'hardware e sull'uso del deep learning per addestrare la rete neurale utilizzata in AlphaGo. Lo stesso vale per la previsione delle pieghe proteiche che ha avuto successo dal 2020 . Queste reti utilizzano neuroni generati artificialmente ( perceptron ) per riconoscere i modelli.

Yann LeCun , Yoshua Bengio e Geoffrey Hinton hanno ricevuto il Turing Award nel 2018 per i contributi alle reti neurali e al deep learning .

Complessità e limiti di spiegabilità

Le reti neurali profonde possono avere una complessità fino a cento milioni di parametri individuali e dieci miliardi di operazioni aritmetiche per dati di input. La capacità di interpretare i parametri e spiegare come sono arrivati ​​i risultati è possibile solo in misura limitata e richiede l'uso di tecniche speciali, che sono riassunte in Explainable Artificial Intelligence . Un altro effetto collaterale del deep learning è la predisposizione a calcoli errati, che possono essere innescati da sottili manipolazioni dei segnali di ingresso che non sono visibili alle persone, ad esempio nelle immagini. Questo fenomeno è riassunto in Esempi contraddittori .

Librerie di programmi

Oltre alla possibilità, solitamente presentata in esempi formativi per comprenderne la struttura interna, di programmare completamente a mano una rete neurale, esistono una serie di librerie software , spesso open source , solitamente eseguibili su più piattaforme di sistema operativo in comuni linguaggi di programmazione quali come C , C++ , Java o Python . Alcune di queste librerie di programmi supportano GPU o TPU per l'accelerazione del calcolo o forniscono tutorial su come utilizzare queste librerie. Con ONNX i modelli possono essere scambiati tra alcuni di questi strumenti.

• TensorFlow (Python, JavaScript, C++, Java, Go, Swift) di Google
• Keras (Python, dalla versione 1.4.0 incluso anche nell'API TensorFlow) - framework popolare (2018) insieme a Tensorflow.
• Caffe del Berkeley Vision and Learning Center (BVLC)
• PyTorch (Python), sviluppato dal team di ricerca sull'intelligenza artificiale di Facebook
• Torch (C, Lua) (Community) e il framework Facebook Torrechner basato su di esso
• Microsoft Cognitive Toolkit (C++)
• PaddlePaddle (Python) dal produttore del motore di ricerca Baidu
• OpenNN (C++), implementa una rete neurale artificiale.
• Theano (Pitone) dell'Université de Montréal
• Deeplearning4j (Java) da Skymind
• MXNet dalla Apache Software Foundation

letteratura

• François Chollet: Deep Learning con Python e Keras: il manuale pratico dello sviluppatore della libreria Keras . mitp, 2018, ISBN 978-3-95845-838-3 . 
• Ian Goodfellow , Yoshua Bengio, Aaron Courville: Deep Learning: calcolo adattivo e apprendimento automatico . MIT Press, Cambridge USA 2016, ISBN 978-0-262-03561-3 .
• Jürgen Schmidhuber : Deep learning nelle reti neurali: una panoramica. In: Reti neurali , 61, 2015, pagina 85, arxiv : 1404.7828 [cs.NE] .

link internet

• Luis Serrano: Un'introduzione amichevole al Deep Learning e alle reti neurali su YouTube , 26 dicembre 2016, accessibile il 7 novembre 2018.
• Apprendimento profondo - Introduzione. Rivedi l'articolo sull'apprendimento profondo
• Argomento: Apprendimento profondo . heise in linea
• Deep learning: come apprendono le macchine . Spektrum.de - Traduzione dell'articolo Le macchine per l'apprendimento . In: Natura , 505, pp. 146-148, 2014

Evidenze individuali