Machine Learning e Deep Learning
Apprendimento automatico moderno: paradigmi supervised, unsupervised e reinforcement learning; reti neurali artificiali (MLP) con gradient descent e back propagation; sequence modeling con RNN, LSTM, architettura encoder-decoder con attention, transformer e Large Language Models.
Machine Learning e Deep Learning
Appunti del modulo dedicato all'apprendimento automatico e alle architetture di deep learning.
Le note partono dai fondamenti del machine learning: la distinzione tra classificazione e regressione, i paradigmi supervised, unsupervised, semi-supervised e reinforcement learning, il trade-off bias-varianza, e le tecniche di validazione (cross-validation, training/validation/test split).
Si passa poi alle reti neurali artificiali: dal percettrone al multilayer perceptron (MLP) con la sua formulazione matriciale, le funzioni di attivazione (ReLU, sigmoidea, softmax), le loss function (CE, BCE, NLL) e l'ottimizzazione tramite gradient descent stocastico con minibatch e back propagation.
Il modulo prosegue con il sequence modeling: le RNN con hidden state e BPTT, le LSTM per sequenze lunghe, l'architettura encoder-decoder per il task seq2seq, il meccanismo di attention per superare il bottleneck informativo, e l'architettura transformer con multi-head self-attention.
Infine si trattano i Large Language Models (LLM): language modeling, fine-tuning, in-context learning (zero/one/few-shot), RAG e una panoramica sulla Generative AI.
Contenuti
- Machine Learning Fondamenti del machine learning: paradigmi supervised, unsupervised, semi-supervised e reinforcement learning; classificazione e regressione, bias-varianza, cross-validation, gradient descent e minibatch SGD.
- Reti Neurali Artificiali e Deep Learning Architettura e training delle reti neurali artificiali: percettrone, multilayer perceptron (MLP), funzioni di attivazione (ReLU, sigmoidea, softmax), loss function, gradient descent e back propagation.
- Recurrent Neural Networks (RNN) Modellazione di sequenze con le RNN: sequence modeling, NLP, architettura ricorrente con hidden state, training via BPTT, problemi di vanishing gradient e soluzione con le LSTM a porte di input/output/forget.
- Seq2Seq, Encoder-Decoder e Attention Architettura sequence-to-sequence con encoder-decoder RNN per traduzione automatica e generazione; meccanismo di attention per superare il bottleneck informativo; architettura transformer con multi-head self-attention.
- LLM e Generative AI Language modeling e Large Language Models (LLM): architettura transformer, fine-tuning, in-context learning (zero/one/few-shot), RAG (retrieval-augmented generation) e panoramica sulla Generative AI per testo, immagini e video.