Scopo del corso è di fornire una panoramica dei moderni metodi e algoritmi di ottimizzazione per applicazioni all’apprendimento statistico, machine learning e al data science. Verrà discussa la teoria alla base di questi metodi (condizioni di ottimalità e teoria della dualità) e come scegliere i giusti metodi di ottimizzazione per diverse applicazioni di apprendimento statistico e machine learning.
Al termine del corso lo studente sarà in grado di:
• Valutare gli algoritmi, le classi di funzioni e velocità di convergenza degli algoritmi più importanti.
• Implementare i più importanti algoritmi di ottimizzazione per il data science in ambiente Python.
• Comprendere il trade-off tra tempo computazionale e precisione di algoritmi per l’apprendimento statistico e machine learning.
Dal punto di vista empirico, gli algoritmi presentati verranno applicati a database del mondo reale.
Algebra lineare e funzioni reali di variabile reale in una e due variabili.
Il corso sarà organizzato in lezioni frontali, esercitazioni e tutorato comprensive dello svolgimento di esempi e esercizi. Alcune lezioni si svolgeranno presso il laboratorio informatico in cui verranno implementate in ambiente Python le metodologie descritte a lezione su dati provenienti da vari contesti applicativi (business analytics, news, diagnosi medica ecc.).
L'esame si svolge in due parti:
- discussione orale di casi studio assegnati (50 % del voto finale). Gli studenti possono lavorare in piccoli gruppi o individualmente.
- Esame finale orale (50 % del voto finale).
Al fine di garantire l'efficace organizzazione e gestione delle prove d'esame, il docente può adottare il cosiddetto “salto d’appello” immediatamente successivo per gli studenti che abbiano riportato una valutazione gravemente insufficiente o che, essendosi iscritti, risultino assenti ingiustificati.
Nello specifico il corso coprirà i seguenti argomenti:
- Condizioni di ottimalità, Metodi di Ottimizzazione univariata e multivariata senza l’utilizzo di derivate (Derivative-Free), Metodo del Gradiente, Metodo del Gradiente Stocastico, Metodo del Subgradient, Metodo di Newton e Quasi-Newton, Metodo del Gradiente Coniugato, Metodi Penalty Function. Support Vector Machines (SVM): classificatori Soft and hard Margin e loro formulazione di programmazione quadratica (PQ). Metodo dei kernel. Condizioni di Karush-Kuhn-Tucker (KKT). Formulazione duale del problema PQ primale. Teoria della dualità di Wolfe per PQ. Problemi SVM multiclasse.
- Alberi decisionali ottimali.
Uso pratico di algoritmi di apprendimento. Confronto tra algoritmi di apprendimento dal punto di vista dell'ottimizzazione. Utilizzo di software (Python).
Materiale relativo al corso verrà inserito dal docente tramite la piattaforma "e-learning" dell'Università degli studi di Bergamo.
Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte modifiche rispetto a quanto dichiarato nel syllabus per rendere il corso e gli esami fruibili anche secondo queste modalità.
Per maggiori informazioni scrivere a: francesca.maggioni@unibg.it
