ID:
17711-ENG
Dettaglio:
SSD: STATISTICA ECONOMICA
Durata: 36
CFU: 6
Sede:
BERGAMO
Url:
TEXT SCIENCES AND CULTURE ENHANCEMENT IN THE DIGITAL AGE - 177-270-EN/PERCORSO COMUNE Anno: 2
Anno:
2025
Lo scopo di questo corso è di presentare i principali fondamenti teorici e gli elementi pratici che consentiranno agli studenti di condurre correttamente analisi di dati testuali. Gli studenti acquisiranno un solido background sulle tecniche di estrazione e analisi di dati testuali dal punto di vista teorico e pratico. In particolare, durante il corso gli studenti acquisiranno:
- dimestichezza con le diverse tipologie di sorgenti dati, con particolare riferimento ai big data e dati non strutturati;
- capacità di acquisire dati da diverse fonti, quali social media o siti web;
- capacità di convertire dati testuali non strutturati in dati numerici strutturati;
- comprensione e capacità di implementare tecniche di natural language processing, quali la sentiment analysis e il topic modeling.
I metodi verranno presentati utilizzando il software R.
Nessuno
Lezioni frontali in laboratorio in cui gli studenti saranno stimolati con discussioni attive e partecipazione a creare il proprio caso di studio.
La valutazione si baserà su:
• Una prova finale scritta con domande teoriche ed esercizi da risolvere con il software R.
• Assignment vari forniti dal docente (esercizi, casi di studio, report).
• Dati non strutturati e Big data: cosa sono, come utilizzarli; caratteristiche delle diverse fonti di dati.
• Introduzione al software R
• Manipolazione delle stringhe: strumenti di base per gestire le stringhe di caratteri (ad es. calcolo della lunghezza, riconoscimento di pattern, espressioni regolari).
• Gestione dei dati testuali: trasformazione da non-strutturati a strutturati, tokenization, pulizia, stemming, lemmatization.
• Text mining: introduzione e diversi approcci; rappresentazione del documento; sintesi del documento; rilevamento delle distanze tra stringhe e della somiglianza di testi.
• Sentiment analysis: progettazione e sviluppo di metodi per la classificazione del sentiment e l’identificazione della polarità di un testo.
• Topic modeling: cenni a metodi per la classificazione del contenuto di documenti.
• Estrazione di dati dal web: web scraping e API.
• Applicazioni empiriche con dati reali, con riferimento per esempio a dati provenienti da siti biblioteche o musei, articoli di giornale.