BERGAMO
Dati Generali
Periodo di attività
Syllabus
Obiettivi Formativi
Il corso "Text mining e sentiment analysis", coerentemente con le competenze che il corso di studi intende far conseguire, fornisce agli studenti conoscenze relative all'uso di strumenti quantitativi e statistici economici necessari per svolgere un'analisi empirica rigorosa basata su dati non strutturati.
Al termine del corso, lo studente conosce i principali fondamenti teorici e gli elementi pratici per condurre correttamente analisi di dati testuali e ha un solido background sulle tecniche di estrazione di dati testuali. In particolare, durante il corso lo studente acquisisce:
- dimestichezza con le diverse tipologie di sorgenti dati, con particolare riferimento ai big data e dati non strutturati;
- capacità di estrarre dati da diverse fonti, quali social media o siti web;
- capacità di convertire dati testuali non strutturati in dati numerici strutturati;
- comprensione e capacità di implementare tecniche di natural language processing, quali la sentiment analysis e il topic modeling.
I metodi verranno presentati utilizzando il software R.
Il corso è pienamente coerente con gli obiettivi formativi della label EMOS (European Master in Official Statistics) e del corso di laurea in Economics and Data Analysis.
Prerequisiti
Nessuno
Metodi didattici
Lezioni e sessioni di laboratorio in cui gli studenti saranno stimolati con discussioni attive e partecipazione per la creazione del proprio caso di studio.
Casi individuali o progetti personali sviluppati dagli studenti secondo i temi proposti dal docente.
Verifica Apprendimento
La valutazione si baserà su:
• Un esame finale scritto che comprende domande teoriche ed esercizi da risolvere con il software R.
• Progetto relativo ad un caso studio, che consentirà agli studenti di ottenere un massimo di 3 punti extra sul voto dell'esame finale in base alla qualità del loro lavoro.
Contenuti
Il corso offre un'ampia introduzione alle tecniche di analisi del testo e di elaborazione del linguaggio naturale. Particolare attenzione è dedicata alla qualità delle fonti di dati, in una prospettiva di total quality. Viene introdotto un esempio di quality framework per la qualità dei dati provenienti da social media.
Argomenti trattati:
- Dati non strutturati e Big data: cosa sono, come utilizzarli; caratteristiche delle diverse fonti di dati; Big data e dati non strutturati come fonte per l'analisi economica in un contesto di fonti di dati integrate.
- Lavorare con le stringhe: strumenti di base per gestire le stringhe di caratteri (ad esempio calcolo della lunghezza, riconoscimento di pattern, espressioni regolari)
- Gestione dei dati testuali: elaborazione preliminare dei dati (pre-processing, tokenizzazione, stemming, lemmatizzazione e named entity recongnition)
- Text mining: introduzione e diversi approcci; rappresentazione del documento; sintesi del documento; rilevamento delle distanze delle stringhe e delle somiglianze del testo.
- Analisi del sentiment: progettazione e sviluppo di metodi per la classificazione del sentiment e il rilevamento della polarità. Approccio dictionary-based e machine learning. Visualizzazione del testo. Le differenze tra analisi del sentiment e rilevamento delle emozioni.
- Topic modeling: identificazione della struttura di clustering di un corpus di documenti di testo e assegnazione dei documenti ai cluster identificati; Latent Dirichlet Allocation (LDA); Structural Topic Model (STM)
- Utilizzo dei Large Language Models per l'elaborazione del linguaggio naturale
- Come costruire indicatori socioeconomici utilizzando l'analisi del sentiment.
- Estrazione dei dati dal web tramite web scraping e API
- Errori.
- Quality framework per i dati di Twitter.
- Applicazioni empiriche.
Il corso illustra diverse aree di applicazione di queste tecniche: economiche, sociali e aziendali.
- Sessioni di laboratorio per applicazioni che utilizzano software statistico: R.