BERGAMO
Dati Generali
Periodo di attività
Syllabus
Obiettivi Formativi
Il corso "Text mining e sentiment analysis", coerentemente con le competenze che il corso di studi intende far conseguire, fornisce agli studenti conoscenze relative all'uso di strumenti quantitativi e statistici economici necessari per svolgere un'analisi empirica rigorosa basata su dati non strutturati. Gli studenti acquisiranno una solida preparazione sulle tecniche di analisi del testo dal punto di vista teorico e pratico. Acquisiranno inoltre familiarità con le diverse tipologie di fonti dati, con particolare riferimento ai dati non strutturati e ai big data.
Al termine del corso, gli studenti saranno in grado di elaborare le informazioni non strutturate contenute nei dati testuali al fine di rendere il testo informativo quanto i dati strutturati standard e consentire di indagare relazioni e pattern che altrimenti sarebbero estremamente difficili, se non impossibili, da scoprire. Inoltre, gli studenti saranno in grado di classificare e raggruppare il testo per fornire informazioni statistiche economiche e di dedicare attenzione alla qualità delle fonti dati, in una prospettiva total quality.
Saranno in grado di affrontare problemi specifici nell'area del text mining e dell'analisi del sentiment. In particolare, conosceranno le principali nozioni necessarie per comprendere l'elaborazione del testo, i fondamenti dell'elaborazione del linguaggio naturale, la classificazione del testo e il topic modelling.
Il corso ha i seguenti obiettivi specifici:
- Gli studenti comprenderanno cos'è l'analisi del testo e apprenderanno tecniche di elaborazione del linguaggio naturale, come l'analisi del sentiment e la modellazione degli argomenti.
- Impareranno come convertire dati non strutturati basati su testo in dati numerici strutturati.
- Acquisiranno consapevolezza dei pro e dei contro nell'uso di dati non strutturati, anche in termini di qualità.
L'organizzazione del corso e degli assignment consentirà agli studenti di sviluppare capacità comunicative e la capacità di lavorare sia in gruppo che in modo indipendente e di presentare efficacemente i risultati del proprio lavoro di ricerca e consegnarli nei tempi richiesti.
La capacità di elaborare e analizzare dati non strutturati viene acquisita utilizzando uno dei software statistici più diffusi: R.
Il corso è pienamente coerente con gli obiettivi formativi della label EMOS (European Master in Official Statistics) e del corso di laurea in Economics and Data Analysis.
Prerequisiti
Nessuno
Metodi didattici
Lezioni e sessioni di laboratorio in cui gli studenti saranno stimolati con discussioni attive e partecipazione per la creazione del proprio caso di studio.
Casi individuali o progetti personali sviluppati dagli studenti secondo i temi proposti dal docente.
Verifica Apprendimento
La valutazione si baserà su:
• Un esame finale scritto che comprende domande teoriche ed esercizi da risolvere con il software R.
• Valutazioni fornite dal docente, relativamente a casi di studio, relazioni e (eventualmente) presentazioni ppt che possono essere proposte e saranno considerate come parte della valutazione finale.
Contenuti
Il corso offre un'ampia introduzione alle tecniche di analisi del testo e di elaborazione del linguaggio naturale. Particolare attenzione è dedicata alla qualità delle fonti di dati, in una prospettiva di total quality. Viene introdotto un esempio di quality framework per la qualità dei dati provenienti da social media.
Argomenti trattati:
- Dati non strutturati e Big data: cosa sono, come utilizzarli; caratteristiche delle diverse fonti di dati; Big data e dati non strutturati come fonte per l'analisi economica in un contesto di fonti di dati integrate.
- Lavorare con le stringhe: strumenti di base per gestire le stringhe di caratteri (ad esempio calcolo della lunghezza, riconoscimento di pattern, espressioni regolari)
- Gestione dei dati testuali: elaborazione preliminare dei dati (pre-processing, tokenizzazione, stemming, lemmatizzazione e named entity recongnition)
- Text mining: introduzione e diversi approcci; rappresentazione del documento; sintesi del documento; rilevamento delle distanze delle stringhe e delle somiglianze del testo.
- Analisi del sentiment: progettazione e sviluppo di metodi per la classificazione del sentiment e il rilevamento della polarità. Approccio dictionary-based e machine learning. Visualizzazione del testo. Le differenze tra analisi del sentiment e rilevamento delle emozioni.
- Topic modeling: identificazione della struttura di clustering di un corpus di documenti di testo e assegnazione dei documenti ai cluster identificati; Latent Dirichlet Allocation (LDA); Structural Topic Model (STM)
- Come costruire indicatori socioeconomici utilizzando l'analisi del sentiment.
- Errori.
- Quality framework per i dati di Twitter.
- Applicazioni empiriche.
- Caso di studio: indagine sulla comunicazione della responsabilità sociale d'impresa tramite Twitter.
Il corso illustra diverse aree di applicazione di queste tecniche: economiche, sociali e aziendali.
- Sessioni di laboratorio per applicazioni che utilizzano software statistico: R.