Registro:
| Documento: | Tesis de Grado |
| Título: | Reconocimiento de emociones utilizando modelos de lenguaje de habla |
| Título alternativo: | Emotion recognition using speech language models |
| Autor: | Curti, Felipe Mateo |
| Editor: | Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales |
| Fecha de defensa: | 2024-12-20 |
| Fecha en portada: | 2024 |
| Grado Obtenido: | Grado |
| Título Obtenido: | Licenciado en Ciencias de la Computación |
| Departamento Docente: | Departamento de Computación |
| Director: | Riera, Pablo Ernesto |
| Jurado: | Feuerstein, Esteban Zindel; Gauder, María Lara |
| Idioma: | Español |
| Palabras clave: | RECONOCIMIENTO DE EMOCIONES; HABLA; DEEP LEARNING; MODELOS DE LENGUAJE; TRANSFER LEARNINGEMOTION RECOGNITION; SPEECH; DEEP LEARNING; LANGUAGE MODELS; TRANSFER LEARNING |
| Formato: | PDF |
| Handle: |
https://hdl.handle.net/20.500.12110/seminario_nCOM000852_Curti |
| PDF: | https://bibliotecadigital.exactas.uba.ar/download/seminario/seminario_nCOM000852_Curti.pdf |
| Registro: | https://bibliotecadigital.exactas.uba.ar/collection/seminario/document/seminario_nCOM000852_Curti |
| Ubicación: | COM 000852 |
| Derechos de Acceso: | Esta obra puede ser leída, grabada y utilizada con fines de estudio, investigación y docencia. Es necesario el reconocimiento de autoría mediante la cita correspondiente. Curti, Felipe Mateo. (2024). Reconocimiento de emociones utilizando modelos de lenguaje de habla. (Tesis de Grado. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales.). Recuperado de https://hdl.handle.net/20.500.12110/seminario_nCOM000852_Curti |
Resumen:
En este trabajo se propone el uso de modelos de lenguaje de habla del proyecto Textless NLP de Meta para la tarea de reconocimiento de emociones a partir de información del habla, utilizándolos tanto para la generación de features para algoritmos de machine learning clásicos, como generadores de embeddings para modelos de deep learning. El modelo utilizado, llamado PGSLM (Prosody-Aware Generative Spoken Language Modeling), consiste de 3 componentes: un encoder que, basándose en HuBERT, genera a partir de un audio una secuencia de unidades discretas junto con su información prosódica, un modelo generativo de lenguaje que predice de manera autoregresiva la próxima unidad y su prosodia, y un decoder que genera una waveform desde las unidades de habla. Se evalúan los resultados usando la base de datos de emociones IEMOCAP, comparándolos con los obtenidos entrenando de manera similar un modelo con HuBERT y WavLM como generadores de features. Los resultados obtenidos muestran que, si bien PGSLM tiene la capacidad de codificar información emocional de los audios, en los experimentos realizados se observó una performance menor debido a un mayor sobreajuste comparado con los otros modelos.
Abstract:
This work proposes the use of language models from Meta’s Textless NLP project for emotion recognition tasks based on speech information. These models are used both generating features for traditional machine learning algorithms and as embedding generators for deep learning models. The model used, called PGSLM (Prosody-Aware Generative Spoken Language Mo-deling), consists of three components: an encoder that, based on HuBERT, generates a sequence of discrete units from audio along with its prosodic information; a generative language model that autoregressively predicts the next unit and its prosody; and a decoder that generates a waveform from the speech units.The results are evaluated using the IEMOCAP emotion database and compared with those obtained by similarly training a model using HuBERT and WavLM as feature generators. The results show that, while PGSLM is capable of encoding emotional information from the audio, in the experiments carried out a lower performance was observed due to greater overfitting compared to the other models.
Citación:
---------- APA ----------
Curti, Felipe Mateo. (2024). Reconocimiento de emociones utilizando modelos de lenguaje de habla. (Tesis de Grado. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales.). Recuperado de https://hdl.handle.net/20.500.12110/seminario_nCOM000852_Curti
---------- CHICAGO ----------
Curti, Felipe Mateo. "Reconocimiento de emociones utilizando modelos de lenguaje de habla". Tesis de Grado, Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales, 2024.https://hdl.handle.net/20.500.12110/seminario_nCOM000852_Curti
Estadísticas:
Descargas mensuales
Total de descargas desde :
https://bibliotecadigital.exactas.uba.ar/download/seminario/seminario_nCOM000852_Curti.pdf
Distrubución geográfica
