Registro:
| Documento: | Tesis de Grado |
| Título: | Contextualización de palabras ambiguas en modelos de lenguaje : re-definición de sesgo computacional y generación de significados |
| Autor: | Paez, Maria Belen; Totaro, Facundo Ariel |
| Editor: | Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales |
| Publicación en la web: | 2025-07-31 |
| Fecha de defensa: | 2024-12-12 |
| Fecha en portada: | 2024 |
| Grado Obtenido: | Grado |
| Título Obtenido: | Licenciado en Ciencias de la Computación |
| Departamento Docente: | Departamento de Computación |
| Director: | Bianchi, Bruno |
| Director Asistente: | Kamienkowski, Juan Esteban |
| Jurado: | Valentini, Francisco; Alonso Alemany, Laura |
| Idioma: | Español |
| Palabras clave: | NLP; MODELOS DE LENGUAJE; GPT-2; AMBIGÜEDAD; SESGO |
| Formato: | PDF |
| Handle: |
http://hdl.handle.net/20.500.12110/seminario_nCOM000831_TotaroPaez |
| PDF: | https://bibliotecadigital.exactas.uba.ar/download/seminario/seminario_nCOM000831_TotaroPaez.pdf |
| Registro: | https://bibliotecadigital.exactas.uba.ar/collection/seminario/document/seminario_nCOM000831_TotaroPaez |
| Ubicación: | Dep.COM 000831 |
| Derechos de Acceso: | Esta obra puede ser leída, grabada y utilizada con fines de estudio, investigación y docencia. Es necesario el reconocimiento de autoría mediante la cita correspondiente. Paez, Maria Belen; Totaro, Facundo Ariel. (2024). Contextualización de palabras ambiguas en modelos de lenguaje : re-definición de sesgo computacional y generación de significados. (Tesis de Grado. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales.). Recuperado de http://hdl.handle.net/20.500.12110/seminario_nCOM000831_TotaroPaez |
Resumen:
Los modelos de lenguaje del estado del arte, basados en transformers, son capaces de interpretar texto de forma muy similar al humano. En estos modelos las palabras son representadas como vectores, llamados embeddings. Previo a ser procesadas por el modelo de lenguaje, estos vectores tienen una representación estática y descontextualizada. Al ser procesados por el modelo, las componentes del vector cambian, siendo afectadas por el contexto en el que se encuentran. Es decir se contextualizan. Este proceso, que ocurre sucesivamente en cada capa de los modelos, resulta particularmente interesante para el estudio de la desambiguación semántica. En esta tesis se estudió el sesgo semántico en estos modelos y su similitud con los humanos. Este tipo de sesgo es aquel que está relacionado con qué interpretación se tiene de una palabra ambigua bajo un contexto en el cual no es claro el significado de la misma. Utilicemos como ejemplo la oración “El estaba parado ́ al lado del banco”. Una posible interpretación que se le puede dar a la palabra banco es la del mobiliario que se puede encontrar en una plaza para sentarse. Otra es la entidad bancaria. Si ahora sumamos la oración “Estaba por ingresar a retirar dinero cuando de repente escuchó un ruido fuerte. El estaba parado al lado del banco.”. Al procesar esta oración se esperaría observar que el embedding de la palabra banco se encuentre más cerca de palabras relacionadas a un contexto financiero que a palabras relacionadas a un mueble. La presente tesis surge como continuación de un trabajo preliminar realizado en el grupo de trabajo. En el mismo se estudió la relación entre el sesgo semántico en humanos y en GPT-2. En dicho trabajo se llegó a la conclusión de que para analizar con precisión el sesgo semántico a nivel de los embeddings de un modelo de lenguaje es necesario definir el significado de cada una de las palabras ambiguas utilizadas en base a listas de palabras relacionadas, en lugar de utilizar solo una palabra. Por otro lado, también se propuso analizar el sesgo semántico a nivel de cada una de las capas del modelo. Los resultados de la presente tesis muestran una mejoría en la medición del sesgo semántico generado en los modelos de lenguaje al utilizar los significados definidos con las listas de palabras, en relación a los significados usados en el trabajo preliminar. Además, al comparar la similitud del sesgo computacional en cada capa de GPT-2 con el sesgo generado en humanos, vemos que las capas intermedias guardan una mejor relación con el comportamiento humano.
Citación:
---------- APA ----------
Paez, Maria Belen; Totaro, Facundo Ariel. (2024). Contextualización de palabras ambiguas en modelos de lenguaje : re-definición de sesgo computacional y generación de significados. (Tesis de Grado. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales.). Recuperado de https://hdl.handle.net/20.500.12110/seminario_nCOM000831_TotaroPaez
---------- CHICAGO ----------
Paez, Maria Belen; Totaro, Facundo Ariel. "Contextualización de palabras ambiguas en modelos de lenguaje : re-definición de sesgo computacional y generación de significados". Tesis de Grado, Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales, 2024.https://hdl.handle.net/20.500.12110/seminario_nCOM000831_TotaroPaez
Estadísticas:
Descargas mensuales
Total de descargas desde :
https://bibliotecadigital.exactas.uba.ar/download/seminario/seminario_nCOM000831_TotaroPaez.pdf
Distrubución geográfica
