Procesamiento de Lenguaje Natural - Apunte de Clases (Borrador)

Oct 6, 2026

Apuntes de clases en borrador sobre Procesamiento de Lenguaje Natural (PLN), enfocados en fundamentos, tareas y niveles lingüísticos, incorporando la relación entre PLN y lingüística computacional. El material introduce modelos vectoriales para representación de texto (tokens, stopwords, stemming, lematización, índice invertido, TF-IDF, similitud y clustering) y continúa con modelos probabilísticos de lenguaje: cadena, Markov, trigramas, perplejidad, interpolación lineal y métodos de descuento. También aborda clasificación con Naïve Bayes y métricas como matriz de confusión y validación cruzada, finalizando con modelos lineales (detección de idiomas, one-hot, gradiente, regularización) y redes neuronales (embeddings y capas).

IdiomaSpanish

CategoríaTecnología

FormatoPDF

Páginas195

Tiempo de lectura5 h 0 min

AccesoGratis para descargar

Tabla de contenidos

Prefacio

Introducción

Desafíos del Procesamiento del Lenguaje Natural (PLN)

PLN y Lingüística Computacional

Tareas en Procesamiento del Lenguaje Natural (PLN)

Niveles de descripción lingüística

Aprendizaje Automático en PLN

Etiquetado de Datos en PLN

Paradigmas de Aprendizaje Automático

Historia de PLN

Conclusiones y Estructura del Apunte

Modelo de Espacio Vectorial

Tokens y Tipos

Eliminación de Stopwords

Stemming

Lematización

Ley de Zipf

Listas de posteo y el índice invertido

Motores de búsqueda web

El modelo de espacio vectorial

El modelo TF-IDF

Similitud entre vectores

Clustering de Documentos

Modelos de Tópicos

Modelos de Lenguaje Probabilísticos

El Problema del Modelado del Lenguaje

Regla de la Cadena en Modelos de Lenguaje

Mirada Predictiva y Generativa

Procesos de Markov

Modelos de lenguaje de Trigramas

Evaluación: Perplejidad

Interpolación Lineal

Modelos de Descuento (Katz Back-Off)

Historia

Conclusiones

Clasificación de Texto y Naïve Bayes

Ejemplos de Problemas de Clasificación

Modelos Generativos

Naïve Bayes Multinomial

Evaluación

Conjuntos de entrenamiento, prueba y validación

Modelos Lineales

Ejemplo: Detección de Idiomas

Clasificación binaria log-lineal

Clasificación multiclase

Representaciones y One-Hot

Entrenamiento y optimización por gradiente

Regularización

Más allá del SGD

Limitación XOR y transformaciones no lineales

Redes Neuronales

Redes feedforward y capacidad de representación

Funciones de activación y problemas prácticos

Capas de Embedding

Procesamiento de Lenguaje Natural Apunte de Clases (Borrador) Felipe Bravo Márquez Felipe Bravo Márquez Ilustración Portada por Paulette Filla DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIÓN, UNIVERSIDAD DE CHILEGITHUB . COM/DCCUCHILE/CC6205 Apuntes de clases del curso de Procesamiento de Lenguaje Natural de la Universidad de Chile. El formato del apunte fue tomado del template de Jasmine Hao disponible en Overleaf. Borrador, 1 de abril de 2024 Índice general Prefacio ....................................................... 11 1 Introducción .................................................. 13 1.1 Desafíos del Procesamiento del Lenguaje Natural (PLN) 13 1.2 PLN y Lingüística Computacional 14 1.3 Tareas en Procesamiento del Lenguaje Natural (PLN) 15 1.4 Niveles de descripción lingüística 16 1.4.1 Fonética ........................................................ 16 1.4.2 Fonología ....................................................... 16 1.4.3 Morfología ...................................................... 16 1 .4.4 Sintaxis ......................................................... 17 1.4.5 Semántica ...................................................... 17 1.4.6 Pragmática ..................................................... 18 1.5 Aprendizaje Automático en PLN 18 1.5.1 Ejemplo 1: Clasificación de Tópicos .................................. 19 1.5.2 Ejemplo 2: Análisis de Sentimiento .................................... 19 1.5.3 Lingüística y Procesamiento del Lenguaje Natural (PNL) .................. 21 1.5.4 Limitaciones del Aprendizaje Supervisado ............................. 21 1.6 Etiquetado de Datos en PLN 21 1.6.1 Supervisión a Distancia ............................................ 22 1.6.2 Crowdsourcing .................................................. 23 1.7 Paradigmas de Aprendizaje Automático 23 1.8 Historia de PLN 24 1.9 Conclusiones y Estructura del Apunte 25 2 Modelo de Espacio Vectorial ................................... 27 2.1 Tokens y Tipos 27 2.1 .1 Tipos ........................................................... 27 2.2 Eliminación de Stopwords 28 2.3 Stemming 28 2.4 Lematización 29 2.5 Ley de Zipf 29 2.6 Listas de posteo y el índice invertido 30 2.7 Motores de búsqueda web 30 2.8 El modelo de espacio vectorial 31 2.8.1 El modelo TF-IDF .................................................. 32 2.8.2 Similitud entre vectores ............................................ 33 2.9 Clustering de Documentos 34 2.10 Modelos de Tópicos 35 2.11 Conclusiones y Conceptos Adicionales 36 3 Modelos de Lenguaje Probabilísticos ........................... 37 3.1 El Problema del Modelado del Lenguaje 37 3.1.1 ¿Por qué querríamos hacer esto? .................................... 38 3.2 Regla de la Cadena en Modelos de Lenguaje 39 3.3 Mirada Predictiva 39 3.4 Mirada Generativa 40 3.5 Un Método Ingenuo 41 3.6 Procesos de Markov 41 3.6.1 Modelado de secuencias de longitud variable ......................... 41 3.7 Modelos de lenguaje de Trigramas 42 3.8 Evaluación de un modelo de lenguaje: Perplejidad 43 3.8.1 Intuición sobre la perplejidad ....................................... 43 3.8.2 El trade-off entre sesgo y varianza .................................... 44 3.9 Interpolación Lineal 45 3.9.1 Estimación de los Valores λ ......................................... 46 3.10 Modelos de Descuento (Katz Back-Off) 46 3.11 Historia 49 3.12 Conclusiones 50 4 Clasificación de Texto y Naïve Bayes ........................... 51 4.1 Ejemplos de Problemas de Clasificación 52 4.2 Modelos Generativos 53 4.3 Naïve Bayes Multinomial 54 4.3.1 Estimación de parámetros .......................................... 55 4.3.2 Problemas al multiplicar muchas probabilidades ........................ 55 4.3.3 Suavizamiento de Laplace ......................................... 56 4.3.4 Naïve Bayes como modelo de lenguaje ..

Preguntas frecuentes

Qué criterios y métodos se usan para evaluar modelos de lenguaje y clasificadores como Naïve Bayes?

Para modelos de lenguaje se utiliza la perplejidad, incluyendo intuición y el trade-off sesgo-varianza, además de interpolación lineal y descuento (Katz Back-Off). Para clasificación se revisan matriz de confusión, métricas de desempeño, medida F, devsets y validación cruzada, junto con la organización de conjuntos de entrenamiento, prueba y validación.

Oct 6, 2026

Subir por Well Done