LEXEMAS, PATRONES Y TOKENS

Componente léxico (token)

Son las unidades lógicas que genera el analizador léxico.  Formar caracteres en tokens es muy parecido a formar palabras en un lenguaje natural. 

Es el conjunto de cadenas de entrada que produce como salida el mismo componente léxico.  Cada token es una secuencia de caracteres que representa una unidad de información en el programa fuente.

Los componentes léxicos más comunes son los siguientes:

palabras clave o reservadas

- operadores aritméticos

 - operadores relacionales

  -operadores lógicos

  -operador de asignación

  -identificadores

  -constantes

  -cadenas

  -literales

  -signos de puntuación

  -librerías

Lexema

Representan cadenas de caracteres en el programa fuente que se pueden tratar juntos como una unidad léxica.  Un lexema es una secuencia de caracteres en el programa fuente con la que concuerda el patrón para un componente léxico.

Patrón

Regla que describe el conjunto de lexemas que pueden representar a un determinado componente léxico en los programas fuente.

En otras palabras, es la descripción del componente léxico mediante una regla.

Atributos de los componentes léxicos

El analizador léxico recoge información sobre los componentes léxicos en sus atributos asociados. Los componentes léxicos influyen en las decisiones del análisis sintáctico y los atributos en la traducción de los componentes léxicos:

-    Apuntador a la entrada de la Tabla de símbolos donde se guarda la información sobre el componente léxico.

-    El lexema para un identificador

-    El número de línea en que se encontró por primera vez.

Entrada por: Ana Laura Ortiz Quiroga