Un sistema Q ( sistema de respuesta a preguntas en inglés, o sistema QA ) es un sistema informático para responder automáticamente a las preguntas de los humanos, en un intercambio realizado en lenguaje natural (por ejemplo, francés). La disciplina relacionada pertenece a los campos del procesamiento automático del lenguaje y la recuperación de información . Se diferencia de la consulta del motor de búsqueda en que tiene como objetivo no solo recuperar los documentos relevantes de una colección de textos, sino también formular una respuesta muy específica a la pregunta formulada.
Una herramienta de preguntas y respuestas busca responder consultas, o preguntas, como "¿Cuál es el idioma más hablado en Europa?" "O" ¿Cuándo murió Luis XIV? ". Luego, el sistema utiliza técnicas de procesamiento automático del lenguaje para analizar la pregunta y encontrar una respuesta adecuada utilizando los documentos a los que tiene acceso.
Al ofrecer una serie de documentos clasificados según la estimación de su interés, el método del motor de búsqueda "clásico" obliga al usuario a realizar él mismo una clasificación posterior de los documentos relevantes, muchas de las páginas propuestas no responden a la pregunta, en ocasiones siendo inconsistente, repartido en diferentes páginas, etc. En el caso de un sistema de respuesta a preguntas, generalmente buscaremos construir una respuesta en lenguaje natural y no ofrecer al usuario una lista a veces larga de documentos.
El sistema START se puede dar como ejemplo de un sistema de respuesta a preguntas en línea.
Por lo tanto, los sistemas de preguntas y respuestas tienen 3 propósitos principales:
Para ello, utilizan estrategias de varios campos diferentes:
Hay cuatro etapas diferentes que conducen a la respuesta a una pregunta en un sistema de preguntas y respuestas: análisis de la pregunta, búsqueda de documentos, selección de pasajes, extracción de respuestas.
En una pregunta, se debe identificar un cierto número de elementos antes de poder abordarlos.
El tipo de preguntaEl tipo de pregunta es una categorización que se utilizará para seleccionar la estrategia para responder a la pregunta.
Podemos diferenciar entre muchos tipos de solicitudes:
| Preguntas de hecho | “¿Dónde se quemó Juana de Arco? " |
|---|---|
| Preguntas booleanas (sí o no) | “¿Hosni Mubarak sigue siendo presidente? " |
| Definiciones | “¿Qué significa el acrónimo HMI? " |
| Causas / Consecuencias | "¿Por qué el mar es azul? " |
| Procedimientos | "¿Cómo rehacer su cédula de identidad? " |
| Liza | "Cite 3 presidentes estadounidenses" |
| Solicitudes evaluativas / comparativas | “¿Cuál es la ciudad más grande de Francia? " |
| Opiniones | “¿Qué piensan los franceses de Nicolas Sarkozy? " |
El tipo de respuesta esperada corresponde a la identificación del sujeto de la pregunta (a menudo desde el reconocimiento del tipo de entidad nombrada) o del tipo de oración esperada.
| Nadie | "Quién ...", "Qué ministro ..." |
|---|---|
| Organización | "Quién ...", "Qué empresa ..." |
| Localización | "Dónde ...", "En qué región ..." |
| Con fecha de | "Cuándo ...", "En qué año ..." |
| Explicación | "Por qué ...", "Por qué razón ..." |
|---|---|
| Procedimiento | "Cómo ...", "Cuáles son los pasos para ..." |
El foco de una pregunta es la propiedad o entidad que busca la pregunta.
El tema de la pregunta es el objeto sobre el que se aborda la pregunta.
Después de analizar la pregunta, el objetivo es encontrar documentos que puedan responder a la pregunta.
El primer paso en la búsqueda de documentos suele ser una búsqueda "clásica". Extraemos las palabras clave de la pregunta y las usamos con el motor de búsqueda de Google o en una base de datos, por ejemplo.
| Preguntas | Palabras clave |
|---|---|
| "¿Quién es Chuck Norris?" " | Chuck Norris |
| “¿Qué hace la empresa Peugeot? " | Peugeot; entreprise; fabriquer |
| "¿Qué país invadió Irak en 1990?" " | Irak; envahir; 1990 |
| “¿Cuántos habitantes había en Francia en 2005? " | France, habitants, 2005 |
El segundo paso es entonces seleccionar los pasajes que probablemente contengan la respuesta.
El diagrama de la derecha ilustra este proceso.
Comenzamos usando el tipo de respuesta esperada, las palabras clave de la pregunta, sus entidades nombradas para seleccionar una primera serie de pasajes. Posteriormente, se estimará la calidad de los pasajes para reajustar las palabras clave utilizadas por la consulta, en caso de ser necesario. También se tiene en cuenta el número de pases obtenidos. Si obtenemos demasiadas, restringiremos el número de palabras clave, si por el contrario no son suficientes, ampliaremos la consulta.
Una vez que se han seleccionado una serie de pasajes, se les asigna una puntuación para clasificarlos.
Un pasaje seleccionado por el motor de búsqueda se llama pasaje candidato . Un pasaje puede constar de una sola oración o de un documento completo. Un pasaje candidato puede contener o no respuestas candidatas. Por lo general, se clasifican utilizando una puntuación asignada por el motor de búsqueda .
Una respuesta candidata es una palabra o grupo de palabras generalmente del mismo tipo que el tipo de respuesta esperada y que se puede utilizar para su construcción.
| pregunta | ¿Quién es el padre de la reina Isabel II? → Tipo de persona |
|---|---|
| Pasajes candidatos y respuestas de los candidatos |
|
Existen diferentes técnicas para extraer una respuesta candidata de uno o más pasajes.
Patrones de extraccionesLa idea es buscar una secuencia de capas que modele la respuesta. El elemento buscado se coloca en forma de variable. Por ejemplo, si uno se enfrenta a la pregunta "¿Cuál es la capital de Estados Unidos?" ", Podemos buscar (entre otros) el patrón" X es la capital de EE.UU. ". Este enfoque se hereda de las técnicas de extracción de información .
Sin embargo, debido a las variaciones lingüísticas, suele ser fundamental utilizar muchas variaciones de cada capa:
El problema con los patrones de minería es que consumen mucho tiempo y son costosos de fabricar a mano. Una de las alternativas es utilizar métodos de aprendizaje que permitan extraerlos automáticamente del corpus. La idea es partir de un patrón determinado, luego reemplazar un elemento del patrón por una variable (un predicado o uno de los argumentos) y luego extraer del corpus un conjunto de elementos que pueden instanciar el patrón.
Por ejemplo, partiendo de <person>Steve Jobs</person> dirige <company>Apple</company>y desde el siguiente corpus:
Es posible conseguir jefes Steve Jobs <dirige, préside> Appley <le PDG de> Apple <,> Steve Jobs.
Sin embargo, las anáforas y las expresiones temporales complican el problema.
| Anáfora |
Andorra es un pequeño país sin salida al mar entre Francia y España en el suroeste de Europa,
[...] El turismo es el principal sector de este pequeño país con una economía sana, que representa alrededor del 80% de su PNB ... |
¿Cuál es el principal sector económico de Andorra? |
|---|---|---|
| Expresión temporal |
Irán invadió Irak el22 de septiembre de 1980. Después de 8 largos años de lucha , la Resolución 598 de Naciones Unidas puso fin a la guerra ... |
¿Cuánto duró la guerra Irán-Irak? |
El simple reconocimiento de entidades nombradas también es problemático y puede dar lugar a inconsistencias. La modalidad es difícil de definir (el autor dice una verdad o simplemente una opinión o incluso un rumor) y finalmente la información en la web suele ser poco fiable (bromas ...).
Puntaje y criteriosLa idea es calcular una puntuación que permita juzgar la respuesta de un candidato.
En general, se utilizan cuatro criterios diferentes:
La idea es analizar la sintaxis de la pregunta y los pasajes candidatos.
Extraemos relaciones predicado-argumento:
| Preguntas | Relaciones |
|---|---|
| “¿Quién escribió Los Miserables? " | [X, écrire], [écrire, Les Misérables] |
| Respuesta del candidato | Relaciones |
| "Victor Hugo escribió Los Miserables" | [Victor Hugo, écrire], [écrire, Les Misérables] |
Del ejemplo anterior, el sistema puede deducir X = Victor Hugo.
Para ir más allá, generalmente integraremos un poco más de análisis semántico introduciendo el tipo de relaciones que unen los elementos. De hecho, construimos un árbol de dependencia a partir de la pregunta.
Por ejemplo, de la oración "¿Qué metal tiene el punto de fusión más alto?" », Obtenemos las relaciones representadas en el árbol de la derecha.
Por lo tanto, buscamos completar la variable METALdel tipo “metal”.
Posteriormente, si la investigación nos permite obtener el pasaje "El tungsteno es un metal muy duro y tiene el punto de fusión más alto". »El tipo de respuesta es de hecho« metal ». Luego comparamos las relaciones obtenidas:
| pregunta | Paso |
|---|---|
|
<METAL, a, sujet> |
<tungstène, métal, pred> <tungstène, a, sujet> |
Esto nos permite obtener la respuesta de tungsteno.
Usando la lógicaLa idea es convertir la pregunta en un objetivo y luego convertir el pasaje en fórmulas lógicas . Agregamos un cierto número de predicados que permiten representar reglas de subsunción (permite definir que un elemento implica otro), conocimiento ... Luego intentamos probar el objetivo de la pregunta a partir del pasaje.
Entonces, "¿Quién asesinó a John Lennon?" "Convertido a: personne(X) & assassiner(X, Y) & John_Lennon(Y).
La respuesta del candidato "Mark Chapman disparó contra John Lennon en 1980, ..." se convertirá en Mark_Chapman(X) & abattre(X, Y) & John_Lennon(Y).
Aquí entonces necesitaremos inferencia léxica abattre → assassiner.
Aprendizaje automáticoSe emplean técnicas de aprendizaje automático supervisado para entrenar modelos que intentan detectar automáticamente dónde se encuentra la respuesta en uno o más pasajes candidatos. Las características ( características ) utilizadas para realizar este tipo de discriminación cubren tanto la pregunta como el candidato a la respuesta, e incluyen:
También es posible detectar las respuestas de los candidatos mediante el aprendizaje no supervisado , cuando los documentos relevantes son lo suficientemente redundantes, por ejemplo, cuando se consulta una gran colección. La teselación por n -gramas permite, por ejemplo, considerar y asignar un peso a todas las secuencias de palabras encontradas en los extractos relevantes de los documentos identificados, con la idea de que las secuencias de palabras más repetidas probablemente formen parte del respuesta. Las secuencias de palabras contiguas más interesantes constituyen la respuesta.
Existen diferentes campañas destinadas a clasificar los mejores sistemas de respuesta a preguntas: TREC (inglés), CLEF (multilingüe), EQUER (francés), NTCIR (japonés), QUAERO (francés, inglés). Los sistemas se evalúan tanto de dominio abierto como de colecciones cerradas (generalmente artículos de revistas). Los tipos de preguntas analizadas son principalmente factores y definiciones.
Hay dos formas principales de juzgar una respuesta. El primer tipo de juicio es automático: por rango recíproco medio (MRR). Será por ejemplo dar 1 punto para el sistema cuando una re respuesta es correcta, si 0,5 segundos es 0.2 y si es antes de la 5 e . La segunda forma de juzgar una respuesta es usar el juicio humano. Esto depende de la exactitud o precisión de la respuesta y su justificación.
Sin embargo, la precisión de la respuesta a una pregunta no es fácil de juzgar:
Otra medida importante es la recuperación y la precisión . El retiro mide la proporción de documentos relevantes seleccionados entre todos los documentos relevantes (por lo que cuantos menos documentos relevantes no fueron seleccionados, mejor será el retiro). La precisión mide la proporción de documentos relevantes seleccionados entre todos los documentos seleccionados (por lo tanto, cuantos más documentos malos se seleccionen, menor será la precisión). En general, aumentar la memoria da como resultado una disminución de la precisión y viceversa.