Q-aprendizaje

En inteligencia artificial , más precisamente en aprendizaje automático , Q-learning es una técnica de aprendizaje por refuerzo . Esta técnica no requiere ningún modelo inicial del entorno . La letra 'Q' denota la función que mide la calidad de una acción realizada en un estado dado del sistema.

Descripción

Este método de aprendizaje le permite aprender una política, que indica qué acción realizar en cada estado del sistema. Funciona aprendiendo una función de valor de acción de estado notada que le permite determinar la ganancia potencial, es decir, la recompensa a largo plazo , proporcionada al realizar una determinada acción en un estado determinado siguiendo una política óptima. Cuando el agente conoce / aprende esta función de valor de acción-estado, la política óptima se puede construir seleccionando la acción de valor máximo para cada estado, es decir, seleccionando la acción que maximiza el valor cuando el agente está en el estado . $Q$ ${\ Displaystyle Q (s, a)}$ $a$ $s$ $a$ ${\ Displaystyle Q (s, a)}$ $s$

Uno de los puntos fuertes del -aprendizaje es que permite comparar las probables recompensas de realizar las acciones accesibles sin tener ningún conocimiento inicial del entorno. En otras palabras, aunque el sistema se modela como un proceso de decisión de Markov (terminado), el agente aprende no sabe y el algoritmo - el aprendizaje no lo usa. $Q$ $Q$

Esta noción de aprendizaje por recompensa se introdujo originalmente en la tesis de Watkins en 1989. Es una variante del aprendizaje por diferencias temporales. Posteriormente, se comprobó que - el aprendizaje converge hacia una política óptima, es decir que conduce a maximizar la recompensa total de las sucesivas etapas. $Q$

Algoritmo

La situación consta de un agente, un conjunto de estados y acciones . Al realizar una acción , el agente pasa de un estado a otro y recibe una recompensa (es un valor numérico). El objetivo del agente es maximizar su recompensa total. Esto se logra aprendiendo la acción óptima para cada estado. La acción óptima para cada estado es la que tiene la mayor recompensa a largo plazo. Esta recompensa es la suma ponderada de la expectativa matemática de las recompensas de cada paso futuro desde el estado actual. El peso de cada paso puede ser dónde está el retraso entre el paso actual y el futuro y un número entre 0 y 1 (es decir ) llamado factor de descuento . $S$ $A$ $a \ in A$ $s$ $s'$ $r$ ${\ Displaystyle \ gamma ^ {\ Delta t}}$ $\ Delta t$ $\gama$ ${\ Displaystyle 0 \ leq \ gamma \ leq 1}$

El algoritmo calcula una función de valor de estado de acción:

{\ Displaystyle Q: S \ times A \ to \ mathbb {R}}

Antes de que comience el aprendizaje, la función se inicializa arbitrariamente. Luego, con cada elección de acción, el agente observa la recompensa y el nuevo estado (que depende del estado anterior y de la acción actual). El corazón del algoritmo es una actualización de la función de valor . La definición de la función de valor se actualiza en cada paso de la siguiente manera: $Q$

{\ Displaystyle Q [s, a]: = (1- \ alpha) Q [s, a] + \ alpha \ left (r + \ gamma \ max _ {a '} Q [s', a '] \ right )}

donde es el nuevo estado, es el estado anterior, es la acción elegida, es la recompensa recibida por el agente, es un número entre 0 y 1, llamado factor de aprendizaje , y es el factor de actualización . $s'$ $s$ $a$ $r$ $\alfa$ $\gama$

Un episodio del algoritmo termina cuando es un estado final. Sin embargo, - el aprendizaje también puede aplicarse a tareas que no son episódicos. Si el factor de descuento es menor que 1, el valor del estado de acción es finito incluso para el infinito. $s _ {{t + 1}}$ $Q$ $\ Delta t$

NB: Para cada estado final , el valor de nunca se actualiza y mantiene su valor inicial. Por lo general, se inicializa a cero. ${\ Displaystyle s_ {f}}$ ${\ Displaystyle Q (s_ {f}, a)}$ ${\ Displaystyle Q (s_ {f}, a)}$

Pseudocódigo

Aquí está el pseudocódigo de Q-learning.

initialiser Q[s, a] pour tout état s, toute action a de façon arbitraire, mais Q(état terminal, a) = 0 pour toute action a répéter //début d'un épisode initialiser l'état s répéter //étape d'un épisode choisir une action a depuis s en utilisant la politique spécifiée par Q (par exemple ε-greedy) exécuter l'action a observer la récompense r et l'état s' Q[s, a] := Q[s, a] + α[r + γ maxa' Q(s', a') - Q(s, a)] s := s' a := a' jusqu'à ce que s soit l'état terminal

Influencia de las variables en el algoritmo

Factor de aprendizaje

El factor de aprendizaje determina cuánto superará la nueva información calculada a la anterior. Si = 0, el agente no aprende nada. Por el contrario, si = 1, el agente siempre ignora todo lo que ha aprendido y solo considerará la última información. $\alfa$ $\alfa$ $\alfa$

En un entorno determinista, la velocidad de aprendizaje es óptima. Cuando el problema es estocástico, el algoritmo converge en determinadas condiciones en función de la velocidad de aprendizaje. En la práctica, a menudo esta velocidad corresponde a toda la duración del proceso. ${\ Displaystyle \ alpha _ {t} (s, a) = 1}$ ${\ Displaystyle \ alpha _ {t} (s, a) = 0.1}$

Factor de descuento

El factor de descuento $γ$ determina el tamaño de las recompensas futuras. Un factor de 0 haría que el agente se volviera miope al considerar solo las recompensas actuales, mientras que un factor cercano a 1 también traería las recompensas más distantes. Si el factor de descuento es cercano o igual a 1, el valor de puede divergir. $Q$

Extensiones y variantes

Doble Q- aprendizaje

Como Q- learning utiliza el estimador máximo, Q- learning sobreestima el valor de las acciones y, por lo tanto, en entornos ruidosos, el aprendizaje es lento. Este problema se resuelve en la variante denominada doble Q- aprendizaje que utiliza dos funciones de evaluación y se aprende en dos conjuntos diferentes de experiencias. La actualización se realiza transversalmente: ${\ Displaystyle Q ^ {A}}$ ${\ Displaystyle Q ^ {B}}$

{\ Displaystyle Q_ {t + 1} ^ {A} (s_ {t}, a_ {t}) = Q_ {t} ^ {A} (s_ {t}, a_ {t}) + \ alpha _ {t } (s_ {t}, a_ {t}) \ left (r_ {t} + \ gamma ~ Q_ {t} ^ {B} \ left (s_ {t + 1}, \ mathop {\ operatorname {arg ~ max }} _ {a} Q_ {t} ^ {A} (s_ {t + 1}, a) \ right) -Q_ {t} ^ {A} (s_ {t}, a_ {t}) \ right) }

, y

{\ Displaystyle Q_ {t + 1} ^ {B} (s_ {t}, a_ {t}) = Q_ {t} ^ {B} (s_ {t}, a_ {t}) + \ alpha _ {t } (s_ {t}, a_ {t}) \ left (r_ {t} + \ gamma ~ Q_ {t} ^ {A} \ left (s_ {t + 1}, \ mathop {\ operatorname {arg ~ max }} _ {a} Q_ {t} ^ {B} (s_ {t + 1}, a) \ right) -Q_ {t} ^ {B} (s_ {t}, a_ {t}) \ right) .}

Dado que el valor estimado se evalúa utilizando otra política, se resuelve el problema de la sobreestimación. El aprendizaje del algoritmo establecido se puede realizar mediante técnicas de aprendizaje profundo, lo que da como resultado DQN ( redes Q profundas ). Entonces podemos tener Double DQN, para obtener un mejor rendimiento que con el algoritmo DQN original.

Notas y referencias

(fr) Este artículo está tomado parcial o totalmente del artículo de Wikipedia en inglés titulado “ Q-Learning ” ( ver la lista de autores ) .

Tambet Matiisen , “ Desmitificando el aprendizaje por refuerzo profundo | Laboratorio de Neurociencia Computacional ” , en neuro.cs.ut.ee ,19 de diciembre de 2015(consultado el 6 de abril de 2018 )
CJ Watkins, Aprendiendo de las recompensas retrasadas , Kings College, Cambridge, mayo de 1989
(en) George F Luger, Inteligencia artificial: estructuras y estrategias para la resolución de problemas complejos. 5ª edición. , Addison Wesley,2005, 903 p. ( ISBN 0-321-26318-9 , leer en línea ) , pág. 448
Watkins y Dayan, Q-learning. Aprendizaje automático , 1992
(en) David L. Poole y Alan K. Mackworth , Inteligencia artificial , Cambridge University Press ,2009( ISBN 978-0-511-79479-7 , DOI 10.1017 / CBO9780511794797 , leer en línea ) , p. 469
Aprendizaje por refuerzo: una introducción , Richard Sutton y Andrew Barto, MIT Press, 1998.
(en) Stuart J. Russell y Peter Norvig , Inteligencia artificial: un enfoque moderno , Prentice Hall ,2010, Tercera ed. , 1132 p. ( ISBN 978-0-13-604259-4 ) , pág. 649
Hado van Hasselt , " Double Q-learning ", Avances en los sistemas de procesamiento de información neuronal , vol. 23,2011, p. 2613–2622 ( leer en línea [PDF] )
Hado van Hasselt , Arthur Guez y David Silver , " Aprendizaje por refuerzo profundo con doble Q-learning ", Conferencia AAAI sobre Inteligencia Artificial ,2015, p. 2094–2100 ( leer en línea [PDF] )