Introducción a la teoría de control estocástico

Abstract

La teoría de control trata con sistemas que evolucionan en el tiempo y comportamiento puede ser influenciado para alcanzar ciertas metas. En la década pasada se dió un notable resurgimiento en el estudio de las aplicaciones y teoría de los problemas de control estocástico, cuya raíz proviene de los años 50's. Los modelos de problemas de control estocástico tienen ganado reconocimiento en varias áreas tales como ecología, economía, ingeniería, etc. Los problemas de control estocástico (programación dinámica estocástica), son modelos para tomar decisiones secuenciales. Estos modelos consisten de estados, acciones, costos (o ganancia), y probabilidades de transición, los cuales se relacionan de la manera siguiente: en un estado dado se elige una acción, generándose un costo (o ganancia) y el siguiente estado se determina por medio de la probabilidad de transición. Las acciones se eligen de acuerdo a una política o estrategia, así que el objetivo primordial de los problemas de control óptimo es el de encontrar políticas óptimas en algún sentido. El objetivo principal de este trabajo es analizar el artículo AVERAGE COST OPTIMAL STATIONARY POLICIES IN INFINITE STATE MARKOV PROCESSES WIHT UNBOUNDED COSTS de Linn I. Sennott, y dar una introducción a los Problemas de Control Óptimo (PCO) en tiempo discreto con espacio de estados numerable.