Algoritmos assíncronos de iteração de política para Processos de Decisão Markovianos com Probabilidades Intervalares (2019)
- Authors:
- Autor USP: REIS, WILLY ARTHUR SILVA - IME
- Unidade: IME
- Sigla do Departamento: MAC
- Assunto: CIÊNCIA DA COMPUTAÇÃO
- Keywords: Asynchronous policy iteration; Iteração de política assíncrono; Markov Decision Processes with Imprecise Probabilities; Planejamento probabilístico; Probabilistic planning; Processos de Decisão Markovianos com Probabilidades Imprecisas
- Agências de fomento:
- Language: Português
- Abstract: Um Processo de Decisão Markoviano (MDP) pode ser usado para modelar problemas de decisão sequencial. No entanto, podem existir limitações na obtenção de probabilidades para modelagem da transição de estados ou falta de confiabilidade nas informações existentes sobre estas probabilidades. Um modelo menos restritivo e que pode resolver este problema é o Processo de Decisão Markoviano com Probabilidades Intervalares (BMDP), que permite a representação imprecisa das probabilidades de transição de estados e raciocínio sobre uma solução robusta. Para resolver BMDPs de horizonte infinito, existem os algoritmos síncronos de Iteração de Valor Intervalar e Iteração de Política Robusto, que são ineficientes quando o tamanho do espaço de estados é grande. Neste trabalho são propostos algoritmos assíncronos de Iteração de Política baseados no particionamento do espaço de estados em subconjuntos aleatórios (Robust Asynchronous Policy Iteration - RAPI) ou em componentes fortemente conexos (Robust Topological Policy Iteration - RTPI). Também são propostas formas de inicializar a função valor e a política dos algoritmos, de forma a melhorar a convergência destes. O desempenho dos algoritmos propostos é avaliado em comparação com o algoritmo de Iteração de Política Robusto para BMDPs para domínios de planejamento existentes e um novo domínio proposto. Os resultados dos experimentos realizados mostram que (i) quanto mais estruturado é o domínio, melhor é o desempenho do algoritmo RTPI; (ii) ouso de computação paralela no algoritmo RAPI possui um pequeno ganho computacional em relação à sua versão sequencial; e (iii) uma boa inicialização da função valor e política pode impactar positivamente o tempo de convergência dos algoritmos
- Imprenta:
- Data da defesa: 02.08.2019
-
ABNT
REIS, Willy Arthur Silva. Algoritmos assíncronos de iteração de política para Processos de Decisão Markovianos com Probabilidades Intervalares. 2019. Dissertação (Mestrado) – Universidade de São Paulo, São Paulo, 2019. Disponível em: http://www.teses.usp.br/teses/disponiveis/45/45134/tde-02092019-212258/. Acesso em: 18 abr. 2024. -
APA
Reis, W. A. S. (2019). Algoritmos assíncronos de iteração de política para Processos de Decisão Markovianos com Probabilidades Intervalares (Dissertação (Mestrado). Universidade de São Paulo, São Paulo. Recuperado de http://www.teses.usp.br/teses/disponiveis/45/45134/tde-02092019-212258/ -
NLM
Reis WAS. Algoritmos assíncronos de iteração de política para Processos de Decisão Markovianos com Probabilidades Intervalares [Internet]. 2019 ;[citado 2024 abr. 18 ] Available from: http://www.teses.usp.br/teses/disponiveis/45/45134/tde-02092019-212258/ -
Vancouver
Reis WAS. Algoritmos assíncronos de iteração de política para Processos de Decisão Markovianos com Probabilidades Intervalares [Internet]. 2019 ;[citado 2024 abr. 18 ] Available from: http://www.teses.usp.br/teses/disponiveis/45/45134/tde-02092019-212258/
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
