Guidelines for the Assessment of Black-box Interpretability Methods (2022)
- Authors:
- Autor USP: ARAUJO, GABRIEL GAZETTA DE - ICMC
- Unidade: ICMC
- Sigla do Departamento: SME
- DOI: 10.11606/D.55.2022.tde-13102022-112418
- Subjects: APRENDIZADO COMPUTACIONAL; REDES NEURAIS; INTELIGÊNCIA ARTIFICIAL
- Keywords: Aprendizado profundo; Assessment; Avaliação; Black-box; Deep learning; Interpretabilidade; Interpretability; Machine learning; Modelos caixa-preta; Neural networks
- Language: Inglês
- Abstract: Com o surgimento de redes neurais profundas e algorítmos complexos de aprendizado de máquina, tem-se buscando cada vez mais maiores performances com o objetivo de alcançar melhores acurácias de classificação em uma variedade de aplicações. A busca por maior acurácia leva a modelos preditivos complexos conhecidos como caixas-pretas, que não oferecem acesso ao processo interno de decisão: estes modelos providenciam pouca ou nenhuma explicação no motivo pelo qual um determinado resultado foi obtido ou o que influenciou este resultado. Infelizmente, estas desvantagens podem ser impactantes especialmente em aplicações sensíveis como em cenários legais, sociais, médicos ou financeiros em que uma classificação errada ou uma classificação gerada por motivos errados pode causar impactos significativos. Motivados por esta preocupação, técnicas de interpretabilidade começam a surgir com o objetivo de trazer, por uma variedade de métodos, explicações para resultados de modelos caixa-preta, ou então propondo algorítmos preditivos originalmente interpretáveis. Porém, tais técnicas ainda não são maduras e estão em constante desenvolvimento; da mesma forma, a avaliação de tais técnicas também carecem de amadurecimento. Atualmente, não há um consenso em como elas podem ser avaliadas ou comparadas, ou então quais propriedades elas devem garantir. Este trabalho, partindo desta lacuna, propõe um conjunto de métricas avaliativas capazes de calcular três propriedades de técnicas deinterpretabilidade. Tais métricas podem ser usadas para avaliar parâmetros ou determinar a melhor ferramenta de interpretabilidade para determinados experimentos.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2022
- Data da defesa: 08.08.2022
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
ARAUJO, Gabriel Gazetta de. Guidelines for the Assessment of Black-box Interpretability Methods. 2022. Dissertação (Mestrado) – Universidade de São Paulo, São Carlos, 2022. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-13102022-112418/. Acesso em: 05 maio 2024. -
APA
Araujo, G. G. de. (2022). Guidelines for the Assessment of Black-box Interpretability Methods (Dissertação (Mestrado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-13102022-112418/ -
NLM
Araujo GG de. Guidelines for the Assessment of Black-box Interpretability Methods [Internet]. 2022 ;[citado 2024 maio 05 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-13102022-112418/ -
Vancouver
Araujo GG de. Guidelines for the Assessment of Black-box Interpretability Methods [Internet]. 2022 ;[citado 2024 maio 05 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-13102022-112418/
Informações sobre o DOI: 10.11606/D.55.2022.tde-13102022-112418 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
