Designing convolutional neural network architectures based on dynamical system concepts (2019)
- Authors:
- Autor USP: FERREIRA, MARTHA DAIS - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- Subjects: REDES NEURAIS; SISTEMAS DINÂMICOS; APRENDIZADO COMPUTACIONAL
- Keywords: Aprendizado profundo; Convolutional neural networks; Deep learning; Dynamical systems; Falsos vizinhos mais próximos em imagens; Image-based False nearest neighbors; Statistical learning theory; Teoria do aprendizado estatístico
- Agências de fomento:
- Language: Inglês
- Abstract: Avanços tecnológicos têm permitido e motivado a produção e o armazenamento de grandes volumes de dados e, consequentemente, a necessidade de processamento a fim de obter informações que apoiem processos de tomada de decisão. Neste contexto, a área de Aprendizado Profundo (DL) tem apoiado a resolução de problemas complexos por meio da extração de características implícitas em conteúdos, tais como de imagens, áudios e vídeos, para produzir bons classificadores e regressores. Redes Neurais Convolucionais (CNN) estão entre as estratégias consideradas estado da arte em DL, apresentando ótimo desempenho em tarefas de diferentes domínios. O projeto de arquiteturas de CNNs é um dos maiores desafios envolvidos no uso dessa tecnologia, pois requer considerável conhecimento sobre o domínio da aplicação, bem como sobre transformações algébricas lineares e não-lineares. Atualmente, esses projetos são realizados de forma manual, contando portanto com procedimentos empíricos, ou por meio de algoritmos evolutivos que analisam diferentes arquiteturas candidatas, opção que excessivamente consome recursos computacionais. Em meio ao projeto, surge ainda outra questão que tem atraído a comunidade científica, ela se refere ao uso de arquiteturas profundas e suas relações com overfitting, o qual produz memorização dos exemplos de treinamento e, portanto, degradação no processo de aprendizado. Esses dois principais desafios motivaram esta tese de doutorado a trazer uma discussão e uma proposta deabordagem para auxiliar no projeto de arquiteturas de CNNs, bem como permitir a compreensão algébrica de suas operações. Inicialmente, as arquiteturas de CNN foram algebricamente formuladas, o que permitiu concluir que suas relações de imersão espaciais são similares às empregadas pela área de Sistemas Dinâmicos (DS), levando ao desenvolvimento de uma ferramenta de imersão denominada Falsos Vizinhos mais Próximos em Imagem (IFNN). IFNN estima o tamanho das máscaras convolucionais e auxilia na estimação do números de unidades para cada camada de uma arquitetura CNN, a partir do efeito causado pela reconstrução de espaços fase. Essa ferramenta é motivada por outra denominada Falsos Vizinhos mais Próximos (FNN), a qual estima a dimensão de incorporação mínima necessária para representar padrões recorrentes em dados com dependências temporais. Experimentos confirmam que as arquiteturas projetadas com o auxílio da IFNN produziram resultados similares aos reportados por arquiteturas profundas e muito mais complexas. Com base nesses experimentos, conclui-se que a IFNN auxilia no projeto de arquiteturas mais simples, rasas (no sentido de menor profundidade) e eficientes, as quais são mais rapidamente treinadas e fornecem garantias mais justas de aprendizado (necessitam de menor tamanho para as amostras de treinamento). Por fim, as arquiteturas obtidas com o apoio da IFNN foram analisadas com base em seus coeficientes de Shattering a fim de verificar suas complexidades relativas,essencialmente a cardinalidade de seus viéses.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2019
- Data da defesa: 26.02.2019
-
ABNT
FERREIRA, Martha Dais. Designing convolutional neural network architectures based on dynamical system concepts. 2019. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2019. Disponível em: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-26042019-082539/. Acesso em: 23 abr. 2024. -
APA
Ferreira, M. D. (2019). Designing convolutional neural network architectures based on dynamical system concepts (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de http://www.teses.usp.br/teses/disponiveis/55/55134/tde-26042019-082539/ -
NLM
Ferreira MD. Designing convolutional neural network architectures based on dynamical system concepts [Internet]. 2019 ;[citado 2024 abr. 23 ] Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-26042019-082539/ -
Vancouver
Ferreira MD. Designing convolutional neural network architectures based on dynamical system concepts [Internet]. 2019 ;[citado 2024 abr. 23 ] Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-26042019-082539/
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
