Information-Theoretic Analysis of Convolutional Autoencoders
Teoria da Informação; redes neurais; autocodificador convolucional
O uso de conceitos da Teoria da Informação para entender redes neurais profundas tem sido amplamente explorado nos últimos anos. O framework de Aprendizagem Teórica da Informação que resultou desse uso tem sido reconhecido como uma ferramenta potencialmente importante para compreender os mecanismos de aprendizagem empregados durante o processo de treinamento de redes neurais profundas, para o estudo dos quais ainda faltam métodos teóricos e sistemáticos de análise. A utilização de medidas estatísticas derivadas da Teoria da Informação, tais como entropia e informação mútua, permitiu um melhor entendimento de como a informação flui através das referidas redes durante seu treinamento. Também possibilitou a criação de métodos sistemáticos para projetar e analisar essas redes de forma mais rigorosa, o que, por sua vez, permite a criação de arquiteturas mais eficientes e robustas. Este trabalho visa investigar a possibilidade de aplicação de um método baseado no framework supracitado para a detecção automática da dimensão do gargalo de um autocodificador convolucional, cujo objetivo é encontrar a compressão ótima para as imagens a ele apresentadas.