Deep learning for single image super-resolution using residual image learning and multiple degradations

Abstract

Os últimos anos têm testemunhado o sucesso sem precedentes das redes neurais de convolucionais profundas (CNNs) e das Redes Generativas Adversárias (GANs) aplicadas em tarefas de super-resolução de imagem única (SISR). No entanto, os métodos de SISR baseados em CNNs/GANs geralmente assumem que a imagem de resolução mais baixa (LR) é subamostrada bicubicamente em relação à sua correspondente de alta resolução (HR). Isso resulta em baixo desempenho em imagens com degradações que não seguem essa suposição. Aqui, propomos um arcabouço de aprendizagem em que um super-resolvedor de imagem residual considera múltiplas degradações, melhorando o seu desempenho em imagens naturais. Nossa premissa básica é que os resíduos entre uma imagem LR sobreamostrada para alta resolução e a sua correspondente real de alta resolução contêm informações sobre os processos reais de degradação e subamostragem, controlados por características particulares da imagem. Mostramos que a aprendizagem residual no espaço da imagem leva à melhoria na reconstrução de detalhes em muitos casos. Neste trabalho, aplicamos diferentes modelos baseados em CNNs/GAN para aprender e prever a imagem residual dada a imagem LR. O resíduo a ser aprendido é obtido da subtração de uma imagem sobreamostrada bicubicamente da imagem LR de sua correspondente imagem real HR. As imagens LR são geradas aplicando uma degradação de borramento aleatório na imagem HR seguida de uma subamostragem bicúbica. Também geramos resíduos por 3 distintos métodos de amostragem em dimensões de espaço de imagem LR para usar como atributos. Finalmente, mostramos que nosso método é capaz de aprender os resíduos de maior dimensão espacial e pode recuperar imagens detalhadas de HR, a partir de imagens LR amostradas bicubicamente, adicionando o erro residual de alta resolução proposto.