基于深度学习的图像超分辨率重建研究.doc

基于深度学习的图像超分辨率重建研究.doc

《基于深度学习的图像超分辨率重建研究.doc》由会员分享，可在线阅读，更多相关《基于深度学习的图像超分辨率重建研究.doc（62页珍藏版）》请在冰豆网上搜索。

毕业设计（论 文）

基于深度学习的图像超分辨率重建研究

院别

数学与统计学院

专业名称

信息与计算科学

班级学号

5133117

学生姓名

楚文玉

指导教师

张琨

2017年06月10日

基于深度学习的图像超分辨率重建研究

摘要

人工神经网络凭借其超强的学习能力，使得人工智能得到迅猛的发展，让人工神经网络再次成为研究热点。

目前深度学习已经广泛应用于计算机视觉，语音处理，自然语言处理等各个领域，甚至在某些领域已经起到了主导作用。

单一图像超分辨率重建技术旨在将一个低分辨率图像经过一系列算法重构出对应的高分辨率图像。

目前比较成熟的方法有基于频域法，非均匀图像插值法，凸集投影法，最大后验概率法以及稀疏表示法。

本文主要研究利用深度学习实现单一图像超分辨率重建。

本文首先简要介绍人工神经网络的发展历程，然后介绍深度学习在计算机视觉方面的应用。

然后介绍神经网络的一些理论知识，最后介绍深度学习中的卷积神经网络（CNN,ConvolutionalNeuralNetwork）。

本文研究如何利用卷积神经网络实现超分辨率重建。

卷积神经网络分为三层结构，第一层的作用是特征块的提取和表示，第二层的作用是非线性映射，第三层的作用是重建出高分辨率图像。

本文首先将一个图像降采样再双三次插值作为低分辨率图像，作为卷积神经网络的输入，而高分辨率图像作为卷积神经网络的输出，利用卷积神经网络建立低分辨率，高分辨率之间的映射。

最后针对该模型进行改进，再加入一层作为特征提取。

最后利用深度学习框架TensorFlow实现上述模型。

最后研究快速超分辨率重建模型，并针对模型层数和过滤器大小进行改进，与先前实验做比对。

关键字：

超分辨率重建，卷积神经网络，深度学习，TensorFlow

ImageSuper-ResolutionUsingDeeplearning

Author:

ChuWen-yu

Tutor:

ZhangKun

Abstract

ArtificialNeuralNetworkbecauseofitsstrongabilitytolearn,getrapiddevelopmentofartificialintelligence,lettheArtificialNeuralNetworkbecometheresearchupsurgeagain.Deeplearninghasbeenwidelyusedincomputervision,speechprocessing,naturallanguageprocessingandsoon.Thesuper-resolution（SR）techniqueisdesignedtorefactoralow-resolutionimagethroughaseriesofalgorithmstoreconstructthecorrespondinghigh-resolutionimage.Currently,themethodoffrequencydomain,Non-uniformimageinterpolation,Projectionontoconvexset（POCS）,Maximumaposterior（MPA）andsparsematrixmethodarethemorematuremethods.Thispapermainlyresearchestherealizationofsuper-resolution（SR）reconstructionusingdeeplearning.

Inthisthesis,firstisabriefintroductionofthedevelopmentofartificialneuralnetwork,thenintroducestheapplicationofdeeplearningincomputervision.Withthatintroducessometheoreticalknowledgeofneuralnetwork,andfinallyintroducestheconvolutionneuralnetwork（CNN）indeeplearning.

Thisarticlemainlyresearcheshowtousetheconvolutionneuralnetwork（CNN）togetthesuper-resolutionreconstruction.Theconvolutionneuralnetworkcontainsthreestructures,theeffectofthefirstlayerisPatchextractionandrepresentation,thesecondisthefunctionofNon-linearmapping,theroleofthethirdlayeristhehigh-resolutionimagereconstruction.Firsttodownscaleandbicubicinterpolationanimageasthelow-resolutionimagesastheinputoftheconvolutionneuralnetwork,andthehigh-resolutionimageastheoutputoftheconvolutionneuralnetwork,usingconvolutionneuralnetworkestablishedend-to-endmappingbetweenthelow-resolutionandhigh-resolution.Finally,themodelisimproved,andthenalayeris

addedasfeatureextraction.ThemodelimplementsusingdeeplearningframeTensorFlow.Finally,learnmoreabouttheacceleratesuper-resolutionreconstructionmodelandimprovethemodellayerandfiltersize,andcomparewiththepreviousexperiment.

KeyWords:

Super-Resolution,Convolutionneuralnetwork,Deeplearning，TensorFlow

东北大学秦皇岛分校毕业设计（论文）第IV页

目录

1绪论 1

1.1课题背景及意义 1

1.2国内外研究现状 2

1.3论文的内容结构 3

2深度学习理论 5

2.1人工神经网络理论 5

2.1.1神经网络基础理论 6

2.1.2BP反向传播算法 9

2.1.3随机梯度下降法 12

2.2深度神经网络理论 13

2.2.1深度学习的核心思想 13

2.2.2卷积神经网络 14

2.3TensorFlow简介 19

3基于SRCNN的超分辨率重建算法研究 21

3.1SRCNN模型简介 21

3.2SRCNN模型的改进 22

3.3改进的模型的实现 23

3.3.1数据集制作 23

3.3.2TensorFlow实现卷积神经网络 24

3.4FSRCNN模型 27

3.4.1FSRCNN模型简介 27

3.4.2FSRCNN模型改进 28

4实验及分析 29

4.1具体实验结果分析 29

4.2与其他实验对比分析 31

结论 35

致谢 36

参考文献 37

附录A 39

附录B 44

东北大学秦皇岛分校毕业设计（论文）第56页

1绪论

1.1课题背景及意义

从2016年AlphaGo完胜李世石到2017年5月战胜柯洁等诸多世界围棋顶级高手，人工智能和深度学习这些概念再次引起了学术界的关注。

谷歌、脸书、阿里巴巴、百度等众多国内外互联网公司纷纷宣布要将人工智能作为他们的下一个战略重心[1]。

在类似AlphaGo、无人机驾驶汽车等最新技术的背后，深度学习是推动这些技术发展的核心力量。

目前我们所熟知“深度学习”基本上是深层神经网络的一个代名词，而神经网络技术可以追溯1943年。

深度学习之所以看起来像一个新技术的原因是在21世纪初期并不是很流行。

神经网络的发展史大致可以分为三个阶段。

早期的神经网络模型类似于仿生机器学习，它试图模仿大脑的学习机理。

最早是在1943年由WalterPitts教授和WarrenMcCulloch教授提出的McCulloch-PittsNeuron（MP）计算结构模型，大致模拟了人类神经元的工作原理，使用了简单的线性加权和的方式来模拟变换[2]。

FrankRosenblatt教授在1958年提出了一个感知机模型（perceptron）[3]。

它首次实现了依据样本数据集来学习权重。

这两个模型深深的影响了现代机器学习，为现代机器学习奠定了基础，但自身也存在许多不足。

SeymourPaper教授和MarvinMinsky教授在1969年出版的《Perceptron》书中证明了感知机模型只能解决线性可分问题，无法解决异或问题。

在之后的十几年里，关于神经网络的研究全部处于停滞状态。

直到20世纪80年代末，第二波神经网络研究热潮因为分布式知识表达（distributedrepresentation）和神经网络反向传播算法的提出而重新兴起。

这大大增强了模型的表达能力，让神经网络从宽度的方向走到了深度的方向。

这为之后的深度学习奠定了基础。

1986年DavidEverettRumelhart教授、GeoffreyEversetHinton教授和RonaldJ.Willians教授在自然杂志上发表的LearningRepresentationsbyBack-propagatingerrors文章中首次提出了反向传播算法（BP）[3]，此算法大幅降低了训练神经网络的时间。

直达今天仍是训练神经网络的主要方法。

现如今使用的一些神经网络结构，比如卷积神经网络和循环神经网络，在这个阶段取得了显著的成就。

SeppHochreiter教授和JuergenSchmidhuber教授于1991年提出的longshort-termmemory（LSTM）模型可以有效的对较长的序列进行建模，比如一段文字和语音等。

直到今天LSTM都是解决自然语言处理，语言识别的有效方法。

然而，之后神经网络研究再度步入寒冬。

在神经网络发展前景不好的时候，传统的神经网络学习算法却得到了突破性的进展，并在90年代末超过了神经网络，成为当下最先进的方法。

典型的案例是1998年，使用支持向量机（SVM）的算法在手写体识别上，可以把错误率降低到0.8%