SIA OpenIR  > 数字工厂研究室
基于深度学习的图像描述研究
其他题名Research on image interpretation based on deep learning
杨楠; 南琳; 张丁一; 库涛
作者部门数字工厂研究室
关键词卷积神经网络 循环神经网络 门控循环单元 自然语言处理 图像描述
发表期刊红外与激光工程
ISSN1007-2276
2018
卷号47期号:2页码:18-25
收录类别EI ; CSCD
EI收录号20182105214035
CSCD记录号CSCD:6207494
产权排序1
资助机构国家科技支撑计划(2015BAF02B01) ; 中国科学院网络化控制系统重点实验室(2015BAF02B00)
摘要

卷积神经网络(Convolution Neural Networks,CNN)和循环神经网络(Recurrent Neural Networks,RNN)在图像分类、计算机视觉、自然语言处理、语音识别、机器翻译、语义分析等领域取得了迅速的发展,引起了研究者对计算机自动生成图像描述的广泛关注。目前图像描述存在的主要问题有输入文本数据稀疏、模型存在过拟合、模型损失函数震荡难以收敛等问题。文中使用NIC作为基线模型,针对数据稀疏问题,改变了基线模型中的文本one-hot表示,使用word2vec对文本进行映射,为了防止过拟合,在模型中加入了正则项和使用Dropout技术,并在词序记忆方面取得创新,引入联想记忆单元GRU,用于文本生成。在试验中使用Adam Optimizer优化器进行参数迭代更新。实验结果表明:改进后的模型参数减少且收敛速度大幅加快,损失函数曲线更加平滑,损失最大降至2.91,模型的准确率比NIC提高了接近15%。实验有效地验证了在模型当中使用word2vec对文本进行映射可明显缓解数据稀疏问题,加入正则项和使用Dropout技术可有效防止模型过拟合,引入联想记忆单元GRU能够大幅减少模型训练参数,加快算法收敛速度,进而提高整个模型的准确率。

其他摘要

Convolution Neural Networks (CNN) and Recurrent Neural Networks (RNN) had developed rapidly in the fields of image classification, computer vision, natural language process, speech recognition, machine translation and semantic analysis, which caused researchers' close attention to computers' automatic generation of image interpretation. At present, the main problems in image description were sparse input text data, over-fitting of the model, difficult convergence of the model loss function, and so on. In this paper, NIC was used as a baseline model. For data sparseness, one-hot text in the baseline model was changed and word2vec was used to map the text. To prevent over-fitting, regular items were added to the model and Dropout technology was used. In order to make innovations in word order memory, the associative memory unit GRU for text generation was used. In experiment, the AdamOptimizer optimizer was used to update parameters iteratively. The experimental results show that the improved model parameters are reduced and the convergence speed is significantly faster, the loss function curves are smoother, the maximum loss is reduced to 2.91, and the model accuracy rate increases by nearly 15% compared with the NIC. Experiments validate that the use of word2vec to map text in the model obviously alleviates the data sparseness problem. Adding regular items and using Dropout technology could effectively prevent over-fitting of the model. The introduction of associative memory unit GRU could greatly reduce the model trained parameters and speed up the algorithm of convergence rate, improve the accuracy of the entire model.

语种中文
引用统计
文献类型期刊论文
条目标识符http://ir.sia.cn/handle/173321/21609
专题数字工厂研究室
通讯作者张丁一
作者单位1.中国科学院沈阳自动化研究所
2.中国科学院大学
推荐引用方式
GB/T 7714
杨楠,南琳,张丁一,等. 基于深度学习的图像描述研究[J]. 红外与激光工程,2018,47(2):18-25.
APA 杨楠,南琳,张丁一,&库涛.(2018).基于深度学习的图像描述研究.红外与激光工程,47(2),18-25.
MLA 杨楠,et al."基于深度学习的图像描述研究".红外与激光工程 47.2(2018):18-25.
条目包含的文件 下载所有文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
基于深度学习的图像描述研究.pdf(644KB)期刊论文作者接受稿开放获取ODC PDDL浏览 下载
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[杨楠]的文章
[南琳]的文章
[张丁一]的文章
百度学术
百度学术中相似的文章
[杨楠]的文章
[南琳]的文章
[张丁一]的文章
必应学术
必应学术中相似的文章
[杨楠]的文章
[南琳]的文章
[张丁一]的文章
相关权益政策
暂无数据
收藏/分享
文件名: 基于深度学习的图像描述研究.pdf
格式: Adobe PDF
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。