人工智能技术之BP算法的解析
时间:2020-02-03 08:03

  的BP反向算法,由于该算法是在一般网络中描述的,它只是将神经网络作为一个特例。因此,在神经网络研究领域内没有得到广泛。直到20世纪80年代中期,BP反向算法才被重新发现并广泛。特别是Rumelhart和McClelland等提出了训练多层神经网络的BP学习算法,为解决多层神经网络的学习提供了。

  BP网络是一种按误差逆算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一,也是ANN人工神经网络的基础。BP反向算法在多层神经网络训练中扮演着举足轻重的作用,也是迄今最成功的ANN人工神经网络学习算法。非常有必要值得研究,今天就跟大家介绍一下BP算法。

  BP算法(error Back Propagation)是由学习过程由信号的正向与误差的反向两个过程组成。由于多层前馈网络的训练经常采用误差反向算法,人们也常把将多层前馈网络直接称为BP网络。BP网络能学习和存贮大量的输入/输出模式映射关系,而无需事前描述这种映射关系的数学方程。

  激活函数的作用是将非线性引入神经元的输出。因为大多数现实世界的数据都线性的,希望神经元能够学习非线性的函数表示,所以这种应用至关重要。通常选可导的奇函数作为激活函数,譬如非线性sigmoid函数,有两种形式:1)逻辑函数;2)双曲正切函数。

  BP算法由信号的正向和误差的反向两个过程组成。1)正向:输入样本从输入层进入网络,经隐层逐层传递至输出层,如果输出层的实际输出与期望输出不同,则转至误差反向;如果输出层的实际输出与期望输出相同,结束学习算法。

  2)反向:将输出误差(期望输出与实际输出之差)按原通反传计算,通过隐层反向,直至输入层,在反传过程中将误差分摊给各层的各个单元,获得各层各单元的误差信号,并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成,在不停地调整各层神经元的权值和阈值后,使误差信号减小到最低限度。

  权值和阈值不断调整的过程,就是BP网络的学习与训练过程,经过信号正向与误差反向,权值和阈值的调整反复进行,一直进行到预先设定的学习训练次数,或输出误差减小到允许的程度。

  BP算法是一种有监督式的学习算法,其主要思想是:输入学习样本,使用反向算法对网络的权值和阈值进行反复调整训练,使输出的向量与期望向量尽可能地接近,当网络输出层的误差平方和小于指定的误差时,训练完成,保存网络的权值和阈值。

  BP网络采用有指导的学习方式,其训练过程大致如下:1)组成输入模式由输入层经过隐含层向输出层的“模式顺”过程。2)网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层调整权值和阈值的“误差逆”过程。3)由“模式顺”与“误差逆”反复进行的网络记忆训练过程。4)网络趋向即网络的总体误差趋向极小值的学习过程。

  在训练阶段中,训练实例重复通过网络,同时修正各个权值和阈值,改变的目的是最小化训练集误差率。继续网络训练直到满足一个特定条件为止,终止条件可以使网络到最小的误差总数,可以是一个特定的时间标准,也可以是最大重复次数。

  BP算法优点:1)具有实现任何复杂非线)适合于求解内部机制复杂的问题;3)寻优具有精确性;4)具有自适应和自学习能力;5)泛化和容错能力强;6)具有一定的推广、概括能力。

  BP算法缺点:1)速度缓慢;2)容易陷入局部极小值,且对于较大的搜索空间,多峰值和不可微函数不能搜索到全局最优;3)训练结果可能未达到预定精度;4)可能会出现“过拟合”现象;5)隐含层的层数和单元数的选择尚无理论上的指导,一般根据经验值或反复实验确定;6)训练过程中,学习新样本时有遗忘旧样本的趋势。

  针对BP算法的缺陷,目前已有许多学者对其进行改进。如采用增量可调法,即在误差曲面曲率较高处,选取较小值,在误差曲面较平坦处,选取较大值。采用此增量可调法可明显提高其速度。然而针对其易陷入局部极小的缺陷,目前尚无较好的解决方法。为了摆脱BP算法易于陷入局部极值,学者们已经尝试了遗传算法、模拟退火算法、蚁群算法等与BP算法相结合进行研究。

  BP反向算法可以逼近任意连续函数,具有很强的非线性映射能力,而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定,灵活性很大,所以它在许多应用领域中起到重要作用。它在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。

  BP反向算法在多层神经网络训练中扮演着举足轻重的作用,也是迄今最成功的人工神经网络学习算法,值得深入研究。BP算法是由学习过程由信号的正向与误差的反向两个过程组成。BP算法应用范围广泛,灵活性大,扩展性强。它在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。

  直播主题:● AI知名企业大佬现场分享观点,解读行业趋势● 中国AI产品制造商和系统集成商的产品、技术和市场战略● AI

  在2019年,AI和IoT都有了很大的发展,特别是AI与IoT相结合的产品和服务,正在改变我们的生活....

  中国新一代人工智能产业规模增速平稳。在加快推动新一代人工智能应用场景落地的政策和市场推动下,预计到2....

  苹果花费了大量时间,和资源来使用人工智能(AI)使其设备(尤其是iPhone)变得更加智能,这已....

  近日,全球最先进机器人餐厅登陆广州,引起市民热议。随着人工智能时代的到来,中国已连续两年位居世界机器....

  过去十年堪称是数据爆炸的十年。回顾2010年的行业报告时你会发现,2010年全球数据量刚刚突破1ZB....

  据国外报道,一份关于人工智能“”的草案显示,欧盟正在考虑新的法规来约束人工智能的开发,以确....

  科技进步速度超越人的想象。就在几年前,讨论科技创新这一话题时,提及最多的还是移动互联网、云计算、大数....

  随着2020年的到来,数据中心开始采用更新、更成熟的技术。具体来说,我们不仅将看到5G对边缘计算需求....

  据外媒报道,训狗通常需要一位人类训狗师,但如果不是能否达到训练的目的呢?这正是这家名为Compani....

  数字时代不仅意味着我们会被各种终端提供的海量信息所环绕,更意味着数据中心已成为支持社会和组织运行所不....

  从2016、2017年的异军突起,到2018年的高歌猛进,2019年的人工智能似乎要“平稳”了许多。....

  2019 年底,一场以智能传感器为主题的高科技论坛 智能传感器及无人系统应用论坛 在理工大学举行....

  无人系统相关技术在2019年度再次取得重大进展,特别是在无人机、机器人系统和自主技术方面不断取得新的....

  人工智能与经济社会发展深度融合已经成为确定趋势,它给各行各业提供了超过万亿美元的全球性市场和机会。对....

  拿欧美市场来说,欧美生产的AGV主要采用大部件组装形式,整体外观较为笨重,但与之俱来的是它们大都可以....

  据悉,德勤以问卷采访了“中国制造业500强”里的119家大中型企业,并遴选代表性企业进行深度,从....

  随着人工智能、大数据、云计算等新兴技术的兴起,传统的财务管理模式正在被,智能财务成为大势所趋。

  从科研和学术的庙堂之高到众多领域接地气的落地,人工智能仅用了几年时间。德勤预测,2025年世界人工智....

  随着物联网技术、5G技术、云计算网络技术的不断进步,人工智能正推动人类社会迎来人机协同、跨界融合、共....

  今天的5G、云计算、大数据、人工智能,推动着物理世界向信息化、智能化发展,撬动了各行各业的市场活力和....

  人工智能是科研发展的前沿技术,发展过程中与信息技术、计算机技术、精密制造技术、互联网技术密切相关,对....

  工业大学15日宣布成立新的人工智能研究所,目标是在这一领域开展先进的科研和人才培养。

  2020年1月16日,韩国科学技术信息通信部在位于大田市的韩国电子通信研究院(ETRI)公布了202....

  随着AI相关技术的深入发展与落地使用,传统安防行业加快了智能化转型升级,开始涵盖更多领域,智能家居行....

  最新发布的《2020德勤人工智能制造业应用调查》报告指出,人工智能的应用正从消费智能扩大到企业智能。....

  安防行业近20年的发展经过了从模拟到数字,从标清到高清的变革,目前进入了人工智能的变革时代。数字和高....

  物联网(IoT)、人工智能(AI)、5G和边缘的崛起不仅推动了数据的增长,也为获取新兴的数据驱动型业....

  艾睿电子推出首个采用ADI公司的3D飞行时间技术(ToF)针对健康护理产品的概念验证设计,这设计为呼....

  线上线下协同发展:高速互联网和诊断技术逐步结合,特别是5G技术出现后,高维度的数据共享成为可能,....

  这是我国首个应用人工智能技术的三类器械过审。而人工智能三类器械过审的通过,对于医疗AI行业来说是一件....

  正在医疗保健、交通运输、国防以及等诸多领域AI与机器人技术。对于这些新兴....

  现在,越来越多的公司部署更广泛的物联网网络,对实时数据关注的需求也越来越大。而AI系统能够分析更多的....

  近日,哈工大人工智能研究院智能研究中心暨认知智能研究中心成立大会在科学园308举行。省科技....

  据熟知内情的消息人士透露,苹果公司收购了西雅图初创公司Xnor.ai,后者是一家专业致力于研究设备人....

  人工智能领域目前已经逐渐形成了一个庞大的产业体系,整个产业体系结构中也涉及到大量的工作岗位。

  人工智能时代,个人的很多信息正被某些应用所采集,如指纹信息、脸部信息、信息等,正被手机、银行、交....

  徐建民说,人工智能是新一轮科技和产业变革的核心驱动力量,也是当前社会十分关注的热点领域。上海....

  以前放在桌上的PC机很大,随后智能硬件开始笔记本、iPad、手机,甚至开始可穿戴,因此未来个....

  在人工智能这条赛道上,百度的技术实力又一次得到了业界权威的认可,这也让中国AI看百度的行业共识再度牢....

  人工智能技术飞速发展。从阿尔法Go到自动驾驶,人工智能似乎一夜之间就着我们生活和工作的方方面面。

  而当前人工智能领域热点研究话题位居前十的是:神经网络、卷积神经网络、机器学习、计算机视觉、移动设备、....

  1月11日,—中国工程院知识智能联合研究中心和大学人工智能研究院联合发布了2020年人工智能....

  回顾2014年,大量初创的人工智能公司集中出现。此后,随着资本进一步,全球范围内“Al”热潮不断....

  人工智能是新一轮产业变革的核心驱动力,将进一步历次科技和产业变革积蓄的巨大能量,并创造新的强....

  人工智能时代,用户对智能家居的控制需求可能只有20%-30%的比重,更多的需求比重与服务相结合。

  据熟知内情的消息人士透露,苹果公司收购了西雅图初创公司Xnor.ai,后者是一家专业致力于研究设备人....

  消息人士称,苹果公司以大约2亿美元的价格收购了Xnor.ai。虽然苹果公司和Xnor.ai均就此....

  赛灵思今日在位于市朝阳区安定5号院的中海国际中心新办公室,隆重举行赛灵思办公室乔迁庆典,庆....

  一直以来,5G的高速度、低时延、大容量特点都被认为会带来AI、移动XR、自动驾驶等行业的性的改变....

  机器学习不应将公司的网络安全作为单一防御层来支撑,而应将人员、流程和技术结合在一起,成为多层和全面安....

  活动简介 艾睿电子解决方案展示会是艾睿电子自主主办的展会,也是每年一度的 ACT (Arrow Centralized Training...

  提起单板电脑,树莓派基金会发布的树莓派系列开发板或许是最广为人知的,该公司使用博通的SOC芯片,以实现不断...

  串口屏应用案例-自助点餐系统 自助点餐系统应景而生,彻底打破了传统,能够有效的减少排队使用的时间。在自助点餐机器...

  AIoT领域技术栈跨度大,工程化过程中碎片场景多,整个产业亟需大量优秀的开发者和专业人员,产业的思考、技术的实践...

  双十一高效配送的背后离不开各类物流系统的支持,WMS系统作为仓配中心的“智慧大脑”在其中发挥着重要作用。让我...

  手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现+开发板)详情链接: 上次我们讲到人工智能的...

  近几年来,人工智能(AI)概念很火热,几乎人人都在学习人工智能,AI市场人才的抢夺也非常的激烈。根据百科的解释...

  高焕堂,VR/AR产业联盟、铭传大学《AI潮流下的创新设计思维》课程、科技大学VR技术培训...

  谁来阐述一下传感器和人工智能的关系? 手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现+...

  谁来阐述一下5G与人工智能的关系? 手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现...

      大红鹰娱乐