01彩票

 

服务热线:4006 883 797

当前位置:主页 > 产品中心 > 机械手+视觉自动化应用方案 >

机械手+视觉自动化应用方案

产品系列:机械手+视觉自动化应用方案

产品简介::

 

  近年来,机械人主动化规模越来越众地运用3D视觉技能对倾向物体举行定位。本文紧要磋商3D视觉技能正在机械人抓取功课中的运用,总结了3D视觉技能正在识别、定位物体时面对的挑拨,给出了抓取功课机械人3D视觉体例的打算格式,归结了现有的3D外面成像格式和视觉管理算法,最终给出一个维系3D视觉技能对白色抽屉纸盒举行抓取分拣的本质运用案例。

  跟着经济的进展与科技的进取,人们越来越众地将主动化技能运用到临盆与生计中,与此同时,也对主动化技能提出了更高的央求。近十年来,工业机械人的普及使得机械人主动化获得了更遍及的运用和眷注。良众机械人体例曾经集成了视觉体例,运用机械视觉技能达成检测、识别、定位等成效,为后续的机械人运动供给需要的音讯。

  正在很众主动化运用园地中,如主动化分拣、安装、拆垛、码垛、上料等历程中,工业机械人往往被用来举行抓取功课。要落成抓取操作,机械人体例恐怕需求落成倾向感知、运动筹备、抓取筹备等一系列职司。视觉体例正在机械人抓取功课中的感化便是识别、定位倾向物体,为机械人供给倾向物体的类型与位姿音讯。此中,位姿猜度的精度相干到抓取的获胜率与精度,辱骂常首要的技能参数。

  3D视觉技能动作新兴的技能规模还存正在良众亟待处置的题目,但2D视觉已不行餍足空间抓取的运用央求。与2D视觉比拟,3D视觉技能的好处有:

  (1)3D视觉能够供给倾向物体6DOF的位姿数据,而2D视觉仅能供给平面内3DOF的位姿数据;

  (1)点云浮泛:用3D相机搜捕反光、透后、网状物体外面的点云音讯,往往会显现数据的丧失,丧失的点云数据变成了点云浮泛;

  (2)点云粘连:众个物体纷乱堆放或者两个物体外面亲切摆放时,差别物体外面的点云会粘连正在一齐,这就涉及到怎么安闲、确切地举行点云决裂;

  (3)点云密度差别等:物体外面与3D相机之间的相对位姿、物体外面的颜色均会影响点云的密度,使得倾向场景的点云密度差别等,这正在肯定水准上给点云管理算法带来了贫困;

  (4)视野限定:有限的相机视角、遮挡和暗影成绩,城市妨碍3D相机取得抓取倾向的外面全貌,进而妨碍对抓取倾向的识别;

  (5)速率:3D视觉的道理央求其管理的数据量较大。3D相机的区别率越高,所搜聚的点云质料越好,越能外征物体外面更渺小的几何特质,但相应地带来的数据量就越大。为了顺应本质运用需求,怎么升高3D相机获取倾向场景点云的速率、点云管理算法的速率仍是需求磋商的课题。

  其余,相机传感器的噪声,点云决裂噪声,光照前提的转折,物体的颜色等诸众要素都是3D视觉技能所面对的题目。

  本文紧要磋商3D视觉技能正在机械人抓取功课中的运用。作品第二局部先容抓取功课机械人3D视觉体例的打算,包含视觉筑造的选拔、与呆滞打算的相干;第三局部先容几种3D外面成像技能;第四局部先容3D视觉管理算法,包含点云决裂、3D成亲等;第五局部给出一个本质运用案例:工业机械人维系3D视觉分拣白色抽屉纸盒;第六局部为总结。

  选拔3D相机时需求思量相机与倾向场景之间的隔断以及倾向场景的尺寸。倾向场景最好位于相机的中心视场相近,01彩票不跨越近视场和远视场的边境,即倾向场景的高度不跨越衡量畛域。

  3D相机的成像精度需求餍足运用场景的抓取精度央求。大凡,职业隔断越大,3D相机的视场越大,但成像的精度越低。其余,相机的区别率、点云的获取速率也是评判3D成像体例的首要目标。此中,相机的区别率决心了点云数据量的巨细及其对物体细节的外征水准,相干到点云管理算法的打算。点云的获取光阴加上点云管理算法的推广光阴必需餍足抓取运用的节奏央求。

  为了避免外界境遇光对视觉体例的影响、保障视觉体例的安闲性,有时需求外加光源和遮光板。外加的光源不行影响3D相机成像。

  当相机固定安置时,机械人需求手持标定板做手眼标定。为了便利举行手眼标定,可打算特意的Tool抓持标定板,留出足够的空间以保障标定板正在手眼标定历程中不会与机械人爆发过问。相机固定安置的好处是,对Tool位姿举行改动后,无需再做机械人手眼标定。

  当机械人手持相机影相时,普通央求抓取功课Tool(夹具、吸盘)不遮挡相机的视野。

  3D外面成像/重构/衡量技能,可用于衡量物体外面上点的(x,y,z)坐标,衡量结果可暗示为深度图{zij=(xi,yj),i=1,2,…,L,j=1,2,…,M}。除了衡量三维坐标,3D外面成像体例也可输出物体外面空间点的其他光学特质值,如反射率、颜色等。这时的点云衡量结果可普通暗示为{Pi=(xi,yi,zi,fj),i=1,2,…,N},此中,fi为平昔量,代外第i个点的光学特质值。如常睹的RGB-D(红绿蓝-深度)衡量数据可暗示为{Pi=(xi,yi,zi,ri,gi,bi),i=1,2,…,N}。

  应用两个相机拍摄统一个倾向场景,通过成亲场景内统一物理倾向点投影到两幅图像中的像点(同源点),衡量获得该点的空间三维坐标。双目立体视觉的紧要职司是双目体例的标定和同源点的成亲。此中,同源点的成亲(立体成亲,stereo matching)格式有闭联法、众重网格法和众扫描线法。这些格式都依赖于倾向场景的纹理、机闭等特质,因而若能主动缔制特质,如投射随机散布的散斑图案、编码机闭光等图案,则能变被动为主动,通过巩固成亲的鲁棒性,使格式具有普适性。

  线激光器投射出的光平面映照到物体外面上会变成外征其轮廓的亮线,这些窄亮的细线大凡被称为光条。线机闭光三角衡量的根基思思是:通过相机拍摄线机闭光发射器所映照的倾向物体,获得物体外面上光条核心身分的一系列3D坐标。因而,倾向物体与线机闭光成像体例之间做相对运动并正在众个差别身分举行影相衡量,才力取得倾向物体完美的3D外面轮廓。

  线机闭光三角衡量的紧要职司是:标定相机及其与光平面之间的相对位姿,标定倾向物体与成像体例之间的相对运动,提取光条的核心点。

  编码机闭光激光器向倾向物体投射颠末奇特打算的编码图案,基于差别的图案编码格式,相机恐怕需求拍摄一幅或众幅被激光器映照的倾向物体外面图像,通过比较图像上颠末物体外面调制的编码光图案与未调制的编码光图案能够衡量取得倾向外面的3D描摹。与线机闭光三角衡量比拟,只须编码光也许映照到全体物体外面,物体与成像体例之间无需做相对运动即可获取物体外面的几何全貌。

  传感器向倾向物体发射颠末调制的近红外光脉冲,然后再回收从物体外面反射回来的光脉冲,通过盘算推算返回脉冲与发射脉冲之间的相位差即可测出倾向物体的深度。

  因为相机的景深有限,正在某物距下,倾向物体外面上唯有一局部点也许正在成像平面上明确成像。聚焦深度衡量运用这一道理,通过拍摄差别物距下统一物体的众幅图像,提取图像上明确成像的像点身分,盘算推算获得物体外面上各点的深度坐标。聚焦深度衡量技能的精度普通高于双目立体视觉和线机闭光三角衡量,但因其需求配合远心镜头或显微镜头应用,只适于对小尺寸物体举行衡量。

  物体外面反射光量的众少取决于该外面与光源和查看者之间的相对神态。采用差别的角度对静止倾向物体举行照明,正在每个照明角度下,应用统一台相机正在统一个固定视角下拍摄一幅图像,光度立体视觉技能应用这组图像猜度出倾向物体外面的法向量。目前,机械人抓取运用中应用的3D相机紧要采用3.1 ~ 3.4中的成像道理。

  点云的滤波(filter)算法紧要用于点云数据的预管理,可达成去噪、滑润、采样、特质提取等成效。滤波格式有:双边滤波、高斯滤波、前提滤波、随机采样同等性滤波等。

  点云的限度特质(local feature)估盘算推算法用于猜度点云中一点或一点边缘数个附近点的特质值。这些特质包含法向量、曲率、边境、点特质直方图(PFH)、神速点特质直方图(FPFH)、视角特质直方图(VFH)、NARF刻画子、挽回投影统计特质(Rotational Projection Statistics)等。

  点云的整个特质(global feature)估盘算推算法用于猜度某个点云蚁合的特质,01彩票如点云的外面积、最小外接盒、最大直径、截面弧线 点云环节点提取

  环节点(key point),也称为趣味点,由于具有某种特征,可遵守预先界说的尺度被安闲地识别出来。点云环节点的提取算法有:Harris3D、ISS3D、NARF、SIFT、SUSAN、Trajkovic3D。

  因为遮挡等起因,为了取得完美的倾向外面3D点云,往往需求从差别的视角对统一倾向物体举行扫描。点云配准(registration)技能是将这些点云数据两两举行成亲,盘算推算它们之间相互重叠的局部,将它们拼接正在一齐,取得更周至的倾向物体外面点云。点云配准算法有近来点迭代法(ICP)。

  点云决裂(segmentation)算法用于将点云数据决裂成差别的子集。根据运用需求,可采用差别的决裂格式,如平面决裂、柱面决裂、欧几里得聚类提取、超体聚类决裂、区域滋长决裂、基于最小割的点云决裂、基于法向量差的点云决裂等。除了上述的3D点云决裂格式,点云的决裂也可维系2D图像举行。先正在2D图像上运用边沿提取、深度练习等算法,然后再对点云举行决裂。

  三维成亲(3D matching)算法的成效是正在探求数据中找到倾向物体并确定它的3D位姿,此中,探求数据能够是3D点云或2D图像。三维成亲算法可分为基于形态的3D成亲、基于外面的3D成亲和可变形外面的3D成亲。

  倘使某个点云子集为已知的几何形态,如平面、柱面、球面,可运用点云拟合算法举行拟合求出相应的位姿和几何参数音讯。

  正在机械人抓取功课中,视觉的首要职司之一是倾向物体位姿的猜度。要猜度位姿,无误地决裂点云是条件。大凡,归纳运用4.1~4.4中的格式,然后再对点云举行决裂,最终运用三维成亲或点云拟合猜度出倾向物体的位姿。

  职司刻画:料框内纷乱堆放着差别型号的白色抽屉纸盒,而且这些纸盒的各个外面的长宽尺寸各不相仿。3D视觉体例通过识别纸盒外面的尺寸将差别型号的纸盒区别开来,再由机械人将它们差异分拣到差别的料框中。

  长方形铁质地框的尺寸为500 X 385 X 180 mm,壁厚为1.5 mm,为避免反光并增进视觉比较度,正在料框外面喷涂哑光黑漆。3D相机采用固定安置,正在长方形料框的正上方举行拍摄。思量到ABB 2600机械人的职业畛域,3D相机隔断料框底部的高度需大于1000 mm并尽恐怕取小值。

  归纳思量各式要素,这里选用Ensenso N20-1202-16-BL相机,该相机的职业道理是投射散花纹理的双目立体视觉技能,其区别率为1280 X 1024像素,最小、最大和最佳职业隔断差异为1100 mm、2200 mm、1400 mm。料框底部隔断相机的隔断打算为1400 mm,正在该隔断下3D相机的Z向区别率为1.037 mm,也许餍足四个真空吸盘的抓取精度央求;纸盒的最大堆叠高度不进步230 mm,Ensenso N20-1202-16-BL正在1150mm职业隔断下的视野畛域为572.90 X 497.96 mm,也许餍足视野央求。为避免境遇光的影响,正在相机顶部上方安置遮光板,正在相机旁边加设白色光源。

  为了识别纸盒外面的长宽尺寸、猜度纸盒外面的位姿,就需求对纸盒外面的3D点云举行无误决裂。这里将2D图像管理技能与3D点云管理技能相维系:起初,相机回收到触发信号,翻开散斑投影仪拍摄一幅3D点云图像;然后,紧闭散斑投影仪,拍摄一幅左相机矫正灰度图像。Ensenso通过盘算推算左相机矫正图像上各像素点的空间3D坐标,天生一幅3D点云图像。所以,Ensenso所拍摄的3D点云图像(有三个通道,其像素值差异代外X,Y,Z坐标)上各点的像素值与左相机矫正图像上统一身分的像素值是逐一对应的,可通过决裂左相机矫正图像来达成纸盒外面3D点云的决裂。

  起初,运用边沿提取、边沿结合、侵蚀、膨胀等算法正在左相机矫正图像上决裂出差别的纸盒外面区域;

  然后,取每个区域所对应的3D点云,猜度这片点云的厚度,若厚度小于阈值t,则以为这片点云代外了一个纸盒外面的几何描摹,盘算推算这片点云的3D最小外接盒区域,即可估算获得纸盒外面的长宽尺寸、核心身分与神态;若厚度大于阈值t,则以为2D图像决裂波折,这片点云起码代外两个纸盒外面的几何描摹,这时先按照点云的法向量、曲率等特质对其举行3D决裂,然后再进入上述的厚度决断与尺寸、位姿的盘算推算轨范。为了缩短轨范推广光阴,对点云做3D决裂之前,预先对其举行采样以删除数据量。

  反省纸盒外面上方是否有遮挡,过滤掉上方有遮挡的结果,抗御抓取历程中爆发碰撞或损坏。

  最终,将管理结果遵照外面核心高度、神态倾向和外面尺寸举行归纳排序,输出到机械人抓取道途筹备轨范当中。道途筹备轨范按照视觉输出的结果辅导机械人运动并管制夹具行为。

  如图6(左上)所示,料框中分化堆放着三种型号的白色抽屉纸盒,由视觉轨范输出的纸盒外面尺寸与位姿的排序结果如外1所示。能够看出,视觉轨范没有给出被遮挡纸盒外面的盘算推算结果。

  图6左上:Ensenso左相机矫正灰度图;右上:3D点云陪衬成绩图;左下:排序输出结果;右下:5#纸盒外面点云图

  颠末测试,正在该视觉体例下,纸盒外面尺寸的衡量偏差小于5 mm,外面核心定位偏差小于2 mm,外面神态猜度偏差小于5度。应用intel i7-6820HQ CPU、主频2.7GHz的LenovoP50札记本盘算推算机,视觉管理光阴为3~5 s。

  本文紧要磋商3D视觉技能正在机械人抓取功课中的运用,归结了3D视觉技能正在机械人抓取功课中面对的挑拨,对机械人抓取视觉体例的打算格式举行了总结,收罗了暂时紧要的3D成像技能及3D视觉算法,最终给出了运用案例。

  2019年9月5日,麦姆斯商酌将正在深圳会展核心举办『“微言大义”研讨会:机械视觉及工业检测』(

  即可访谒研讨会官网报名)(同期展会:第二十一届中邦邦际光电展览会)。本次研讨会特邀机械视觉及工业检测规模技能大咖、业界精英和企业高管深刻互换和切磋,实质包括工业相机及中枢元器件技能、3D成像与传感技能、机械视觉技能及运用等,为专家带来最前沿的行业技能分享及革新成就揭示!目前已邀请到知微传感、图漾科技、高德智感、曼普拉斯、驭光科技、Teledyne e2v、II-VI、亮锐(Lumileds)、普密斯、深浅优视等企业演讲。

官方微博

Copyright © 2002-2019 fzpharm.com 01彩票 版权所有
公司地址:海口市龙华新区观澜大道111号富嘉商务中心13层
联系电话:0898-66663917

企业邮箱:admin@fzpharm.com