日本在线www-日本在线播放一区-日本在线不卡免费视频一区-日本在线不卡视频-成人影院久久久久久影院-成人影院一区二区三区

1　目標(biāo)和概述

隨著工業(yè)制造水平的不斷提高，用戶和生產(chǎn)企業(yè)對產(chǎn)品質(zhì)量的要求越來越高，除要求滿足使用性能外，還要有良好的外觀，即良好的表面質(zhì)量。但是，在制造產(chǎn)品的過程中，表面缺陷的產(chǎn)生往往是不可避免的。表面缺陷是產(chǎn)品表面局部物理或化學(xué)性質(zhì)不均勻的區(qū)域，如表面的劃痕、斑點(diǎn)、孔洞、褶皺等。表面缺陷不僅影響產(chǎn)品的美觀和舒適度，而且一般也會對其使用性能帶來不良影響，所以生產(chǎn)企業(yè)對產(chǎn)品的表面缺陷檢測非常重視，以便及時發(fā)現(xiàn)，從而有效控制產(chǎn)品質(zhì)量，還可以根據(jù)檢測結(jié)果分析生產(chǎn)工藝中存在的某些問題，從而杜絕或減少缺陷品的產(chǎn)生，同時防止?jié)撛诘馁Q(mào)易糾紛，維護(hù)企業(yè)榮譽(yù)。

傳統(tǒng)檢測產(chǎn)品表面缺陷的主要方法是人工檢測，該方法抽檢率低、準(zhǔn)確性不高、實時性差、效率低、勞動強(qiáng)度大、受人工經(jīng)驗和主觀因素的影響大，而基于機(jī)器視覺的檢測方法可以很大程度上克服上述弊端。

利用機(jī)器視覺代替人工完成產(chǎn)品的表面缺陷檢測。機(jī)器視覺是一種無接觸、無損傷的自動檢測技術(shù)，能在無需對產(chǎn)線設(shè)備和生產(chǎn)工藝進(jìn)行改造的前提下，完成產(chǎn)品表面缺陷的自動化檢測，是一種低投入、高回報的自動化技術(shù)。本解決方案是一套基于機(jī)器視覺的表面無人質(zhì)檢系統(tǒng)，包括：數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、模型訓(xùn)練及優(yōu)化等功能。該系統(tǒng)通過機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、邊緣計算等前沿技術(shù)不斷提高對產(chǎn)品表面質(zhì)量缺陷識別與定位的精度和速度，加速設(shè)備自動化、智能化改造，代替人工在惡劣環(huán)境下進(jìn)行不間斷工作，提高生產(chǎn)效率，最終實現(xiàn)無人值守生產(chǎn)的目標(biāo)。

AI表面無人質(zhì)檢系統(tǒng)是一套基于邊緣計算的機(jī)器視覺識別系統(tǒng)，它通過深度學(xué)習(xí)和圖像處理算法，自動識別視頻流中產(chǎn)品的瑕疵，以達(dá)到大幅節(jié)省人力，提高產(chǎn)品生產(chǎn)效率及產(chǎn)品質(zhì)量的效果。AI表面無人質(zhì)檢系統(tǒng)部署將AI應(yīng)用下沉到生產(chǎn)車間，在靠近設(shè)備的地方進(jìn)行AI視覺分析，減輕視頻傳輸對帶寬壓力，縮短了應(yīng)用響應(yīng)時間，提高了業(yè)務(wù)實時性，解決生成成本；同時，檢測結(jié)果無需上傳云平臺，僅需要把少量無法識別圖片上傳訓(xùn)練庫進(jìn)行模型訓(xùn)練，降低了數(shù)據(jù)泄露風(fēng)險，保障了數(shù)據(jù)的安全。

2　解決方案介紹

2.1　業(yè)務(wù)流程

AI表面無人質(zhì)檢系統(tǒng)業(yè)務(wù)流程如圖1所示。

圖1 AI表面無人質(zhì)檢系統(tǒng)業(yè)務(wù)流程圖

AI攝像機(jī)實時采集待檢產(chǎn)品視頻數(shù)據(jù)，智能網(wǎng)關(guān)設(shè)備拉取視頻流，抽取其中圖像清晰的關(guān)鍵幀圖片進(jìn)行產(chǎn)品表面缺陷識別，如果存在缺陷，那么進(jìn)行缺陷的位置定位，并通知質(zhì)檢員進(jìn)行缺陷處理。當(dāng)存在缺陷不能被識別的時候，質(zhì)檢員通過數(shù)據(jù)標(biāo)注工具對缺陷進(jìn)行標(biāo)注后將圖片上傳到訓(xùn)練庫中，通過訓(xùn)練引擎進(jìn)行模型訓(xùn)練，最后將模型訓(xùn)練生成的模型更新到智能網(wǎng)關(guān)中，持續(xù)提升缺陷識別的準(zhǔn)確性。

2.2　系統(tǒng)架構(gòu)

AI表面無人質(zhì)檢系統(tǒng)的系統(tǒng)架構(gòu)圖如圖2所示。

圖2 AI表面無人質(zhì)檢系統(tǒng)的系統(tǒng)架構(gòu)圖

AI表面缺陷無人質(zhì)檢系統(tǒng)包括平臺層、存儲層、邊緣層和設(shè)備層。平臺層主要提供模型訓(xùn)練功能和應(yīng)用管理功能，包括：數(shù)據(jù)標(biāo)注模塊、訓(xùn)練引擎模塊和模型下沉模塊。存儲層主要提供視頻圖片數(shù)據(jù)的存儲功能，包括：生產(chǎn)庫和訓(xùn)練庫。邊緣層主要提供表面缺陷識別與定位功能，包括缺陷識別引擎、視頻流拉取模塊、關(guān)鍵圖像抽取模塊、結(jié)果展示&通知模塊。設(shè)備層主要用于采集待檢產(chǎn)品的視頻流，攝像機(jī)可以包括：IP攝像機(jī)、工業(yè)攝像機(jī)。

2.3　機(jī)器視覺表面缺陷檢測實現(xiàn)

機(jī)器視覺是一種無接觸、無損傷的自動檢測技術(shù)，具有安全可靠、光譜響應(yīng)范圍寬、可在惡劣環(huán)境下長時間工作和生產(chǎn)效率高等突出優(yōu)點(diǎn)。機(jī)器視覺檢測系統(tǒng)通過適當(dāng)?shù)墓庠春蛨D像傳感器（CCD攝像機(jī)）獲取產(chǎn)品的表面圖像，利用相應(yīng)的圖像處理算法提取圖像的特征信息，然后根據(jù)特征信息進(jìn)行表面缺陷的定位、識別、分級等判別和統(tǒng)計、存儲、查詢等操作。

2.3.1　照明系統(tǒng)

照明系統(tǒng)由工業(yè)攝像機(jī)、光學(xué)鏡頭、光源及其夾持裝置等組成。在光源的照明下，通過光學(xué)鏡頭將產(chǎn)品表面成像于相機(jī)傳感器上，光信號先轉(zhuǎn)換成電信號，進(jìn)而轉(zhuǎn)換成計算機(jī)能處理的數(shù)字信號，完成產(chǎn)品表面圖像的采集。

工業(yè)攝像機(jī)采用CCD線陣工業(yè)攝像機(jī)。光源采用LED光源，其體積小、功耗低、響應(yīng)速度快、發(fā)光單色性好、可靠性高、光均勻穩(wěn)定。現(xiàn)場采用暗場照明，將相機(jī)與光源部署在同側(cè)，使間接接收光源在目標(biāo)上的散射光，獲得高對比度的圖像。

2.3.2　基于算法倉的缺陷識別系統(tǒng)

為了提高表面缺陷的識別成功率，實現(xiàn)了一種基于算法倉的缺陷識別系統(tǒng)。該系統(tǒng)根據(jù)算法融合策略預(yù)測出最終結(jié)果，其特征在于多算法融合策略包括：投票融合算法、線性加權(quán)融合算法、瀑布融合算法、預(yù)測融合算法。

（1）投票融合算法是將多個算法的模型預(yù)測結(jié)果中多數(shù)相同的結(jié)果作為最終結(jié)果。

（2）線性加權(quán)融合算法是為每個算法的預(yù)測模型設(shè)置一個權(quán)重，將算法SDK的模型預(yù)測結(jié)果進(jìn)行加權(quán)平均。

（3）瀑布融合算法是將前一個算法的模型預(yù)測結(jié)果作為下一個算法SDK模型預(yù)測結(jié)果的候選集合輸入，層層遞進(jìn)，最后篩選出最優(yōu)的結(jié)果。

（4）預(yù)測融合算法是對所有的算法的模型預(yù)測結(jié)果進(jìn)行二次模型訓(xùn)練，然后使用訓(xùn)練后得到的模型進(jìn)行模型預(yù)測，并生成最終模型預(yù)測結(jié)果。

（5）數(shù)字圖像處理算法

數(shù)字圖像處理算法處理流程包括圖片預(yù)處理，特征提取，分類器缺陷分類。

由于工業(yè)現(xiàn)場采集的圖像通常包含噪聲，圖像預(yù)處理主要目的是減少噪聲，改善圖像的質(zhì)量，使之更適合人眼的觀察或機(jī)器的處理。圖像的預(yù)處理通常包括空域方法和頻域方法，其算法有灰度變換、直方圖均衡、基于空域和頻域的各種濾波算法等。

圖像的特征提取是從高維圖像空間到低維特征空間的映射，其基本思想是使目標(biāo)在得到的子空間中具有較小的類內(nèi)聚散度和較大的類間聚散度。主要采用紋理特征、顏色特征、形狀特征等。

最后通過分類器進(jìn)行缺陷類型分類，分類器算法包括：SVM（支持向量機(jī)），MLP（多層感知器）。

（6）神經(jīng)網(wǎng)絡(luò)算法

• 卷積神經(jīng)網(wǎng)絡(luò)

該方法首先進(jìn)行圖像的分割，把圖像陣列分解成若干個互不交迭的區(qū)域，每一個區(qū)域內(nèi)部的某種特性或特征相同或接近，而不同區(qū)域間的圖像特征則有明顯差別，主要采用基于閾值的分割方法、基于區(qū)域的分割方法、基于邊緣的分割方法以及基于特定理論的分割方法；然后進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)算法識別缺陷，主要使用的卷積神經(jīng)網(wǎng)絡(luò)算法包括：Vggnet算法、ResNet算法等。

• 目標(biāo)檢測

該方法是找出圖像中所有感興趣的目標(biāo)（物體），確定它們的位置和大小，主要使用的算法有ssd_mobilenet算法，faster_rcnn算法。

（7）無監(jiān)督學(xué)習(xí)

工業(yè)現(xiàn)場在某些場景下難以獲得足夠數(shù)量的缺陷樣本進(jìn)行學(xué)習(xí)，而無論是數(shù)字圖像處理方法還是神經(jīng)網(wǎng)絡(luò)方法都嚴(yán)重依賴于足夠的樣本數(shù)。無監(jiān)督缺陷檢測的方法具有不需要標(biāo)簽數(shù)據(jù)也可預(yù)測缺陷能力。首先，結(jié)合GAN和Autoencoder算法進(jìn)行圖像樣本修復(fù)（重建），然后，利用LBP算法比較恢復(fù)后的圖像和原始輸入圖像，從而更準(zhǔn)確的找到缺陷的位置。

2.4　產(chǎn)品功能

（1）缺陷識別&定位

通過對視頻流進(jìn)行分析，系統(tǒng)識別出視頻圖像中產(chǎn)品的缺陷類型的預(yù)測結(jié)果，并用矩形框標(biāo)注出缺陷所在的位置。

（2）缺陷庫管理

支持通過向缺陷庫導(dǎo)入產(chǎn)品缺陷圖片完成對產(chǎn)品缺陷特征的提取，可持續(xù)進(jìn)行模型訓(xùn)練，提升預(yù)測模型。

（3）抓拍庫管理

系統(tǒng)支持自動識別視頻流中的產(chǎn)品及產(chǎn)品缺陷，并從視頻流中抽取包含這些產(chǎn)品和產(chǎn)品缺陷的圖片存放到抓拍庫中。

（4）結(jié)果通知

系統(tǒng)支持在識別產(chǎn)品缺陷或者出現(xiàn)未能識別的新缺陷的時候通知質(zhì)檢員進(jìn)行相關(guān)處理。結(jié)果通知可以包括聲光報警、系統(tǒng)消息推送、短信通知、郵件通知等。

（5）數(shù)據(jù)標(biāo)注

質(zhì)檢員可以通過數(shù)據(jù)標(biāo)注小工具對抓拍庫中的產(chǎn)品進(jìn)行復(fù)檢，并標(biāo)記出未能識別的新缺陷或者遺漏識別的缺陷。

（6）生產(chǎn)經(jīng)營報表

系統(tǒng)提供產(chǎn)品缺陷統(tǒng)計分析報表，包括：產(chǎn)品次品率報表，產(chǎn)品缺陷分析報表，缺陷類型分析報表等。

2.5　部署方案

AI表面質(zhì)量檢查系統(tǒng)基于邊緣計算進(jìn)行部署，將AI表面缺陷識別模型應(yīng)用部署在車間現(xiàn)場的智能網(wǎng)關(guān)設(shè)備中，直接拉取通過車間現(xiàn)場的攝像機(jī)的視頻流進(jìn)行圖像識別和智能分析，現(xiàn)場聲光報警告知。

將模型訓(xùn)練部署于擁有強(qiáng)大計算資源的云計算中心，接收智能網(wǎng)關(guān)上傳的缺陷圖片進(jìn)行模型訓(xùn)練，最后將訓(xùn)練后的預(yù)測模型自動部署到智能網(wǎng)關(guān)中。AI表面質(zhì)量檢查系統(tǒng)架構(gòu)圖如圖3所示。

3　代表性及推廣價值

當(dāng)前制造業(yè)產(chǎn)品表面缺陷檢測主要有人工質(zhì)檢和機(jī)器視覺質(zhì)檢兩種方式，其中人工質(zhì)檢占90%，機(jī)器視覺質(zhì)檢只占10%。人工質(zhì)檢成本高、誤操作多、生產(chǎn)數(shù)據(jù)無法有效留存。在線鋼生產(chǎn)過程中，質(zhì)檢員基于傳統(tǒng)作業(yè)方式采用手電筒作為光源，對線鋼進(jìn)行挨個抽樣檢查。這種方式對經(jīng)驗依賴程度較高，人工質(zhì)檢存在較大的主觀因素，長期作業(yè)導(dǎo)致的視覺疲勞也會影響質(zhì)檢精度與效率，漏報、漏檢的情況屢見不鮮。且線鋼余溫燙傷質(zhì)檢員的事故屢有發(fā)生。由于職業(yè)因素，質(zhì)檢行業(yè)人員流動性較高，帶來較重的培訓(xùn)和用工成本。AI表面無人質(zhì)檢系統(tǒng)可以幫助成千上萬的一線質(zhì)檢工人，減輕大量高重復(fù)性、高頻次的工作，提升效率，解放更多勞動力。與傳統(tǒng)人工質(zhì)檢相比，AI表面無人質(zhì)檢系統(tǒng)具有如下優(yōu)勢：

（1）節(jié)省人力

傳統(tǒng)人工檢測方式，如果對產(chǎn)品依次進(jìn)行檢查，工作強(qiáng)度大，需要大量的人力投入，通過機(jī)器視覺智能診斷，可以將人力從大量的重復(fù)質(zhì)檢工作中解脫出來，大幅度節(jié)省人力成本。

（2）提高質(zhì)量保障

傳統(tǒng)質(zhì)檢全靠人工一個一個檢查產(chǎn)品瑕疵或者采用抽檢的方式進(jìn)行，但是這會受到人工的經(jīng)驗、個人情緒等主觀因素和抽檢概率的影響，導(dǎo)致質(zhì)量控制無法保障。機(jī)器視覺通過大量數(shù)據(jù)訓(xùn)練后算法識別精度可以非常穩(wěn)定，持續(xù)為產(chǎn)品質(zhì)量保駕護(hù)航。

（3）提高生產(chǎn)效率

傳統(tǒng)質(zhì)檢方式識別缺陷效率低，往往成為生產(chǎn)瓶頸，影響生產(chǎn)線的自動化。機(jī)器視覺可以實現(xiàn)7×24小時持續(xù)檢測，減少生產(chǎn)線的人工干預(yù)，提高生產(chǎn)效率。

（4）識別精準(zhǔn)&持續(xù)優(yōu)化

AI表面無人質(zhì)檢系統(tǒng)基于網(wǎng)宿多年在人工智能技術(shù)上的積累，賦能工業(yè)質(zhì)檢領(lǐng)域。通過深度學(xué)習(xí)技術(shù)和圖像處理算法，預(yù)測準(zhǔn)確率高達(dá)97%以上，且準(zhǔn)確率隨著數(shù)據(jù)量提升可持續(xù)優(yōu)化。

圖3 AI表面質(zhì)量檢查系統(tǒng)架構(gòu)圖

（5）實時響應(yīng)

相對于傳統(tǒng)云計算技術(shù)，依賴于云計算中心資源，工業(yè)現(xiàn)場視頻數(shù)據(jù)需要全部上傳云計算中心進(jìn)行計算，這不僅會帶來帶寬成本增加，而且網(wǎng)絡(luò)延遲也不能適應(yīng)實時生產(chǎn)控制的需求。AI表面無人質(zhì)檢系統(tǒng)采用先進(jìn)的邊緣計算技術(shù)，將AI應(yīng)用下沉到生產(chǎn)車間，在靠近設(shè)備的地方進(jìn)行機(jī)器視覺分析，降低視頻傳輸對帶寬需求，縮短了應(yīng)用響應(yīng)時間，提高了業(yè)務(wù)實時性。

（6）信息安全

基于邊緣計算的AI表面無人質(zhì)檢系統(tǒng)，在本地進(jìn)行缺陷識別，檢測結(jié)果也無需上傳云計算中心，僅需要把少量無法識別缺陷圖片上傳位于云計算中心的訓(xùn)練庫進(jìn)行模型訓(xùn)練，從而降低了企業(yè)生產(chǎn)數(shù)據(jù)泄露風(fēng)險，保障了數(shù)據(jù)的安全。

未來，AI表面無人質(zhì)檢系統(tǒng)可在鋼鐵、汽車、紡織、家居等各個領(lǐng)域進(jìn)行推廣應(yīng)用，可以有效地實現(xiàn)企業(yè)生產(chǎn)自動化、提升檢測和生產(chǎn)效率，增強(qiáng)市場競爭力，具有良好的行業(yè)復(fù)制性。

摘自《自動化博覽》2020年10月刊