1.本發(fā)明涉及煤礦裝備智能化技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法。

背景技術(shù)：

2.帶式輸送機(jī)作為散狀物料連續(xù)輸送的首選裝備，是煤礦井下和露天煤礦開(kāi)采的主要運(yùn)輸裝備，同時(shí)也廣泛應(yīng)用在礦山、碼頭、港口、化工等領(lǐng)域。輸送帶是帶式輸送機(jī)的重要組成部分，起著承載物料與傳遞動(dòng)力的重要作用。因?yàn)榧庸ぞ?、安裝精度、物料不均衡裝載等的影響，使得輸送帶在運(yùn)行過(guò)程中經(jīng)常出現(xiàn)跑偏。跑偏是帶式輸送機(jī)最常見(jiàn)的故障之一，會(huì)引起諸多事故，諸如會(huì)引起承載物料灑落；引起輸送帶邊緣磨損或脫膠等，縮短輸送帶使用壽命；增大輸送機(jī)運(yùn)行阻力系數(shù)，增加輸送機(jī)能耗；同時(shí)，它也是引起輸送帶撕裂的一個(gè)重要原因。跑偏事故的產(chǎn)生與擴(kuò)大嚴(yán)重影響煤礦安全高效運(yùn)輸?shù)倪M(jìn)行與綠色可持續(xù)發(fā)展。

3.文獻(xiàn)cn113772364a中公開(kāi)了一種皮帶輸送機(jī)跑偏檢測(cè)及自動(dòng)調(diào)整方法，包括視覺(jué)檢測(cè)模塊和托輥控制模塊。首先通過(guò)安裝在皮帶輸送機(jī)中部的視覺(jué)檢測(cè)模塊，分別獲取皮帶輸送機(jī)工作時(shí)的中部皮帶運(yùn)行圖像、中部前后方運(yùn)行圖像及中部煤流信息，使用伽馬和分?jǐn)?shù)階進(jìn)行圖像增強(qiáng)處理，對(duì)處理后的圖像進(jìn)行canny邊緣檢測(cè)以獲取托輥與皮帶邊緣信息，通過(guò)皮帶中部前后的托輥和皮帶邊緣直線(xiàn)計(jì)算出跑偏角度，再根據(jù)中部邊緣檢測(cè)得出的信息檢測(cè)出橫向跑偏量，算法比較復(fù)雜。目前煤礦皮帶跑偏監(jiān)測(cè)方式主要通過(guò)跑偏開(kāi)關(guān)傳感器，跑偏傳感器確定跑偏量并對(duì)跑偏進(jìn)行處理，然而實(shí)際煤礦生產(chǎn)環(huán)境較為復(fù)雜，需要在皮帶運(yùn)行的兩側(cè)安裝較多的跑偏開(kāi)關(guān)傳感器，這種檢測(cè)方式在皮帶運(yùn)行過(guò)程中，主要會(huì)存在相鄰傳感器的磁性干擾，輸出處于不穩(wěn)定狀態(tài)，影響數(shù)據(jù)的判讀，皮帶跑偏開(kāi)關(guān)與保護(hù)裝置還需要定期停機(jī)校對(duì)和測(cè)試，并且井下輸送帶較長(zhǎng)，需要投入人力和時(shí)間進(jìn)行檢測(cè)，會(huì)對(duì)煤礦井下生產(chǎn)效率產(chǎn)生影響。

技術(shù)實(shí)現(xiàn)要素：

4.為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，采用具有特定標(biāo)注要求的標(biāo)注方法對(duì)輸送帶邊緣區(qū)域進(jìn)行數(shù)據(jù)標(biāo)注得到輸送帶跑偏數(shù)據(jù)集，進(jìn)而利用該數(shù)據(jù)集對(duì)通用目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而后將訓(xùn)練完成后的網(wǎng)絡(luò)用于輸送帶邊緣區(qū)域的預(yù)測(cè)，通過(guò)對(duì)預(yù)測(cè)框四個(gè)頂點(diǎn)坐標(biāo)位置的計(jì)算，得到輸送帶邊緣區(qū)域預(yù)測(cè)框的對(duì)角線(xiàn)位置及其方程，并以此表征輸送帶邊緣直線(xiàn)。通過(guò)對(duì)比所得輸送帶左右邊緣直線(xiàn)分別距離相機(jī)視野邊界的距離，實(shí)現(xiàn)輸送帶跑偏狀態(tài)的有效監(jiān)測(cè)。本發(fā)明利用通用目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行輸送帶邊緣直線(xiàn)特征的檢測(cè)并實(shí)現(xiàn)跑偏狀態(tài)的有效判定，簡(jiǎn)化了復(fù)雜環(huán)境下輸送帶邊緣直線(xiàn)提取流程，有力保障了帶式輸送機(jī)的安全高效運(yùn)行。

5.在本發(fā)明中方法包括以下步驟：步驟1，在帶式輸送機(jī)沿線(xiàn)設(shè)置相機(jī)，用于實(shí)時(shí)采集帶式輸送機(jī)運(yùn)行圖像建立輸送帶跑偏圖像數(shù)據(jù)集；步驟2，基于步驟1所建立的圖像數(shù)據(jù)

集，利用深度學(xué)習(xí)技術(shù)如labelimg等對(duì)輸送帶邊緣特征進(jìn)行提取標(biāo)注，每一張圖像內(nèi)的輸送帶的左右邊緣上分別標(biāo)注一個(gè)標(biāo)注框，所述輸送帶的邊緣與相對(duì)應(yīng)的標(biāo)注框的一條對(duì)角線(xiàn)對(duì)齊，并將標(biāo)注完成的數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，以供后續(xù)深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練調(diào)用；步驟3，搭建基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型，將輸送帶邊緣區(qū)域設(shè)置為檢測(cè)目標(biāo)，將將步驟2中所構(gòu)建數(shù)據(jù)集中的訓(xùn)練集和驗(yàn)證集輸入到建立的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，直至網(wǎng)絡(luò)收斂，得到訓(xùn)練權(quán)重及檢測(cè)模型；步驟4，基于步驟3對(duì)以輸送帶邊緣區(qū)域?yàn)槟繕?biāo)的目標(biāo)檢測(cè)網(wǎng)絡(luò)預(yù)測(cè)，生成預(yù)測(cè)框，并輸出預(yù)測(cè)框的參數(shù)，并不斷通過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)改進(jìn)其輸出，使其具備檢測(cè)直線(xiàn)的能力；步驟5，在步驟4所檢測(cè)出的輸送帶邊緣直線(xiàn)的基礎(chǔ)上，在相機(jī)視野建立一條虛擬參考線(xiàn)，所述虛擬參考線(xiàn)平行于x軸，且與x軸間的距離標(biāo)記為

△

y，所述虛擬參考線(xiàn)與相機(jī)視野邊界的左右分別相交于為點(diǎn)l和r，與輸送帶左右邊緣分別為相交于點(diǎn)m和n，記lm為l點(diǎn)和m點(diǎn)之間的線(xiàn)段距離，rn為r點(diǎn)和n點(diǎn)之間的線(xiàn)段距離；步驟6，分別計(jì)算lm和nr的長(zhǎng)度，確定輸送帶在相機(jī)視野范圍內(nèi)的位置，通過(guò)算法實(shí)時(shí)計(jì)算lm與nr的絕對(duì)差值，與閾值進(jìn)行實(shí)時(shí)比對(duì)，即可實(shí)現(xiàn)跑偏狀態(tài)及跑偏量的確定；步驟7，將改進(jìn)后的目標(biāo)檢測(cè)部署到工業(yè)現(xiàn)場(chǎng)，實(shí)現(xiàn)跑偏的聯(lián)動(dòng)控制與調(diào)節(jié)。

6.進(jìn)一步地，基于步驟3所述的網(wǎng)絡(luò)模型為yolo網(wǎng)絡(luò)模型或是rcnn網(wǎng)絡(luò)模型或ssd網(wǎng)絡(luò)模型等通用目標(biāo)檢測(cè)模型。

7.進(jìn)一步地，所述的步驟4中所述參數(shù)為預(yù)測(cè)框的中心點(diǎn)坐標(biāo)、預(yù)測(cè)框長(zhǎng)度和寬度值，基于預(yù)測(cè)框的中心點(diǎn)坐標(biāo)、預(yù)測(cè)框長(zhǎng)度和寬度值，可得到預(yù)測(cè)框的四個(gè)頂點(diǎn)坐標(biāo)，因此輸送帶左側(cè)邊緣的左標(biāo)注框?qū)蔷€(xiàn)所在直線(xiàn)的直線(xiàn)方程和輸送帶右側(cè)邊緣的右標(biāo)注框?qū)蔷€(xiàn)所在直線(xiàn)的直線(xiàn)方程均可以計(jì)算獲得，即為輸送帶左右邊緣所在的直線(xiàn)。

8.進(jìn)一步地，所述輸送帶邊緣所在直線(xiàn)方程通過(guò)如下計(jì)算得出，在輸送帶左邊緣的左標(biāo)注框內(nèi)記定a點(diǎn)坐標(biāo)是(xa，ya)，b點(diǎn)坐標(biāo)是（xb，yb），在輸送帶右邊緣的右標(biāo)注框內(nèi)記定c點(diǎn)坐標(biāo)是(xc，yc)，d點(diǎn)坐標(biāo)是(xd，yd)，則左標(biāo)注框內(nèi)與左邊輸送帶邊緣重合的對(duì)角線(xiàn)ab的方程為：右標(biāo)注框內(nèi)與右邊輸送帶邊緣重合的對(duì)角線(xiàn)cd的方程為：。

9.進(jìn)一步地，基于步驟5所述的l點(diǎn)和m點(diǎn)之間的線(xiàn)段距離，r點(diǎn)和n點(diǎn)之間的線(xiàn)段距離計(jì)算為即為輸送帶左右邊緣距離視野相機(jī)視野邊界的距離，且w為相機(jī)視野的寬度。

10.進(jìn)一步地，基于步驟6所述的算法為當(dāng)，即判斷輸送帶不跑偏；當(dāng)，即判斷輸送帶跑偏，其中d

lm

為l點(diǎn)和m點(diǎn)之間的距離，d

nr

為r點(diǎn)和n點(diǎn)之間的距離，τ為跑偏判定的閾值。

11.采用上述技術(shù)方案后，本發(fā)明與現(xiàn)有技術(shù)相比具有以下有益效果：1.本發(fā)明提出了一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，該方法基于通用目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)直線(xiàn)，極大簡(jiǎn)化了復(fù)雜環(huán)境下輸送帶邊緣的直線(xiàn)特征提取流程，具有良好的實(shí)時(shí)性。

12.2.本發(fā)明設(shè)計(jì)的方法提供了復(fù)雜場(chǎng)景下輸送帶邊緣快速準(zhǔn)確檢測(cè)新方法。

13.3.本發(fā)明設(shè)計(jì)的方法中所述的算法拓展性強(qiáng)，只需要少量數(shù)據(jù)集訓(xùn)練就可以遷移到其他場(chǎng)景，適應(yīng)性較強(qiáng)。

14.4.本發(fā)明設(shè)計(jì)的方法極大簡(jiǎn)化了復(fù)雜環(huán)境下直線(xiàn)特征提取的流程，并有助于實(shí)現(xiàn)帶式輸送機(jī)智能化及煤礦的無(wú)人化、節(jié)能化水平，在保證帶式輸送機(jī)安全高效運(yùn)輸?shù)耐瑫r(shí)實(shí)現(xiàn)綠色節(jié)能可持續(xù)發(fā)展。

15.本發(fā)明提供的技術(shù)方案針對(duì)復(fù)雜環(huán)境下基于視覺(jué)的輸送帶邊緣特征提取操作復(fù)雜的問(wèn)題，提出了基于通用目標(biāo)檢測(cè)網(wǎng)絡(luò)的直線(xiàn)檢測(cè)算法，并重新規(guī)劃設(shè)計(jì)了跑偏的判定方法，實(shí)現(xiàn)了輸送帶邊緣特征的快速、準(zhǔn)確提取，提高了帶式輸送機(jī)輸送帶跑偏檢測(cè)的精準(zhǔn)度，適應(yīng)性強(qiáng)，解決了復(fù)雜背景下帶式輸送機(jī)輸送帶邊緣的快速特征提取與跑偏判定問(wèn)題，實(shí)現(xiàn)了輸送帶跑偏狀態(tài)檢測(cè)的可視化。

附圖說(shuō)明

16.從結(jié)合附圖的以下詳細(xì)說(shuō)明中，將會(huì)使本發(fā)明的上述和其他目的及優(yōu)點(diǎn)更加完整清楚。

17.圖1為輸送帶正常運(yùn)行狀態(tài)示意圖。

18.圖2為輸送帶向右跑偏狀態(tài)示意圖。

19.圖3為輸送帶向左跑偏狀態(tài)示意圖。

20.圖4輸送帶跑偏判定原理圖。

21.附圖標(biāo)記：1-相機(jī)視野、2-虛擬參考線(xiàn)、3-輸送帶實(shí)際位置、4-輸送帶參考位置、5-預(yù)測(cè)框。

具體實(shí)施方式

22.下面結(jié)合實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)的說(shuō)明。本發(fā)明的優(yōu)點(diǎn)和特點(diǎn)將會(huì)隨著描述而更為清楚。但這些實(shí)施例僅是范例性的，并不對(duì)本發(fā)明的范圍構(gòu)成任何限制。本領(lǐng)域技術(shù)人員應(yīng)該理解的是，在不偏離本發(fā)明的精神和范圍下可以對(duì)本發(fā)明技術(shù)方案的細(xì)節(jié)和形式進(jìn)行修改或替換，但這些修改和替換均落入本發(fā)明的保護(hù)范圍內(nèi)。

23.諸如“包含”和“包括”之類(lèi)的用語(yǔ)表示除了具有在說(shuō)明書(shū)和權(quán)利要求書(shū)中有直接和明確表述的部件以外，本發(fā)明的技術(shù)方案也不排除具有未被直接或明確表述的其它部件的情形。在本文的描述中，使用了“上”、“下”、“前”、“后”等方位術(shù)語(yǔ)中，應(yīng)當(dāng)理解到，這些方向性術(shù)語(yǔ)是相對(duì)的概念，它們用于相對(duì)位置的描述和澄清，其對(duì)應(yīng)的具體定向可以根據(jù)相機(jī)的方位的變化而相應(yīng)地發(fā)生變化。

24.本發(fā)明提供一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，采用具有特定標(biāo)注要求的標(biāo)注方法對(duì)輸送帶邊緣區(qū)域進(jìn)行數(shù)據(jù)標(biāo)注得到輸送帶跑偏數(shù)據(jù)集，進(jìn)而利用該數(shù)據(jù)集對(duì)通用目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而后將訓(xùn)練完成后的網(wǎng)絡(luò)用于輸送帶邊緣區(qū)域的預(yù)測(cè)，通過(guò)對(duì)預(yù)測(cè)框5四個(gè)頂點(diǎn)坐標(biāo)位置的計(jì)算，得到輸送帶邊緣區(qū)域預(yù)測(cè)框5的對(duì)角線(xiàn)位置

及其方程，并以此表征輸送帶邊緣直線(xiàn)。通過(guò)對(duì)比所得輸送帶左右邊緣直線(xiàn)分別距離相機(jī)視野1邊界的距離，實(shí)現(xiàn)輸送帶跑偏狀態(tài)的有效監(jiān)測(cè)。本發(fā)明利用通用目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行輸送帶邊緣直線(xiàn)特征的檢測(cè)并實(shí)現(xiàn)跑偏狀態(tài)的有效判定，簡(jiǎn)化了復(fù)雜環(huán)境下輸送帶邊緣直線(xiàn)提取流程，有力保障了帶式輸送機(jī)的安全高效運(yùn)行。

25.在本發(fā)明中方法包括以下步驟：步驟1，在帶式輸送機(jī)沿線(xiàn)設(shè)置相機(jī)，用于實(shí)時(shí)采集帶式輸送機(jī)運(yùn)行圖像建立輸送帶跑偏圖像數(shù)據(jù)集；步驟2，基于步驟1所建立的圖像數(shù)據(jù)集利用深度學(xué)習(xí)技術(shù)對(duì)輸送帶邊緣特征進(jìn)行提取標(biāo)注，每一張圖像內(nèi)的輸送帶的左右邊緣上分別標(biāo)注一個(gè)標(biāo)注框，所述輸送帶的邊緣與相對(duì)應(yīng)的標(biāo)注框的一條對(duì)角線(xiàn)對(duì)齊，并將標(biāo)注完成的數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，以供后續(xù)深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練調(diào)用；步驟3，搭建基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型，將輸送帶邊緣區(qū)域設(shè)置為監(jiān)測(cè)目標(biāo)，將將步驟2中所構(gòu)建數(shù)據(jù)集中的訓(xùn)練集和驗(yàn)證集輸入到建立的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，直至網(wǎng)絡(luò)收斂，得到訓(xùn)練權(quán)重及檢測(cè)模型；基于步驟3所述的網(wǎng)絡(luò)模型為yolo網(wǎng)絡(luò)模型或是rcnn網(wǎng)絡(luò)模型或ssd網(wǎng)絡(luò)模型等通用目標(biāo)檢測(cè)網(wǎng)絡(luò)。

26.步驟4，基于步驟3對(duì)以輸送帶邊緣區(qū)域?yàn)槟繕?biāo)的目標(biāo)檢測(cè)網(wǎng)絡(luò)預(yù)測(cè)，生成預(yù)測(cè)框5，如圖2所示，并輸出預(yù)測(cè)框5的參數(shù)，并不斷通過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)改進(jìn)其輸出，使其具備檢測(cè)直線(xiàn)的能力；所述參數(shù)為預(yù)測(cè)框5的中心點(diǎn)坐標(biāo)、預(yù)測(cè)框5長(zhǎng)度和寬度值，基于預(yù)測(cè)框5的中心點(diǎn)坐標(biāo)、預(yù)測(cè)框5長(zhǎng)度和寬度值，可得到預(yù)測(cè)框5的四個(gè)頂點(diǎn)坐標(biāo)，如圖4所示，輸送帶左側(cè)邊緣的左標(biāo)注框?qū)蔷€(xiàn)所在直線(xiàn)的直線(xiàn)方程和輸送帶右側(cè)邊緣的右標(biāo)注框?qū)蔷€(xiàn)所在直線(xiàn)的直線(xiàn)方程均可以計(jì)算獲得，即為輸送帶左右邊緣所在的直線(xiàn)；所述輸送帶邊緣所在直線(xiàn)方程通過(guò)如下計(jì)算得出，在輸送帶左邊緣的左標(biāo)注框內(nèi)記定a點(diǎn)坐標(biāo)是(xa，ya)，b點(diǎn)坐標(biāo)是（xb，yb），在輸送帶右邊緣的右標(biāo)注框內(nèi)記定c點(diǎn)坐標(biāo)是(xc，yc)，d點(diǎn)坐標(biāo)是(xd，yd)，則，左標(biāo)注框內(nèi)與左邊輸送帶邊緣重合的對(duì)角線(xiàn)ab的方程為：右標(biāo)注框內(nèi)與右邊輸送帶邊緣重合的對(duì)角線(xiàn)cd的方程為： 。

27.預(yù)測(cè)框5的大小不會(huì)對(duì)檢測(cè)結(jié)果產(chǎn)生影響，因?yàn)檩斔蛶н吘壷本€(xiàn)所在方程是通過(guò)該直線(xiàn)上的任意兩點(diǎn)進(jìn)行確定。

28.步驟5，在步驟4所檢測(cè)出的輸送帶邊緣直線(xiàn)的基礎(chǔ)上，如圖3所示，在相機(jī)視野1建立一條虛擬參考線(xiàn)2，所述虛擬參考線(xiàn)2平行于x軸，且與x軸間的距離標(biāo)記為

△

y，所述虛擬參考線(xiàn)2與相機(jī)視野1邊界的左右分別相交于為點(diǎn)l和r，與輸送帶左右邊緣分別為相交于點(diǎn)m和n，記lm為l點(diǎn)和m點(diǎn)之間的線(xiàn)段距離，rn為r點(diǎn)和n點(diǎn)之間的線(xiàn)段距離；其中l(wèi)點(diǎn)和m點(diǎn)之間的線(xiàn)段距離，r點(diǎn)和n點(diǎn)之間的線(xiàn)段距離計(jì)算為

即為輸送帶左右邊緣距離視野相機(jī)視野邊界的距離，且w為相機(jī)視野的寬度。

29.步驟6，分別計(jì)算lm和nr的長(zhǎng)度，確定輸送帶在相機(jī)視野范圍內(nèi)的位置，通過(guò)算法實(shí)時(shí)計(jì)算lm與nr的絕對(duì)差值，與閾值進(jìn)行實(shí)時(shí)比對(duì)，即可實(shí)現(xiàn)跑偏狀態(tài)及跑偏量的確定；當(dāng)，即判斷輸送帶不跑偏；當(dāng)，即判斷輸送帶跑偏，其中d

lm

為l點(diǎn)和m點(diǎn)之間的距離，d

nr

為r點(diǎn)和n點(diǎn)之間的距離，τ為跑偏判定的閾值。

30.步驟7，將改進(jìn)后的目標(biāo)檢測(cè)部署到工業(yè)現(xiàn)場(chǎng)，實(shí)現(xiàn)跑偏的聯(lián)動(dòng)控制與調(diào)節(jié)。

31.在本實(shí)施例中，如圖1、圖2和圖3所示展示了輸送帶的三種常見(jiàn)的運(yùn)行工況，依次是正常運(yùn)行，向右跑偏和向左跑偏。在圖1中以相機(jī)視野1范圍的左上角建立如圖2所示的坐標(biāo)系，構(gòu)建虛擬參考線(xiàn)2，該直線(xiàn)平行于x軸，且與x軸間的距離為

△

y。虛擬參考線(xiàn)2與相機(jī)視野1邊界的左右交點(diǎn)分別為l和r，與輸送帶邊緣的交點(diǎn)分別為m和n。在保證相機(jī)被對(duì)中安裝并忽略機(jī)架振動(dòng)的基礎(chǔ)上，則跑偏的狀態(tài)可以通過(guò)如下規(guī)則進(jìn)行判定：當(dāng)，即判斷輸送帶不跑偏；當(dāng)，即判斷輸送帶跑偏，其中d

lm

為l點(diǎn)和m點(diǎn)之間的距離，d

nr

為r點(diǎn)和n點(diǎn)之間的距離，τ為跑偏判定的閾值。

32.跑偏判定閾值與帶寬和圖像分辨率有關(guān)，跑偏判定閾值的設(shè)定與相機(jī)的安裝位置、相機(jī)的視野范圍及分辨率有關(guān)。本實(shí)施例中展示了相機(jī)居中安裝在輸送機(jī)中間的場(chǎng)景，τ跑偏判定的閾值設(shè)定為80像素，輸送帶左右兩側(cè)邊應(yīng)距離圖像左右兩邊緣的距離相等算法在很好地識(shí)別輸送帶兩邊緣的同時(shí)，準(zhǔn)確的給出輸送帶兩邊緣距離視野邊緣的距離的差值，并以此判斷了是否發(fā)生跑偏。有些場(chǎng)景中，相機(jī)并不能被居中安置在輸送帶的中間，需要在輸送機(jī)的一側(cè)安裝，此時(shí)的閾值設(shè)定需要根據(jù)實(shí)際情況去設(shè)定。

33.本發(fā)明基于yolo目標(biāo)檢測(cè)網(wǎng)絡(luò)，通過(guò)對(duì)網(wǎng)絡(luò)的輸出預(yù)測(cè)結(jié)果進(jìn)行相應(yīng)的修改，從而實(shí)現(xiàn)了所述的輸送帶邊緣區(qū)域檢測(cè)，使其具備檢測(cè)直線(xiàn)的能力。yolo以cspdarknet_spp作為主干特征提取網(wǎng)絡(luò)。通過(guò)focus模塊對(duì)輸入圖像進(jìn)行切片，通過(guò)像素值的提取與重新組合，實(shí)現(xiàn)了將圖像的寬高信息向通道空間的整合，從而變相的實(shí)現(xiàn)了下采樣操作。focus模塊的使用是使得網(wǎng)絡(luò)在沒(méi)有信息丟失的情況下，減少計(jì)算量；采用跨階段局部網(wǎng)絡(luò)cspdarknet，可有效解決大型卷積神經(jīng)網(wǎng)絡(luò)在主干特征提取過(guò)程中網(wǎng)絡(luò)優(yōu)化梯度信息重復(fù)的問(wèn)題，將梯度的變化從頭到尾地集成到特征圖中，因此減少了模型的參數(shù)量和計(jì)算量，既保證了推理速度和準(zhǔn)確率，又減小了模型尺寸；采用了spp+fpn+pan模塊作為特征增強(qiáng)部分，提升了特征信息的多樣性和魯棒性；同時(shí)應(yīng)用了類(lèi)似于efficientnet的網(wǎng)絡(luò)通道數(shù)和網(wǎng)絡(luò)層數(shù)調(diào)節(jié)因子來(lái)靈活配置不同復(fù)雜度的模型，得到了s-m-l-x復(fù)雜度依次提高的模型。

34.yolo目標(biāo)檢測(cè)網(wǎng)絡(luò)的損失函數(shù)loss由三部分組成，分別是定位損失l

iou

，分類(lèi)損失l

cls

，和置信度損失l

obj

，計(jì)算公式如式所示：loss=λ1×

l

iou

+λ2×

l

cls

+λ3×

l

obj

λ

1-3

∈（0，1 ]，為分配系數(shù)，在本發(fā)明中λ1=λ2=λ3=1。

35.定位損失l

iou

又稱(chēng)邊界框回歸損失，用來(lái)表征預(yù)測(cè)框5與真實(shí)框之間的距離，通過(guò)計(jì)算兩個(gè)邊界框相交面積與相并面積的比值（交并比iou）來(lái)實(shí)現(xiàn)，交并比越大，意味著預(yù)測(cè)

框5與真實(shí)框之間的重合度越高，二者之間的距離越小，損失越小。

36.在yolo中采用了giou函數(shù)來(lái)進(jìn)行定位損失的計(jì)算，它是iou的升級(jí)版，當(dāng)預(yù)測(cè)框5與真實(shí)框完全重合時(shí)iou=1，l

giou

=0，當(dāng)預(yù)測(cè)框5與真實(shí)框完全不重合，且距離較遠(yuǎn)時(shí)，iou=0且l

giou

=2，這就解決了在函數(shù)中存在的梯度消失問(wèn)題。

37.使用yolo在coco2017數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重進(jìn)行遷移學(xué)習(xí)，batchsize設(shè)置為4，訓(xùn)練100個(gè)epoch；采用moscaic數(shù)據(jù)增強(qiáng)的方式，通過(guò)隨機(jī)選取4張圖像，隨機(jī)縮放，再隨機(jī)拼接的方式，極大豐富了數(shù)據(jù)集。

38.上述實(shí)施例中的實(shí)施方案可以進(jìn)一步組合或者替換，且實(shí)施例僅僅是對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行描述，并非對(duì)本發(fā)明的構(gòu)思和范圍進(jìn)行限定，在不脫離本發(fā)明設(shè)計(jì)思想的前提下，本領(lǐng)域中專(zhuān)業(yè)技術(shù)人員對(duì)本發(fā)明的技術(shù)方案做出的各種變化和改進(jìn)，均屬于本發(fā)明的保護(hù)范圍。技術(shù)特征：

1.一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，其特征在于，該方法包括以下步驟：步驟1，在帶式輸送機(jī)沿線(xiàn)設(shè)置相機(jī)，用于實(shí)時(shí)采集帶式輸送機(jī)運(yùn)行圖像建立輸送帶跑偏圖像數(shù)據(jù)集；步驟2，基于步驟1所采集的圖像數(shù)據(jù)利用數(shù)據(jù)標(biāo)注軟件，對(duì)輸送帶邊緣特征進(jìn)行提取標(biāo)注，每一張圖像內(nèi)的輸送帶的左右邊緣上分別標(biāo)注一個(gè)標(biāo)注框，所述輸送帶的邊緣與相對(duì)應(yīng)的標(biāo)注框的一條對(duì)角線(xiàn)對(duì)齊，并將標(biāo)注完成的數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，以供后續(xù)深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練調(diào)用；步驟3，搭建基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型，將輸送帶邊緣區(qū)域設(shè)置為檢測(cè)目標(biāo)，將步驟2中所構(gòu)建的數(shù)據(jù)集中的訓(xùn)練集和驗(yàn)證集輸入到建立的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，直至網(wǎng)絡(luò)收斂，得到訓(xùn)練權(quán)重及檢測(cè)模型；步驟4，基于步驟3對(duì)以輸送帶邊緣區(qū)域?yàn)槟繕?biāo)的目標(biāo)檢測(cè)網(wǎng)絡(luò)預(yù)測(cè)，生成預(yù)測(cè)框，并輸出預(yù)測(cè)框的參數(shù)，改進(jìn)目標(biāo)檢測(cè)網(wǎng)絡(luò)輸出結(jié)果，使其具備檢測(cè)直線(xiàn)的能力；步驟5，在步驟4所檢測(cè)出的輸送帶邊緣直線(xiàn)的基礎(chǔ)上，在相機(jī)視野建立一條虛擬參考線(xiàn)，所述虛擬參考線(xiàn)平行于x軸，且與x軸間的距離標(biāo)記為

△

y，所述虛擬參考線(xiàn)與相機(jī)視野邊界的左右分別相交于為點(diǎn)l和r，與輸送帶左右邊緣分別為相交于點(diǎn)m和n，記lm為l點(diǎn)和m點(diǎn)之間的線(xiàn)段距離，rn為r點(diǎn)和n點(diǎn)之間的線(xiàn)段距離；步驟6，分別計(jì)算lm和nr的長(zhǎng)度，確定輸送帶在相機(jī)視野范圍內(nèi)的位置，通過(guò)算法實(shí)時(shí)計(jì)算lm與nr的絕對(duì)差值，與閾值進(jìn)行實(shí)時(shí)比對(duì)，即可實(shí)現(xiàn)跑偏狀態(tài)及跑偏量的確定；步驟7，將改進(jìn)后的目標(biāo)檢測(cè)部署到工業(yè)現(xiàn)場(chǎng)，實(shí)現(xiàn)跑偏的聯(lián)動(dòng)控制與調(diào)節(jié)。2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，其特征在于：基于步驟3所述的網(wǎng)絡(luò)模型為yolo網(wǎng)絡(luò)模型或是rcnn網(wǎng)絡(luò)模型或ssd網(wǎng)絡(luò)模型通用目標(biāo)檢測(cè)網(wǎng)絡(luò)。3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，其特征在于：所述的步驟4中所述參數(shù)為預(yù)測(cè)框的中心點(diǎn)坐標(biāo)、預(yù)測(cè)框長(zhǎng)度和寬度值，基于預(yù)測(cè)框的中心點(diǎn)坐標(biāo)、預(yù)測(cè)框長(zhǎng)度和寬度值，可得到預(yù)測(cè)框的四個(gè)頂點(diǎn)坐標(biāo)，因此輸送帶左側(cè)邊緣的左標(biāo)注框?qū)蔷€(xiàn)所在直線(xiàn)的直線(xiàn)方程和輸送帶右側(cè)邊緣的右標(biāo)注框?qū)蔷€(xiàn)所在直線(xiàn)的直線(xiàn)方程均可以計(jì)算獲得，即為輸送帶左右邊緣所在的直線(xiàn)。4.根據(jù)權(quán)利要求3所述的一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，其特征在于：所述輸送帶邊緣所在直線(xiàn)方程通過(guò)如下計(jì)算得出，在輸送帶左邊緣的左標(biāo)注框內(nèi)記定a點(diǎn)坐標(biāo)是(x

a

，y

a

)，b點(diǎn)坐標(biāo)是（x

b

，y

b

），在輸送帶右邊緣的右標(biāo)注框內(nèi)記定c點(diǎn)坐標(biāo)是(x

c

，y

c

)，d點(diǎn)坐標(biāo)是(x

d

，y

d

)，則左標(biāo)注框內(nèi)與左邊輸送帶邊緣重合的對(duì)角線(xiàn)ab的方程為：右標(biāo)注框內(nèi)與右邊輸送帶邊緣重合的對(duì)角線(xiàn)cd的方程為：。5.根據(jù)權(quán)利要求4所述的一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，其特征在于：基于步驟5所述的l點(diǎn)和m點(diǎn)之間的線(xiàn)段距離，r點(diǎn)和n點(diǎn)之間的線(xiàn)段距離計(jì)算為

即為輸送帶左右邊緣距離視野相機(jī)視野邊界的距離，其中w為相機(jī)視野的寬度。6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，其特征在于：基于步驟6所述的算法為當(dāng) ，即判斷輸送帶不跑偏，當(dāng) ，即判斷輸送帶跑偏，其中d

lm

為l點(diǎn)和m點(diǎn)之間的距離，d

nr

為r點(diǎn)和n點(diǎn)之間的距離，τ為跑偏判定的閾值。

技術(shù)總結(jié)

本發(fā)明提供一種基于深度學(xué)習(xí)的帶式輸送機(jī)輸送帶跑偏監(jiān)測(cè)方法，利用通用目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行輸送帶邊緣直線(xiàn)特征的檢測(cè)并實(shí)現(xiàn)跑偏狀態(tài)的有效判定。本發(fā)明采用具有特定標(biāo)注要求的標(biāo)注方法對(duì)輸送帶邊緣區(qū)域進(jìn)行數(shù)據(jù)標(biāo)注得到輸送帶跑偏數(shù)據(jù)集，進(jìn)而利用該數(shù)據(jù)集對(duì)通用目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而后將訓(xùn)練完成后的網(wǎng)絡(luò)用于輸送帶邊緣區(qū)域的預(yù)測(cè)，通過(guò)對(duì)預(yù)測(cè)框四個(gè)頂點(diǎn)坐標(biāo)位置的計(jì)算，得到輸送帶邊緣區(qū)域預(yù)測(cè)框的對(duì)角線(xiàn)位置及其方程，并以此表征輸送帶邊緣直線(xiàn)。通過(guò)對(duì)比所得輸送帶左右邊緣直線(xiàn)分別距離相機(jī)視野邊界的距離，實(shí)現(xiàn)輸送帶跑偏狀態(tài)的有效監(jiān)測(cè)。本發(fā)明簡(jiǎn)化了復(fù)雜環(huán)境下輸送帶邊緣直線(xiàn)提取流程，有力保障了帶式輸送機(jī)的安全高效運(yùn)行。高效運(yùn)行。高效運(yùn)行。

技術(shù)研發(fā)人員：張夢(mèng)超 張媛 周滿(mǎn)山 于巖 郝妮妮 曹越帥 周丹

受保護(hù)的技術(shù)使用者：山東科技大學(xué)

技術(shù)研發(fā)日：2022.02.10

技術(shù)公布日：2022/3/8