1.本發(fā)明屬于選礦技術(shù)領(lǐng)域，具體涉及一種基于目標(biāo)檢測(cè)和語義分割mask-rcnn深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類、定位和粒度分級(jí)檢測(cè)方法及裝置。

背景技術(shù)：

2.礦石的類別和粒度分布是評(píng)價(jià)破碎效果以及對(duì)礦石后續(xù)處理的一項(xiàng)重要依據(jù)，類別現(xiàn)在主要分為磁鐵礦、赤鐵礦、褐鐵礦和菱鐵礦，粒度參數(shù)主要包括面積、周長(zhǎng)、粒徑和體積等。傳統(tǒng)檢測(cè)方法是采用低效、離線的人工篩分檢測(cè)法確定礦石的碎后粒度分布，以及專家人工確定礦石大體類別，難以保證選礦生產(chǎn)需要。

3.近年來數(shù)字圖像處理技術(shù)逐漸應(yīng)用到礦石粒度檢測(cè)中。這種非接觸式檢測(cè)方法可以有效克服傳統(tǒng)檢測(cè)方法的不足，且能很好地適應(yīng)碎磨生產(chǎn)的惡劣工況，因此，通過在傳送帶上方安裝圖像采集系統(tǒng)，利用數(shù)字圖像技術(shù)結(jié)合現(xiàn)代數(shù)據(jù)處理等軟測(cè)量技術(shù)，實(shí)時(shí)連續(xù)地進(jìn)行在線粒度測(cè)量及自動(dòng)統(tǒng)計(jì)結(jié)果，是礦石粒度測(cè)量的有效手段。山東黃金礦業(yè)有限公司在實(shí)用新型專利《一種傳送帶礦石粒度圖像獲取設(shè)備》提出了一種硬件系統(tǒng)，但并沒有涉及軟件算法。中國(guó)礦業(yè)大學(xué)在發(fā)明專利《一種基于多元多尺度熵的礦石粒度檢測(cè)技術(shù)》中提出了圖像處理算法，但是需要復(fù)雜的區(qū)域提取、邊界提取、圖像分割等特征提取過程。上述的文獻(xiàn)在礦石粒度分析方面做了許多工作，但是并沒有兼具分析礦石類別和粒度分布。

4.深度學(xué)習(xí)是一種新的機(jī)器學(xué)習(xí)方法，通過組合低層特征形成更加抽象的高層表示屬性類別或特征，用基于不同深度卷積的分層特征提取高效算法來替代手工獲取特征。

5.目標(biāo)檢測(cè)技術(shù)：目標(biāo)檢測(cè)的目的是將圖片中不同種類的物體用不同顏色的方框框出來，并且標(biāo)出方框中物體的種類和概率。通俗講，目標(biāo)檢測(cè)技術(shù)主要解決兩個(gè)問題：圖像上的目標(biāo)物在哪(位置)，是什么(類別)。目標(biāo)檢測(cè)網(wǎng)絡(luò)模型的訓(xùn)練和實(shí)現(xiàn)需要的信息包括方框的位置坐標(biāo)，方框里面的物體類別信息。通過不斷的訓(xùn)練迭代，最終得到一個(gè)目標(biāo)檢測(cè)模型，來檢測(cè)需要檢測(cè)的物體。

6.語義分割技術(shù)：圖像語義分割任務(wù)最初流行的深度學(xué)習(xí)方法是圖像塊分類(patch classification)，即利用像素周圍的圖像塊對(duì)每一個(gè)像素進(jìn)行獨(dú)立的分類。使用圖像塊分類的主要原因是分類網(wǎng)絡(luò)通常是全連接層(full connected layer)，且要求固定尺寸的圖像。全卷積網(wǎng)絡(luò)(fcn)的提出，使得卷積神經(jīng)網(wǎng)絡(luò)無需全連接層即可進(jìn)行密集的像素預(yù)測(cè)，cnn從而得到普及。使用這種方法可生成任意大小的圖像分割圖，且該方法比圖像塊分類法快。

7.但是這些技術(shù)尚未在礦石類別和粒度分布的圖像識(shí)別分析中進(jìn)行應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

8.本發(fā)明的目的是針對(duì)于現(xiàn)有技術(shù)中兼具分析礦石類別和粒度分布的圖像識(shí)別技術(shù)有待改進(jìn)的問題，提供了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法及裝置。本發(fā)明應(yīng)用計(jì)算機(jī)視覺中改進(jìn)的faster-rcnn目標(biāo)檢測(cè)網(wǎng)絡(luò)提取特征，同時(shí)完成對(duì)礦石的分

類及定位，取代人工設(shè)計(jì)的特征提取器；并通過目標(biāo)檢測(cè)網(wǎng)絡(luò)提取出來的礦石位置，利用fcn語義分割網(wǎng)絡(luò)對(duì)礦石進(jìn)行分割，得到礦石的粒度信息；而且，通過對(duì)圖像做對(duì)比度受限的自適應(yīng)直方圖均衡化、白噪聲去除等數(shù)據(jù)預(yù)處理工作，得到高質(zhì)量的圖像信息；同時(shí)，結(jié)合目標(biāo)檢測(cè)及語義分割技術(shù)，對(duì)礦石進(jìn)行分類及分割，提高破碎機(jī)效率、降低破碎能耗并為后續(xù)工序提供指導(dǎo)。

9.本發(fā)明的技術(shù)方案之一為，一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，包括如下步驟：

10.步驟1、獲取礦石圖像數(shù)據(jù)并標(biāo)注，構(gòu)建礦石類別和粒度分級(jí)訓(xùn)練樣本集與測(cè)試樣本集；

11.步驟2、對(duì)礦石訓(xùn)練樣本集與測(cè)試樣本集進(jìn)行圖像預(yù)處理以增強(qiáng)圖像和降低噪聲；

12.步驟3、通過訓(xùn)練樣本集建立對(duì)礦石進(jìn)行分類和粒度分級(jí)的目標(biāo)檢測(cè)和語義分割深度卷積(mask-rcnn)神經(jīng)網(wǎng)絡(luò)模型，并通過測(cè)試樣本集對(duì)模型做檢驗(yàn)，得到訓(xùn)練好的模型；

13.步驟4、使用訓(xùn)練好的模型進(jìn)行礦石粒度在線實(shí)時(shí)分類和粒度分級(jí)，進(jìn)行模型迭代與優(yōu)化，得到迭代優(yōu)化過的模型；

14.步驟5、利用迭代優(yōu)化過的模型對(duì)采集的原料進(jìn)行在線實(shí)時(shí)礦石分類和粒度分級(jí)。

15.進(jìn)一步的，上述基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，步驟1中構(gòu)建礦石粒度分級(jí)訓(xùn)練樣本集與測(cè)試樣本集，包括：

16.于采場(chǎng)采集各個(gè)類別的礦石并標(biāo)注，隨機(jī)打亂放入皮帶運(yùn)輸環(huán)境，進(jìn)行圖像的拍攝采集；以對(duì)礦石類別的標(biāo)注，將對(duì)應(yīng)的圖像進(jìn)行標(biāo)注，得到最終的數(shù)據(jù)集；其中一部分作為訓(xùn)練樣本集，另一部分作為測(cè)試樣本集。

17.進(jìn)一步的，上述基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，步驟2中對(duì)礦石訓(xùn)練樣本集與測(cè)試樣本集進(jìn)行圖像預(yù)處理，包括：利用中值濾波消除孤立的噪聲點(diǎn)；利用對(duì)比度受限的自適應(yīng)直方圖均衡處理圖片，以進(jìn)一步消除圖像噪聲。

18.進(jìn)一步的，上述基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，步驟3中建立對(duì)礦石進(jìn)行分類和粒度分級(jí)的mask-rcnn神經(jīng)網(wǎng)絡(luò)模型，包括：

19.3.1)將訓(xùn)練樣本集輸入進(jìn)mask-rcnn神經(jīng)網(wǎng)絡(luò)模型；

20.3.2)模型先經(jīng)過主干網(wǎng)絡(luò)resnet-50提取圖像的多層級(jí)特征；

21.3.3)對(duì)于主干提取的多層級(jí)特征圖，利用特征金字塔fpn模塊，對(duì)特征圖進(jìn)行自頂向下的特征層融合，進(jìn)一步提取精煉特征圖的信息；

22.3.4)對(duì)于提取精煉之后的特征圖，送入?yún)^(qū)域特征提取rpn模塊，提取出特征圖中的感興趣(roi)區(qū)域，為后續(xù)的目標(biāo)檢測(cè)和分割提供樣本；

23.3.5)對(duì)于提取出的roi區(qū)域進(jìn)行標(biāo)準(zhǔn)化處理；

24.3.6)將標(biāo)準(zhǔn)化的感興趣區(qū)域roi輸入進(jìn)目標(biāo)檢測(cè)網(wǎng)絡(luò)rcnn，經(jīng)過卷積層和全連接層，得到礦石的分類信息和定位信息(位置回歸信息)；

25.3.7)將標(biāo)準(zhǔn)化的感興趣區(qū)域roi并行的輸入到語義分割網(wǎng)絡(luò)fcn，得到粒度信息；

26.3.8)將輸出向量(分類，定位和粒度信息)元素和圖像標(biāo)注的向量元素進(jìn)行比較，構(gòu)建總損失函數(shù)(計(jì)算輸出損失函數(shù)以及中間特征提取網(wǎng)絡(luò)rpn階段初步分類與定位的損失函數(shù))；

27.3.9)計(jì)算出神經(jīng)網(wǎng)絡(luò)參數(shù)的調(diào)整量

△

w和偏置

△

b；

28.3.10)使用adam優(yōu)化器及損失函數(shù)，反向傳播，更新網(wǎng)絡(luò)模型的權(quán)值和偏置；

29.3.11)當(dāng)?shù)螖?shù)達(dá)到設(shè)定值時(shí)轉(zhuǎn)入步驟3.12，如果不滿足返回步驟3.2，繼續(xù)迭代；

30.3.12)訓(xùn)練結(jié)束。

31.進(jìn)一步的，上述基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，步驟4中模型迭代與優(yōu)化采取預(yù)訓(xùn)練模型技術(shù)，包括：

32.4.1)使用步驟3訓(xùn)練好的模型對(duì)未標(biāo)記圖像進(jìn)行預(yù)測(cè)，得到分類和定位信息；

33.4.2)對(duì)于預(yù)測(cè)出來的圖像結(jié)果，進(jìn)行人工復(fù)檢，如果效果好，可以將該圖像加入訓(xùn)練樣本集以擴(kuò)充訓(xùn)練樣本集；

34.4.3)對(duì)于擴(kuò)充后的數(shù)據(jù)集進(jìn)行重新網(wǎng)絡(luò)模型的訓(xùn)練；

35.4.4)重復(fù)上述3個(gè)步驟，直至模型精度無法進(jìn)一步提升。

36.進(jìn)一步的，上述基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，步驟5中對(duì)采集的原料進(jìn)行在線實(shí)時(shí)礦石分類和粒度分級(jí)，包括：

37.5.1)實(shí)時(shí)獲取工業(yè)相機(jī)輸出的礦石視頻流，定時(shí)截取、保存某一幀圖像作為樣本，使用步驟4迭代優(yōu)化過的模型對(duì)樣本圖像進(jìn)行預(yù)測(cè)，并實(shí)時(shí)顯示礦石視頻流和預(yù)測(cè)結(jié)果(礦石類別比重、粒度等級(jí))，并將預(yù)測(cè)結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中；

38.5.2)當(dāng)?shù)V石粒度不符合規(guī)定要求時(shí)，進(jìn)行聲音提示報(bào)警。

39.另一方面，本發(fā)明提供一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)裝置，包括：

40.圖像獲取模塊，用于截取工業(yè)相機(jī)的輸出礦石視頻流，得到待預(yù)測(cè)圖像；

41.圖像預(yù)處理模塊，用于對(duì)標(biāo)注后的樣本圖像數(shù)據(jù)進(jìn)行預(yù)處理，包括對(duì)比度受限的自適應(yīng)直方圖均衡和白噪聲去除子模塊；

42.mask-rcnn神經(jīng)網(wǎng)絡(luò)模型模塊，用于調(diào)用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)預(yù)處理后的礦石圖像進(jìn)行預(yù)測(cè)，輸出各類礦石類別比重、礦石粒度信息；

43.圖像存儲(chǔ)模塊，用于對(duì)mask-rcnn神經(jīng)網(wǎng)絡(luò)模型處理過的圖像進(jìn)行存儲(chǔ)；

44.人機(jī)交互模塊，用于在圖形用戶界面顯示實(shí)時(shí)視頻并提供相應(yīng)的功能；

45.統(tǒng)計(jì)分析模塊，用于對(duì)一段時(shí)間內(nèi)的各類礦石類別比重、粒度等級(jí)進(jìn)行統(tǒng)計(jì)和分析。

46.進(jìn)一步的，上述基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)裝置，所述圖像存儲(chǔ)模塊包括：

47.圖像存儲(chǔ)單元，用于將不同粒度級(jí)別的礦石圖像分別存儲(chǔ)到指定的文件夾，設(shè)定每個(gè)圖像類別的存儲(chǔ)上限，并且根據(jù)具體需求保存一定時(shí)間段的結(jié)果；

48.數(shù)據(jù)庫(kù)存儲(chǔ)單元，用于定時(shí)將模型解析出的圖像信息，包括各類礦石類別比重、礦石粒度信息，定時(shí)存入數(shù)據(jù)庫(kù)，并根據(jù)數(shù)據(jù)庫(kù)索引查詢統(tǒng)計(jì)信息；

49.進(jìn)一步的，上述基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)裝置，所述人機(jī)交互模塊包括：

50.視頻顯示單元，用于對(duì)工業(yè)相機(jī)拍攝的礦石視頻流進(jìn)行實(shí)時(shí)顯示；

51.統(tǒng)計(jì)分析單元，用于將圖像存儲(chǔ)模塊中存儲(chǔ)在數(shù)據(jù)庫(kù)中的信息，讀取并且顯示在前端，供現(xiàn)場(chǎng)工作人員實(shí)時(shí)查看；

52.報(bào)警提醒單元，用于當(dāng)出現(xiàn)不符合要求的礦石時(shí)，進(jìn)行聲音報(bào)警提示；

53.數(shù)據(jù)查詢單元，用于可以按照“時(shí)間”、“班次”在數(shù)據(jù)庫(kù)進(jìn)行詳細(xì)查詢和統(tǒng)計(jì)查詢對(duì)應(yīng)時(shí)間段的礦石類別比重以及粒度分析結(jié)果。

54.數(shù)據(jù)導(dǎo)出單元，用于將統(tǒng)計(jì)分析結(jié)果導(dǎo)出到excel報(bào)表中。

55.與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)勢(shì)在于：

56.1、本發(fā)明結(jié)合目標(biāo)檢測(cè)技術(shù)及語義分割技術(shù)，可以很好的兼具礦石分類、定位及粒度分析工作，以此滿足生產(chǎn)現(xiàn)場(chǎng)需求。

57.2、本發(fā)明將深度學(xué)習(xí)應(yīng)用到礦石分類和礦石粒度分級(jí)中，在大量減少標(biāo)注工作量的基礎(chǔ)上可顯著提高分類和粒度分級(jí)精度，達(dá)到提高破碎機(jī)效率、降低破碎能耗和為后續(xù)選礦流程提供指導(dǎo)的目的。

附圖說明

58.圖1、本發(fā)明方法的流程圖；

59.圖2、本發(fā)明步驟3的流程圖；

60.圖3、本發(fā)明裝置的結(jié)構(gòu)圖。

具體實(shí)施方式

61.本發(fā)明提供一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，方法流程如圖1所示，包括以下步驟：

62.步驟1、獲取礦石圖像數(shù)據(jù)并標(biāo)注，構(gòu)建礦石類別和粒度分級(jí)訓(xùn)練樣本集與測(cè)試樣本集；

63.礦石類別分為：磁鐵礦、赤鐵礦、褐鐵礦和菱鐵礦。

64.礦石粒度分級(jí)如下表所示：

[0065][0066][0067]

構(gòu)建礦石粒度分級(jí)訓(xùn)練樣本集與測(cè)試樣本集，包括：

[0068]

去采場(chǎng)采集各個(gè)類別的礦石，對(duì)各個(gè)類別的礦石進(jìn)行標(biāo)注，隨機(jī)打亂放入模擬搭建的皮帶運(yùn)輸環(huán)境，進(jìn)行圖像的拍攝采集；根據(jù)對(duì)礦石類別的標(biāo)注，對(duì)對(duì)應(yīng)的圖像進(jìn)行標(biāo)注，得到最終的數(shù)據(jù)集。

[0069]

該數(shù)據(jù)集共有300張圖片，240張作為訓(xùn)練樣本數(shù)據(jù)集，剩余60張作為測(cè)試樣本數(shù)據(jù)集。

[0070]

步驟2、對(duì)礦石訓(xùn)練樣本集與測(cè)試樣本集進(jìn)行圖像預(yù)處理以增強(qiáng)圖像和降低噪聲；

[0071]

利用中值濾波消除孤立的噪聲點(diǎn)；利用對(duì)比度受限的自適應(yīng)直方圖均衡處理圖片，以進(jìn)一步消除圖像噪聲增加圖像對(duì)比度。

[0072]

椒鹽噪聲(salt-and-pepper noise)是由圖像傳感器，傳輸信道，解碼處理等產(chǎn)生的黑白相間的亮暗點(diǎn)噪聲。所謂椒鹽，椒就是黑，鹽就是白，椒鹽噪聲就是在圖像上隨機(jī)出現(xiàn)黑色白色的像素。椒鹽噪聲是一種因?yàn)樾盘?hào)脈沖強(qiáng)度引起的噪聲，產(chǎn)生該噪聲的算法也比較簡(jiǎn)單。椒鹽噪聲往往由圖像切割引起，去除脈沖干擾及椒鹽噪聲最常用的算法是中值濾波。大量的實(shí)驗(yàn)研究發(fā)現(xiàn)，由攝像機(jī)拍攝得到的圖像受離散的脈沖、椒鹽噪聲和零均值的高斯噪聲的影響較嚴(yán)重。噪聲給圖像處理帶來很多困難，對(duì)圖像分割、特征提取、圖像識(shí)別等具有直接影響。因此，實(shí)時(shí)采集的圖像需進(jìn)行濾波處理。消除圖像中的噪聲成份叫做圖像的平滑化或?yàn)V波操作。濾波的目的有兩個(gè)：一是抽出對(duì)象的特征作為圖像識(shí)別的特征模式；二是為適應(yīng)計(jì)算機(jī)處理的要求，消除圖像數(shù)字化時(shí)所混入的噪聲。對(duì)濾波處理的要求有兩條：一是不能損壞圖像輪廓及邊緣等重要信息；二是使圖像清晰，視覺效果好。

[0073]

中值濾波是一種典型的非線性濾波，是基于排序統(tǒng)計(jì)理論的一種能夠有效抑制噪聲的非線性信號(hào)處理技術(shù)，基本思想是用像素點(diǎn)鄰域灰度值的中值來代替該像素點(diǎn)的灰度值，讓周圍的像素值接近真實(shí)的值從而消除孤立的噪聲點(diǎn)。該方法在取出脈沖噪聲、椒鹽噪聲的同時(shí)能保留圖像的邊緣細(xì)節(jié)。這些優(yōu)良特性是線性濾波所不具備的。普通的直方圖均衡算法對(duì)于整幅圖像的像素使用相同的直方圖變換，對(duì)于那些像素值分布比較均衡的圖像來說，算法的效果很好。然后，如果圖像中包括明顯比圖像其它區(qū)域暗或者亮的部分，在這些部分的對(duì)比度將得不到有效的增強(qiáng)。ahe算法通過對(duì)局部區(qū)域執(zhí)行響應(yīng)的直方圖均衡來改變上述問題。其最簡(jiǎn)單的形式，就是每個(gè)像素通過其周邊一個(gè)矩形范圍內(nèi)的像素的直方圖進(jìn)行均衡化。均衡的方式則完全同普通的均衡化算法：變換函數(shù)同像素周邊的累積直方圖函數(shù)(cdf)成比例。

[0074]

限制對(duì)比度自適應(yīng)直方圖均衡，主要是通過限制ahe算法的對(duì)比提高程度來達(dá)到的。在指定的像素值周邊的對(duì)比度放大主要是由變換函數(shù)的斜度決定的。這個(gè)斜度和領(lǐng)域的累積直方圖的斜度成比例。clahe通過在計(jì)算cdf前用預(yù)先定義的閾值來裁剪直方圖以達(dá)到限制放大幅度的目的。這限制了cdf的斜度因此，也限制了變換函數(shù)的斜度。直方圖被裁剪的值，也就是所謂的裁剪限幅，取決于直方圖的分布因此也取決于領(lǐng)域大小的取值。

[0075]

步驟3、通過訓(xùn)練樣本數(shù)據(jù)集建立對(duì)礦石進(jìn)行分類和粒度分級(jí)的目標(biāo)檢測(cè)和語義分割深度卷積(mask-rcnn)神經(jīng)網(wǎng)絡(luò)模型，并通過測(cè)試樣本數(shù)據(jù)集對(duì)模型做檢驗(yàn)，訓(xùn)練過程如圖2所示；

[0076]

3.1)將訓(xùn)練樣本數(shù)據(jù)集輸入進(jìn)mask-rcnn神經(jīng)網(wǎng)絡(luò)模型：

[0077]

將數(shù)據(jù)集的格式轉(zhuǎn)為coco數(shù)據(jù)集的(目標(biāo)檢測(cè)通用數(shù)據(jù)集)json文件格式，將數(shù)據(jù)集輸入進(jìn)網(wǎng)絡(luò)模型。

[0078]

3.2)mask-rcnn神經(jīng)網(wǎng)絡(luò)模型先經(jīng)過主干網(wǎng)絡(luò)resnet-50提取圖像的多層級(jí)特征；

[0079]

3.3)對(duì)于主干提取的多層級(jí)特征圖，利用特征金字塔fpn模塊，對(duì)特征圖進(jìn)行自頂向下的特征層融合，進(jìn)一步提取精煉特征圖的信息；

[0080]

3.4)對(duì)于處理之后的特征圖，送入?yún)^(qū)域特征提取rpn模塊，提取出特征圖中的感興趣(roi)區(qū)域，為后續(xù)的目標(biāo)檢測(cè)和分割提供樣本；

[0081]

3.5)對(duì)于提取出的roi區(qū)域進(jìn)行標(biāo)準(zhǔn)化處理——rolalign，將roi區(qū)域標(biāo)準(zhǔn)化為7*7的大??；

[0082]

3.6)將標(biāo)準(zhǔn)化的感興趣區(qū)域roi輸入進(jìn)目標(biāo)檢測(cè)網(wǎng)絡(luò)rcnn，經(jīng)過卷積層和全連接層，得到礦石的分類信息和定位信息；

[0083]

3.7)將標(biāo)準(zhǔn)化的感興趣區(qū)域roi并行的輸入到語義分割網(wǎng)絡(luò)fcn，由于語義分割需要的細(xì)節(jié)信息較多，會(huì)將roi上采樣到28*28的大小，得到粒度信息；

[0084]

3.8)將輸出向量(分類，定位和粒度信息)元素和圖像標(biāo)注的向量元素進(jìn)行比較，計(jì)算輸出損失函數(shù)，以及中間特征提取網(wǎng)絡(luò)rpn階段初步分類與定位的誤差；

[0085]

3.9)計(jì)算出神經(jīng)網(wǎng)絡(luò)參數(shù)的調(diào)整量

△

w和偏置

△

b；

[0086]

3.10)使用adam優(yōu)化器及損失函數(shù)，反向傳播，更新網(wǎng)絡(luò)模型的權(quán)值和偏置；adam是一種類似隨機(jī)梯度下降的優(yōu)化器，用以更新神經(jīng)網(wǎng)絡(luò)參數(shù)；

[0087]

3.11)當(dāng)?shù)螖?shù)達(dá)到設(shè)定值時(shí)即轉(zhuǎn)入步驟3.12，如果不滿足返回步驟3.2，繼續(xù)迭代；

[0088]

3.12)訓(xùn)練結(jié)束。

[0089]

步驟4、使用訓(xùn)練好的模型進(jìn)行礦石粒度在線實(shí)時(shí)分類和粒度分級(jí)，進(jìn)行模型迭代與優(yōu)化；

[0090]

采用coco通用數(shù)據(jù)集的預(yù)訓(xùn)練模型，可以加快模型訓(xùn)練速度，提高模型的精度。預(yù)訓(xùn)練模型技術(shù)，包括：

[0091]

4.1)使用步驟3訓(xùn)練好的模型對(duì)未標(biāo)記圖像進(jìn)行預(yù)測(cè)，得到分類和定位信息；

[0092]

4.2)對(duì)于預(yù)測(cè)出來的圖像結(jié)果，進(jìn)行人工復(fù)檢，如果效果好，可以將該圖像加入訓(xùn)練樣本集以擴(kuò)充訓(xùn)練樣本集；

[0093]

4.3)對(duì)于擴(kuò)充后的數(shù)據(jù)集進(jìn)行重新網(wǎng)絡(luò)模型的訓(xùn)練；

[0094]

4.4)重復(fù)上述3個(gè)步驟，直至模型精度無法進(jìn)一步提升，判斷標(biāo)準(zhǔn)為：每一步迭代過程都會(huì)對(duì)測(cè)試集進(jìn)行預(yù)測(cè)并與測(cè)試集的標(biāo)簽進(jìn)行對(duì)比，得到諸如準(zhǔn)確率，平均精度(map)，平均交并比(miou)等評(píng)價(jià)指標(biāo)，當(dāng)各項(xiàng)指標(biāo)都保持平穩(wěn)時(shí)，模型收斂，訓(xùn)練結(jié)束。

[0095]

步驟5、使用訓(xùn)練好的模型進(jìn)行礦石在線實(shí)時(shí)分類和粒度分級(jí)；

[0096]

對(duì)采集的原料進(jìn)行在線實(shí)時(shí)礦石分類和粒度分級(jí)，包括：

[0097]

5.1)實(shí)時(shí)獲取工業(yè)相機(jī)輸出的礦石視頻流，定時(shí)截取、保存某一幀圖像作為樣本，使用步驟4迭代優(yōu)化過的模型對(duì)樣本圖像進(jìn)行預(yù)測(cè)，并實(shí)時(shí)顯示礦石視頻流和預(yù)測(cè)結(jié)果(礦石類別比重、粒度等級(jí))，并將預(yù)測(cè)結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中；其中，對(duì)圖像進(jìn)行預(yù)測(cè)，會(huì)得到每塊礦石的類別，每種礦石類別都對(duì)應(yīng)一個(gè)數(shù)字，比如磁鐵礦對(duì)應(yīng)1，赤鐵礦對(duì)應(yīng)2等等，把一張圖像中所有相同象素的個(gè)數(shù)統(tǒng)計(jì)出來，不包括背景0，即可統(tǒng)計(jì)出礦石類別比重；

[0098]

5.2)當(dāng)?shù)V石類別比重不符合規(guī)定要求(礦石中菱鐵礦比例過高)或礦石粒度不符合規(guī)定要求時(shí)，進(jìn)行聲音提示報(bào)警。

[0099]

實(shí)施例2

[0100]

一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)裝置，如圖3所示，包括：

[0101]

圖像獲取模塊，用于截取工業(yè)相機(jī)的輸出礦石視頻流，得到待預(yù)測(cè)圖像；

[0102]

圖像預(yù)處理模塊，用于對(duì)標(biāo)注后的樣本圖像數(shù)據(jù)進(jìn)行預(yù)處理，包括對(duì)比度受限的自適應(yīng)直方圖均衡和白噪聲去除子模塊；

[0103]

mask-rcnn神經(jīng)網(wǎng)絡(luò)模型模塊，用于調(diào)用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)預(yù)處理后的礦石圖像進(jìn)行預(yù)測(cè)，輸出各類礦石類別比重、礦石粒度信息；

[0104]

圖像存儲(chǔ)模塊，用于對(duì)mask-rcnn神經(jīng)網(wǎng)絡(luò)模型處理過的圖像進(jìn)行存儲(chǔ)；

[0105]

人機(jī)交互模塊，用于在圖形用戶界面顯示實(shí)時(shí)視頻并提供相應(yīng)的功能；

[0106]

統(tǒng)計(jì)分析模塊，用于對(duì)一段時(shí)間內(nèi)的各類礦石類別比重、粒度等級(jí)進(jìn)行統(tǒng)計(jì)和分析。

[0107]

其中，所述圖像存儲(chǔ)模塊包括：

[0108]

圖像存儲(chǔ)單元，用于將不同粒度級(jí)別的礦石圖像分別存儲(chǔ)到指定的文件夾，設(shè)定每個(gè)圖像類別的存儲(chǔ)上限，并且根據(jù)具體需求保存一定時(shí)間段的結(jié)果；

[0109]

數(shù)據(jù)庫(kù)存儲(chǔ)單元，用于定時(shí)將模型解析出的圖像信息，包括各類礦石類別比重、礦石粒度信息，定時(shí)存入mysql數(shù)據(jù)庫(kù)，并根據(jù)數(shù)據(jù)庫(kù)索引查詢統(tǒng)計(jì)信息；

[0110]

所述人機(jī)交互模塊包括：

[0111]

視頻顯示單元，用于對(duì)工業(yè)相機(jī)拍攝的礦石視頻流進(jìn)行實(shí)時(shí)顯示；

[0112]

統(tǒng)計(jì)分析單元，用于將圖像存儲(chǔ)模塊中存儲(chǔ)在mysql數(shù)據(jù)庫(kù)中的信息，讀取并且顯示在前端，供現(xiàn)場(chǎng)工作人員實(shí)時(shí)查看；

[0113]

報(bào)警提醒單元，用于當(dāng)出現(xiàn)不符合要求的礦石時(shí)(礦石尺寸不符合標(biāo)準(zhǔn)或者礦石中菱鐵礦比例過高)，進(jìn)行聲音報(bào)警提示；

[0114]

數(shù)據(jù)查詢單元，用于可以按照“時(shí)間”、“班次”在mysql數(shù)據(jù)庫(kù)進(jìn)行詳細(xì)查詢和統(tǒng)計(jì)查詢對(duì)應(yīng)時(shí)間段的礦石類別比重以及粒度分析結(jié)果。

[0115]

數(shù)據(jù)導(dǎo)出單元，用于將統(tǒng)計(jì)分析結(jié)果導(dǎo)出到excel報(bào)表中。技術(shù)特征：

1.一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，其特征在于，包括如下步驟：步驟1、獲取礦石圖像數(shù)據(jù)并標(biāo)注，構(gòu)建礦石類別和粒度分級(jí)訓(xùn)練樣本集與測(cè)試樣本集；步驟2、對(duì)礦石訓(xùn)練樣本集與測(cè)試樣本集進(jìn)行圖像預(yù)處理以增強(qiáng)圖像和降低噪聲；步驟3、通過訓(xùn)練樣本集建立對(duì)礦石進(jìn)行分類和粒度分級(jí)的目標(biāo)檢測(cè)和語義分割深度卷積神經(jīng)網(wǎng)絡(luò)模型，并通過測(cè)試樣本集對(duì)模型做檢驗(yàn)，得到訓(xùn)練好的模型；步驟4、使用訓(xùn)練好的模型進(jìn)行礦石粒度在線實(shí)時(shí)分類和粒度分級(jí)，進(jìn)行模型迭代與優(yōu)化，得到迭代優(yōu)化過的模型；步驟5、利用迭代優(yōu)化過的模型對(duì)采集的原料進(jìn)行在線實(shí)時(shí)礦石分類和粒度分級(jí)。2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，其特征在于，步驟1中構(gòu)建礦石粒度分級(jí)訓(xùn)練樣本集與測(cè)試樣本集，包括：于采場(chǎng)采集各個(gè)類別的礦石并標(biāo)注，隨機(jī)打亂放入皮帶運(yùn)輸環(huán)境，進(jìn)行圖像的拍攝采集；以對(duì)礦石類別的標(biāo)注，將對(duì)應(yīng)的圖像進(jìn)行標(biāo)注，得到最終的數(shù)據(jù)集；其中一部分作為訓(xùn)練樣本集，另一部分作為測(cè)試樣本集。3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，其特征在于，步驟2中對(duì)礦石訓(xùn)練樣本集與測(cè)試樣本集進(jìn)行圖像預(yù)處理，包括：利用中值濾波消除孤立的噪聲點(diǎn)；利用對(duì)比度受限的自適應(yīng)直方圖均衡處理圖片，以進(jìn)一步消除圖像噪聲。4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，其特征在于，步驟3中建立對(duì)礦石進(jìn)行分類和粒度分級(jí)的mask-rcnn神經(jīng)網(wǎng)絡(luò)模型，包括：3.1)將訓(xùn)練樣本集輸入進(jìn)mask-rcnn神經(jīng)網(wǎng)絡(luò)模型；3.2)模型先經(jīng)過主干網(wǎng)絡(luò)resnet-50提取圖像的多層級(jí)特征；3.3)對(duì)于主干提取的多層級(jí)特征圖，利用特征金字塔fpn模塊，對(duì)特征圖進(jìn)行自頂向下的特征層融合，進(jìn)一步提取精煉特征圖的信息；3.4)對(duì)于提取精煉之后的特征圖，送入?yún)^(qū)域特征提取rpn模塊，提取出特征圖中的感興趣區(qū)域，為后續(xù)的目標(biāo)檢測(cè)和分割提供樣本；3.5)對(duì)于提取出的roi區(qū)域進(jìn)行標(biāo)準(zhǔn)化處理；3.6)將標(biāo)準(zhǔn)化的感興趣區(qū)域roi輸入進(jìn)目標(biāo)檢測(cè)網(wǎng)絡(luò)rcnn，經(jīng)過卷積層和全連接層，得到礦石的分類信息和定位信息；3.7)將標(biāo)準(zhǔn)化的感興趣區(qū)域roi并行的輸入到語義分割網(wǎng)絡(luò)fcn，得到粒度信息；3.8)將輸出向量元素和圖像標(biāo)注的向量元素進(jìn)行比較，構(gòu)建總損失函數(shù)(計(jì)算輸出損失函數(shù)以及中間特征提取網(wǎng)絡(luò)rpn階段初步分類與定位的損失函數(shù))；3.9)計(jì)算出神經(jīng)網(wǎng)絡(luò)參數(shù)的調(diào)整量

△

w和偏置

△

b；3.10)使用adam優(yōu)化器及損失函數(shù)，反向傳播，更新網(wǎng)絡(luò)模型的權(quán)值和偏置；3.11)當(dāng)?shù)螖?shù)達(dá)到設(shè)定值時(shí)轉(zhuǎn)入步驟3.12，如果不滿足返回步驟3.2，繼續(xù)迭代；3.12)訓(xùn)練結(jié)束。5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，其特征在于，步驟4中模型迭代與優(yōu)化采取預(yù)訓(xùn)練模型技術(shù)，包括：4.1)使用步驟3訓(xùn)練好的模型對(duì)未標(biāo)記圖像進(jìn)行預(yù)測(cè)，得到分類和定位信息；4.2)對(duì)于預(yù)測(cè)出來的圖像結(jié)果，進(jìn)行人工復(fù)檢，如果礦石分類精度高，可以將該圖像加

入訓(xùn)練樣本集以擴(kuò)充訓(xùn)練樣本集；4.3)對(duì)于擴(kuò)充后的數(shù)據(jù)集進(jìn)行重新網(wǎng)絡(luò)模型的訓(xùn)練；4.4)重復(fù)上述3個(gè)步驟，直至模型精度無法進(jìn)一步提升。6.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法，其特征在于，步驟5中對(duì)采集的原料進(jìn)行在線實(shí)時(shí)礦石分類和粒度分級(jí)，包括：5.1)實(shí)時(shí)獲取工業(yè)相機(jī)輸出的礦石視頻流，定時(shí)截取、保存某一幀圖像作為樣本，使用步驟4迭代優(yōu)化過的模型對(duì)樣本圖像進(jìn)行預(yù)測(cè)，并實(shí)時(shí)顯示礦石視頻流和預(yù)測(cè)結(jié)果，并將預(yù)測(cè)結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中；5.2)當(dāng)?shù)V石不符合規(guī)定要求時(shí)，進(jìn)行聲音提示報(bào)警。7.一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)裝置，其特征在于，包括：圖像獲取模塊，用于截取工業(yè)相機(jī)的輸出礦石視頻流，得到待預(yù)測(cè)圖像；圖像預(yù)處理模塊，用于對(duì)標(biāo)注后的樣本圖像數(shù)據(jù)進(jìn)行預(yù)處理，包括對(duì)比度受限的自適應(yīng)直方圖均衡和白噪聲去除子模塊；mask-rcnn神經(jīng)網(wǎng)絡(luò)模型模塊，用于調(diào)用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)預(yù)處理后的礦石圖像進(jìn)行預(yù)測(cè)，輸出各類礦石類別比重、礦石粒度信息；圖像存儲(chǔ)模塊，用于對(duì)mask-rcnn神經(jīng)網(wǎng)絡(luò)模型處理過的圖像進(jìn)行存儲(chǔ)；人機(jī)交互模塊，用于在圖形用戶界面顯示實(shí)時(shí)視頻并提供相應(yīng)的功能；統(tǒng)計(jì)分析模塊，用于對(duì)一段時(shí)間內(nèi)的各類礦石類別比重、粒度等級(jí)進(jìn)行統(tǒng)計(jì)和分析。8.根據(jù)權(quán)利要求7所述的基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)裝置，其特征在于，所述圖像存儲(chǔ)模塊包括：圖像存儲(chǔ)單元，用于將不同粒度級(jí)別的礦石圖像分別存儲(chǔ)到指定的文件夾，設(shè)定每個(gè)圖像類別的存儲(chǔ)上限，并且根據(jù)具體需求保存一定時(shí)間段的結(jié)果；數(shù)據(jù)庫(kù)存儲(chǔ)單元，用于定時(shí)將模型解析出的圖像信息，包括各類礦石類別比重、礦石粒度信息，定時(shí)存入數(shù)據(jù)庫(kù)，并根據(jù)數(shù)據(jù)庫(kù)索引查詢統(tǒng)計(jì)信息。9.根據(jù)權(quán)利要求7所述的基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)裝置，其特征在于，所述人機(jī)交互模塊包括：視頻顯示單元，用于對(duì)工業(yè)相機(jī)拍攝的礦石視頻流進(jìn)行實(shí)時(shí)顯示；統(tǒng)計(jì)分析單元，用于將圖像存儲(chǔ)模塊中存儲(chǔ)在數(shù)據(jù)庫(kù)中的信息，讀取并且顯示在前端，供現(xiàn)場(chǎng)工作人員實(shí)時(shí)查看；報(bào)警提醒單元，用于當(dāng)出現(xiàn)不符合要求的礦石時(shí)，進(jìn)行報(bào)警提示；數(shù)據(jù)查詢單元，用于可以按照“時(shí)間”、“班次”在數(shù)據(jù)庫(kù)進(jìn)行詳細(xì)查詢和統(tǒng)計(jì)查詢對(duì)應(yīng)時(shí)間段的礦石類別比重以及粒度分析結(jié)果；數(shù)據(jù)導(dǎo)出單元，用于將統(tǒng)計(jì)分析結(jié)果導(dǎo)出到excel報(bào)表中。

技術(shù)總結(jié)

本發(fā)明的目的是針對(duì)于現(xiàn)有技術(shù)中兼具分析礦石類別和粒度分布的圖像識(shí)別技術(shù)有待改進(jìn)的問題，提供了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的礦石分類和粒度分級(jí)方法及裝置，屬于選礦技術(shù)領(lǐng)域。本發(fā)明應(yīng)用計(jì)算機(jī)視覺中改進(jìn)的Faster-RCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)提取特征，同時(shí)完成對(duì)礦石的分類及定位，取代人工設(shè)計(jì)的特征提取器；并通過目標(biāo)檢測(cè)網(wǎng)絡(luò)提取出來的礦石位置，利用FCN語義分割網(wǎng)絡(luò)對(duì)礦石進(jìn)行分割，得到礦石的粒度信息；而且，通過對(duì)圖像做對(duì)比度受限的自適應(yīng)直方圖均衡化、白噪聲去除等數(shù)據(jù)預(yù)處理工作，得到高質(zhì)量的圖像信息；同時(shí)，結(jié)合目標(biāo)檢測(cè)及語義分割技術(shù)，對(duì)礦石進(jìn)行分類及分割，提高破碎機(jī)效率、降低破碎能耗并為后續(xù)工序提供指導(dǎo)。導(dǎo)。導(dǎo)。

技術(shù)研發(fā)人員：胡健 楊曉峰 陳子一 苑慶波 宋軍 肖成勇 董振海 王宇

受保護(hù)的技術(shù)使用者：鞍鋼集團(tuán)礦業(yè)有限公司

技術(shù)研發(fā)日：2021.12.24

技術(shù)公布日：2022/4/22