權(quán)利要求書： 1.一種基于融合感知的礦用電鏟物料面識別方法，其特征在于，包括以下步驟：獲取物料面的點云數(shù)據(jù)和圖像信息；其中，所述點云數(shù)據(jù)由安裝在礦鏟上的激光雷達采集，所述圖像信息由安裝在礦鏟上的攝像頭采集；

接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；

根據(jù)所述歐拉角信息，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣；根據(jù)激光雷達在礦鏟上的安裝位置，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的平移矩陣；根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達坐標(biāo)系下的點坐標(biāo)相對于鏟車坐標(biāo)系下的點坐標(biāo)的轉(zhuǎn)換關(guān)系；根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點云數(shù)據(jù)中每一個坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置；

根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云；

將所述有效物料點云發(fā)送至礦鏟主控系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的基于融合感知的礦用電鏟物料面識別方法，其特征在于，根據(jù)所述歐拉角信息，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣，包括：假設(shè)激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣為R，旋轉(zhuǎn)角度為 ,點P在鏟車坐標(biāo)系 下的坐標(biāo)為( )；點P在激光雷達坐標(biāo)系 下的坐標(biāo)為( ),得到式（1）的坐標(biāo)系的轉(zhuǎn)換關(guān)系：(1)

根據(jù)式（1），可得 和 為：

? (2)

(3)

根據(jù)式（2）和式（3），可以得出以下的坐標(biāo)轉(zhuǎn)換矩陣等式：(4)

根據(jù)式（4），可得旋轉(zhuǎn)矩陣R為：

(5)

將上述的二維空間內(nèi)的坐標(biāo)旋轉(zhuǎn)推廣至三維空間中繞z軸的旋轉(zhuǎn)，旋轉(zhuǎn)角度 便是歐拉角中的航向角，由于旋轉(zhuǎn)前后z軸沒有發(fā)生變換，上述公式（4）可以寫為以下形式：(6)

由此可得航向角旋轉(zhuǎn)矩陣 為：

(7)

由上述公式（6）同理可以推導(dǎo)出繞坐標(biāo)軸y軸旋轉(zhuǎn) 的俯仰角pictch的公式如下:(8)

由此可得俯仰角pictch旋轉(zhuǎn)矩陣 為：

(9)

也可以推導(dǎo)出繞坐標(biāo)軸x軸旋轉(zhuǎn) 的橫滾角roll的公式如下:(10)

由此可得橫滾角roll旋轉(zhuǎn)矩陣 為：

(11)

由于假設(shè)不存在翻滾角所以此處的橫滾角roll旋轉(zhuǎn)矩陣 設(shè)置為單位矩陣：(12)

按照不同的順序?qū)ψ鴺?biāo)軸進行旋轉(zhuǎn)可以得到不同的旋轉(zhuǎn)矩陣R，R共有六種形式，分別為；

(13)；

；

按照歐拉角的測量方式，每次旋轉(zhuǎn)按照鏟車底盤坐標(biāo)系的坐標(biāo)軸進行外旋旋轉(zhuǎn)，外旋旋轉(zhuǎn)矩陣是左乘矩陣，按照X?Y?Z的順序進行旋轉(zhuǎn)，得到的旋轉(zhuǎn)矩陣是 ,通過主控系統(tǒng)發(fā)送的歐拉角的角度值，計算出對應(yīng)的旋轉(zhuǎn)矩陣。

3.根據(jù)權(quán)利要求2所述的基于融合感知的礦用電鏟物料面識別方法，其特征在于，根據(jù)激光雷達在礦鏟上的安裝位置，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的平移矩陣，包括：通過測量安裝位置激光雷達原點到鏟車坐標(biāo)系原點的三維坐標(biāo)x,y,z，得到激光雷達與鏟車坐標(biāo)系的平移矩陣為：(14)。

4.根據(jù)權(quán)利要求3所述的基于融合感知的礦用電鏟物料面識別方法，其特征在于，根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達坐標(biāo)系下的點坐標(biāo)相對于鏟車坐標(biāo)系下的點坐標(biāo)的轉(zhuǎn)換關(guān)系，包括：根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到鏟車坐標(biāo)系下點的坐標(biāo)( , , )與激光雷達坐標(biāo)系下點的坐標(biāo)( , , )的轉(zhuǎn)換關(guān)系為：(15)。

5.根據(jù)權(quán)利要求4所述的基于融合感知的礦用電鏟物料面識別方法，其特征在于，根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云，包括：對物料面的點云數(shù)據(jù)中的坐標(biāo)點進行均勻采樣濾波；

對均勻采樣濾波后的點云數(shù)據(jù)進行離群點去除；

擬合出點云數(shù)據(jù)中的最大平面后去除地面點云；

通過對分割模型輸入物料面的圖像信息，得到結(jié)果掩膜圖像，其中物料面和背景的像素值不相同；利用閾值分割以及輪廓檢測得到物料面的圖像位置信息；

利用點云圖像融合原理，將物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置通過配準(zhǔn)迭代映射到物料面的圖像上，通過在圖像分割的物料面區(qū)域中進一步分割點云，得到有效物料點云。

6.根據(jù)權(quán)利要求5所述的基于融合感知的礦用電鏟物料面識別方法，其特征在于，利用點云圖像融合原理，將物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置通過配準(zhǔn)迭代映射到物料面的圖像上，通過在圖像分割的物料面區(qū)域中進一步分割點云，得到有效物料點云，包括：在點云中隨機選取種子點，利用k?d樹對種子點半徑r范圍內(nèi)進行搜索，如果在這個范圍內(nèi)存在點，則將這些點與種子點歸為同一聚類簇；

在聚類簇中選取新的種子點，繼續(xù)執(zhí)行上一步中的半徑內(nèi)搜索過程，直到聚類簇中的點數(shù)不再增加，則該聚類簇聚類結(jié)束；

通過算法的輸入?yún)?shù)設(shè)置聚類的點數(shù)范圍，所述點數(shù)范圍為每個聚類所限制的最大最小點數(shù)；

若聚類簇點數(shù)在閾值范圍內(nèi)，則保留該聚類結(jié)果，否則予以去除；

在剩余的點云中再次選擇新的種子點，繼續(xù)執(zhí)行以上步驟，直到遍歷完點云中的所有的點；通過多次迭代保存多個符合點云點數(shù)閾值的聚類簇，從中挑選出點數(shù)最多的聚類，作為需要的最終的有效物料點云。

7.根據(jù)權(quán)利要求1所述的基于融合感知的礦用電鏟物料面識別方法，其特征在于，接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息之前，所述方法還包括：設(shè)定處理器與礦鏟主控系統(tǒng)的通訊協(xié)議以及具體報文格式，包括心跳包格式和礦鏟主控系統(tǒng)給處理器發(fā)送的通知報文要求以及處理器發(fā)送給礦鏟主控系統(tǒng)的應(yīng)答以及掃描結(jié)果報文要求；

根據(jù)礦鏟主控系統(tǒng)所在的ip地址以及偵聽開啟的端口號對礦鏟主控系統(tǒng)進行連接，連接成功后處理器開始給礦鏟主控系統(tǒng)發(fā)送心跳包以確定兩者的連接狀態(tài)；

當(dāng)?shù)V鏟激光雷達所在的方向朝向物料面時，礦鏟主控系統(tǒng)向處理器發(fā)送掃描通知以及礦鏟狀態(tài)的歐拉角信息，所述歐拉角信息包括旋轉(zhuǎn)角、橫滾角和俯仰角，處理器接收到通知后向礦鏟主控系統(tǒng)發(fā)送開始掃描的信號。

8.一種基于融合感知的礦用電鏟物料面識別裝置，其特征在于，包括：獲取單元，用于獲取物料面的點云數(shù)據(jù)和圖像信息；其中，所述點云數(shù)據(jù)由安裝在礦鏟上的激光雷達采集，所述圖像信息由安裝在礦鏟上的攝像頭采集；

接收單元，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；

轉(zhuǎn)換單元，用于根據(jù)所述歐拉角信息，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣；根據(jù)激光雷達在礦鏟上的安裝位置，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的平移矩陣；根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達坐標(biāo)系下的點坐標(biāo)相對于鏟車坐標(biāo)系下的點坐標(biāo)的轉(zhuǎn)換關(guān)系；根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點云數(shù)據(jù)中每一個坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置；

識別單元，用于根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云；

發(fā)送單元，用于將所述有效物料點云發(fā)送至礦鏟主控系統(tǒng)。

9.一種基于融合感知的礦用電鏟物料面識別系統(tǒng)，其特征在于，包括：激光雷達與圖像融合感知裝置、礦鏟主控系統(tǒng)以及處理器；所述激光雷達與圖像融合感知裝置內(nèi)設(shè)置有激光雷達和攝像頭，所述激光雷達與圖像融合感知裝置設(shè)置在礦鏟上；所述激光雷達、攝像頭與所述處理器通信連接，所述處理器與所述礦鏟主控系統(tǒng)通信連接；

所述激光雷達與圖像融合感知裝置，用于采用物料面的點云數(shù)據(jù)和圖像信息；

所述處理器，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；根據(jù)所述歐拉角信息，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣；根據(jù)激光雷達在礦鏟上的安裝位置，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的平移矩陣；根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達坐標(biāo)系下的點坐標(biāo)相對于鏟車坐標(biāo)系下的點坐標(biāo)的轉(zhuǎn)換關(guān)系；根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點云數(shù)據(jù)中每一個坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置；根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云；將所述有效物料點云發(fā)送至礦鏟主控系統(tǒng)；

所述礦鏟主控系統(tǒng)，用于向處理器發(fā)送掃描指令、礦鏟狀態(tài)的歐拉角信息，以及接收處理器發(fā)送的有效物料點云。

說明書： 基于融合感知的礦用電鏟物料面識別方法、裝置及系統(tǒng)技術(shù)領(lǐng)域[0001] 本發(fā)明涉及礦用電鏟物料面識別技術(shù)領(lǐng)域，具體涉及一種基于融合感知的礦用電鏟物料面識別方法、裝置及系統(tǒng)。背景技術(shù)[0002] 礦山實際工作場景環(huán)境較為惡劣，夏季高溫暴曬，冬季低溫大風(fēng)且時常伴有沙塵暴，鏟車師傅在控制電鏟進行物料挖掘時，也面臨由外界環(huán)境以及操作經(jīng)驗等方面帶來的限制，操作的效率不高且存在一定的安全隱患。為確保礦山現(xiàn)場工作的安全性以及在此基礎(chǔ)上提高礦物挖掘的效率，無人化礦卡的技術(shù)推動很有必要，而作為無人控制的核心關(guān)鍵點便是能夠正確獲取到礦物的具體坐標(biāo)位置，在定位礦物精確位置的基礎(chǔ)上對鏟車進行遠程或無人軌跡規(guī)劃以正確挖取到物料。[0003] 現(xiàn)有的視覺方案很難達到獲取具體精確的位置坐標(biāo)的同時對三維物料面進行識別和分割，難以滿足實際的鏟車對物料的定位需求。因此，有必要提出一種基于融合感知的礦用電鏟物料面識別方法及裝置，以解決上述問題。發(fā)明內(nèi)容[0004] 本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足之處，提供一種基于融合感知的礦用電鏟物料面識別方法、裝置及系統(tǒng)，以解決現(xiàn)有技術(shù)很難達到獲取具體精確的位置坐標(biāo)的同時對三維物料面進行識別和分割，難以滿足實際的鏟車對物料的定位需求的問題。[0005] 第一方面，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識別方法，包括以下步驟：[0006] 獲取物料面的點云數(shù)據(jù)和圖像信息；其中，所述點云數(shù)據(jù)由安裝在礦鏟上的激光雷達采集，所述圖像信息由安裝在礦鏟上的攝像頭采集；[0007] 接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；[0008] 根據(jù)激光雷達在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點云數(shù)據(jù)中的坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置；[0009] 根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云；[0010] 將所述有效物料點云發(fā)送至礦鏟主控系統(tǒng)。[0011] 進一步地，根據(jù)激光雷達在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點云數(shù)據(jù)中的坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置，包括：[0012] 根據(jù)所述歐拉角信息，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣；[0013] 根據(jù)激光雷達在礦鏟上的安裝位置，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的平移矩陣；[0014] 根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達坐標(biāo)系下的點坐標(biāo)相對于鏟車坐標(biāo)系下的點坐標(biāo)的轉(zhuǎn)換關(guān)系；[0015] 根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點云數(shù)據(jù)中每一個坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置。[0016] 進一步地，根據(jù)所述歐拉角信息，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣，包括：[0017] 假設(shè)激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣為R，旋轉(zhuǎn)角度為 ,點P在鏟車坐標(biāo)系 下的坐標(biāo)為( )；點P在激光雷達坐標(biāo)系 下的坐標(biāo)為( ),得到式（1）的坐標(biāo)系的轉(zhuǎn)換關(guān)系：

[0018] (1)[0019] 根據(jù)式（1），可得 和 為：[0020] ? (2)[0021] (3)[0022] 根據(jù)式（2）和式（3），可以得出以下的坐標(biāo)轉(zhuǎn)換矩陣等式：[0023] (4)[0024] 根據(jù)式（4），可得旋轉(zhuǎn)矩陣R為：[0025] (5)[0026] 將上述的二維空間內(nèi)的坐標(biāo)旋轉(zhuǎn)推廣至三維空間中繞z軸的旋轉(zhuǎn)，旋轉(zhuǎn)角度 便是歐拉角中的航向角，由于旋轉(zhuǎn)前后z軸沒有發(fā)生變換，上述公式（4）可以寫為以下形式：[0027] (6)[0028] 由此可得航向角旋轉(zhuǎn)矩陣 為：[0029] (7)[0030] 由上述公式（6）同理可以推導(dǎo)出繞坐標(biāo)軸y軸旋轉(zhuǎn) 的俯仰角pictch的公式如下:[0031] (8)[0032] 由此可得俯仰角pictch旋轉(zhuǎn)矩陣 為：[0033] (9)[0034] 也可以推導(dǎo)出繞坐標(biāo)軸x軸旋轉(zhuǎn) 的橫滾角roll的公式如下:[0035] (10)[0036] 由此可得橫滾角roll旋轉(zhuǎn)矩陣 為：[0037] (11)[0038] 由于假設(shè)不存在翻滾角所以此處的橫滾角roll旋轉(zhuǎn)矩陣 設(shè)置為單位矩陣：[0039] (12)[0040] 按照不同的順序?qū)ψ鴺?biāo)軸進行旋轉(zhuǎn)可以得到不同的旋轉(zhuǎn)矩陣R，R共有六種形式，分別為[0041][0042] (13)[0043] ；[0044] 按照歐拉角的測量方式，每次旋轉(zhuǎn)按照鏟車底盤坐標(biāo)系的坐標(biāo)軸進行外旋旋轉(zhuǎn)，外旋旋轉(zhuǎn)矩陣是左乘矩陣，按照X?Y?Z的順序進行旋轉(zhuǎn)，得到的旋轉(zhuǎn)矩陣是 ,通過主控系統(tǒng)發(fā)送的歐拉角的角度值，計算出對應(yīng)的旋轉(zhuǎn)矩陣。[0045] 進一步地，根據(jù)激光雷達在礦鏟上的安裝位置，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的平移矩陣，包括：[0046] 通過測量安裝位置激光雷達原點到鏟車坐標(biāo)系原點的三維坐標(biāo)x,y,z，得到激光雷達與鏟車坐標(biāo)系的平移矩陣為：[0047] (14)。[0048] 進一步地，根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達坐標(biāo)系下的點坐標(biāo)相對于鏟車坐標(biāo)系下的點坐標(biāo)的轉(zhuǎn)換關(guān)系，包括：[0049] 根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到鏟車坐標(biāo)系下點的坐標(biāo)((Xc,Yc,Zc))與激光雷達坐標(biāo)系下點的坐標(biāo)( , , )的轉(zhuǎn)換關(guān)系為：[0050] (15)。[0051] 進一步地，根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云，包括：[0052] 對物料面的點云數(shù)據(jù)中的坐標(biāo)點進行均勻采樣濾波；[0053] 對均勻采樣濾波后的點云數(shù)據(jù)進行離群點去除；[0054] 擬合出點云數(shù)據(jù)中的最大平面后去除地面點云；[0055] 通過對分割模型輸入物料面的圖像信息，得到結(jié)果掩膜圖像，其中物料面和背景的像素值不相同；利用閾值分割以及輪廓檢測得到物料面的圖像位置信息；[0056] 利用點云圖像融合原理，將物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置通過配準(zhǔn)迭代映射到物料面的圖像上，通過在圖像分割的物料面區(qū)域中進一步分割點云，得到有效物料點云。[0057] 進一步地，利用點云圖像融合原理，將物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置通過配準(zhǔn)迭代映射到物料面的圖像上，通過在圖像分割的物料面區(qū)域中進一步分割點云，得到有效物料點云，包括：[0058] 在點云中隨機選取種子點，利用k?d樹對種子點半徑r范圍內(nèi)進行搜索，如果在這個范圍內(nèi)存在點，則將這些點與種子點歸為同一聚類簇；[0059] 在聚類簇中選取新的種子點，繼續(xù)執(zhí)行上一步中的半徑內(nèi)搜索過程，直到聚類簇中的點數(shù)不再增加，則該聚類簇聚類結(jié)束；[0060] 通過算法的輸入?yún)?shù)設(shè)置聚類的點數(shù)范圍，所述點數(shù)范圍為每個聚類所限制的最大最小點數(shù)；[0061] 若聚類簇點數(shù)在閾值范圍內(nèi)，則保留該聚類結(jié)果，否則予以去除；[0062] 在剩余的點云中再次選擇新的種子點，繼續(xù)執(zhí)行以上步驟，直到遍歷完點云中的所有的點；通過多次迭代保存多個符合點云點數(shù)閾值的聚類簇，從中挑選出點數(shù)最多的聚類，作為需要的最終的有效物料點云。[0063] 進一步地，接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息之前，所述方法還包括：[0064] 設(shè)定處理器與礦鏟主控系統(tǒng)的通訊協(xié)議以及具體報文格式，包括心跳包格式和礦鏟主控系統(tǒng)給處理器發(fā)送的通知報文要求以及處理器發(fā)送給礦鏟主控系統(tǒng)的應(yīng)答以及掃描結(jié)果報文要求；[0065] 根據(jù)礦鏟主控系統(tǒng)所在的ip地址以及偵聽開啟的端口號對礦鏟主控系統(tǒng)進行連接，連接成功后處理器開始給礦鏟主控系統(tǒng)發(fā)送心跳包以確定兩者的連接狀態(tài)；[0066] 當(dāng)?shù)V鏟激光雷達所在的方向朝向物料面時，礦鏟主控系統(tǒng)向處理器發(fā)送掃描通知以及礦鏟狀態(tài)的歐拉角信息，所述歐拉角信息包括旋轉(zhuǎn)角、橫滾角和俯仰角，處理器接收到通知后向礦鏟主控系統(tǒng)發(fā)送開始掃描的信號。[0067] 第二方面，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識別裝置，包括：[0068] 獲取單元，用于獲取物料面的點云數(shù)據(jù)和圖像信息；其中，所述點云數(shù)據(jù)由安裝在礦鏟上的激光雷達采集，所述圖像信息由安裝在礦鏟上的攝像頭采集；[0069] 接收單元，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；[0070] 轉(zhuǎn)換單元，用于根據(jù)激光雷達在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點云數(shù)據(jù)中的坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置；[0071] 識別單元，用于根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云；[0072] 發(fā)送單元，用于將所述有效物料點云發(fā)送至礦鏟主控系統(tǒng)。[0073] 第三方面，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識別系統(tǒng)，包括：激光雷達與圖像融合感知裝置、礦鏟主控系統(tǒng)以及處理器；所述激光雷達與圖像融合感知裝置內(nèi)設(shè)置有激光雷達和攝像頭，所述激光雷達與圖像融合感知裝置設(shè)置在礦鏟上；所述激光雷達、攝像頭與所述處理器通信連接，所述處理器與所述礦鏟主控系統(tǒng)通信連接；[0074] 所述激光雷達與圖像融合感知裝置，用于采用物料面的點云數(shù)據(jù)和圖像信息；[0075] 所述處理器，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；根據(jù)激光雷達在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點云數(shù)據(jù)中的坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置；根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云；將所述有效物料點云發(fā)送至礦鏟主控系統(tǒng)；[0076] 所述礦鏟主控系統(tǒng)，用于向處理器發(fā)送掃描指令、礦鏟狀態(tài)的歐拉角信息，以及接收處理器發(fā)送的有效物料點云[0077] 本發(fā)明具有以下有益效果：本發(fā)明提供的基于融合感知的礦用電鏟物料面識別方法、裝置及系統(tǒng)，獲取物料面的點云數(shù)據(jù)和圖像信息，點云數(shù)據(jù)由安裝在礦鏟上的激光雷達采集，圖像信息由安裝在礦鏟上的攝像頭采集；接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；根據(jù)激光雷達在礦鏟上的安裝位置以及歐拉角信息，將物料面的點云數(shù)據(jù)中的坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置；根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及圖像信息，識別分割出物料面的有效物料點云；將有效物料點云發(fā)送至礦鏟主控系統(tǒng)，以為后續(xù)礦鏟主控系統(tǒng)的路徑規(guī)劃和物料挖取提供數(shù)據(jù)基礎(chǔ)，能夠獲取具體精確的位置坐標(biāo)的同時對三維物料面進行識別和分割，滿足實際的鏟車對物料的定位需求。附圖說明[0078] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0079] 圖1是本發(fā)明的基于融合感知的礦用電鏟物料面識別方法的流程圖；[0080] 圖2是二維坐標(biāo)系轉(zhuǎn)換示意圖；[0081] 圖3是航向角轉(zhuǎn)換示意圖；[0082] 圖4是俯仰角轉(zhuǎn)換示意圖；[0083] 圖5是橫滾角轉(zhuǎn)換示意圖；[0084] 圖6是三維坐標(biāo)系轉(zhuǎn)換示意圖；[0085] 圖7是本發(fā)明的基于融合感知的礦用電鏟物料面識別裝置的示意圖；[0086] 圖8是本發(fā)明的基于融合感知的礦用電鏟物料面識別系統(tǒng)的示意圖。具體實施方式[0087] 需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。應(yīng)該指出，以下詳細說明都是例示性的，旨在對本申請?zhí)峁┻M一步的說明。除非另有指明，本文使用的所有技術(shù)和科學(xué)術(shù)語具有與本申請所屬技術(shù)領(lǐng)域的普通技術(shù)人員通常理解的相同含義。[0088] 請參閱圖1，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識別方法，該方法的執(zhí)行主體為處理器，該方法包括以下步驟：[0089] S101，獲取物料面的點云數(shù)據(jù)和圖像信息；其中，所述點云數(shù)據(jù)由安裝在礦鏟上的激光雷達采集，所述圖像信息由安裝在礦鏟上的攝像頭采集。[0090] 在礦鏟上安裝激光雷達與圖像融合感知裝置，該裝置具有傳感器減震結(jié)構(gòu)，激光雷達與2D攝像頭結(jié)合的傳感器結(jié)構(gòu)，感應(yīng)口密封結(jié)構(gòu)，拆裝維護口密封結(jié)構(gòu)以及電控雨刮結(jié)構(gòu)，能夠較好的適應(yīng)礦山較為惡劣的環(huán)境要求。通過攝像頭可實時監(jiān)控和獲取物料面的圖像數(shù)據(jù)，方便后續(xù)結(jié)合點云數(shù)據(jù)對物料面進行識別和分割。根據(jù)現(xiàn)場物料面的位置高度以及視場要求選取合適的面陣式激光雷達，同時激光雷達還需具備防水防震指標(biāo)以穩(wěn)定的獲取物料面的點云數(shù)據(jù)。將激光雷達與處理器建立tcp/ip鏈接以獲取實時點云數(shù)據(jù)，激光雷達獲取的物料面的三維坐標(biāo)點信息以及同一時刻的二維圖像信息就可以通過局域網(wǎng)的tcp/ip通信發(fā)送給處理器。[0091] S102，接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息。[0092] 處理器建立與礦鏟主控系統(tǒng)的tcp/ip指令，以接收掃描指令以及礦鏟當(dāng)時的歐拉角信息。設(shè)定處理器與礦鏟主控系統(tǒng)的通訊協(xié)議以及具體報文格式，包括心跳包格式和礦鏟主控系統(tǒng)給處理器發(fā)送的通知報文要求以及處理器發(fā)送給礦鏟主控系統(tǒng)的應(yīng)答以及掃描結(jié)果報文要求。根據(jù)礦鏟主控系統(tǒng)所在的ip地址以及偵聽開啟的端口號對礦鏟主控系統(tǒng)進行連接，連接成功后處理器開始給礦鏟主控系統(tǒng)發(fā)送心跳包以確定兩者的連接狀態(tài)；當(dāng)?shù)V鏟激光雷達所在的方向朝向物料面時，礦鏟主控系統(tǒng)向處理器發(fā)送掃描通知以及礦鏟狀態(tài)的歐拉角信息，所述歐拉角信息包括旋轉(zhuǎn)角、橫滾角和俯仰角，處理器接收到通知后向礦鏟主控系統(tǒng)發(fā)送開始掃描的信號。[0093] 具體地，歐拉角信息包括旋轉(zhuǎn)角、橫滾角和俯仰角。[0094] S103，根據(jù)激光雷達在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點云數(shù)據(jù)中的坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置。[0095] 由于激光雷達獲取的點云數(shù)據(jù)是相對于激光雷達坐標(biāo)系的，為了使鏟車最終得到的點云數(shù)據(jù)是在鏟車坐標(biāo)系下的，需要對點云中的每一個點的坐標(biāo)進行坐標(biāo)轉(zhuǎn)換。[0096] 具體地，根據(jù)所述歐拉角信息，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣。首先是需要對坐標(biāo)系進行旋轉(zhuǎn)變換，先以二維平面的單位向量坐標(biāo)轉(zhuǎn)換為例，假設(shè)激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的旋轉(zhuǎn)矩陣為R，旋轉(zhuǎn)角度為 ,點P在鏟車坐標(biāo)系 下的坐標(biāo)為( )；點P在激光雷達坐標(biāo)系 下的坐標(biāo)為( ),得到式（1）的坐標(biāo)系的轉(zhuǎn)換關(guān)系：[0097] (1)[0098] 根據(jù)式（1），可得 和 為：[0099] ? (2)[0100] (3)[0101] 根據(jù)式（2）和式（3），可以得出以下的坐標(biāo)轉(zhuǎn)換矩陣等式：[0102] (4)[0103] 根據(jù)式（4），可得旋轉(zhuǎn)矩陣R為：[0104] (5)[0105] 由二維推廣至三維，由右手定則可以想象在圖2中的O點處有一條垂直于XOY平面指向屏幕的的Z軸：請參閱圖3，將上述的二維空間內(nèi)的坐標(biāo)旋轉(zhuǎn)推廣至三維空間中繞z軸的旋轉(zhuǎn)，旋轉(zhuǎn)角度 便是歐拉角中的航向角（也稱偏航角yaw），由于旋轉(zhuǎn)前后z軸沒有發(fā)生變換，上述公式（4）可以寫為以下形式：[0106] (6)[0107] 由此可得航向角旋轉(zhuǎn)矩陣 為：[0108] (7)[0109] 請參閱圖4，由上述公式（6）同理可以推導(dǎo)出繞坐標(biāo)軸y軸旋轉(zhuǎn) 的俯仰角pictch的公式如下:[0110] (8)[0111] 由此可得俯仰角pictch旋轉(zhuǎn)矩陣 為：[0112] (9)[0113] 請參閱圖5，也可以推導(dǎo)出繞坐標(biāo)軸x軸旋轉(zhuǎn) 的橫滾角roll的公式如下:[0114] (10)[0115] 由此可得橫滾角roll旋轉(zhuǎn)矩陣 為：[0116] (11)[0117] 由于假設(shè)不存在翻滾角所以此處的橫滾角roll旋轉(zhuǎn)矩陣 設(shè)置為單位矩陣：[0118] (12)[0119] 按照不同的順序?qū)ψ鴺?biāo)軸進行旋轉(zhuǎn)可以得到不同的旋轉(zhuǎn)矩陣R，R共有六種形式，分別為[0120] ；[0121] (13)[0122] ；[0123] 按照歐拉角的測量方式，每次旋轉(zhuǎn)按照鏟車底盤坐標(biāo)系的坐標(biāo)軸進行外旋旋轉(zhuǎn)，外旋旋轉(zhuǎn)矩陣是左乘矩陣，按照X?Y?Z的順序進行旋轉(zhuǎn)，得到的旋轉(zhuǎn)矩陣是 ,通過主控系統(tǒng)發(fā)送的歐拉角的角度值，計算出對應(yīng)的旋轉(zhuǎn)矩陣。[0124] 根據(jù)激光雷達在礦鏟上的安裝位置，計算出激光雷達坐標(biāo)系相對于鏟車坐標(biāo)系的平移矩陣。通過測量安裝位置激光雷達原點到鏟車坐標(biāo)系原點的三維坐標(biāo)x,y,z，得到激光雷達與鏟車坐標(biāo)系的平移矩陣為：[0125] (14)。[0126] 根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到鏟車坐標(biāo)系下點的坐標(biāo)( , , )與激光雷達坐標(biāo)系下點的坐標(biāo)( , , )的轉(zhuǎn)換關(guān)系為：[0127] (15)。[0128] 請參閱圖6，根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點云數(shù)據(jù)中每一個坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置。[0129] S104，根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云。[0130] 獲取到的點云數(shù)據(jù)包括物料面、地面以及干擾點的信息，為了確保發(fā)送給主控系統(tǒng)的點云位置信息的精準(zhǔn)性需要將有效物料信息從圖像以及點云中分割出來。[0131] 對物料面點云進行下采樣。綜合考慮到點云處理的時間以及需要發(fā)送的物料點數(shù)目限制，首先需要對點云進行濾波以降低點云的點數(shù)，提高處理的速度。同時為了盡可能的保留點云原始的位置坐標(biāo)，使用均勻采樣濾波。均勻采樣濾波構(gòu)建指定半徑球體對點云進行下采樣濾波，將每一個球內(nèi)距離球體中心最近的點作為下采樣的點，這樣在減少點云數(shù)目的同時不改變保留點的原始位置信息，精確性相較于其他濾波方法要好。[0132] 去除點云中的干擾點。濾波后的物料面點云存在許多的雜點，倘若發(fā)送給主控系統(tǒng)會對路徑規(guī)劃造成影響。所以需要對點云干擾點的去除，來去除稀疏離群點。離群點去除算法的主要步驟為：計算點云中每一個點與其鄰近的點的平均距離，假設(shè)得到的結(jié)果符合高斯分布，形狀由均值和標(biāo)準(zhǔn)差決定，對于平均距離在標(biāo)準(zhǔn)范圍之外的點定義為離群點并予以去除。[0133] 去除點云中的地面點云。由于地面點云較為平緩且位于同一平面上，可以通過擬合出點云中的最大平面后予以去除濾掉地面。擬合地面平面點云的方法是隨機采樣一致性算法（RANSAC）。首先在物料面云中隨機選取三個不共線的點，計算這三個點所在平面的平面方程 ；計算點云中所有點到該平面的距離 ，設(shè)定距離閾值 ，對于距離 < 的點將其視為模型的內(nèi)點，否則視為模

型外點，記錄該模型的的內(nèi)點個數(shù)；每次迭代末尾都會根據(jù)期望的誤差率、最佳內(nèi)點個數(shù)、總樣本個數(shù)、當(dāng)前迭代次數(shù)計算一個迭代結(jié)束評判因子，根據(jù)次決定是否停止迭代，重復(fù)上述步驟直到達到設(shè)定迭代次數(shù)，將內(nèi)點數(shù)目最多的平面模型視為地面，記錄該部分點云的索引將該部分的點云進行刪除也就去除了地面。

[0134] 在實際生產(chǎn)前利用安裝在電鏟上的工業(yè)攝像頭采集現(xiàn)場的物料面圖像數(shù)據(jù)，利用多邊形標(biāo)注框框出對物料面，使用mmsegmentation框架對已經(jīng)標(biāo)注好的物料面圖像數(shù)據(jù)進行訓(xùn)練，并且生成分割模型；通過對分割模型輸入現(xiàn)場的物料面圖像數(shù)據(jù)，可以得到結(jié)果掩膜圖像，其中物料面和背景的像素值不相同；利用閾值分割以及輪廓檢測得到物料面的圖像位置信息。[0135] 分割獲取最終的物料點云。在之前中已經(jīng)通過圖像獲取到了大概的物料面位置信息，然而位置的精度仍然不夠，為了獲取更為精確的坐標(biāo)信息，利用點云圖像融合原理，將點云信息通過配準(zhǔn)迭代映射到圖像上，通過在圖像分割的物料面區(qū)域中進一步的分割點云得到精確的物料面位置信息。[0136] 由于實際的安裝以及點云獲取的原因仍然存在一些除了地面點云以及離散點以外的點云，這些點云較為稠密成團通過濾波的方式較難對其進行去除，所以采用歐式聚類分割的方式分割出簇群最大的物料點云。[0137] 首先在點云中隨機選取種子點，利用k?d樹對種子點半徑r范圍內(nèi)進行搜索，如果在這個范圍內(nèi)存在點，則將這些點與種子點歸為同一聚類簇；在聚類簇中選取新的種子點，繼續(xù)執(zhí)行上一步中的半徑內(nèi)搜索過程，直到聚類簇中的點數(shù)不再增加，則該聚類簇聚類結(jié)束。通過算法的輸入?yún)?shù)設(shè)置聚類的點數(shù)范圍，即每個聚類所限制的最大最小點數(shù)。若聚類簇點數(shù)在閾值范圍內(nèi)，則保留該聚類結(jié)果，否則予以去除；在剩余的點云中再次選擇新的種子點，繼續(xù)執(zhí)行以上步驟，直到遍歷完點云中的所有的點。這時通過多次迭代已保存了多個符合點云點數(shù)閾值的聚類簇，從中挑選出點數(shù)最多的聚類，即為需要的最終物料點云。[0138] S105，將所述有效物料點云發(fā)送至礦鏟主控系統(tǒng)。[0139] 物料點云的點的位置信息發(fā)送給礦鏟主控系統(tǒng)以用于礦鏟主控系統(tǒng)后續(xù)做路徑規(guī)劃。[0140] 請參閱圖7，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識別裝置，包括：[0141] 獲取單元71，用于獲取物料面的點云數(shù)據(jù)和圖像信息；其中，所述點云數(shù)據(jù)由安裝在礦鏟上的激光雷達采集，所述圖像信息由安裝在礦鏟上的攝像頭采集。[0142] 接收單元72，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息。[0143] 轉(zhuǎn)換單元73，用于根據(jù)激光雷達在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點云數(shù)據(jù)中的坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置。[0144] 識別單元74，用于根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云。[0145] 發(fā)送單元75，用于將所述有效物料點云發(fā)送至礦鏟主控系統(tǒng)。[0146] 請參閱圖8，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識別系統(tǒng)，包括：激光雷達與圖像融合感知裝置81、礦鏟主控系統(tǒng)82以及處理器83；所述激光雷達與圖像融合感知裝置81內(nèi)設(shè)置有激光雷達84和攝像頭85，所述激光雷達與圖像融合感知裝置81設(shè)置在礦鏟86上；所述激光雷達84、攝像頭85與所述處理器83通信連接，所述處理器83與所述礦鏟主控系統(tǒng)82通信連接。[0147] 所述激光雷達與圖像融合感知裝置81，用于采用物料面的點云數(shù)據(jù)和圖像信息。[0148] 所述處理器83，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；根據(jù)激光雷達在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點云數(shù)據(jù)中的坐標(biāo)點轉(zhuǎn)換為在鏟車坐標(biāo)系下的坐標(biāo)位置；根據(jù)物料面的點云數(shù)據(jù)中的坐標(biāo)點在鏟車坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識別分割出物料面的有效物料點云；將所述有效物料點云發(fā)送至礦鏟主控系統(tǒng)。[0149] 所述礦鏟主控系統(tǒng)82，用于向處理器發(fā)送掃描指令、礦鏟狀態(tài)的歐拉角信息，以及接收處理器發(fā)送的有效物料點云。[0150] 需要注意的是，這里所使用的術(shù)語僅是為了描述具體實施方式，而非意圖限制根據(jù)本申請的示例性實施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復(fù)數(shù)形式，此外，還應(yīng)當(dāng)理解的是，當(dāng)在本說明書中使用術(shù)語“包含”和/或“包括”時，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。[0151] 需要說明的是，本申請的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本申請的實施方式例如能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。[0152] 以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。