權利要求

1.用于金屬礦山井下地測采三維數據的分布式處理方法，其特征在于步驟為：

步驟1、數據載入：載入地測采三維原始數據；

步驟2、任務分解：主節(jié)點根據任務特征，將任務分解到多個CPU節(jié)點和GPU節(jié)點分別進行處理；

步驟3、預處理：由CPU節(jié)點對三維數據進行預處理；

步驟4、三維數據處理：由GPU節(jié)點對三維數據進行主體處理；

步驟5、三維數據渲染：由GPU節(jié)點對三維數據完成渲染；

步驟6、后處理：由CPU節(jié)點對三維數據進行后處理；

步驟7、結果提交與保存：主節(jié)點匯總所有處理結果，并保存或提交。

2.如權利要求1所述的用于金屬礦山井下地測采三維數據的分布式處理方法，其特征在于：所述CPU節(jié)點及GPU節(jié)點分別與主節(jié)點通過以太網分別相連接，實現(xiàn)三維數據處理的控制命令的傳輸；

所述CPU節(jié)點和GPU節(jié)點通過RDMA數據交換網絡通訊連接，實現(xiàn)三維數據成果數據的傳輸。

3.如權利要求2所述的用于金屬礦山井下地測采三維數據的分布式處理方法，其特征在于：還包括接入RDMA數據交換網絡的存儲節(jié)點，所述存儲節(jié)點用于保存三維地測采數據。

4.如權利要求1所述的用于金屬礦山井下地測采三維數據的分布式處理方法，其特征在于：所述主節(jié)點用來管理計算集群，具備集群組網、任務調度及系統(tǒng)功能。

5.如權利要求1所述的用于金屬礦山井下地測采三維數據的分布式處理方法，其特征在于：主節(jié)點的數據來源為三維設計數據。

6.如權利要求1至5任一所述的用于金屬礦山井下地測采三維數據的分布式處理方法，其特征在于：GPU節(jié)點包括主GPU節(jié)點和分布GPU節(jié)點，主GPU節(jié)點僅作為渲染結果的顯示，分布GPU節(jié)點用于渲染處理。

說明書

技術領域

本發(fā)明涉及一種分布式處理方法，尤其是一種針對礦山海量三維數據的分布式處理方法，主要用于礦山生產進行三維建模、可視化管控過程中地質、測量、采礦各專業(yè)產生的海量業(yè)務數據的處理。

背景技術

隨著礦山行業(yè)的數字化技術的發(fā)展，三維礦業(yè)軟件的應用逐漸成為趨勢，進而產生了越來越多的地質、測量和采礦三維數據。這些數據有些直接來自三維激光掃描儀，有些來自鉆孔數據，有些則來自其他數據源的轉換。相對于傳統(tǒng)的二維數據以及關系數據，三維地測采數據的特點是數據量大、處理難度大，需要將各種數據源抽取、轉換、加載到平臺上，以提高數據處理效率。

在解決了多源異構數據的集成、解決了數據標準化之后，傳統(tǒng)的數據管理、處理解決方案已經無法處理巨大的數據。

當前主流的處理方法仍然是在高性能計算機上進行串行或者數據流的三維數據處理，隨著數據量的增大，這種處理架構在未來的技術發(fā)展上已經呈現(xiàn)出了一定的局限性，對于需要實時處理的三維數據以及巨量的非結構三維數據的分析處理，亟需一種更高性能的三維數據處理方法。

發(fā)明內容

本發(fā)明提出了一種用于金屬礦山井下地測采三維數據的分布式處理方法，其目的是：應對更大的數據量，提供更好的性能，降低成本。

本發(fā)明技術方案如下：

一種用于金屬礦山井下地測采三維數據的分布式處理方法，步驟為：

步驟1、數據載入：載入地測采三維原始數據；

步驟2、任務分解：主節(jié)點根據任務特征，將任務分解到多個CPU節(jié)點和GPU節(jié)點分別進行處理；

步驟3、預處理：由CPU節(jié)點對三維數據進行預處理；

步驟4、三維數據處理：由GPU節(jié)點對三維數據進行主體處理；

步驟5、三維數據渲染：由GPU節(jié)點對三維數據完成渲染；

步驟6、后處理：由CPU節(jié)點對三維數據進行后處理；

步驟7、結果提交與保存：主節(jié)點匯總所有處理結果，并保存或提交。

作為本發(fā)明的進一步改進：所述CPU節(jié)點及GPU節(jié)點分別與主節(jié)點通過以太網分別相連接，實現(xiàn)三維數據處理的控制命令的傳輸；

所述CPU節(jié)點和GPU節(jié)點通過RDMA數據交換網絡通訊連接，實現(xiàn)三維數據成果數據的傳輸。

作為本發(fā)明的進一步改進：還包括接入RDMA數據交換網絡的存儲節(jié)點，所述存儲節(jié)點用于保存三維地測采數據。

作為本發(fā)明的進一步改進：所述主節(jié)點用來管理計算集群，具備集群組網、任務調度及系統(tǒng)功能。

作為本發(fā)明的進一步改進：主節(jié)點的數據來源為三維設計數據。

作為本發(fā)明的進一步改進：GPU節(jié)點包括主GPU節(jié)點和分布GPU節(jié)點，主GPU節(jié)點僅作為渲染結果的顯示，分布GPU節(jié)點用于渲染處理。

相對于現(xiàn)有技術，本發(fā)明具有以下有益效果：采用普通的計算節(jié)點，組成一個可擴展的計算集群，不僅能夠應對更大的數據量，而且可以提供更好的性能，具有更低的成本。

附圖說明

圖1為本發(fā)明的架構示意圖；

圖2為本方法的流程圖。

具體實施方式

下面結合附圖詳細說明本發(fā)明的技術方案：

如圖1，一種用于金屬礦山井下地測采三維數據的分布式處理架構，包括：主節(jié)點、CPU節(jié)點、GPU節(jié)點、存儲節(jié)點以及RDMA高速網絡。

1、主節(jié)點：主要功能一是用于管理整個計算集群，包括集群組網，計算節(jié)點的加入和退出等等；二是管理計算任務的調度，包括新任務的接收、任務的分解、任務的調度、任務的結果提交等等；三是一些其它系統(tǒng)功能，例如日志、性能監(jiān)控等等。

采礦、測量、地質（簡稱地測采）等各專業(yè)的異構數據，經過數據的抽取和清洗，整合成能夠進行實時計算的結構化數據，作為主節(jié)點的數據來源，注入到分布式處理系統(tǒng)中。

2、CPU計算節(jié)點：CPU計算節(jié)點是通用的CPU計算型服務器，它主要用來對三維地測采數據進行預處理和后處理，如鉆孔數據的預計算、塊體數據的預處理等，這些預處理和后處理任務，在CPU上進行計算，相比在GPU上進行運算，具有更好的性能和性價比。

結合三維處理的特點，大量不涉及繪圖的預處理數據在CPU計算節(jié)點上進行處理，如大量繪圖無關的數值計算、處理計算分布在各個CPU計算節(jié)點進行分布式處理，解決傳統(tǒng)串行數據的數據處理瓶頸問題，大大加快預處理的速度。

3、GPU計算節(jié)點：GPU計算節(jié)點的計算能力主要由專用的GPU提供，在海量三維地測采數據的運算中，GPU在處理點云數據、網格定點數據、三維可視化渲染等方面，具有CPU不可比擬的優(yōu)勢。因此這些任務會被拆解，發(fā)送到GPU節(jié)點進行處理。

GPU節(jié)點處理三維繪圖數據，進行數據可視化渲染，通常GPU的性能是三維顯示性能和效果的關鍵，采用分布式處理后，主GPU僅作為渲染結果的顯示，大量渲染處理在分布式GPU上處理，在處理大型礦山的數據時，能夠比傳統(tǒng)提高10倍以上的性能。

4、存儲節(jié)點：存儲節(jié)點用于保存三維地測采數據。

同樣，對于大量的三維數據，需要同步提供分布式存儲的機制來保證數據的高效和一致性，同時在展示以及設計層面，還需要提供實時數據共享的功能。

5、RDMA高速網絡：在本系統(tǒng)中，主節(jié)點和計算節(jié)點之間，通過普通的以太網進行連接，管理數據通過以太網進行傳輸。而由于三維地測采數據的數據量非常龐大，動輒達到幾百G甚至幾個T的規(guī)模，在以太網上傳輸此類數據，效率將非常低下。因此，在計算節(jié)點和存儲節(jié)點之間使用RDMA高速網絡進行連接，在CPU和GPU節(jié)點之間，也使用高速RDMA網絡進行連接，用于兩類節(jié)點之間的快速數據交換分布式處理方法的步驟為：

步驟1、數據載入：載入地測采三維原始數據；

步驟2、任務分解：主節(jié)點根據任務特征，將任務分解到多個CPU節(jié)點和GPU節(jié)點分別進行處理；

步驟3、預處理：由CPU節(jié)點對三維數據進行預處理；

步驟4、三維數據處理：由GPU節(jié)點對三維數據進行主體處理；

步驟5、三維數據渲染：由GPU節(jié)點對三維數據完成渲染；

步驟6、后處理：由CPU節(jié)點對三維數據進行后處理；

步驟7、結果提交與保存：主節(jié)點匯總所有處理結果，并保存或提交。