本發(fā)明公開了一種基于storm的鐵路地質(zhì)災(zāi)害監(jiān)測大數(shù)據(jù)預(yù)處理方法及系統(tǒng),包括:基于開源流計(jì)算storm框架為每個(gè)監(jiān)測點(diǎn)的每個(gè)傳感器數(shù)據(jù)提供并行的子計(jì)算模塊,在每個(gè)子計(jì)算模塊中實(shí)現(xiàn)鐵路地質(zhì)災(zāi)害監(jiān)測大數(shù)據(jù)ETL處理,實(shí)現(xiàn)對不同監(jiān)測點(diǎn)的多種傳感器數(shù)據(jù)的實(shí)時(shí)并行預(yù)處理,有效提高數(shù)據(jù)處理效率、提高數(shù)據(jù)清洗質(zhì)量;有效解決傳統(tǒng)方法串行處理執(zhí)行效率不高、不能滿足監(jiān)測大數(shù)據(jù)的處理需求的問題,能夠滿足鐵路地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)預(yù)處理的實(shí)時(shí)性、時(shí)效性、高精度等要求,適用于復(fù)雜鐵路地質(zhì)災(zāi)害監(jiān)測大數(shù)據(jù)實(shí)時(shí)分析與預(yù)警應(yīng)用場景;同時(shí),本發(fā)明所提供的基于storm的ELT處理方法同樣也適用于其它存在多個(gè)工程監(jiān)測點(diǎn)、多種監(jiān)測數(shù)據(jù)的復(fù)雜工程。
聲明:
“基于storm的鐵路地質(zhì)災(zāi)害監(jiān)測大數(shù)據(jù)預(yù)處理方法及系統(tǒng)” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)