權(quán)利要求
1.轉(zhuǎn)爐下渣監(jiān)測方法，其特征在于，包括如下步驟：
步驟S1，采集轉(zhuǎn)爐出鋼過程中不同傾斜角度下的圖片，所述圖片覆蓋出鋼的完整過程，且每張圖片至少包含爐口的鋼渣圖像；
步驟S2，對圖片中的每個像素點進(jìn)行標(biāo)注，分別標(biāo)注為背景、鋼渣、爐內(nèi)壁、爐口四個類別的分割標(biāo)簽，并將標(biāo)簽與圖片的傾斜角度進(jìn)行綁定；
步驟S3，將所有標(biāo)注了標(biāo)簽的圖片生成圖片數(shù)據(jù)集，并將圖片數(shù)據(jù)集按照預(yù)設(shè)比例劃分為訓(xùn)練集和驗證集；
步驟S4，構(gòu)建圖像雙流分割模型，所述圖像雙流分割模型包括一個Stem模塊、第一流卷積模塊、第二流P-E模塊、至少兩個基于Transformer模型的融合模塊、至少兩個第一流下采樣模塊、至少兩個第二流下采樣模塊和分割頭模塊，且融合模塊和第一流下采樣模塊、第二流下采樣模塊的數(shù)量相同，數(shù)量為最大級數(shù)，并按級數(shù)依次排列；其中，第一流卷積模塊和第二流P-E模塊的輸入端同時與Stem模塊相連，輸出端同時與第一級融合模塊相連；所述融合模塊的輸出端同時與同級的第一流下采樣模塊和第二流下采樣模塊相連；除第一級融合模塊外，其余級別的融合模塊的輸入端同時與上一級的第一流下采樣模塊和第二流下采樣模塊相連；最后一級第一流下采樣模塊和第二流下采樣模塊同時與分割頭模塊相連；
步驟S5，采用訓(xùn)練集和驗證集對所述圖像雙流分割模型進(jìn)行訓(xùn)練和驗證，得到成熟的圖像雙流分割模型；
步驟S6，捕捉現(xiàn)場轉(zhuǎn)爐的實時出鋼圖片，將圖片進(jìn)行預(yù)處理后，輸入成熟的圖像雙流分割模型，并輸出分割結(jié)果，得到鋼渣、爐口和爐內(nèi)壁的實時監(jiān)測位置。
2.根據(jù)權(quán)利要求1所述的轉(zhuǎn)爐下渣監(jiān)測方法，其特征在于，所述融合模塊包括至少一組融合單元和分流單元；其中，
每個融合單元包括卷積子模塊、輕量化Transformer子模塊和拼接融合子模塊，其中卷積子模塊包括連續(xù)卷積層和/或殘差卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)層，輕量化Transformer子模塊包括自注意力機(jī)制層、歸一化層和多層感知機(jī)，拼接融合子模塊包括轉(zhuǎn)換序列特征維度層和拼接合并層；
每個分流單元包括1×1卷積子模塊和P-E子模塊，其中1×1卷積子模塊包括1×1且步長為1的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)，P-E子模塊包括轉(zhuǎn)換特征圖維度層和線性映射層；
每個融合單元中，卷積子模塊的輸入端與第一流卷積模塊相連，輸出端與拼接融合子模塊相連；輕量化Transformer子模塊的輸入端與第二流P-E模塊相連，輸出端與拼接融合子模塊相連；拼接融合子模塊的輸出端再與分流單元相連，分流單元再分別與同一融合模塊中的下一組卷積子模塊、輕量化Transformer子模塊相連或與同一級的第一流下采樣模塊和第二流下采樣模塊相連。
3.根據(jù)權(quán)利要求1或2所述的轉(zhuǎn)爐下渣監(jiān)測方法，其特征在于，步驟S4中所述Stem模塊，包含卷積核大小為7×7且步長為2的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)；所述第一流卷積模塊包括1×1且步長為1的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)；所述第二流P-E模塊包括轉(zhuǎn)換特征圖維度層和線性映射層。
4.根據(jù)權(quán)利要求3所述的轉(zhuǎn)爐下渣監(jiān)測方法，其特征在于，所述第一流下采樣模塊包括最大池化層和1×1且步長為1的卷積層，第二流下采樣模塊包括轉(zhuǎn)換序列特征維度層、最大池化層、1×1且步長為1的卷積層和轉(zhuǎn)換特征圖維度層；所述分割頭模塊包括轉(zhuǎn)換序列特征維度層、拼接合并層、上采樣層、1×1且步長為1的卷積層和歸一化指數(shù)層。
5.根據(jù)權(quán)利要求4所述的轉(zhuǎn)爐下渣監(jiān)測方法，其特征在于，步驟S5中，假設(shè)輸入圖片的高為H，寬為W，C為模型的基礎(chǔ)通道維度數(shù)，D為模型的基礎(chǔ)序列維度數(shù)，圖像雙流分割模型中包括N級融合模塊、N級第一流下采樣模塊和N級第二流下采樣模塊；訓(xùn)練及驗證過程如下：
步驟S51，圖片輸入Stem模塊后，輸出特征圖大小為C×H/2×W/2；
步驟S52，將所述特征圖通過1×1卷積模塊和P-E模塊進(jìn)行分流，第一流經(jīng)過1×1卷積模塊后得到大小為C×H/2×W/2的特征圖，第二流經(jīng)過P-E模塊后得到大小為D×（HW/4）的序列特征；
步驟S53，將第一流卷積模塊輸出的特征圖和第二流PE模塊輸出的序列特征同時輸入到第一級融合模塊中，經(jīng)第一級融合模塊的融合，增強(qiáng)了模型的特征提取能力，得到大小為C×H/2×W/2的特征圖和D×（HW/4）的序列特征；
步驟S54，將C×H/2×W/2的特征圖和D×（HW/4）的序列特征分別輸入第一流下采樣模塊和第二流下采樣模塊；在第一流下采樣模塊中，第一流特征圖經(jīng)最大池化層和1×1且步長為1的卷積層將特征圖分辨率減半，通道數(shù)翻倍，得到大小為2C×H/4×W/4的特征圖；在第二流下采樣模塊中，第二流序列特征經(jīng)轉(zhuǎn)換序列特征維度層得到大小為D×H/2×W/2的特征圖，然后經(jīng)過最大池化層和1×1且步長為1的卷積層將特征圖分辨率減半，通道數(shù)翻倍，得到大小為2D×H/4×W/4的特征圖，再經(jīng)過轉(zhuǎn)換特征圖維度層得到2D×（HW/16）的序列特征；
步驟S55，進(jìn)入各級融合模塊的融合和各級第一流下采樣模塊和第二流下采樣模塊的下采樣的循環(huán)，直到將最后一級融合特征圖分流，分別進(jìn)入最后一級第一流下采樣模塊和第二流下采樣模塊，最終第一流輸出大小為(2N)C×H/(2N+1)×W/(2N+1)的特征圖，第二流輸出大小(2N)D×（HW/(2N+1)2）的序列特征；
步驟S56，將最后一級輸出的雙流特征匯聚到分割頭模塊，通過拼接合并層合并后，經(jīng)過卷積層、上采樣層和歸一化指數(shù)層輸出分割結(jié)果；
步驟S57，將模型輸出的分割結(jié)果與圖片數(shù)據(jù)集對應(yīng)的分割標(biāo)簽進(jìn)行損失計算，根據(jù)損失函數(shù)的計算結(jié)果通過梯度的反傳值更新模型參數(shù)，經(jīng)驗證集驗證后，得到成熟的圖像分割模型。
6.根據(jù)權(quán)利要求5所述的轉(zhuǎn)爐下渣監(jiān)測方法，其特征在于，步驟S53和步驟S54所述融合模塊的融合，執(zhí)行如下操作：
特征圖和序列特征進(jìn)入到第i級融合模塊中的融合單元，第一流經(jīng)過卷積子模塊得到大小為(2i-1)C×H/2i×W/2i的特征圖，第二流經(jīng)過輕量化Transformer子模塊得到大小為(2i-1)D×（HW/(2i)2）的序列特征，然后第一流特征圖和第二流序列特征同時進(jìn)入到拼接融合子模塊中，在拼接融合子模塊中，第二流的序列特征經(jīng)轉(zhuǎn)換序列特征維度層將大小為(2i-1)D×（HW/(2i)2）序列特征轉(zhuǎn)換成大小為(2i-1)D×H/2i×W/2i的特征圖，再與第一流的特征圖經(jīng)過拼接合并層在通道維度上進(jìn)行拼接得到大小為(2i-1)（C+D）×H/2i×W/2i的融合特征圖；再將融合特征圖再輸入到分流單元中，在分流單元中，經(jīng)過1×1卷積子模塊得到大小為(2i-1)C×H/2i×W/2i的第一流特征圖，經(jīng)過P-E子模塊得到大小為(2i-1)D×（HW/(2i)2）的第二流序列特征；
第一流特征圖和第二流序列特征再進(jìn)入到下一組融合單元和分流單元或同一級第一流下采樣模塊和第二流下采樣模塊；若進(jìn)入下一組融合單元和分流單元，則重復(fù)融合單元和分流單元的操作。
7.根據(jù)權(quán)利要求5所述的轉(zhuǎn)爐下渣監(jiān)測方法，其特征在于，步驟S51訓(xùn)練前，對圖片進(jìn)行隨機(jī)水平翻轉(zhuǎn)、隨機(jī)豎直翻轉(zhuǎn)、隨機(jī)多尺度變換、隨機(jī)角度變換和/或MixUp變換，對應(yīng)的標(biāo)簽做同樣變換。
8.轉(zhuǎn)爐下渣監(jiān)測系統(tǒng)，其特征在于，所述監(jiān)測系統(tǒng)包括：數(shù)據(jù)采集子系統(tǒng)、圖像雙流分割模型子系統(tǒng)、實時圖片采集及監(jiān)測結(jié)果輸出子系統(tǒng)；其中，
所述數(shù)據(jù)采集子系統(tǒng)包括：歷史圖片獲取模塊、分割標(biāo)簽標(biāo)注模塊、數(shù)據(jù)集生成模塊；所述歷史圖片獲取模塊用于采集轉(zhuǎn)爐出鋼過程中不同傾斜角度下的圖片，所述圖片覆蓋出鋼的完整過程，且每張圖片至少包含爐口的鋼渣圖像；所述分割標(biāo)簽標(biāo)注模塊用于對圖片中的每個像素點進(jìn)行標(biāo)注，分別標(biāo)注為背景、鋼渣、爐內(nèi)壁、爐口四個類別的分割標(biāo)簽，并將標(biāo)簽與圖片的傾斜角度進(jìn)行綁定；所述數(shù)據(jù)集生成模塊用于將所有標(biāo)注了標(biāo)簽的圖片生成圖片數(shù)據(jù)集，并將圖片數(shù)據(jù)集按照預(yù)設(shè)比例劃分為訓(xùn)練集和驗證集；
所述圖像雙流分割模型子系統(tǒng)用于提供圖像雙流分割模型，并完成訓(xùn)練和驗證得到成熟的圖像雙流分割模型；其中，所述圖像雙流分割模型包括：一個Stem模塊、第一流卷積模塊、第二流P-E模塊、至少兩個融合模塊、至少兩個第一流下采樣模塊、至少兩個第二流下采樣模塊和分割頭模塊，且融合模塊和第一流下采樣模塊、第二流下采樣模塊的數(shù)量相同，數(shù)量為最大級數(shù)，并按級數(shù)依次排列；其中，第一流卷積模塊和第二流P-E模塊的輸入端同時與Stem模塊相連，輸出端同時與第一級融合模塊相連；所述融合模塊的輸出端同時與同級的第一流下采樣模塊和第二流下采樣模塊相連；除第一級融合模塊外，其余級別的融合模塊的輸入端同時與上一級的第一流下采樣模塊和第二流下采樣模塊相連；最后一級第一流下采樣模塊和第二流下采樣模塊同時與分割頭模塊相連；
所述實時圖片采集及監(jiān)測結(jié)果輸出子系統(tǒng)用于捕捉現(xiàn)場轉(zhuǎn)爐的實時出鋼圖片，將圖片進(jìn)行預(yù)處理后，發(fā)送給所述圖像雙流分割模型子系統(tǒng)；并接收成熟的圖像雙流分割模型所得到的分割結(jié)果，輸出鋼渣、爐口和爐內(nèi)壁的實時監(jiān)測位置。
9.根據(jù)權(quán)利要求8所述的轉(zhuǎn)爐下渣監(jiān)測系統(tǒng)，其特征在于，所述融合模塊包括至少一組融合單元和分流單元；其中，
每個融合單元包括卷積子模塊、輕量化Transformer子模塊和拼接融合子模塊，其中卷積子模塊包括連續(xù)卷積層和/或殘差卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)層，輕量化Transformer子模塊包括自注意力機(jī)制層、歸一化層和多層感知機(jī)，拼接融合子模塊包括轉(zhuǎn)換序列特征維度層和拼接合并層；
每個分流單元包括1×1卷積子模塊和P-E子模塊，其中1×1卷積子模塊包括1×1且步長為1的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)，P-E子模塊包括轉(zhuǎn)換特征圖維度層和線性映射層；
每個融合單元中，卷積子模塊的輸入端與第一流卷積模塊相連，輸出端與拼接融合子模塊相連；輕量化Transformer子模塊的輸入端與第二流P-E模塊相連，輸出端與拼接融合子模塊相連；拼接融合子模塊的輸出端再與分流單元相連，分流單元再分別與同一融合模塊中的下一組卷積子模塊、輕量化Transformer子模塊相連或與同一級的第一流下采樣模塊和第二流下采樣模塊相連。
說明書
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于冶金工藝與設(shè)備領(lǐng)域，具體涉及轉(zhuǎn)爐下渣監(jiān)測方法及系統(tǒng)。
背景技術(shù)
[0002]轉(zhuǎn)爐煉鋼是以鐵水、廢鋼、鐵合金為主要原料，不借助外加能源，靠鐵液本身的物理熱和鐵液組分間化學(xué)反應(yīng)產(chǎn)生熱量而在轉(zhuǎn)爐中完成煉鋼的過程；煉制過程中在鋼水上會產(chǎn)生鋼渣，出鋼時擋住鋼渣，以免鋼包上層的鋼渣過厚影響鋼包質(zhì)量，擋渣過程一般稱為下渣或出渣。在煉鋼生產(chǎn)現(xiàn)場中，減少轉(zhuǎn)爐出鋼時的下渣量是提高鋼水質(zhì)量的一個重要因素。如果下渣量過大，鋼水容易出現(xiàn)回錳、回磷、回硅等現(xiàn)象，使得鋼水成分難以控制，容易產(chǎn)生雜質(zhì)，并在后續(xù)精煉中消耗較多的脫氧劑，增加額外的冶煉成本；而且，下渣時轉(zhuǎn)爐傾斜角度過大，鋼渣不但會流入鋼包中，溢出量過大的話還可能會濺到鋼包行車軌道上，對周圍的生產(chǎn)設(shè)備造成損害。因此，需要對轉(zhuǎn)爐下渣進(jìn)行實時監(jiān)測及處理，并盡可能減少下渣量。
[0003]現(xiàn)有技術(shù)中，在煉鋼現(xiàn)場的下渣監(jiān)測方法一般包括人工法、傳感器法和圖像處理法。其中，采用操作人員觀察法來監(jiān)測轉(zhuǎn)爐下渣情況時，監(jiān)測質(zhì)量與操作人員狀態(tài)和經(jīng)驗有關(guān)，靈活性差，而且生產(chǎn)過程中產(chǎn)生的化學(xué)物質(zhì)會對人體造成危害；傳感器法受實際環(huán)境影響較大，扛干擾能力差，還容易發(fā)生危險，需要維護(hù)并且維護(hù)成本較高；圖像處理法又包括基于傳統(tǒng)圖像處理的方法和基于深度神經(jīng)網(wǎng)絡(luò)的圖像處理方法；其中，傳統(tǒng)的圖像處理算法，由于煉鋼現(xiàn)場環(huán)境復(fù)雜，采集到的圖片噪聲多，抗干擾能力差，精度低，無法滿足實際要求，而基于深度神經(jīng)網(wǎng)絡(luò)的圖像處理方法，現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)在復(fù)雜的煉鋼場景中提取全局信息能力較差，導(dǎo)致識別結(jié)果不理想，尤其是當(dāng)鋼渣靠近爐口時，容易產(chǎn)生誤分割，另外，高精度的網(wǎng)絡(luò)模型復(fù)雜度高、實時性差，無法滿足實時性要求。
發(fā)明內(nèi)容
[0004]有鑒于此，本發(fā)明實施例提供了一種轉(zhuǎn)爐下渣監(jiān)測方法及系統(tǒng)，以提高下渣監(jiān)測的實時性和準(zhǔn)確性。
[0005]為達(dá)到上述目的，本發(fā)明的實施例采用如下技術(shù)方案：
第一方面，本發(fā)明實施例提供了一種轉(zhuǎn)爐下渣監(jiān)測方法，包括如下步驟：
步驟S1，采集轉(zhuǎn)爐出鋼過程中不同傾斜角度下的圖片，所述圖片覆蓋出鋼的完整過程，且每張圖片至少包含爐口的鋼渣圖像；
步驟S2，對圖片中的每個像素點進(jìn)行標(biāo)注，分別標(biāo)注為背景、鋼渣、爐內(nèi)壁、爐口四個類別的分割標(biāo)簽，并將標(biāo)簽與圖片的傾斜角度進(jìn)行綁定；
步驟S3，將所有標(biāo)注了標(biāo)簽的圖片生成圖片數(shù)據(jù)集，并將圖片數(shù)據(jù)集按照預(yù)設(shè)比例劃分為訓(xùn)練集和驗證集；
步驟S4，構(gòu)建圖像雙流分割模型，所述圖像雙流分割模型包括一個Stem模塊、第一流卷積模塊、第二流P-E模塊、至少兩個基于Transformer模型的融合模塊、至少兩個第一流下采樣模塊、至少兩個第二流下采樣模塊和分割頭模塊，且融合模塊和第一流下采樣模塊、第二流下采樣模塊的數(shù)量相同，數(shù)量為最大級數(shù)，并按級數(shù)依次排列；其中，第一流卷積模塊和第二流P-E模塊的輸入端同時與Stem模塊相連，輸出端同時與第一級融合模塊相連；所述融合模塊的輸出端同時與同級的第一流下采樣模塊和第二流下采樣模塊相連；除第一級融合模塊外，其余級別的融合模塊的輸入端同時與上一級的第一流下采樣模塊和第二流下采樣模塊相連；最后一級第一流下采樣模塊和第二流下采樣模塊同時與分割頭模塊相連；
步驟S5，采用訓(xùn)練集和驗證集對所述圖像雙流分割模型進(jìn)行訓(xùn)練和驗證，得到成熟的圖像雙流分割模型；
步驟S6，捕捉現(xiàn)場轉(zhuǎn)爐的實時出鋼圖片，將圖片進(jìn)行預(yù)處理后，輸入成熟的圖像雙流分割模型，并輸出分割結(jié)果，得到鋼渣、爐口和爐內(nèi)壁的實時監(jiān)測位置。
[0006]作為本發(fā)明的一個優(yōu)選實施例，所述融合模塊包括至少一組融合單元和分流單元；其中，
每個融合單元包括卷積子模塊、輕量化Transformer子模塊和拼接融合子模塊，其中卷積子模塊包括連續(xù)卷積層和/或殘差卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)層，輕量化Transformer子模塊包括自注意力機(jī)制層、歸一化層和多層感知機(jī)，拼接融合子模塊包括轉(zhuǎn)換序列特征維度層和拼接合并層；
每個分流單元包括1×1卷積子模塊和P-E子模塊，其中1×1卷積子模塊包括1×1且步長為1的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)，P-E子模塊包括轉(zhuǎn)換特征圖維度層和線性映射層；
每個融合單元中，卷積子模塊的輸入端與第一流卷積模塊相連，輸出端與拼接融合子模塊相連；輕量化Transformer子模塊的輸入端與第二流P-E模塊相連，輸出端與拼接融合子模塊相連；拼接融合子模塊的輸出端再與分流單元相連，分流單元再分別與同一融合模塊中的下一組卷積子模塊、輕量化Transformer子模塊相連或與同一級的第一流下采樣模塊和第二流下采樣模塊相連。
[0007]作為本發(fā)明的一個優(yōu)選實施例，步驟S4中所述Stem模塊，包含卷積核大小為7×7且步長為2的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)；所述第一流卷積模塊包括1×1且步長為1的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)；所述第二流P-E模塊包括轉(zhuǎn)換特征圖維度層和線性映射層。
[0008]作為本發(fā)明的一個優(yōu)選實施例，所述第一流下采樣模塊包括最大池化層和1×1且步長為1的卷積層，第二流下采樣模塊包括轉(zhuǎn)換序列特征維度層、最大池化層、1×1且步長為1的卷積層和轉(zhuǎn)換特征圖維度層；所述分割頭模塊包括轉(zhuǎn)換序列特征維度層、拼接合并層、上采樣層、1×1且步長為1的卷積層和歸一化指數(shù)層。
[0009]作為本發(fā)明的一個優(yōu)選實施例，步驟S5中，假設(shè)輸入圖片的高為H，寬為W，C為模型的基礎(chǔ)通道維度數(shù)，D為模型的基礎(chǔ)序列維度數(shù)，圖像雙流分割模型中包括N級融合模塊、N級第一流下采樣模塊和N級第二流下采樣模塊；訓(xùn)練及驗證過程如下：
步驟S51，圖片輸入Stem模塊后，輸出特征圖大小為C×H/2×W/2；
步驟S52，將所述特征圖通過1×1卷積模塊和P-E模塊進(jìn)行分流，第一流經(jīng)過1×1卷積模塊后得到大小為C×H/2×W/2的特征圖，第二流經(jīng)過P-E模塊后得到大小為D×（HW/4）的序列特征；
步驟S53，將第一流卷積模塊輸出的特征圖和第二流PE模塊輸出的序列特征同時輸入到第一級融合模塊中，經(jīng)第一級融合模塊的融合，增強(qiáng)了模型的特征提取能力，得到大小為C×H/2×W/2的特征圖和D×（HW/4）的序列特征；
步驟S54，將C×H/2×W/2的特征圖和D×（HW/4）的序列特征分別輸入第一流下采樣模塊和第二流下采樣模塊；在第一流下采樣模塊中，第一流特征圖經(jīng)最大池化層和1×1且步長為1的卷積層將特征圖分辨率減半，通道數(shù)翻倍，得到大小為2C×H/4×W/4的特征圖；在第二流下采樣模塊中，第二流序列特征經(jīng)轉(zhuǎn)換序列特征維度層得到大小為D×H/2×W/2的特征圖，然后經(jīng)過最大池化層和1×1且步長為1的卷積層將特征圖分辨率減半，通道數(shù)翻倍，得到大小為2D×H/4×W/4的特征圖，再經(jīng)過轉(zhuǎn)換特征圖維度層得到2D×（HW/16）的序列特征；
步驟S55，進(jìn)入各級融合模塊的融合和各級第一流下采樣模塊和第二流下采樣模塊的下采樣的循環(huán)，直到將最后一級融合特征圖分流，分別進(jìn)入最后一級第一流下采樣模塊和第二流下采樣模塊，最終第一流輸出大小為(2N)C×H/(2N+1)×W/(2N+1)的特征圖，第二流輸出大小(2N)D×（HW/(2N+1)2）的序列特征；
步驟S56，將最后一級輸出的雙流特征匯聚到分割頭模塊，通過拼接合并層合并后，經(jīng)過卷積層、上采樣層和歸一化指數(shù)層輸出分割結(jié)果；
步驟S57，將模型輸出的分割結(jié)果與圖片數(shù)據(jù)集對應(yīng)的分割標(biāo)簽進(jìn)行損失計算，根據(jù)損失函數(shù)的計算結(jié)果通過梯度的反傳值更新模型參數(shù)，經(jīng)驗證集驗證后，得到成熟的圖像分割模型。
[0010]作為本發(fā)明的一個優(yōu)選實施例，步驟S53和步驟S54所述融合模塊的融合，執(zhí)行如下操作：
特征圖和序列特征進(jìn)入到第i級融合模塊中的融合單元，第一流經(jīng)過卷積子模塊得到大小為(2i-1 )C×H/2i×W/2i的特征圖，第二流經(jīng)過輕量化Transformer子模塊得到大小為(2i-1 )D×（HW/(2i)2）的序列特征，然后第一流特征圖和第二流序列特征同時進(jìn)入到拼接融合子模塊中，在拼接融合子模塊中，第二流的序列特征經(jīng)轉(zhuǎn)換序列特征維度層將大小為(2i-1 )D×（HW/(2i)2）序列特征轉(zhuǎn)換成大小為(2i-1 )D×H/2i×W/2i的特征圖，再與第一流的特征圖經(jīng)過拼接合并層在通道維度上進(jìn)行拼接得到大小為(2i-1 )（C+D）×H/2i×W/2i的融合特征圖；再將融合特征圖再輸入到分流單元中，在分流單元中，經(jīng)過1×1卷積子模塊得到大小為(2i-1 )C×H/2i×W/2i的第一流特征圖，經(jīng)過P-E子模塊得到大小為(2i-1 )D×（HW/(2i)2）的第二流序列特征；
第一流特征圖和第二流序列特征再進(jìn)入到下一組融合單元和分流單元或同一級第一流下采樣模塊和第二流下采樣模塊；若進(jìn)入下一組融合單元和分流單元，則重復(fù)融合單元和分流單元的操作。
[0011]作為本發(fā)明的一個優(yōu)選實施例，步驟S51訓(xùn)練前，對圖片進(jìn)行隨機(jī)水平翻轉(zhuǎn)、隨機(jī)豎直翻轉(zhuǎn)、隨機(jī)多尺度變換、隨機(jī)角度變換和/或MixUp變換，對應(yīng)的標(biāo)簽做同樣變換。
[0012]第二方面，本發(fā)明實施例還提供了一種轉(zhuǎn)爐下渣監(jiān)測系統(tǒng)，所述監(jiān)測系統(tǒng)包括：數(shù)據(jù)采集子系統(tǒng)、圖像雙流分割模型子系統(tǒng)、實時圖片采集及監(jiān)測結(jié)果輸出子系統(tǒng)；其中，
所述數(shù)據(jù)采集子系統(tǒng)包括：歷史圖片獲取模塊、分割標(biāo)簽標(biāo)注模塊、數(shù)據(jù)集生成模塊；所述歷史圖片獲取模塊用于采集轉(zhuǎn)爐出鋼過程中不同傾斜角度下的圖片，所述圖片覆蓋出鋼的完整過程，且每張圖片至少包含爐口的鋼渣圖像；所述分割標(biāo)簽標(biāo)注模塊用于對圖片中的每個像素點進(jìn)行標(biāo)注，分別標(biāo)注為背景、鋼渣、爐內(nèi)壁、爐口四個類別的分割標(biāo)簽，并將標(biāo)簽與圖片的傾斜角度進(jìn)行綁定；所述數(shù)據(jù)集生成模塊用于將所有標(biāo)注了標(biāo)簽的圖片生成圖片數(shù)據(jù)集，并將圖片數(shù)據(jù)集按照預(yù)設(shè)比例劃分為訓(xùn)練集和驗證集；
所述圖像雙流分割模型子系統(tǒng)用于提供圖像雙流分割模型，并完成訓(xùn)練和驗證得到成熟的圖像雙流分割模型；其中，所述圖像雙流分割模型包括：一個Stem模塊、第一流卷積模塊、第二流P-E模塊、至少兩個融合模塊、至少兩個第一流下采樣模塊、至少兩個第二流下采樣模塊和分割頭模塊，且融合模塊和第一流下采樣模塊、第二流下采樣模塊的數(shù)量相同，數(shù)量為最大級數(shù)，并按級數(shù)依次排列；其中，第一流卷積模塊和第二流P-E模塊的輸入端同時與Stem模塊相連，輸出端同時與第一級融合模塊相連；所述融合模塊的輸出端同時與同級的第一流下采樣模塊和第二流下采樣模塊相連；除第一級融合模塊外，其余級別的融合模塊的輸入端同時與上一級的第一流下采樣模塊和第二流下采樣模塊相連；最后一級第一流下采樣模塊和第二流下采樣模塊同時與分割頭模塊相連；
所述實時圖片采集及監(jiān)測結(jié)果輸出子系統(tǒng)用于捕捉現(xiàn)場轉(zhuǎn)爐的實時出鋼圖片，將圖片進(jìn)行預(yù)處理后，發(fā)送給所述圖像雙流分割模型子系統(tǒng)；并接收成熟的圖像雙流分割模型所得到的分割結(jié)果，輸出鋼渣、爐口和爐內(nèi)壁的實時監(jiān)測位置。
[0013]作為本發(fā)明的一個優(yōu)選實施例，所述融合模塊包括至少一組融合單元和分流單元；其中，
每個融合單元包括卷積子模塊、輕量化Transformer子模塊和拼接融合子模塊，其中卷積子模塊包括連續(xù)卷積層和/或殘差卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)層，輕量化Transformer子模塊包括自注意力機(jī)制層、歸一化層和多層感知機(jī)，拼接融合子模塊包括轉(zhuǎn)換序列特征維度層和拼接合并層；
每個分流單元包括1×1卷積子模塊和P-E子模塊，其中1×1卷積子模塊包括1×1且步長為1的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)，P-E子模塊包括轉(zhuǎn)換特征圖維度層和線性映射層；
每個融合單元中，卷積子模塊的輸入端與第一流卷積模塊相連，輸出端與拼接融合子模塊相連；輕量化Transformer子模塊的輸入端與第二流P-E模塊相連，輸出端與拼接融合子模塊相連；拼接融合子模塊的輸出端再與分流單元相連，分流單元再分別與同一融合模塊中的卷積子模塊、輕量化Transformer子模塊相連或與同一級的第一流下采樣模塊和第二流下采樣模塊相連。
[0014]本發(fā)明實施例提供的轉(zhuǎn)爐下渣監(jiān)測方法及系統(tǒng)，基于Transformer模型構(gòu)建圖像分割模型進(jìn)行轉(zhuǎn)爐下渣監(jiān)測，通過分流與融合機(jī)制的多次交叉與結(jié)合，卷積的特征得到了輕量化Transformer子模塊提取的全局信息特征，序列特征得到了卷積子模塊提取的局部信息特征，不同特征融合的同時進(jìn)行交互，不僅增大了模型的感受野，同時實現(xiàn)信息互補(bǔ)，從而增強(qiáng)了模型表達(dá)能力；另外特征的融合和互補(bǔ)使得Transformer無需原本的預(yù)訓(xùn)練權(quán)重而直接進(jìn)行特征提取，從而使得模型結(jié)構(gòu)可以根據(jù)實際需求進(jìn)行更靈活地調(diào)整，每個融合模塊中可以包含多組融合單元和分流單元，同時分流后可以再進(jìn)行多級融合，獲得最佳的信息表達(dá)結(jié)果，滿足了工業(yè)現(xiàn)場應(yīng)用的實時性，將鋼渣、爐內(nèi)壁、以及爐口準(zhǔn)確識別出來，避免了現(xiàn)場惡劣環(huán)境的干擾，保證了操作人員的安全；提高了對鋼渣的監(jiān)測精度，并且魯棒性強(qiáng)，能夠準(zhǔn)確地對轉(zhuǎn)爐運行狀況進(jìn)行處理；同時節(jié)省了資源，提高了煉鋼生產(chǎn)效率。
附圖說明
[0015]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。
[0016]圖1為本發(fā)明實施例所提供的轉(zhuǎn)爐下渣監(jiān)測方法流程圖；
圖2為本發(fā)明實施例中圖像雙流分割模型結(jié)構(gòu)示意圖；
圖3為本發(fā)明實施例中融合模塊結(jié)構(gòu)示意圖；
圖4為本發(fā)明實施例中訓(xùn)練和驗證過程示意圖；
圖5為本發(fā)明實施例中訓(xùn)練數(shù)據(jù)流轉(zhuǎn)及變化原理圖；
圖6為采用本發(fā)明實施例監(jiān)測出鋼過程時轉(zhuǎn)爐第一傾斜角度下鋼渣位置原圖和分割效果圖；
圖7為采用本發(fā)明實施例監(jiān)測出鋼過程時轉(zhuǎn)爐第二傾斜角度下鋼渣位置原圖和分割效果圖；
圖8為采用本發(fā)明實施例監(jiān)測出鋼過程時轉(zhuǎn)爐第三傾斜角度下鋼渣位置原圖和分割效果圖。
具體實施方式
[0017]下面結(jié)合附圖對本發(fā)明實施例進(jìn)行詳細(xì)描述。
[0018]應(yīng)當(dāng)明確，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護(hù)的范圍。
[0019]針對上述問題，本發(fā)明實施例提出了一種轉(zhuǎn)爐下渣監(jiān)測方法及系統(tǒng)，基于Transformer模型對實時采集的轉(zhuǎn)爐圖像進(jìn)行實時分割，將背景、鋼渣、爐內(nèi)壁和爐口檢測出來，通過對鋼渣圖像的識別與處理，保證煉鋼生產(chǎn)設(shè)備正常運轉(zhuǎn)，同時提高合金元素收得率，節(jié)省材料成本，提高煉鋼質(zhì)量。本發(fā)明模型泛化能力和提取全局信息能力強(qiáng)，能夠有效抑制復(fù)雜背景區(qū)域的干擾，并且能夠根據(jù)實際需求靈活調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，圖像分割精度高、實時性強(qiáng)，準(zhǔn)確地識別鋼渣部分；同時能夠?qū)崟r監(jiān)測冶金工業(yè)現(xiàn)場情況，有效地保護(hù)現(xiàn)場工人、降低冶煉成本、提高冶煉質(zhì)量。
[0020]如圖1所示，本發(fā)明實施例所提供的轉(zhuǎn)爐下渣監(jiān)測方法，包括如下步驟：
步驟S1，采集轉(zhuǎn)爐出鋼過程中不同傾斜角度下的圖片，所述圖片覆蓋出鋼的完整過程，且每張圖片至少包含爐口的鋼渣圖像。
[0021]本步驟中，轉(zhuǎn)爐在出鋼過程中，同時伴隨下渣，鋼渣在鋼水上側(cè)，下側(cè)的鋼水向鋼包中傾倒時，一方面需要保證鋼渣不會倒入鋼包中，另一方面需要保證轉(zhuǎn)爐的傾斜角度不會導(dǎo)致鋼水上側(cè)的鋼渣溢出爐口。隨著鋼水的倒出，轉(zhuǎn)爐傾斜角度發(fā)生改變，傾倒角度和傾倒速度在預(yù)設(shè)的范圍內(nèi)變化，才可以保證鋼水的高質(zhì)量傾倒。本步驟中，首先采集正常作業(yè)下的轉(zhuǎn)爐出鋼圖片數(shù)據(jù)，作為基礎(chǔ)數(shù)據(jù)對轉(zhuǎn)爐的后續(xù)作業(yè)提供支持與參考。本步驟中，所述不同傾斜角度，以預(yù)設(shè)角度或時間為間隔進(jìn)行數(shù)據(jù)采集，根據(jù)轉(zhuǎn)爐的實際情況進(jìn)行選擇。所采集的圖片，可以提供轉(zhuǎn)爐的完整傾倒過程，同時包含爐口的鋼渣圖像。
[0022]步驟S2，對圖片中的每個像素點進(jìn)行標(biāo)注，分別標(biāo)注為背景、鋼渣、爐內(nèi)壁、爐口四個類別的分割標(biāo)簽，并將標(biāo)簽與圖片的傾斜角度進(jìn)行綁定。
[0023]步驟S3，將所有標(biāo)注了標(biāo)簽的圖片生成圖片數(shù)據(jù)集，并將圖片數(shù)據(jù)集按照預(yù)設(shè)比例劃分為訓(xùn)練集和驗證集。
[0024]步驟S4，構(gòu)建圖像雙流分割模型，如圖2所示，所述圖像雙流分割模型包括一個Stem模塊、第一流卷積模塊、第二流P-E模塊、至少兩個基于Transformer模型的融合模塊、至少兩個第一流下采樣模塊、至少兩個第二流下采樣模塊和分割頭模塊，且融合模塊和第一流下采樣模塊、第二流下采樣模塊的數(shù)量相同，數(shù)量為最大級數(shù)，并按級數(shù)依次排列；其中，第一流卷積模塊和第二流P-E（Patch Embedding）模塊的輸入端同時與Stem模塊相連，輸出端同時與第一級融合模塊相連；所述融合模塊的輸出端同時與同級的第一流下采樣模塊和第二流下采樣模塊相連；除第一級融合模塊外，其余級別的融合模塊的輸入端同時與上一級的第一流下采樣模塊和第二流下采樣模塊相連；最后一級第一流下采樣模塊和第二流下采樣模塊同時與分割頭模塊相連。本步驟中，當(dāng)圖片輸入所構(gòu)建的圖像雙流分割模型后，自一個Stem模塊作為開端，分為雙流，第一流經(jīng)過1×1卷積模塊，第二流經(jīng)過P-E模塊，而后經(jīng)第一級融合模塊進(jìn)行第一級融合后，再分別進(jìn)行第一流和第二流的下采樣；以四級為例，共歷經(jīng)四級融合和分別下采樣后，再匯聚于分割頭模塊，最后輸出分割圖像。所述圖像雙流分割模型，基于引入Transformer模型進(jìn)行構(gòu)建，增大網(wǎng)絡(luò)感受野，同時增強(qiáng)模型建模上下文信息的能力，能夠減少鋼渣周圍背景的誤分割，提高模型準(zhǔn)確度。
[0025]本步驟中所述Stem模塊，包含步長為2、卷積核大小為7×7的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)；所述第一流卷積模塊包括1×1且步長為1的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)；所述第二流P-E模塊包括轉(zhuǎn)換特征圖維度層和線性映射層。
[0026]如圖3所示，所述融合模塊包括至少一組融合單元和分流單元，每個融合單元包括卷積子模塊、輕量化Transformer子模塊和拼接融合子模塊，其中卷積子模塊包括連續(xù)卷積層和/或殘差卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)層，輕量化Transformer子模塊包括自注意力機(jī)制層、歸一化層和多層感知機(jī)，拼接融合子模塊包括轉(zhuǎn)換序列特征維度層和拼接合并層；每個分流單元包括1×1卷積子模塊和P-E子模塊，其中1×1卷積子模塊包括1×1且步長為1的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)，P-E子模塊包括轉(zhuǎn)換特征圖維度層和線性映射層。每個融合單元中，卷積子模塊的輸入端與第一流卷積模塊相連，輸出端與拼接融合子模塊相連；輕量化Transformer子模塊的輸入端與第二流P-E模塊相連，輸出端與拼接融合子模塊相連；拼接融合子模塊的輸出端再與分流單元相連。從融合單元的拼接融合子模塊中輸出的數(shù)據(jù)均通過分流單元進(jìn)行分流，分流后的數(shù)據(jù)再分別輸入下一組的卷積子模塊和輕量化Transformer子模塊，或第一流下采樣模塊和第二流下采樣模塊。
[0027]所述第一流下采樣模塊包括最大池化層和1×1且步長為1的卷積層，第二流下采樣模塊包括轉(zhuǎn)換序列特征維度層、最大池化層、1×1且步長為1的卷積層和轉(zhuǎn)換特征圖維度層；所述分割頭模塊包括轉(zhuǎn)換序列特征維度層、拼接合并層、上采樣層、1×1且步長為1的卷積層和歸一化指數(shù)層。
[0028]步驟S5，采用訓(xùn)練集和驗證集對所述圖像雙流分割模型進(jìn)行訓(xùn)練和驗證，得到成熟的圖像雙流分割模型。
[0029]本步驟中，當(dāng)采用訓(xùn)練集和驗證集對模型進(jìn)行訓(xùn)練和驗證時，假設(shè)輸入圖片的高為H，寬為W，C為模型的基礎(chǔ)通道維度數(shù)，D為模型的基礎(chǔ)序列維度數(shù)；訓(xùn)練前對圖片進(jìn)行隨機(jī)水平翻轉(zhuǎn)、隨機(jī)豎直翻轉(zhuǎn)、隨機(jī)多尺度變換、隨機(jī)角度變換和/或MixUp等變換，對應(yīng)的標(biāo)簽做同樣變換。
[0030]如圖4所示，訓(xùn)練及驗證過程如下：
步驟S51，圖片輸入Stem模塊后，輸出特征圖大小為C×H/2×W/2。
[0031]步驟S52，將所述特征圖通過1×1卷積模塊和P-E模塊進(jìn)行分流，第一流經(jīng)過1×1卷積模塊后得到大小為C×H/2×W/2的特征圖，第二流經(jīng)過P-E模塊后得到大小為D×（HW/4）的序列特征。
[0032]步驟S53，將第一流卷積模塊輸出的特征圖和第二流PE模塊輸出的序列特征同時輸入到第一級融合模塊中，經(jīng)第一級融合模塊的融合，得到大小為C×H/2×W/2的特征圖和D×（HW/4）的序列特征；本實施例以第一級融合模塊包含兩組融合單元和分流單元為例進(jìn)行說明。
[0033]特征圖和序列特征首先進(jìn)入到第一級融合模塊中的第一個融合單元，第一流經(jīng)過卷積子模塊得到大小為C×H/2×W/2的特征圖，第二流經(jīng)過輕量化Transformer子模塊得到大小為D×（HW/4）的序列特征，然后第一流特征圖和第二流序列特征同時進(jìn)入到拼接融合子模塊中，在拼接融合子模塊中，第二流的序列特征經(jīng)轉(zhuǎn)換序列特征維度層將大小為D×（HW/4）序列特征轉(zhuǎn)換成大小為D×H/2×W/2的特征圖，再與第一流的特征圖經(jīng)過拼接合并層在通道維度上進(jìn)行拼接得到大小為（C+D）×H/2×W/2的融合特征圖。然后將融合特征圖再輸入到分流單元中，在分流單元中，經(jīng)過1×1卷積子模塊得到大小為C×H/2×W/2的第一流特征圖，經(jīng)過P-E子模塊得到大小為D×（HW/4）的第二流序列特征。第一流特征圖和第二流序列特征再進(jìn)入到第二組融合單元和分流單元，重復(fù)和第一組相同的操作。之后，第一流特征圖和第二流序列特征分別輸入到第一級第一流下采樣模塊和第一級第二流下采樣模塊。經(jīng)過兩組融合單元和分流單元的處理，增強(qiáng)了整體的特征提取能力。
[0034]步驟S54，將C×H/2×W/2的特征圖和D×（HW/4）的序列特征分別輸入第一流下采樣模塊和第二流下采樣模塊；在第一流下采樣模塊中，第一流特征圖經(jīng)最大池化層和1×1且步長為1的卷積層將特征圖分辨率減半，通道數(shù)翻倍，得到大小為2C×H/4×W/4的特征圖，在第二流下采樣模塊中，第二流序列特征經(jīng)轉(zhuǎn)換序列特征維度層得到大小為D×H/2×W/2的特征圖，然后經(jīng)過最大池化層和1×1且步長為1的卷積層將特征圖分辨率減半，通道數(shù)翻倍，得到大小為2D×H/4×W/4的特征圖，再經(jīng)過轉(zhuǎn)換特征圖維度層得到2D×（HW/16）的序列特征。
[0035]步驟S55，進(jìn)入各級融合模塊的融合和各級第一流下采樣模塊和第二流下采樣模塊的下采樣的循環(huán)，直到將最后一級融合特征圖分流，分別進(jìn)入最后一級第一流下采樣模塊和第二流下采樣模塊，最終第一流輸出大小為(2N)C×H/(2N+1)×W/(2N+1)的特征圖，第二流輸出大小(2N)D×（HW/(2N+1)2）的序列特征。以四級融合模塊且每級融合模塊分別包括2、2、4、2組融合單元和分流單元為例，如圖5所示，最終第一流輸出大小為16C×H/32×W/32的特征圖，第二流輸出大小16D×（HW/1024）的序列特征。
[0036]整個循環(huán)過程中，在融合模塊的融合單元中，將卷積子模塊和輕量化Transformer子模塊提取的特征通過拼接融合子模塊進(jìn)行融合，第一流得到了輕量化Transformer子模塊提取的全局信息特征，第二流得到了卷積子模塊提取的局部信息特征，特征融合的同時進(jìn)行交互，不僅增大了模型的感受野，同時實現(xiàn)信息互補(bǔ)，從而增強(qiáng)了模型表達(dá)能力；另外特征的融合和互補(bǔ)使得Transformer無需原本的預(yù)訓(xùn)練權(quán)重而直接進(jìn)行特征提取，從而使得模型結(jié)構(gòu)可以進(jìn)行更靈活地調(diào)整，每個融合模塊中可以包含多組融合單元和分流單元，同時分流后可以再進(jìn)行多級融合，獲得最佳的信息表達(dá)結(jié)果。
[0037]步驟S56，將最后一級輸出的雙流特征匯聚到分割頭模塊，第二流序列特征經(jīng)過轉(zhuǎn)換序列特征維度層與第一流特征圖通過拼接合并層合并后，經(jīng)過上采樣層、卷積層和歸一化指數(shù)層輸出分割結(jié)果。
[0038]如圖5所示，以四級融合模塊且每級融合模塊分別包括2、2、4、2組融合單元和分流單元為例，第一級融合模塊包括兩組融合單元和分流單元；第二級融合模塊包括兩組融合單元和分流單元；第三級融合模塊包括四組融合單元和分流單元；第四級融合模塊包括兩組融合單元和分流單元。由圖5可以看出步驟S51至步驟S55數(shù)據(jù)的流動及變化過程。
[0039]步驟S57，將模型輸出的分割結(jié)果與圖片數(shù)據(jù)集對應(yīng)的分割標(biāo)簽進(jìn)行損失計算，根據(jù)損失函數(shù)的計算結(jié)果通過梯度的反傳值更新模型參數(shù)，經(jīng)驗證集驗證后，得到成熟的圖像分割模型。
[0040]步驟S6，捕捉現(xiàn)場轉(zhuǎn)爐的實時出鋼圖片，將圖片進(jìn)行預(yù)處理后，輸入成熟的圖像雙流分割模型，并輸出分割結(jié)果，得到鋼渣、爐口和爐內(nèi)壁的實時監(jiān)測位置。
[0041]圖6為出鋼過程中轉(zhuǎn)爐第一傾斜角度下鋼渣位置原圖和分割效果圖；圖7為出鋼過程中轉(zhuǎn)爐第二傾斜角度下鋼渣位置原圖和分割效果圖；圖8為出鋼過程中轉(zhuǎn)爐第三傾斜角度下鋼渣位置原圖和分割效果圖。如圖6-8所示，采用本實施例所述轉(zhuǎn)爐下渣監(jiān)測方法對轉(zhuǎn)爐出鋼時的鋼渣位置進(jìn)行監(jiān)測，模型的分割結(jié)果能夠?qū)⒈尘?、鋼渣、爐內(nèi)壁、以及爐口準(zhǔn)確識別出來，進(jìn)而準(zhǔn)確獲取渣線位置，為控制轉(zhuǎn)爐傾斜角提供位置給定。
[0042]由以上技術(shù)方案可以看出，本發(fā)明基于Transformer網(wǎng)絡(luò)的圖像分割模型，應(yīng)用于轉(zhuǎn)爐出渣監(jiān)測時，全局信息提取能力強(qiáng)，能夠根據(jù)實際需求靈活調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，滿足工業(yè)現(xiàn)場應(yīng)用的實時性，能夠監(jiān)測鋼渣位置，并將鋼渣、爐口和爐內(nèi)壁分割出來，避免了現(xiàn)場惡劣環(huán)境的干擾，保證了操作人員的安全；提高了對鋼渣的監(jiān)測精度，并且魯棒性強(qiáng)，能夠準(zhǔn)確地對轉(zhuǎn)爐運行狀況進(jìn)行處理；同時節(jié)省了資源，提高了煉鋼生產(chǎn)效率。
[0043]本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以通過計算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體（Read-Only Memory，ROM）或隨機(jī)存儲記憶體（Random AccessMemory，RAM）等。
[0044]基于同樣的思想，本發(fā)明實施例還提供了一種轉(zhuǎn)爐下渣監(jiān)測系統(tǒng)，如圖8所述監(jiān)測系統(tǒng)包括：數(shù)據(jù)采集子系統(tǒng)、圖像雙流分割模型子系統(tǒng)、實時圖片采集及監(jiān)測結(jié)果輸出子系統(tǒng)。
[0045]其中，所述數(shù)據(jù)采集子系統(tǒng)包括：歷史圖片獲取模塊、分割標(biāo)簽標(biāo)注模塊、數(shù)據(jù)集生成模塊；
所述歷史圖片獲取模塊用于采集轉(zhuǎn)爐出鋼過程中不同傾斜角度下的圖片，所述圖片覆蓋出鋼的完整過程，且每張圖片至少包含爐口的鋼渣圖像；所述分割標(biāo)簽標(biāo)注模塊用于對圖片中的每個像素點進(jìn)行標(biāo)注，分別標(biāo)注為背景、鋼渣、爐內(nèi)壁、爐口四個類別的分割標(biāo)簽，并將標(biāo)簽與圖片的傾斜角度進(jìn)行綁定；所述數(shù)據(jù)集生成模塊用于將所有標(biāo)注了標(biāo)簽的圖片生成圖片數(shù)據(jù)集，并將圖片數(shù)據(jù)集按照預(yù)設(shè)比例劃分為訓(xùn)練集和驗證集；
所述圖像雙流分割模型子系統(tǒng)用于提供圖像雙流分割模型，并完成訓(xùn)練和驗證得到成熟的圖像雙流分割模型；其中，如圖2和圖3所示，所述圖像雙流分割模型包括：一個Stem模塊、第一流卷積模塊、第二流P-E模塊、至少兩個融合模塊、至少兩個第一流下采樣模塊、至少兩個第二流下采樣模塊和分割頭模塊，且融合模塊和第一流下采樣模塊、第二流下采樣模塊的數(shù)量相同，數(shù)量為最大級數(shù)，并按級數(shù)依次排列；其中，第一流卷積模塊和第二流P-E模塊的輸入端同時與Stem模塊相連，輸出端同時與第一級融合模塊相連；所述融合模塊的輸出端同時與同級的第一流下采樣模塊和第二流下采樣模塊相連；除第一級融合模塊外，其余級別的融合模塊的輸入端同時與上一級的第一流下采樣模塊和第二流下采樣模塊相連；最后一級第一流下采樣模塊和第二流下采樣模塊同時與分割頭模塊相連。
[0046]所述融合模塊包括至少一組融合單元和分流單元，每個融合單元包括卷積子模塊、輕量化Transformer子模塊和拼接融合子模塊，其中卷積子模塊包括連續(xù)卷積層和/或殘差卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)層，輕量化Transformer子模塊包括自注意力機(jī)制層、歸一化層和多層感知機(jī)，拼接融合子模塊包括轉(zhuǎn)換序列特征維度層和拼接合并層；每個分流單元包括1×1卷積子模塊和P-E子模塊，其中1×1卷積子模塊包括1×1且步長為1的卷積層、批標(biāo)準(zhǔn)化層及ReLU激活函數(shù)，P-E子模塊包括轉(zhuǎn)換特征圖維度層和線性映射層。每個融合單元中，卷積子模塊的輸入端與第一流卷積模塊相連，輸出端與拼接融合子模塊相連；輕量化Transformer子模塊的輸入端與第二流P-E模塊相連，輸出端與拼接融合子模塊相連；拼接融合子模塊的輸出端再與分流單元相連，分流單元再分別與同一融合模塊中的下一組卷積子模塊、輕量化Transformer子模塊相連或與同一級的第一流下采樣模塊和第二流下采樣模塊相連。
[0047]所述實時圖片采集及監(jiān)測結(jié)果輸出子系統(tǒng)用于捕捉現(xiàn)場轉(zhuǎn)爐的實時出鋼圖片，將圖片進(jìn)行預(yù)處理后，發(fā)送給所述圖像雙流分割模型子系統(tǒng)；并接收成熟的圖像雙流分割模型所得到的分割結(jié)果，輸出鋼渣、爐口和爐內(nèi)壁的實時監(jiān)測位置。
[0048]本實施例中各子系統(tǒng)及模塊通過處理器實現(xiàn)，當(dāng)需要存儲時適當(dāng)增加存儲器。其中，所述處理器可以是但不限于微處理器MPU、中央處理器(Central Processing Unit，CPU)、網(wǎng)絡(luò)處理器 (Network Processor，NP)、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、其他可編程邏輯器件、分立門、晶體管邏輯器件、分立硬件組件等。所述存儲器可以包括隨機(jī)存取存儲器（Random Access Memory，RAM），也可以包括非易失性存儲器（Non-Volatile Memory，NVM），例如至少一個磁盤存儲器?？蛇x的，存儲器還可以是至少一個位于遠(yuǎn)離前述處理器的存儲裝置。
[0049]需要說明的是，本實施例所述轉(zhuǎn)爐下渣監(jiān)測系統(tǒng)與所述轉(zhuǎn)爐下渣監(jiān)測方法是對應(yīng)的，對所述方法的限定和描述同樣適用于所述系統(tǒng)，在此不再贅述。
[0050]在上述實施例中，可以全部或部分地通過軟件、硬件、固件或者其任意組合來實現(xiàn)。當(dāng)使用軟件實現(xiàn)時，可以全部或部分地以計算機(jī)程序產(chǎn)品的形式實現(xiàn)。所述計算機(jī)程序產(chǎn)品包括一個或多個計算機(jī)指令。在計算機(jī)上加載和執(zhí)行所述計算機(jī)程序指令時，全部或部分地產(chǎn)生按照本發(fā)明實施例所述的流程或功能。所述計算機(jī)可以是通用計算機(jī)、專用計算機(jī)、計算機(jī)網(wǎng)絡(luò)、或者其他可編程裝置。所述計算機(jī)指令可以存儲在計算機(jī)可讀存儲介質(zhì)中，或者從一個計算機(jī)可讀存儲介質(zhì)向另一個計算機(jī)可讀存儲介質(zhì)傳輸，例如，所述計算機(jī)指令可以從一個網(wǎng)站站點、計算機(jī)、服務(wù)器或數(shù)據(jù)中心通過有線（例如同軸電纜、光纖、數(shù)字用戶線（DSL））或無線（例如紅外、無線、微波等）方式向另一個網(wǎng)站站點、計算機(jī)、服務(wù)器或數(shù)據(jù)中心進(jìn)行傳輸。
[0051]以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
全文PDF
轉(zhuǎn)爐下渣監(jiān)測方法及系統(tǒng).pdf
聲明：
“轉(zhuǎn)爐下渣監(jiān)測方法及系統(tǒng)” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究，如用于商業(yè)用途，請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)
1638
編輯：中冶有色技術(shù)網(wǎng)
來源：北京科技大學(xué)
分享 0
舉報 0
收藏 0
反對 0
點贊 0
中冶有色技術(shù)平臺
2025年03月21日 ~ 23日 
