大話數據挖掘之數據挖掘流程（以鋼鐵行業為例）
2021-01-18 18:00:36
次
某985高校管理學院第五屆EMBA班的《數據挖掘及其應用》課程上。
上一節課結束時，徐教授建議讓國內不銹鋼巨頭公司的品質部李部長與大家分享他們公司數據挖掘的成功經驗，向學員們介紹數據挖掘的流程。
李部長說：“鋼鐵企業是流程化的生產單位，雖然生產自動化程度非常高，但是，老實說，我們的很多工序如煉鐵、煉鋼、連鑄、軋鋼等的過程控制很大程度上依賴技術工人的經驗，對生產過程的駕馭還比較粗放。不過，我們已經建立了先進的信息化平臺。尤其是近幾年企業形成的‘建設創新型企業’的文化氛圍下，我們公司積累了豐富的數據，也具備了一支高素質的管理技術隊伍。企業高層領導一致認為，科學決策是企業信息化建設的最終目標，數據挖掘是實現這一目標的有效工具，是構筑未來核心竟爭優勢、保持可持續發展、實施精細化管理的戰略選擇。”
李部長繼續說道：“大家知道， ERP系統它以供應鏈為主線，包括從銷售訂單或生產經營計劃—生產排程—組織采購—安排生產—銷售發貨的整個過程，著力于計劃流、物流、信息流、資金流的統一運轉，通過計劃流驅動物流，通過物流驅動資金流的良性循環。從ERP的角度來看，SAP系統確實不辱‘全球最佳’這一稱號。但從數據挖掘的角度 著眼，關注新產品設計、改進產品質量、降低生產成本、設備故障檢測等這些主題。這些方面涉及到基礎自動化（L1）、過程自動化（L2）、產線管控（MES）、經營管理(ERP)、決策支持(DSS)等信息系統?？墒沁@五級系統并沒有完全整合，在一定程度上還是‘信息孤島’。當確定了數據挖掘的目標后，就需要對數據進行整理。當然，像我們這樣正在進軍世界五百強的大型鋼鐵公司，可以通過數據挖掘解決的問題太多了，最好是統一規劃，建立數據倉庫。”
李部長道：“目前我國的大中型企業不乏信息化方面的技術人員，但懂得數據挖掘的人才寥寥無幾，在這種條件下開展數據挖掘工作，一方面需要與高校等科研單位或專業的數據挖掘公司合作，另一方面還要加強數據挖掘知識培訓，培養一些既精通本領域業務，又熟悉數據挖掘流程，了解數據挖掘方法的技術骨干。這樣，行業領域技術人員和數據挖掘專家一起才能從實際工作中提煉出可以通過數據挖掘方法解決的問題，建立合理的數據模型，客觀地評估數據挖掘的結果。”
李部長接著說：“組建了團隊以后，怎樣開展工作呢？大家首先要清楚地認識到，數據挖掘可以解決企業生產、管理中的很多用常規方法難以處理的問題，但數據挖掘也不是萬能的，不能包攬所有問題。而且還會有一些問題應用經典的數據挖掘方法無法得到滿意的結果，需要數據挖掘專家針對具體問題建立相應的數學模型并設計特有的求解算法才能解決。因此，開展數據挖掘的初期，最好選擇一些相對容易的問題，這樣，一方面能夠很快領略到數據挖掘的奧妙，另一方面為解決較為復雜的問題積累經驗。”
數據挖掘項目實施
“李部長，這回你可謂騎馬上獨木橋——回不得頭了！”S鋼鐵公司的趙總說。
李部長顯得不慌不忙的樣子：“研究團隊成立后各小組立即緊鑼密鼓地按照‘跨行業數據挖掘標準流程’既有分工又相互協作地開展工作，經過一個半月的奮戰，終于取得了可喜的成果。”
李部長用光筆指著這張流程圖說：“為了低成本、易操作、高效、可靠地進行數據挖掘，經過數據挖掘標準化聯盟對十幾年數據挖掘實踐進行經驗總結和理論抽象，創建了跨行業數據挖掘標準流程，即CRoss Industry Standard Process for Data Mining，簡稱CRISP-DM。它包括業務理解、數據理解以及收集、數據準備、建立模型、模型評估和部署六個階段。我們消除硅鋼鋼板縱條紋缺陷的數據挖掘方法項目也是按照這六個步驟進行的。”
1 業務理解階段(business understanding)
李部長手中的光筆指著投影幕：“我代表甲方提出，硅鋼縱條紋問題的需求很明確，就是要應用數據挖掘方法找出導致縱條紋的關鍵因素，并實現對關鍵因素的控制達到消除硅鋼縱條紋的目的。”
“在第一次數據挖掘會議上，我先匯報了硅鋼生產線出現縱條紋缺陷的情況。我們公司技術中心教授級高工劉主任從冶金學原理方面陳述了縱條紋產生的機理，軋鋼廠楊總工描述了硅鋼生產流程并分析了影響硅鋼縱條紋的因素。X大學數據挖掘中心金教授介紹了對硅鋼縱條紋問題數據建模的初步設想。經過各小組成員一起認真分析認為，硅鋼縱條紋問題有望通過非平衡的分類方法解決。最后，提出了將硅鋼縱條紋比率由現在的12.1%降低到1.8%的目標。”
2 數據理解階段(data understanding)
“下一步我們進入了數據挖掘的數據理解階段。在這一階段，我們根據硅鋼縱條紋產生的機理和硅鋼生產流程，經過反復篩選，初步確定硅鋼縱條紋的影響因素有連鑄中包溫度、連鑄拉速、鑄坯成分、粗軋出口溫度、精軋出口溫度和卷取溫度等共21個。”李部長說。
李部長得意地說：“用了5天時間，數據組就將數據從相關部門收集來了。他們對各部門的數據瀏覽，發現數據有不少缺失，甚至還有明顯的異常。進一步分析發現，有些影響因素的數據方差特別小，于是便將它們認為是常量。數據組一致認為雖然從理論上說這些因素對硅鋼縱條紋有作用，但生產工藝控制命中率足夠高，使得相應的影響因素數據變化很小，對硅鋼縱條紋的作用幾乎恒定不變。于是將這些影響因素刪除，影響因素從原來的21個減少到15個。最后，數據組給出了影響縱條紋的因素列表，并對數據具體含義、命中目標值、異常、缺失等進行了詳細的描述，形成了《數據收集及質量檢驗報告》。”
3 數據準備階段(data preparation)
李部長接著說：“數據理解階段已經初步確定，硅鋼縱條紋的主要影響因素有15個，包含連鑄中包溫度t1、t2、t3，連鑄拉速v1、v2、v3（數據來源于連鑄數據庫），鑄坯成分C、Si、Mn、S、P、Al（數據由檢化驗數據庫獲得），粗軋出口溫度RT0、精軋出口溫度FT6和卷取溫度CT（要從軋鋼數據庫提?。＿@些數據可由鑄坯編號、轉爐編號和硅鋼卷號關聯形成一個數據表。然后再對這個表進行空值及異常值處理、離群值剔除操作。”
李部長：“一般最好不要輕易刪除數據，對于空值、異常值處理、離群值通常采取均值、迭代回歸等方法進行補缺或修正處理，尤其在樣本數量較少的情況下更應當如此。不過經過1個多月的生產數據積累，我們采集的數據量比較充分，刪除極少量‘壞’樣本對數據建模不會有什么影響。”
4 建模階段(modeling)
李部長指著大屏幕說道：“硅鋼縱條紋問題初步分析就是一個非平衡分類問題，可將幾乎所有的分類問題的數學模型和求解算法統統試驗了多遍，所得到模型的預測能力都非常差。后來發現硅鋼縱條紋數據集不僅是非平衡數據集，而且是不相容數據。”
“硅鋼生產是非常復雜的生產過程，產生縱條紋的影響因素很多，為了簡化問題和數據獲取方便，我們忽略了一些對縱條紋作用相對較小的影響因素，這樣就會存在很多硅鋼產品其影響縱條紋的因素非常相同或相近，但縱條紋的類別完全相反。這樣的樣本稱為不相容樣本，相應的數據集稱為不相容數據集。”
李部長指向圖上的紅點：“這些紅點大部分中還套有藍色的‘+’號，這些樣本就是不相容數據？”
李部長繼續說道：“不知大家留心沒有，圖的左下方全是藍色的‘+’號，代表這一片區域都是正品，是生產的‘優區’，右上方藍色和紅色交疊，表明這部分區域次品正品都有，是生產的‘劣區’。我們只要使生產在優區進行的規則就行了。”
“我們先提出了一種新的分類準則，稱為支持度最大化準則，即分類器分出的‘優區’的樣本盡可能的多。還提出了實現支持度最大化準則的代價敏感損失函數，在此基礎上才建立了消除硅鋼縱條紋缺陷的L1正則化模型，還創新性的設計了求解該模型的L1稀疏迭代算法。”
李部長的光筆指向圖中間的直線：“這條線就是模型求解得出的生產‘優區’和‘劣區’的分界線，線的左面全是正品，優區樣本的數量對所有樣本的比率即支持度高達49.11%。如果將生產控制在優區進行，就會極大的降低硅鋼縱條紋出現的幾率。”
5 模型評估階段(evaluation)
李部長說：“模型評估是至關重要的一個環節，未經過評估的模型千萬不可直接就去應用。因為所得出的模型只是通過已有的數據得出，對未來數據的預測能力如何，一定要經過實踐的檢驗。”
“我們獲得的分界線即分類器是線性的，我們可以根據每一個變量前面的系數的正負判斷其對縱條紋是正面影響還是負面影響，依據其絕對值的相對大小衡量相應的變量對縱條紋的作用大小。從分類器的表達式容易看出，Si、FT6、Al和P為硅鋼縱條紋的主要影響因素，這與理論分析的定性結論相符。”
6 部署階段(deployment)
李部長：“我們將原來生產控制策略中影響硅鋼縱條紋的15個因素的命中目標值代入所得到得分類器中，發現它正好位于‘優區’和‘劣區’分界線偏右處?？梢姡@正是硅鋼縱條紋比率高的原因。為了保持生產的穩定進行，我們只對硅鋼縱條紋影響最大的4個因素的命中目標值作了調整，將調整后的15個影響因素的目標值代入所得的分類器中，結果落入‘優區’和‘劣區’分界線的左側。”
李部長：“我們將一個半月來的數據挖掘工作進行了詳細總結，最后完成了《應用部署報告》，上報公司領導批準實施改進的生產控制策略。”
李部長鏗鏘地回答道：“董事長召集公司技術中心硅鋼研究室的幾位研究員、硅鋼生產線的主要技術人員和國內著名硅鋼專家W鋼鐵公司的施總工對我們改進的控制策略進行了反復論證，最后同意了我們的方案。”
“一個月后統計結果令人振奮，硅鋼縱條紋的比率降低到了1.65%，產品的各項性能指標達到了國際先進水平。”李部長激動的說。
Tempo商業智能平臺
Tempo人工智能平臺
Tempo數據工廠平臺
Tempo指標平臺
Tempo數據治理平臺
Tempo主數據管理平臺
首頁
陜公網安備 61019002000171號
