數(shù)據(jù)挖掘?qū)崙?zhàn)指南：回歸分析流程詳解與模型預測
2023-12-11 18:00:18
次
回歸分析作為一種數(shù)據(jù)挖掘方法，主要用于預測數(shù)值型數(shù)據(jù)，通過研究自變量和因變量之間的數(shù)量變化關系，可以幫助預測房價、股票的成交額、未來的天氣情況等。屬于有監(jiān)督學習。
第一步接入數(shù)據(jù)：
回歸算法要求接入結構化數(shù)據(jù)，自變量數(shù)據(jù)類型必須為數(shù)值型或字符型，不支持日期型和文本型。因變量只能為數(shù)值型。若接入自變量和因變量數(shù)據(jù)不滿足回歸分析的數(shù)據(jù)要求，可以通過屬性變化節(jié)點進行數(shù)據(jù)類型轉(zhuǎn)換或重新接入數(shù)據(jù)。數(shù)據(jù)的接入方式通過平臺內(nèi)置的數(shù)據(jù)輸入節(jié)點，包括：關系數(shù)據(jù)庫輸入、文件輸入、InfluxDB輸入、HIVE輸入、API輸入等。
第二步設置角色：
根據(jù)預測目標，通過設置角色節(jié)點確定回歸分析研究的自變量與因變量，評估自變量對因變量的具體影響。回歸算法必須設置自變量，自變量可以是連續(xù)型（數(shù)值）也可以是離散型（字符），也必須設置因變量，且因變量只能是一個連續(xù)型（數(shù)值）。當然在設置角色節(jié)點之前也可以根據(jù)實際業(yè)務和數(shù)據(jù)情況進行原始數(shù)據(jù)的清洗、集成、轉(zhuǎn)換、離散、歸約、特征選擇和提取等一系列預處理工作，達到挖掘建模的數(shù)據(jù)標準。可以利用平臺內(nèi)置的數(shù)據(jù)處理、數(shù)據(jù)融合和特征工程等節(jié)點，例如數(shù)據(jù)過濾、屬性過濾、缺失值處理、數(shù)據(jù)標準化等進行數(shù)據(jù)預處理。
第三步數(shù)據(jù)拆分：
通常在解決實際問題時經(jīng)常通過數(shù)據(jù)拆分節(jié)點把數(shù)據(jù)拆分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集。通過回歸算法對訓練數(shù)據(jù)集進行建模，尋找X和Y之間的數(shù)學模型，然后通過測試數(shù)據(jù)集來驗證該數(shù)學模型的準確率，如果誤差能夠達控制到一定精度，則認為該模型很好的反映了X和Y的關系，可以用來進行預測和分析。
第四步建立數(shù)據(jù)挖掘模型：
根據(jù)分析方案和處理后的業(yè)務數(shù)據(jù)構建回歸模型，平臺內(nèi)置9種回歸算法可以直接拖拽使用，并配置對應的模型參數(shù)，包括：線性回歸、決策樹回歸、隨機森林回歸、梯度提升樹回歸、BP神經(jīng)網(wǎng)絡回歸、SVM回歸、L1/2稀疏迭代回歸、保序回歸和曲線回歸。當我們不清楚當前數(shù)據(jù)更適合哪種回歸算法，或不清楚多個模型中哪個模型效果更好時，我們有兩種處理方案：方案一，通過多分支節(jié)點將自變量和因變量相同的輸入數(shù)據(jù)同時傳遞給多個不同的回歸模型，由平臺推薦出多個模型中的最優(yōu)模型；第二種，通過自動回歸節(jié)點選擇多個回歸算法一次性構建模型，該節(jié)點內(nèi)嵌自動擇參和交叉驗證等功能，幫助我們在多種模型下選擇和推薦出最佳的模型。當然在進行回歸分析之前，我們可以先了解自變量和因變量之間的相關關系，以便判斷后續(xù)采取回歸模型的類型，比如通過圖表分析類節(jié)點繪制圖形或通過統(tǒng)計分析類節(jié)點進行相關性分析等都可以。
第五步數(shù)據(jù)挖掘模型評估：
利用回歸評估節(jié)點檢驗回歸模型的可靠性，在洞察中根據(jù)一些評價的指標（如相對誤差等指標）或者圖表展示，獲得質(zhì)量最佳的回歸模型。 完成上述建模之后執(zhí)行流程，流程執(zhí)行成功后自動跳轉(zhuǎn)至洞察頁面，在洞察頁面點擊可以查看模型的分析結果，我們通過示例流程來詳細介紹。點擊【決策樹回歸】查看變量重要性：
訓練集評估結果：
測試集評估結果：
從R方上來看，訓練集為0.93，測試集為0.89；從相對誤差來看，訓練集的平均相對誤差為0.08，測試集的平均相對誤差為0.1，誤差相對較少；說明模型效果較好。
殘差圖：
從殘差圖中可以看出，誤差在等于0的直線上下隨機波動，因此殘差不存在相關性，說明模型效果較好。
再來看數(shù)據(jù)集的情況，可以看到新增的prediction預測結果列。
第六步利用模型預測：
訓練好模型之后，通過模型輸出節(jié)點將模型保存至模型庫中，然后就可以利用訓練好的模型進行預測，一般我們建議構建模型訓練和模型預測兩個流程。通過模型讀取和模型利用節(jié)點進行預測流程的構建，并且可以將預測結果保存至數(shù)據(jù)庫或本地excel中，便于我們構建BI可視化看板或其他第三方應用。如下圖：
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林數(shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號
