數(shù)據(jù)分析需要很多步驟，在整個(gè)過(guò)程中，數(shù)據(jù)的預(yù)處理往往會(huì)占用項(xiàng)目很長(zhǎng)的時(shí)間，包含清洗、融合、異常值處理等。而作為數(shù)據(jù)分析的第一步，數(shù)據(jù)預(yù)處理在人工智能的落地實(shí)現(xiàn)中是非常重要的一環(huán)，這一步的整體質(zhì)量直接決定了后續(xù)建模的準(zhǔn)確性，數(shù)據(jù)越多、訓(xùn)練模型越復(fù)雜，對(duì)數(shù)據(jù)預(yù)處理的工作需求量就越大。

數(shù)據(jù)預(yù)處理的核心工作往往包含了數(shù)據(jù)融合、異常值處理、數(shù)據(jù)類型轉(zhuǎn)換、歸一化、去噪等多個(gè)方面，這些都是數(shù)據(jù)挖掘任務(wù)中不可缺少的環(huán)節(jié)。通過(guò)這些處理，可以進(jìn)一步提高數(shù)據(jù)的質(zhì)量，也能讓數(shù)據(jù)更好地適應(yīng)特定的挖掘技術(shù)或工具。那么，該如何高效完成數(shù)據(jù)的預(yù)處理工作呢？
Tempo機(jī)器學(xué)習(xí)平臺(tái)數(shù)據(jù)預(yù)處理解決方案了解下！
01 數(shù)據(jù)融合
常用場(chǎng)景
數(shù)據(jù)分析中使用的數(shù)據(jù)常常來(lái)自于不同的數(shù)據(jù)源，當(dāng)單張表的內(nèi)容無(wú)法滿足當(dāng)前的分析需求時(shí)，就需要將多張表的數(shù)據(jù)信息進(jìn)行關(guān)聯(lián)，從而展開更為全面的分析與洞察。
Tempo機(jī)器學(xué)習(xí)平臺(tái)可以通過(guò)簡(jiǎn)單的操作，完成不同表之間的數(shù)據(jù)連接與融合。

? 融合方式多樣：涵蓋內(nèi)連接、完全外連接、左連接、右連接4種方式；
? 操作便捷：將兩表拖拽至配置區(qū)，通過(guò)連線和雙擊，配置連接關(guān)系，簡(jiǎn)單幾步就能實(shí)現(xiàn)表與表之間的連接和交集。

02 缺失值處理
常用場(chǎng)景
由于信息缺失，致使一部分屬性值空缺出來(lái)，在實(shí)際的業(yè)務(wù)場(chǎng)景中，一般有機(jī)械和人為兩種原因會(huì)導(dǎo)致數(shù)據(jù)存在空值：
1）機(jī)械原因：數(shù)據(jù)存儲(chǔ)的失敗、存儲(chǔ)器損壞、機(jī)械故障導(dǎo)致某段時(shí)間數(shù)據(jù)未能收集（對(duì)于定時(shí)數(shù)據(jù)采集而言）；
2）人為因素：主觀失誤、歷史局限、有意隱瞞。如，在市場(chǎng)調(diào)查中被訪人拒絕透露相關(guān)問(wèn)題的答案，或者回答的問(wèn)題是無(wú)效的，數(shù)據(jù)錄入人員失誤漏錄了數(shù)據(jù)。
Tempo機(jī)器學(xué)習(xí)平臺(tái)可根據(jù)不同類型的數(shù)據(jù)，使用不同的處理方法填補(bǔ)缺失值，同時(shí)也支持批量修改操作：

? 數(shù)值型處理：針對(duì)數(shù)值型提供最小值、最大值、平均值、中位數(shù)和自定義等方式的缺失值處理；
? 日期型處理：針對(duì)日期型提供自定義方式的缺失值處理。支持用戶自己設(shè)置一個(gè)特定的日期值賦給缺失的單元格；
? 字符型/文本型處理：針對(duì)字符型及文本型提供最多次數(shù)項(xiàng)、最少次數(shù)項(xiàng)和自定義等方式的缺失值處理。

03 數(shù)據(jù)去重
常用場(chǎng)景
由于某些原因，致使一部分?jǐn)?shù)據(jù)被重復(fù)記錄，為了節(jié)省存儲(chǔ)和計(jì)算資源，在實(shí)際的分析過(guò)程中，只保留有意義的數(shù)據(jù)，進(jìn)行后續(xù)分析，通過(guò)數(shù)據(jù)去重消除冗余數(shù)據(jù)。
造成重復(fù)值的原因大多是因?yàn)椴杉瘯r(shí)多次采集數(shù)據(jù)，或者在數(shù)據(jù)合并時(shí)再次合并數(shù)據(jù)，比如問(wèn)卷填寫時(shí)用戶多次填寫，可根據(jù)用戶名只保留最后一次填寫的數(shù)據(jù)，通過(guò)去重避免數(shù)據(jù)沖突。
Tempo機(jī)器學(xué)習(xí)平臺(tái)內(nèi)置了多種策略，可以幫助用戶在使用過(guò)程中，根據(jù)不同情況進(jìn)行數(shù)據(jù)的去重處理。

? 默認(rèn)方式：去掉所有列的完全重復(fù)數(shù)據(jù)，隨機(jī)保留一行；
? 自定義方式：去掉指定列的完全重復(fù)數(shù)據(jù)。

04 屬性變換
使用場(chǎng)景
在實(shí)際業(yè)務(wù)中，需要對(duì)業(yè)務(wù)進(jìn)行細(xì)化分類、數(shù)據(jù)縮放、空值替換、類型轉(zhuǎn)換等情況。
Tempo機(jī)器學(xué)習(xí)平臺(tái)可支持?jǐn)?shù)值型屬性變換、字符型屬性變換和日期型屬性變換：

? 數(shù)字轉(zhuǎn)字符：對(duì)于數(shù)值型屬性變換，可以將數(shù)值型數(shù)據(jù)通過(guò)不同的變換方式進(jìn)行轉(zhuǎn)換；
? 區(qū)間轉(zhuǎn)字符：用于設(shè)置用戶自定義的日期區(qū)間轉(zhuǎn)字符的規(guī)則，選擇組內(nèi)區(qū)間，設(shè)置日期區(qū)間的上下限和轉(zhuǎn)換值。支持剩余值轉(zhuǎn)化為其他值或剩余值保留原始值；
? 其他轉(zhuǎn)換方式：平臺(tái)還存在數(shù)字轉(zhuǎn)字符、數(shù)字轉(zhuǎn)日期、平方、平方根、對(duì)數(shù)、空值轉(zhuǎn)換、非空值轉(zhuǎn)換、四舍五入、轉(zhuǎn)LONG/DOUBLE/FLOAT/INT（四舍五入）/INT（向下取整）、單位轉(zhuǎn)換等變換方式。
Tempo機(jī)器學(xué)習(xí)平臺(tái)支持多種數(shù)據(jù)預(yù)處理方法，能快速實(shí)現(xiàn)數(shù)據(jù)清理、集成、變換、歸約等數(shù)據(jù)預(yù)處理操作，涵蓋了行、列、高級(jí)、表級(jí)的數(shù)據(jù)處理方法和多種特征工程方法，能滿足90%以上數(shù)據(jù)預(yù)處理需求，幫助用戶高效完成多源數(shù)據(jù)的處理、分析，為后續(xù)的數(shù)據(jù)挖掘和分析打下良好的基礎(chǔ)。
圖片
對(duì)數(shù)據(jù)的快速洞察，已成為眾多企業(yè)的核心訴求之一。而數(shù)據(jù)預(yù)處理的質(zhì)量則直接決定了后續(xù)建模與分析的成果，通過(guò)Tempo AI靈活多樣的數(shù)據(jù)預(yù)處理手段，不僅大大提升了數(shù)據(jù)清洗的質(zhì)量，為后續(xù)構(gòu)建模型提供精準(zhǔn)的數(shù)據(jù)，還能有效降低難度，為數(shù)據(jù)分析師帶來(lái)更為便捷的操作，也讓業(yè)務(wù)人員擁有數(shù)據(jù)分析的新方式和能力。

Tempo機(jī)器學(xué)習(xí)平臺(tái)除了有高效的數(shù)據(jù)預(yù)處理能力，還提供了從數(shù)據(jù)接入、數(shù)據(jù)探索、模型構(gòu)建、模型評(píng)估、模型管理、模型部署到最終的工程化應(yīng)用的全流程“端對(duì)端”解決方案。通過(guò)多模態(tài)多場(chǎng)景智能建模，助力 AI 時(shí)代的數(shù)據(jù)化運(yùn)營(yíng)，讓企業(yè)輕松開展數(shù)據(jù)分析，快速洞察數(shù)據(jù)價(jià)值，賦能數(shù)字化轉(zhuǎn)型升級(jí)。