為什么你的大數據項目會失敗？
2018-02-28 10:20:00
次
——聊聊廢墟之中的大數據應用
引言：近年來大數據、人工智能概念喧囂塵上，各類大數據應用層出不窮。這些融合了海量數據、高性能計算平臺、智能算法、酷炫的數據可視化效果的企業級大數據應用產品成為了企業的新的寵兒。“大平臺、微應用”,“數據智能應用”，一時間，大數據應用建設項目如雨后春筍般涌現，但在目前大部分的商業實踐中我們看到，傳統企業斥巨資建設的大數據應用，仿佛還沒有找到商業價值的轉化點。筆者結合自身在之前某大型央企的供職經歷，從一名信息化從業者（IT狗）角度的出發，聊聊對此類問題的認識。姑妄之言，且讀且珍惜。
注：大數據應用是個很寬泛的概念，本文所指的大數據應用，重點為以數據為基礎，以算法為支撐的，指導企業經營運轉與決策的數據分析產品。如當下流行的客戶畫像系統、預測性維修、精準營銷等系統。
一、為什么企業熱衷“大數據”、“AI”？——聊聊現象
因為，確實有用。追求效率、適應快速變化的商業競爭環境，是企業生存的必備條件。而基于海量數據的應用，能有效指導企業快速掌握用戶的個性化需求，實現精準營銷，能夠幫助企業打通數據關節，實現精準預測與智能決策，加快企業經營運轉、提高生產效率，降低生產成本，實現數據價值變現。這些華麗的宣傳詞背后的商業價值，對于企業來說，具有致命的誘惑。
二是大數據帶來的行業巨大沖擊力，倒逼企業數字化轉型升級。以阿里巴巴、京東、螞蟻金融、滴滴打車等為代表的互聯網企業所帶來的行業顛覆，讓傳統企業戰戰兢兢，在這個已經到來的數據時代，不變革，就等死。
三是經過了二十年企業信息化建設，當下已經到了收割“數據紅利”的有利時機。企業多年的數據積累以及第三方數據的開放、跨界融合，讓這場數據革命有了更為廣闊的想象空間。
四是企業形象與品牌建設需要向互聯網化轉型，需要新鮮的概念包裝，需要顯示出與潮流與時俱進的企業活力。很多企業領導說，別人都在上，我們也得上，這無可厚非。
然而，時至今日，“大數據”已經被說爛了，人工智能也已經閃亮登場了，Gartner已經把大數據從技術炒作曲線中移除了，但是大多數企業中仍然鮮見其成功案例，很多企業抓住了大數據這根稻草，但仍在泥沼中喘息。數據轉型、數據驅動，概念嗷嗷上天，落地寥寥無幾。
錢也沒少花、數據也沒少買，大數據平臺也沒少建，專業團隊也沒少請，各類資源都在全力保障，數據平臺也搭建起來了，數據也集成進去了，眼瞅著“大平臺、微應用”的夢想要實現了，但是最終還是悲哀的發現，我們懷揣的希望與憧憬，看到的卻是數據平臺為無人問津，各類基于平臺之上的大數據應用在廢墟之中橫亙殘落。
二、為什么會失敗——聊聊原因
（1）再強大的平臺，也無法管理混亂的數據。大數據應用依賴于基礎的數據平臺。而企業多年來積累的數據，缺乏標準的體系梳理，缺乏有效的數據管理機制，數據結構混亂，數據質量低下，好不容易梳理規范的數據進入系統，沒過多久，又再次陷入混亂。數據基礎不完備，盲目的上Hadoop平臺，又沒有完善的數據管控機制，最終也只能淪為廢墟無人問津。
（2）再大的數據，也無法喚醒無視它的人。IT部門鼓搗著進行平臺建設，到處拿著雞毛當令箭收集數據，業務人員疲于應付，這一場由IT主導的數據革命，本身從源頭上，就是錯誤的。業務人員不清楚由IT自己臆想搗鼓的數據應用究竟要表達什么，讓IT改個需求又費時費力，與其浪費時間，不如老樣子，跟著感覺走。
（3）再智能的算法，也無法真正的理解業務。算法和數據都是冷冰冰的，沒有溫度，它們只是工具、手段。沒有與業務融合，沒有實際的應用場景，算法只能是院校學術論文。不能帶來巨大的業務價值導向，無法實際解決用戶痛點，沒有業務人員深度的參與，無論多牛的算法，都沒法挖掘出深刻的業務洞察。
總體而言，企業大數據建設項目最突出的問題，總結三點：
1.缺乏“用數據說話”的意識與文化；
2.缺乏行之有效的數據管理體系；
3.業務應用引導項目建設，而非本末倒置；
為了避免項目成果最終淪為數據廢墟，企業應當結合自身特點，尋找最適合自身的數據轉型之路。
三、我們怎么辦——聊聊方法
以往的大數據建設的核心思路都是：先建平臺或數據中心，構建分析工具，打造數據應用。這樣的主要問題在于，對于中小企業，由于規劃能力的不足，數據基礎不扎實，很難在初期設計好整體的全貌，會造成極大的建設風險。因此，在戰略層面，需要解決好數據應用的價值定位（解決什么業務問題，預期達到什么樣的目標）；在執行層面，形成自上而下的推動過程，進行企業數據文化的培養建立。在方法論層面，我們提出以數據應用為核心的企業大數據能力建設思路：
（1）應用先行，先輕后重。挑選實際業務中最具價值的、數據基礎較為完備的、數據分析訴求較為強烈的業務場景，進行固化。在應用逐步積累的情況下，數據平臺的建設也會一個自然而然的過程，用戶可在建設過程中，適時投入，對于反應不佳的應用可以快速調整，具有更靈活的控制權與主動權。這樣的方式，留有充分的試錯空間，可避免投入較大成本問題；
（2）先易后難，穩步推進。這類數據應用的開發，可以先從基本指標體系的建設，設定監控的KPI，監控關鍵業務經營指標，逐步實現企業的數據透明化運營。以此來建立和推動企業的數據文化與意識的培養。然后可以引入高級分析團隊（通常企業內部是不具備這樣的人才的），針對特定的業務場景，與業務人員深入協商溝通、確定關鍵業務分析目標與關鍵因素，借助算法與分析引擎，構建業務模型，形成智能的數據應用產品，持續評估，不斷提升模型的泛化性能與可解釋性，這樣可引起業務人員的極大關注度與興趣，幫助業務人員更好的進行分析與決策。讓數據應用落到實處。
（3）以用促管，以管優用。用一部分，理一部分，以數據產品應用，倒逼數據管理制度的優化與完善。在數據湖大行其道，以及Hadoop生態體系已完全成熟的今天，我們可以嘗試采用更加柔性靈活的數據標準規范。
（4）數據創新，人人參與。數據應用具有巨大的想象空間與創新可能，需要充分調動與發揮企業人員的主觀能動性，推動業務自主進行數據分析，讓更多的業務人員能夠通過統一的平臺進行數據價值的洞察、分析，充分發揮業務人員的行業經驗（如舉辦內部的數據分析競賽），不斷發掘新的數據應用，以此促進企業數字化轉型進程。
四、工欲善其事必先利其器——聊聊工具
根據如上的思路，不難看出，數據分析與應用開發工具是其關鍵核心。此類工具，一是要能夠融合企業各類數據，具備基礎的數據管理的功能；二是簡單易上手，開發速度快，無編碼，讓支持業務用戶也能自己開發；三是需要內置高級算法的能夠支持預測、優化、自動決策與調度功能；四是能夠支撐多用戶協作的、能與其他系統無縫融合，五是高性能，同時價格不宜過高。
國內外數據分析工具豐富，如SAS、SPSS、Tableau、Qlik，國內如永洪、帆軟等，但能支撐復雜的智能算法，又能支撐自助式分析的功能的工具相對較少，再此筆者冒昧推薦由美林數據自主研發的Tempo大數據分析平臺。該平臺內置可視化、挖掘的一體化數據分析模塊，可使用Tempo快速完成大屏、儀表盤的制作，也可拖曳式的實現復雜的機器學習算法流程的建立，構建自主的預測性數據產品。目前Tempo大數據分析平臺在工業大數據領域、金融行業、有著較為廣泛的應用，有興趣的可訪問http://www.hawafair.com了解。
五、結語——聊聊未來
在不遠的將來，大數據平臺將會成為堅實的管道，而數據應用將逐步向輕量級、場景化、實時性、智能化的方向發展，人們在關注數據應用的業務價值的同時，也將追求更便捷、開箱即用的應用體驗，會按角色進行場景的細化，會更追求實時、高效，會更加關注智能化的交互體驗，此外更會與其他系統整合，形成以分析-決策-行動為閉環的應用鏈條，星星之火，可以燎原，一個個微小靈活的數據應用，勢必將在曾經的廢墟之上，熠熠生輝。
Tempo商業智能平臺
Tempo人工智能平臺
Tempo數據工廠平臺
Tempo指標平臺
Tempo數據治理平臺
Tempo主數據管理平臺
首頁
陜公網安備 61019002000171號
