引子

　　【51CTO專稿】在剛剛過去的四月份里，我們51CTO傳媒在京舉辦了《2013大數據全球技術峰會》，相信關注大數據、關注51CTO的朋友們，在這次大規模的技術盛宴里，更多地了解了大數據的奧秘。如果沒有趕上參加這場峰會的朋友，也不要心急，因為有關此次峰會概況的的視頻已經出爐，感興趣的網友可以去我們的官網查看相關信息。本次峰會我們邀請了30多位來自國內外的資深技術專家，能和這些專家近距離接觸，面對面交流，小編深感榮幸。為了深入挖掘大數據分析系統這方面信息，小編力邀到了某上市互聯網公司高級工程師馬先生，來共同探討了這一話題。

[[72900]]

（圖片來自百度）

　　大數據分析前期要做的事

　　其實，每一個數據都有一個ETL，就是抽取、轉化，然后去加載，包括做數據的清洗。如果數據大批量進來的話，有些數據可能是有問題的，馬先生舉了個例子：比如說，好多地址會寫得比較模糊，如果要搜索北京這個詞的時候，數據倉庫里可能只有一個京字，這些都要統一整理成一個，比如說北京，這樣后面分析就會簡單，比如山東，有人會輸入“魯”字來進行搜索，而不是山東，這就需要在大數據分析前期做好數據清理工作，做規范化，這樣后面的數據分析起來就方便很多。

搭建大數據分析系統的注意事項

　　在搭建大數據分析系統時，有哪些需要注意的事項？馬老師提到：首先要弄明白你所在企業需要什么樣的數據，或者你想得到什么價值，想明白了再去做。因為做數據不像做別的東西，一定明確知道要知道你要干什么，不然這個系統搭的時候會有很多困難，不知道該怎么搭，不知道用什么技術，也不知道數據進去是否在浪費。而目前的情況是：很多企業可能會先把架構搭出來，實際上這數據每天在算，但是不知道這數據帶來什么價值，所以更多是一個業務驅動的。再舉個例子：比如說中國移動就想挖一挖，到底是哪一個用戶老欠費，哪一個用戶用得多，用的多的就給他優惠多一點……如果他有這個需求，你再把這個需求下轉給下面的人，按照這個需求去開發；

　　其次，需要選擇適當的技術。比如說你一臺機器夠用的，不要用兩臺機器，能夠進來報表就不要用交互報表，因為那個都是有技術成本的，并且上線的速度會慢很多。所以建議任何一個企業在搭建數據分析以前，要特別清晰地知道其搭建的需求和目的，選擇什么方案，搭它來解決什么問題，針對需求你去做一個數據分析；

　　再次，在沒有時時性要求時，你不要自作主張，向老大提這個。因為大公司的批量已經做得非常完美了，可能批量已經帶來35%的收入增加了，他要再做時時，再增加5%，而你現在什么都沒有。如果說先要做時時，或者先要全部搞出來的話，可能要先一步一部把35%做好，把那個批量先做出來，然后再做時時，這樣效果會更好。

　　不要濫搭大數據分析系統

　　技術這個東西都是相通的，沒有一項改進都是說完全是重新造出來的，都是在改的，但是它帶來的價值不一樣，它帶來的人的思考，就跟人從零售店買東西和網商這種不一樣，但是技術，零售店也會用一些數據庫，網上也可能用，要在這個上面做一些轉變。馬老師談到，好多國企（這里就不點名），就是為了上項目去上項目，稱自己有海量數據。當問他需要搭建的大數據系統是用來干什么，他們的答案很出乎意料：先給搭起來，先存起來，需要的時候再用，就這種思想。其實這個是沒有必要的。

　　總結

　　雖然大數據現在炙手可熱，大數據分析越來越火爆，很多企業都在試圖擁抱大數據技術。但還是應該具體問題具體分析，因為大數據分析系統并非適合所有的企業，一些小型規模的企業在舊系統能滿足需求的時候，就不要盲目地去追隨潮流，舍棄舊的系統重新搭建，也可能解決了這個小缺口，但是可能會滋生其它更大的問題，這就得不償失了。