[[130302]]

存儲—-塊設(shè)備，文件系統(tǒng)，集群文件系統(tǒng)，分布式文件系統(tǒng)，光纖SCSI，iSCSI，RAID等。

網(wǎng)絡(luò)—-以太網(wǎng)，光纖網(wǎng)，蜂窩網(wǎng)絡(luò)，WIFI，VLAN等。

計算機(jī)體系結(jié)構(gòu)，主要就是CPU指令集。x86,ARM等。

USB協(xié)議。需要知道URB包。

PCI協(xié)議，PCI-E協(xié)議。現(xiàn)代計算機(jī)的外設(shè)都是PCI協(xié)議和PCI-E協(xié)議的。顯卡現(xiàn)在全是通過 PCI-E協(xié)議連接到計算機(jī)上的。相對來說減少了很多需要學(xué)習(xí)的知識。搞虛擬化就需要深入掌握PCI協(xié)議。

圖像處理–圖像壓縮，視頻實時編碼等。

3D游戲

關(guān)系數(shù)據(jù)庫

NoSQL數(shù)據(jù)庫

操作系統(tǒng)

分布式操作系統(tǒng)

編譯原理

機(jī)器學(xué)習(xí)–現(xiàn)在大數(shù)據(jù)要用哦！

了解這些領(lǐng)域知識，也包括了解該領(lǐng)域現(xiàn)有的商用硬件、商用軟件和開源軟件。很多時候，你要完成的工作，已經(jīng)有現(xiàn)成的工具了。你只要使用現(xiàn)成的工具就可以完成任務(wù)，不需要進(jìn)行開發(fā)。有時候，只需要組合現(xiàn)有的工具，寫一些腳本就可以完成任務(wù)。

如，我一次要實現(xiàn)一個雙向同步任務(wù)。找到了一個優(yōu)秀的開源軟件Unison，編寫一下配置文件就圓滿地完成了任務(wù)。不需要編寫任何代碼。

還有一次，要做高可用，用Python調(diào)用了幾個開源軟件就輕松實現(xiàn)了。

編寫安裝程序，定制操作系統(tǒng)，知道了操作系統(tǒng)的領(lǐng)域知識，寫幾行腳本就可以輕松搞定。

不具備領(lǐng)域知識的人，就可能不得不進(jìn)行大量無謂的開發(fā)，甚至開發(fā)很久之后才發(fā)現(xiàn)，這根本就是一條死路。

另外，扎實的領(lǐng)域知識，可以大大提高編程調(diào)試、查錯的能力。知道編譯器和編程語言運(yùn)行時工作原理，就能快速根據(jù)編譯錯誤和警告信息修改代碼。

知道操作系統(tǒng)底層運(yùn)行機(jī)制，就能快速找到運(yùn)行時錯誤的問題根源。如，有一次我編寫一個windows升級服務(wù)程序。它是一個windows服務(wù)，需要執(zhí)行dos腳本，這個腳本會替換掉這個windows服務(wù)本身。發(fā)現(xiàn)有時腳本執(zhí)行無效，查了一晚上，發(fā)現(xiàn)當(dāng)windows服務(wù)安裝后，***次啟動就執(zhí)行腳本時就會有權(quán)限問題，log都正確，但實際執(zhí)行這個腳本沒有任何效果。但一旦windows服務(wù)程序啟動一次之后就ok。這必然是windows操作系統(tǒng)底層安全機(jī)制的問題，因為我對Windows內(nèi)核了解不多，因此花了很長時間才發(fā)現(xiàn)這個問題，并對造成這個問題的根源并不清楚。

0段—領(lǐng)域知識菜鳥

對領(lǐng)域知識沒有多少認(rèn)知，通過搜索引擎找到一些該領(lǐng)域的軟件和硬件的介紹性文章，按照文章指示配置和使用軟件。勉強(qiáng)能夠使用現(xiàn)有軟硬件。

1段—領(lǐng)域知識行家

了解領(lǐng)域內(nèi)常用硬件，深入掌握領(lǐng)域內(nèi)常用軟件的配置和使用技巧。能夠使用現(xiàn)有軟硬件熟練搭建解決方案，能夠解決實際工作中遇到的種種問題。

2段—領(lǐng)域知識專家

當(dāng)你不僅僅掌握了該領(lǐng)域的軟件和工具，知道怎么用，還知道其原理，“知其然，也知其所以然”，就是該領(lǐng)域的知識專家了。

你知道網(wǎng)絡(luò)協(xié)議的原理，你才能在網(wǎng)絡(luò)出現(xiàn)問題時知道是哪里可能出現(xiàn)了問題。是mac沖突，ip沖突，還是網(wǎng)絡(luò)環(huán)路？

你知道存儲的原理，你才能知道為什么這種存儲方式不適合虛擬化，那種存儲方式適合虛擬化，另一種方式適合資料備份。

你知道PCI協(xié)議，你才能知道你怎樣才能虛擬化一個硬件設(shè)備。

你知道網(wǎng)卡硬件協(xié)議，你才能模擬出一個虛擬機(jī)能正常使用的虛擬網(wǎng)卡。

你知道視頻編碼格式和原理，才能知道什么視頻格式占用帶寬最少，什么視頻格式占用CPU最少。

你了解IntelVT/Amd V指令集，才能知道虛擬化是怎樣實現(xiàn)的。

你明白工作流其實就是狀態(tài)機(jī)，在遇到復(fù)雜工作流程時，你才能知道怎樣設(shè)計滿足要求的工作流引擎。

3段—科學(xué)家

你是領(lǐng)域知識專家，但你的知識都是來自于書本，來自于其他人的。

如果你滿足于當(dāng)領(lǐng)域知識專家，你只能拾人牙慧，永遠(yuǎn)別想超越。別人的研究成果，未必愿意告訴你。當(dāng)別人告訴你的時候，它可能已經(jīng)發(fā)現(xiàn)了更新的理論，并且新一代產(chǎn)品可能馬上就要發(fā)布了。

科學(xué)家是探索未知，勇于創(chuàng)新的人，是推動人類社會進(jìn)步的人。

傳說，思科的一位高管曾經(jīng)半開玩笑地說過：“如果思科停止了新技術(shù)的研發(fā)，華為就會找不著方向”。這是在嘲笑華為只是處在領(lǐng)域知識專家的水平，只能山寨無法超越。我不知道華為的實際情況，但希望現(xiàn)在的華為已經(jīng)走到了領(lǐng)跑者的位置。

歐文·雅各布斯發(fā)現(xiàn)了CDMA碼分多址的原理，并發(fā)現(xiàn)它在通訊上大有可為，組建了高通公司。高通公司主要以專利授權(quán)費為生，它雇傭了大量科學(xué)家在通訊領(lǐng)域展開研究。有人說高通是專利流氓。這些人不明白知識的價值。在他們眼里，Windows的合理價格就應(yīng)該是5元錢，一張光盤的價格。iPhone就應(yīng)該是1000多元裸機(jī)的價格。高通是專利流氓，那你也流氓一個CDMA，LTE出來給我看看！

X86芯片在設(shè)計上沒有考慮虛擬化。因此會有所謂的“虛擬化漏洞”出現(xiàn)。就是說，一些CPU特權(quán)指令執(zhí)行時，在虛擬機(jī)環(huán)境下不會拋出異常，因此就無法切換到Host。這樣，X86芯片上就無法運(yùn)行虛擬機(jī)。

VmWare公司是由美國的幾位科學(xué)家在1998年創(chuàng)建的。他們發(fā)現(xiàn)可以使用二進(jìn)制翻譯的技術(shù)，在X86計算機(jī)上運(yùn)行虛擬機(jī)。

Xen虛擬化軟件也是幾位科學(xué)家發(fā)明的。他們發(fā)現(xiàn)只要修改虛擬機(jī)操作系統(tǒng)和Host操作系統(tǒng)的內(nèi)核，在需要執(zhí)行“虛擬化漏洞”指令時直接調(diào)用Host的功能，就可以實現(xiàn)虛擬化，而且大大提高了虛擬機(jī)的運(yùn)行性能。

后來，Intel為自己的芯片添加了IntelVT指令集，Amd為自己的芯片添加了AmdV指令集，彌補(bǔ)了“虛擬化漏洞”。于是就有了KVM虛擬機(jī)軟件，它直接用CPU硬件指令實現(xiàn)虛擬化。

KVM在執(zhí)行CPU指令時，是直接在物理CPU上運(yùn)行的，因此效率極高。但是，虛擬機(jī)運(yùn)行虛擬外設(shè)時，就必須用軟件模擬，因此虛擬機(jī)的IO訪問速度很慢。

IBM科學(xué)家RustyRussell，借鑒了Xen的研發(fā)經(jīng)驗，創(chuàng)建了VirtIO技術(shù)。就是在虛擬機(jī)中編寫一套PCI虛擬設(shè)備和驅(qū)動，這套虛擬PCI設(shè)備有一塊虛擬設(shè)備內(nèi)存。這個虛擬設(shè)備內(nèi)存Host是可以訪問的，虛擬機(jī)通過VirtIO驅(qū)動程序也可以訪問。也就是一塊內(nèi)存在虛擬機(jī)和Host中共享，這就解決了虛擬機(jī)的IO性能問題。

再講一個搜索引擎的故事：

很久以前，我要給一個程序添加搜索功能。剛開始使用sql查詢實現(xiàn)，發(fā)現(xiàn)實在太慢了。后來找了開源的Lucene項目。它使用反向索引技術(shù)，通過在文件中創(chuàng)建反向索引，大大提高了搜索速度。

Google的兩位創(chuàng)始人發(fā)現(xiàn)了html中l(wèi)ink的秘密，他們發(fā)現(xiàn)可以通過html頁面的link關(guān)系來為每一個html頁面設(shè)置權(quán)重。也就是PageRank算法。于是，Google的自動搜索引擎擊敗了Yahoo人工分類的搜索引擎。

OK，利用反向索引技術(shù)和PageRank，以及一個簡單的html爬蟲機(jī)器人，我們就可以創(chuàng)建一個搜索引擎了。但是，互聯(lián)網(wǎng)很大，每天產(chǎn)生大量新網(wǎng)頁，要為整個互聯(lián)網(wǎng)建立反向索引是很困難的。

若干年后Google又公開了三篇論文：Googlefs、Mapreduce、Bigtable。于是Lucene項目的開發(fā)者根據(jù)Google的Mapreduce論文開發(fā)了Hadoop項目。MapReduce就是使用大量計算機(jī)存儲數(shù)據(jù)并計算，***匯總結(jié)果。使用Hadoop+反向索引+PageRank，就可以創(chuàng)建搜索引擎了。Yahoo,Baidu等公司紛紛基于Hadoop開發(fā)了自己的搜索引擎。

但是，其他公司的搜索引擎效果還是沒法和Google相比。這一點我們程序員最清楚。像我，就總是翻薔出去，只為了Google一下。

Google黑板報上發(fā)表了吳軍博士的一些文章，其中介紹了很多機(jī)器學(xué)習(xí)方面的知識。從文中可以知道，Google其實使用機(jī)器學(xué)習(xí)來分析搜集到的頁面。Google明顯不會把這個公式公開出來。即使有一天Google真的公開了這個公式，那么可以想見Google肯定又研發(fā)出了更加犀利的秘籍，山寨貨的搜索引擎效果還是比不上Google的。

山寨是通向創(chuàng)新的必由之路。在成為領(lǐng)域的領(lǐng)頭羊和***之前，必然要經(jīng)過學(xué)習(xí)，模仿的階段。但要成為行業(yè)的老大，成為Champion，必須勇于彎道超車，勇敢地走上創(chuàng)新之路，成為真正的科學(xué)家，真正的大牛！

總結(jié)

編程能力可分為兩個維度：一個是編程技能水平，另一個是領(lǐng)域知識水平。

有些程序員可能把精力都花在提升編程技能上了，領(lǐng)域知識知之甚少，這其實在日常工作中也是極其有害的。有些需求可能早已經(jīng)有了現(xiàn)成、開源免費的解決方案，或者只需要組合幾個現(xiàn)有軟件就可以快速搞定，而他們卻不得不自己花大量時間去開發(fā)。另外，缺少領(lǐng)域知識，在程序出現(xiàn)非預(yù)期狀況時，很難快速定位到問題的根源，很難解決bug。