[[400100]]

 1

1992年9月， 一個周三的下午，貝爾實驗室。

Rob Pike (Go語言發明人之一) 正在操作系統Plan 9 上忙碌，這是繼Unix之后的一個大工程， 馬上就要完工了， 這個時候他突然接到了一個電話。

[[400101]]

(年輕帥氣的Rob Pike)

電話是IBM的人打來的，他們正在奧斯汀參加X/Open 委員會會議， 想請Rob Pike 和 Ken Thomson (Unix發明人) 對他們設計的一個Unicode編碼進行評審。

Rob Pike知道X/Open委員會主要負責制定Unix上的標準規范，以便提高應用程序的在不同Unix變體上的移植性。

很明顯，這一次會議的主題是：編碼!

Rob Pike想到了自己正在忙活的操作系統Plan 9 ， 為了支持全世界的語言如英文、中文、韓文、日文、阿拉伯文...... Plan 9 當然要用Unicode 。

[[400102]]

(這貨怎么和Go的吉祥物長得如此之像?)

大家都知道Unicode只是規定了每個字符用什么編碼，但是沒有規定如何去存儲， 當時Plan 9 采用了一個叫做ISO 10646 UTF編碼， 但是這個編碼實在不怎么樣， 按照Rob Pike的話說：我們恨這個編碼。

Rob 和 Ken 立刻意識到：機會來了 !

Rob ：我們有豐富的經驗， 為什么不設計一個真正好用的Unicode存儲標準呢?

Ken ：同意， 我們設計出來，把標準推廣的事情交給X/Open委員會。

倆人向IBM的人表達了這個想法， 得到了支持，條件是： 一定要快，快速設計、快速實現。

因為下周一就要投票表決了!

對于天才程序員來說，快速、高質量把活兒搞定就是小菜一碟。

他們倆慢悠悠地去餐廳吃飯，在吃飯期間，Ken 和 Rob就把基本的方案給設計出來了，這就是大名鼎鼎的UTF-8。

回到貝爾實驗室，他們就把想法寫成了提綱，發給了X/Open 委員會的人， 委員會的回復是：

這比我們設計的版本好多了，你們什么時候能實現它?

Rob 和Ken 拍著胸脯說：放心吧，下周一肯定能有一個完整的、可以運行的實現。

當天晚上(周三)，他們倆就卷起袖子干活， Ken 把packing和unpacking的代碼搞定， Rob則去折騰C和圖形庫相關的東西。

周四，所有的代碼都已完成，開始將Plan 9操作系統上的文本文件轉成UTF-8

周五，Plan 9 操作系統就已經運行在UTF-8上面了。

實際花費不到三天!

這三天的工作成果最終統治了整個互聯網的編碼標準， 統計顯示， 現在96.8%的Web網站在使用UTF-8。

2

故事講完了，我們來看看為什么UTF-8能流行起來。

前面說過Unicode只是一個字符集，它規定了每個字符的二進制代碼，例如“碼” ， 對應的Unicode 是7801 ， 二進制是

111 1000 0000 0001

需要兩個字節來保存， 如果表示其他更大范圍的字符，可能需要3個字節或者4個字節，甚至更多。

當計算機面對這兩個字節的字節流的時候，就會出現嚴重的問題：計算機怎么知道這兩個字節表示的是一個字符?還是兩個字符?

大家知道英文字母用一個字節保存就夠了，如果Unicode規定每個英文字符也用兩個字節活三個字節來保存，那每個英文字母前面勢必要補上0， 文本文件要大兩到三倍。

這是巨大的浪費，肯定不行。

Rob和Ken的設計的UTF-8就比較聰明， 看看這個表：

把Unicode 轉換成UTF-8，非常簡單，比如漢字“碼” ， Unicode 是7801 ， 二進制是 111 1000 0000 0001

7810對應上圖的第三行，只要把二進制從右向左填到對應的“模板”中就行，不夠的補零

更多的細節就不展開了，關鍵要看看UTF-8有什么好處。

3

1. 兼容ASCII， 表格中的第一行就是為ASCII所設。

多字節編碼的每個字節的最高位永遠是 1，而 ASCII 字符編碼的最高位是 0，所以從根本上杜絕了編碼沖突。

2. 第一個字節就指明了后續的長度

當程序面對一個字節流的時候，只需要讀出第一個字節最前面有幾個1 ，就知道這個字符的長度，解碼很方便。

3. 前綴碼

大家仔細觀察下， UTF-8中沒有任何合法字符是其他字符的前綴， 這樣就帶來了一個好處：支持程序快速地跳過有問題的字節，然后正常解碼。

假設有兩個中文 “碼” 和 “農”， 對應的UTF-8編碼為E7A081(碼) and E5869C(農)。

但是網絡傳輸丟失了一些數據，變成了 E781 E5869C (即“碼”的A0丟失了)

現在程序先讀到了E7, 二進制是 1110 0111，它就知道這個字符應該是3字節的， 并且后面的兩個字節都應該以10 開頭。

于是它就要再讀兩個字節， 因為A0這個字節丟失了， 程序讀到了81 和 E5。

程序就發現：

81 (二進制10000001) 是符合規范的

E5(二進制11100101)的開始兩個bit不是10啊， 這應該是另外一個字符的開始。

所以程序就判斷出有字符丟失了，可以丟棄剛讀到的E7 81 , 然后從E5開始讀取， E5 86 9C ，最終顯示“農”字。

是不是很巧妙?

如需轉載，請通過作者微信公眾號coderising獲取授權。