編程語言的 IDE 支持
或許是出自于對編寫編程語言的興趣，又或許是對于創建 IDE/編輯器的興趣，對于『IDE/編輯器是如何提供編程語言的支持』，我充滿了興趣。其中的一個主要原因是，這是每天我們打交道最多的工具，另外一個原因可能是，咦，我們怎么沒有國產的 IDE(手動狗頭)。
編輯器 & IDE
先前，我已經在那篇《編輯器的自制》中介紹了，怎么去創建一個簡單的文本編輯器?這是一個相對簡單的問題。對于一個可用的代碼編輯器來說，我們對它的基本訴求是：快速啟動 + 語法高亮，然后能進行基本的文本編輯。不過呢，這是以我角度來看待問題的，我的想法里：一個編輯器，就干好一個編輯器應該做的事情。對于一些開發人員而言，他/她們會配置上強大的各種支持功能，以使它看上去像是一個 IDE。而后呢，它失去了快速啟動的能力，或者失去了一部分的快速啟動的速度，這便是有些遺憾的。
關于編輯器與 IDE 的這一一點的討論，似乎會有些偏頗。我自知我是一個 IDE 黨，擁有公司提供的 Jetbrains 全家桶。日常我也會使用 Sublime Text、Xi Editor、Vim、VS Code 進行一些快速的文件修改和查找。順便提一句，盡管過去我是一個 Emacs 粉，但是自我寫了自己的 Markdown 編輯器之后，我已經……。好在下一步，我打算做一個自己的代碼編輯器，這樣一來，也許就不會那么內疚了。或許呢，我已經在實現的路上了。
回到正題上，如果是一個 IDE 的話(以 IDEA 老用戶的感受)，那么我估摸著需要這么一些功能：
- 語法高亮
- 文本編輯
- 子系統關聯與集成
- 跳轉與引用分析
- 智能感知
- 重構
- 快速修復
- 語言特性分析
- 結構化視圖
- ……
PS：仔細一看，諸如于 VSCode 這一類強大的編輯器里，已經內置了大部分的功能，而且它還是免費的。你還只需要一個，不需要啟動多個不同的 IDE，還省下了硬盤空間。笑~
不過，總的來說，這些功能都依賴于詞法分析，有了這個支持，才能進行其它部分的操作。
語法分析
對于開發工具來說，語法分析有幾個重要的功能：
- 語法高亮，是指根據術語類別來顯示不同的顏色與字體以增強可讀性的一種編輯器特性。
- 實現智能感知
- 實現跳轉和引用分析
從我粗糙的調查來看，大致可以分析為四類：
- 基于正則表達式來實現語法分析
Sublime Text 基于 YAML 形式的正則匹配方式：Sublime Syntax files
Textmate、VS Code 基于 JSON 的正則匹配方式：Language Grammars
- 基于語法分析器(如 BNF)生成中間代碼
Jetbrins 基于 BNF 生成代碼的方式：Grammar and Parser
- 自制 DSL 進行語法解析
Vim 基于正則 + 自制 DSL：Vim documentation: syntax、Rust 示例
- 手寫解析語法
Eclipse IDE 提供了個 JFace editor，但是似乎是要手寫：FAQ How do I provide syntax coloring in an editor?
Emacs Mode: ModeTutorial
每一類各自有各自的優缺點和編寫難度。但是，總的來說，沒有一個方式是簡單的。
正則實現語法分析
對于正則方式來說，不論是 Sublime Text 還是 Textmate 及基于 Textmate 語法規則的 VS Code，它們都有一個顯著的缺點：長，如 VCode 的java.tmLanguage.json，從長度上來說，我看到的這個版本有 1831 行。表達方式也有些繁瑣：
- "comments": {
- "patterns": [
- {
- "captures": {
- "0": {
- "name": "punctuation.definition.comment.java"
- }
- },
- "match": "/\\*\\*/",
- "name": "comment.block.empty.java"
- },
- {
- "include": "#comments-inline"
- }
- ]
- },
其中還有各種 include 關系等。對于 Sublime Text 也是類似的：
- comments:
- - match: /\*\*/
- scope: comment.block.empty.java punctuation.definition.comment.java
- - include: scope:text.html.javadoc
- - include: comments-inline
看了看，是不是會懷疑他們建立了語法同盟。
但是呢，yaml 和 json 是一個編程語言無關的東西。所以，VS Code 和 Atom 可以基于 Textmate 語法規則，快速建立對于主流語言的詞法分析，從而建立了語法高亮的支持。
我們也可以說 BNF 是一種編程語言無關的東西。但是，實際上在我們操作的時候，就會加入一些編程語言特定的要素。
語法分析器分析
由于先前編寫系統分析工具 Coca 和通用語法分析器 Chapi ，我對于 BNF 的詞法也是頗為上手的——實際上不難。唯一麻煩的地方就是，寫完之后，我們要編寫代碼做一些轉換，所以讓我們來看看 Jetbrians 插件的示例：
- COMMENT = 'regexp://[^\r\n]*'
- BLOCK_COMMENT = 'regexp:[/][*][^*]*[*]+([^/*][^*]*[*]+)*[/]'
這一點上和 antlr 沒有太大的區別：
- WS: [ \t\r\n\u000C]+ -> channel(HIDDEN);
- COMMENT: '/*' .*? '*/' -> channel(HIDDEN);
- LINE_COMMENT: '//' ~[\r\n]* -> channel(HIDDEN);
然后，就是設計和分析詞法了：
- functionParameters ::=
- LPAREN inputParameters RPAREN outputParameters?
- | IN SUB GT inputParameters
- | outputParameters
接著，在 IDEA 里面，我們可以通過這個 BNF 文件生成對應的 Lexer 文件和代碼等。對于使用 Antlr 編寫的詞法來說，Java 部分的代碼規模也就在 800 左右。
不過呢，從兩者的閱讀體驗對比來看，顯然 BNF 會更加友好一點。
自制 DSL 語法解析
頗為遺憾的是，我尚未寫過任何的 Vim 插件，好在我還知道 Vim 是如何退出來的。我使用 Vim 作為 git 的 editor，還熟知一些 Vim 編輯的常用快捷鍵。所以，語法高亮這一部分主要是參考 Vim 的文檔編寫和代碼示例。這里我找到了一個不錯的中文翻譯：語法高亮
總的來說，語法規則就是： syn vim關鍵字 匹配規則，如：
- syn region rustCommentLine start="//" end="$" contains=rustTodo,@Spell
- syn region rustCommentLineDoc start="//\%(//\@!\|!\)" end="$" contains=rustTodo,@Spell
- syn region rustCommentLineDocError start="//\%(//\@!\|!\)" end="$" contains=rustTodo,@Spell contained
- syn region rustCommentBlock matchgroup=rustCommentBlock start="/\*\%(!\|\*[*/]\@!\)\@!" end="\*/" contains=rustTodo,
看上去依舊是正則匹配，如 Float：
- syn match rustFloat display "\<[0-9][0-9_]*\%(\.[0-9][0-9_]*\)\%([eE][+-]\=[0-9_]\+\)\=\(f32\|f64\)\="
- syn match rustFloat display "\<[0-9][0-9_]*\%(\.[0-9][0-9_]*\)\=\%([eE][+-]\=[0-9_]\+\)\(f32\|f64\)\="
- syn match rustFloat display "\<[0-9][0-9_]*\%(\.[0-9][0-9_]*\)\=\%([eE][+-]\=[0-9_]\+\)\=\(f32\|f64\)"
不過，從算法形式上來說，完勝 Textmate 和 Sublime，畢竟是高級的 DSL。
編程語言語法解析
Emacs 的 mode 里包含了對于語法高亮的處理，于是為了這個高亮，我們需要寫寫 emacs lisp 代碼。如：
- (defvar rust-formatting-macro-opening-re
- "[[:space:]\n]*[({[][[:space:]\n]*"
- "Regular expression to match the opening delimiter of a Rust formatting macro.")
- (defvar rust-start-of-string-re
- "\\(?:r#*\\)?\""
- "Regular expression to match the start of a Rust raw string.")
對于 Eclipse 來說，這個過程就更加麻煩了。
語言的高級支持
在我們實現了開發工具的詞法分析接口之后，我們就能按不同的 IDE/編輯器所定義的接口，進行定制了。這是一個繁雜，而又充滿挑戰的工作。對于不同的工具來說，它們的接口相關也甚多。我也并非都能一一了解 API，所以只能簡單的以 IDEA 作為一個示例來展示。主要原因大概有兩個：1. 我日常使用的是 Jetbrains 相關的 IDE;2. 我已經有一部分代碼了。
語法高亮
在進行了復雜的語法分析之后，接著，我們就可以快速進入一個簡單的環節，對代碼進行高亮。關于高亮的話，我們可以快速進行一個分類：
- 關鍵詞。即編程語言的關鍵詞，如 C 語言中的 32 個關鍵詞。
- 標識符。用戶定義的字符串，如變量名、結構體名、函數名等等。
- 特殊詞法。
- 重要的詞法。根據需要，可以針對于函數名、靜態函數名等進行標識，以提升識別度。
如下是 Go 語言的一些關鍵詞：
- (defconst go-mode-keywords
- '("break" "default" "func" "interface" "select"
- "case" "defer" "go" "map" "struct"
- "chan" "else" "goto" "package" "switch"
- "const" "fallthrough" "if" "range" "type"
- "continue" "for" "import" "return" "var")
- "All keywords in the Go language. Used for font locking.")
所以，在這個場景之下，不論是何種的 IDE 又或者是編輯器都可以快速實現。
跳轉 goto
不同開發工具，有各種的跳轉規則，不同的語言也有各自的跳轉方式。如 Emacs 的 go-mode 就定義了一系列的跳轉：
- (let ((m (define-prefix-command 'go-goto-map)))
- (define-key m "a" #'go-goto-arguments)
- (define-key m "d" #'go-goto-docstring)
- (define-key m "f" #'go-goto-function)
- (define-key m "i" #'go-goto-imports)
- (define-key m "m" #'go-goto-method-receiver)
- (define-key m "n" #'go-goto-function-name)
- (define-key m "r" #'go-goto-return-values))
而 IDEA 也提供了一系列接口來實現類似的功能，如：
- gotoActionAliasMatcher
- gotoClassContributor
- gotoSymbolContributor
- gotoFileContributor
- gotoRelatedProvider
我們只需要分析光標符所在的位置，其所定義的語法，如 IDEA 里是 PSI，再實現對應的邏輯即可。如：
- @Override
- public @NotNull NavigationItem[] getItemsByName(String name, String pattern, Project project, boolean includeNonProjectItems) {
- List<CharjStructDeclaration> properties = findStructByKey(project, name);
- return properties.toArray(new NavigationItem[properties.size()]);
- }
這里定義的是數據結構的導航。當我們按下快捷鍵的時候，會傳入 name、pattern 等信息。接著，從所有相關的文件(VirtualFile)中尋找對應的 struct，返回即可。
自動填充
主要可以分為兩類，一類是：代碼段(Snippets)，一類是：自動填充(Completion)
好像也沒啥說的，就是綁定在特定關鍵字上的內容。
其它
剩下的就是一些比較有意思的功能，諸如于：
- fileType。文件圖標支持。即某一類型的文件，使用特定的圖標來展示。
- commet 。即按下注釋的快捷鍵，能快速的注釋和反注釋代碼。
- line marker。IDEA 提供的功能，用于在行上通過圖標來展示特定的功能。
- folding。提供特定的代碼段的折疊功能。
- 數據視圖。展示特定數據結構關系及參數等的視圖。
- ……
其它
我一直在尋找一直簡易的方式，以快速識別編程語言，并標識它們。所以，也就有了這篇文章。
雖然，還在探尋，但是呢，似乎已經有了一個初步的結果。
本文轉載自微信公眾號「 phodal」，可以通過以下二維碼關注。轉載本文請聯系 phodal公眾號。
