LLMs的基本組成：向量、Tokens和嵌入
了解向量、Tokens和嵌入是理解大語言模型怎樣處理語言的基礎。
在處理LLMs時，你經常會遇到“向量”、“Tokens”和“嵌入”這些術語。在深入研究構建聊天機器人和人工智能助手之前，徹底理解這些概念非常重要。隨著多模態方法日益普及，這些術語不僅僅適用于大型語言模型（LLMs），還可用于解釋圖像和視頻。
本教程的目標是通過簡單直接的示例和代碼片段向你介紹這些核心概念。
向量：機器的語言
向量在LLMs和生成式人工智能的運作中起著至關重要的作用。要理解它們的重要性，就必須了解向量是什么，以及它們在LLMs中是如何生成和利用的。
在數學和物理學中，向量是一個具有大小和方向的對象。它可以幾何地表示為一個有向線段，其中線段的長度表示大小，箭頭指向向量的方向。向量在表示不能完全用單個數字描述的量（如力、速度或位移）時起著基礎作用，這些量具有大小和方向。
在LLMs領域，向量用于以模型可以理解和處理的數字形式表示文本或數據。這種表示被稱為嵌入。嵌入是捕捉單詞、句子甚至整個文檔的語義含義的高維向量。將文本轉換為嵌入的過程使LLMs能夠執行各種自然語言處理任務，如文本生成、情感分析等。
簡單來說，向量就是一個一維數組。
由于機器只能理解數字，因此諸如文本和圖像之類的數據被轉換為向量。向量是唯一被神經網絡和變換器架構理解的格式。
對向量進行操作，例如點積，有助于我們發現兩個向量是否相同或不同。在高層次上，這構成了對存儲在內存中或專門的向量數據庫中的向量進行相似性搜索的基礎。
下面的代碼片段介紹了向量的基本概念。如你所見，它是一個簡單的一維數組：
圖片
雖然上面顯示的向量與文本無關，但它傳達了這個概念。我們在下一節探討的Tokens是表示文本的向量的機制。
Tokens：LLMs的基本構建塊
Tokens是LLMs處理的基本數據單元。在文本的語境中，一個Token可以是一個單詞、一個單詞的一部分（子詞），甚至是一個字符，這取決于Token化過程。
當文本通過分詞器傳遞時，它根據特定方案對輸入進行編碼，并發出專門的向量，LLMs可以理解這些向量。編碼方案高度依賴于LLMs。分詞器可以決定將每個單詞和部分單詞轉換為一個基于編碼的向量。當一個Token經過解碼器時，它可以輕松地再次轉換為文本。
將LLMs的上下文長度稱為其中一個關鍵的區別因素是很常見的。從技術上講，它映射到LLMs接受特定數量的Tokens作為輸入，并生成另一組Token作為輸出的能力。分詞器負責將提示（輸入）編碼成Tokens，并將響應（輸出）轉換回文本。
Tokens是文本以向量形式的表示。
下面的代碼片段解釋了如何將文本轉換為Tokens，其中一個是針對像Llama 2這樣的開放模型，另一個是針對商業模型，如GPT-4。這些代碼基于Hugging Face的transformers模塊和OpenAI的Tiktoken。
圖片
圖片
圖片
圖片
因此，關鍵要點是Tokens是基于特定分詞器的向量。
嵌入：語義空間
如果Tokens是文本的向量表示，那么嵌入就是具有語義上下文的Tokens。它們代表文本的含義和上下文。如果Tokens由分詞器編碼或解碼，那么嵌入模型負責生成以向量形式的文本嵌入。嵌入是使LLMs能夠理解單詞和短語的上下文、細微差別和微妙含義的基礎。它們是模型從大量文本數據中學習的結果，不僅編碼了Tokens的身份，還編碼了它與其他Tokens的關系。
嵌入是LLMs的基礎方面。
通過嵌入，LLMs實現了對語言的深度理解，實現了情感分析、文本摘要和問答等任務，具有細致的理解和生成能力。它們是LLM的入口點，但它們也被用于LLM之外，將文本轉換為向量同時保留語義上下文。當文本通過嵌入模型時，將產生一個包含嵌入的向量。以下是來自開源嵌入模型sentence-transformers/all-MiniLM-L6-v2以及OpenAI模型text-embedding-3-small的示例。
圖片
圖片
圖片
圖片
比較與互動
Tokens與向量：Tokens是語言單位，而向量是這些單位的數學表示。在LLMs的處理管道中，每個Token都被映射到一個向量。
向量與嵌入：所有嵌入都是向量，但并非所有向量都是嵌入。嵌入是經過專門訓練以捕捉深層語義關系的向量。
Tokens和嵌入：從Tokens到嵌入的過渡代表了從語言的離散表示向細致、連續和具有上下文意識的語義空間的移動。
理解向量、Tokens和嵌入對于把握LLMs如何處理語言至關重要。Tokens作為基本數據單位，向量為機器處理提供了數學框架，而嵌入則帶來了深度和理解，使LLMs能夠以類似人類的靈活性和準確性執行任務。這些組件共同構成了LLM技術的支柱，推動著當今AI應用的先進語言模型。
本文轉載自?? MoPaaS魔泊云??，作者： Janakiram MSV
