譯者 | 核子可樂

審校 | 重樓

多模態(tài)AI能夠處理圖像、音頻和文字等多種數(shù)據(jù)形式，亦可捕捉面部表情和周遭環(huán)境細(xì)節(jié)，讓用戶與AI的日常交互變得更加輕松自然、如同與好友聊天。

2023年，多模態(tài)AI市場規(guī)模就已達(dá)到12億美元，預(yù)計(jì)自2024年至2032年期間復(fù)合年增長率將超過30%。

而顯著增長的前提，離不開訓(xùn)練數(shù)據(jù)。多模態(tài)模型的準(zhǔn)確性、穩(wěn)健性和適應(yīng)性在很大程度上取決于訓(xùn)練數(shù)據(jù)集的質(zhì)量、多樣性和同步性?？鐢?shù)據(jù)類型標(biāo)的精確度、多感官輸入的對齊以及上下文情感標(biāo)注其實(shí)相當(dāng)復(fù)雜，由此建立的AI就緒數(shù)據(jù)集也成為多模態(tài)效能的關(guān)鍵保障。

與單模態(tài)數(shù)據(jù)不同，多模態(tài)數(shù)據(jù)集包含諸多隱藏挑戰(zhàn)，包括時間對齊問題以及模態(tài)間的上下文留存問題。若不能加以解決，這些挑戰(zhàn)會大大影響模型性能。

創(chuàng)建多模態(tài)訓(xùn)練數(shù)據(jù)的八大核心挑戰(zhàn)

及時理解并解決多模態(tài)訓(xùn)練數(shù)據(jù)挑戰(zhàn)，有助于構(gòu)建可擴(kuò)展、高保真的數(shù)據(jù)管線，為下一代多模態(tài)模型提供支持。

挑戰(zhàn)一：數(shù)據(jù)異構(gòu)性與標(biāo)準(zhǔn)化

多模態(tài)數(shù)據(jù)集包含各種各樣的數(shù)據(jù)/信息，例如結(jié)構(gòu)化文本、非結(jié)構(gòu)化圖像、時間序列音頻和原始傳感器流。這些數(shù)據(jù)類型具有不同的格式、編碼、分辨率和元數(shù)據(jù)，成為統(tǒng)一數(shù)據(jù)管線構(gòu)建過程中的重大隱患。若不規(guī)范化，AI 模型就無法直接運(yùn)用這些模態(tài)，而現(xiàn)有的工具通常缺乏靈活性和功能來同步處理如此多樣化的輸入信息。

這種異構(gòu)性會對管線的每一層產(chǎn)生負(fù)面影響。它會導(dǎo)致模式定義不一致，數(shù)據(jù)提取邏輯變得脆弱，存儲架構(gòu)難以跨不兼容的格式進(jìn)行擴(kuò)展。如果沒有標(biāo)準(zhǔn)化，跨模態(tài)的協(xié)調(diào)將變得不可靠，從而直接影響訓(xùn)練結(jié)果。

為了應(yīng)對數(shù)據(jù)異構(gòu)性的挑戰(zhàn)，我們需要聘請一家能夠規(guī)范化、對齊和注釋多模態(tài)輸入的專業(yè)服務(wù)提供商。借助跨數(shù)據(jù)類型標(biāo)注和能夠支持AI的多樣化數(shù)據(jù)集服務(wù)，大家可以將原始的異構(gòu)數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化的、機(jī)器可處理的格式。這項(xiàng)基本的數(shù)據(jù)工作對于創(chuàng)建強(qiáng)大的多模態(tài)AI管線并實(shí)現(xiàn)大規(guī)模運(yùn)行至關(guān)重要。

挑戰(zhàn)二：跨模態(tài)同步與對齊

跨時間和空間的文本、音頻、圖像和傳感器信號數(shù)據(jù)流的精確對齊，可謂多模態(tài)學(xué)習(xí)的前提。典型的例子包括將視頻中的對話與面部表情同步，或?qū)⒓す饫走_(dá)數(shù)據(jù)與車輛遙測數(shù)據(jù)映射起來。若對齊不當(dāng)可能會歪曲AI模型的感知，并損害其性能。

不同的捕捉速率、延遲漂移和異步信號流的精確協(xié)調(diào)加劇了這一挑戰(zhàn)。即使是輕微的不同步也會破壞上下文，并影響下游任務(wù)。在同步多傳感器標(biāo)記的支持下，對多傳感器輸入進(jìn)行穩(wěn)健對齊，確保時間和空間一致性，實(shí)現(xiàn)統(tǒng)一且高保真度的跨模態(tài)訓(xùn)練。

挑戰(zhàn)三：上下文差別與歧義

不僅是文字，語氣、面部表情和措辭也是人類交流的一部分，但捕捉這些跨模態(tài)的細(xì)微差別信號是一項(xiàng)艱巨的任務(wù)。諷刺檢測就是一個典型的例子，即嘗試解讀詞匯內(nèi)容、語調(diào)變化和視覺線索。

眾所周知，這種復(fù)雜性會在情緒分析、情緒識別和意圖預(yù)測中引入主觀性。缺乏標(biāo)準(zhǔn)化的解讀會導(dǎo)致標(biāo)注不一致，進(jìn)而降低模型的可靠性。

提供跨數(shù)據(jù)類型標(biāo)注的上下文情緒標(biāo)注服務(wù)的專家團(tuán)隊(duì)可以幫助解決這個問題。這些服務(wù)提供商確保準(zhǔn)確捕捉跨模態(tài)信號，并充分保留可靠的多模態(tài)學(xué)習(xí)所需的語義深度。

挑戰(zhàn)四：可擴(kuò)展性與數(shù)據(jù)量管理

多模態(tài)數(shù)據(jù)集本質(zhì)上非常龐大，主要包含高分辨率圖像、長音頻流和大量文本注釋，這些數(shù)據(jù)很快就會累積成TB級數(shù)據(jù)。如此復(fù)雜的數(shù)據(jù)需要合適的基礎(chǔ)設(shè)施和工作流程來處理。

AI和機(jī)器學(xué)習(xí)公司深知這些挑戰(zhàn)是多方面的。高效存儲異構(gòu)數(shù)據(jù)、不受延遲瓶頸限制地傳輸大文件并在不影響準(zhǔn)確性的情況下擴(kuò)展注釋工作并非易事。管理數(shù)據(jù)版本控制和適應(yīng)增量更新又進(jìn)一步增加了管理穩(wěn)定的多模態(tài)數(shù)據(jù)管線的復(fù)雜性。

事實(shí)證明，可擴(kuò)展的存儲和計(jì)算、精簡的注釋流程以及針對多模態(tài)工作流程優(yōu)化的工具是應(yīng)對這一挑戰(zhàn)的重要方式。缺少這些要素，構(gòu)建可持續(xù)、成規(guī)模的生產(chǎn)級AI就緒數(shù)據(jù)集將根本無法實(shí)現(xiàn)。

挑戰(zhàn)五：質(zhì)量保證和一致性

保持跨模態(tài)注釋的質(zhì)量是一項(xiàng)挑戰(zhàn)；然而，在創(chuàng)建多模態(tài)訓(xùn)練數(shù)據(jù)時，這一挑戰(zhàn)變得更加嚴(yán)峻。畢竟單一模態(tài)中的一次錯誤標(biāo)記就足以扭曲整個訓(xùn)練數(shù)據(jù)集。

數(shù)據(jù)類型之間的相互作用是制定多模態(tài)任務(wù)一致準(zhǔn)則的一大障礙。要實(shí)現(xiàn)較高的注釋者間一致性 (IAA)，需要深厚的專業(yè)知識和培訓(xùn)，并輔以涵蓋文本、音頻、圖像和傳感器數(shù)據(jù)的驗(yàn)證工作流程，而每種數(shù)據(jù)都有不同的指標(biāo)和故障模式。

提供可靠、AI就緒且多樣化的數(shù)據(jù)集需要跨模態(tài)融合方面的專業(yè)能力，保證在錯誤進(jìn)入下游模型之前將其捕捉的嚴(yán)格QA流程。

挑戰(zhàn)六：數(shù)據(jù)隱私與倫理考量

敏感的個人信息的應(yīng)用，例如視頻中的人臉、可識別的語音或用于創(chuàng)建多模態(tài)訓(xùn)練數(shù)據(jù)集而捕捉的生物特征傳感器數(shù)據(jù)，會對人類受試者造成嚴(yán)重的隱私和倫理問題。

根據(jù)GDPR、HIPAA、CCPA等法規(guī)，組織必須實(shí)施嚴(yán)格的匿名化協(xié)議，管理知情同意，并確保整個流程的數(shù)據(jù)處理安全。考慮到訓(xùn)練數(shù)據(jù)中未解決的偏見可能會加劇已部署模型中的歧視，道德盡職調(diào)查自然至關(guān)重要。

這些合規(guī)性要求讓運(yùn)營與技術(shù)復(fù)雜性更上一層樓，需要匹配嚴(yán)格的工作流程與注釋實(shí)踐。其中，隱私、透明度和公平性最為重要，同時保證數(shù)據(jù)集的實(shí)用性或保真度不致受到影響。

挑戰(zhàn)七：工具與平臺限制

大多數(shù)注釋工具都是專為圖像、視頻或文本等單模態(tài)數(shù)據(jù)構(gòu)建的，因此無法滿足多模態(tài)工作流程中的復(fù)雜需求。能夠同步處理并顯示多種數(shù)據(jù)類型的平臺則相對有限，且遠(yuǎn)不夠成熟。

這種情況導(dǎo)致工作流程碎片化，注釋者需要在系統(tǒng)間往來切換、手動同步輸入并協(xié)調(diào)輸出結(jié)果。這顯然會導(dǎo)致效率低下、標(biāo)延遲和錯誤率上升，因此數(shù)據(jù)集越復(fù)雜，最終效果越差。

因此必須期待跨數(shù)據(jù)類型融合與實(shí)時標(biāo)注環(huán)境的出現(xiàn)與統(tǒng)一發(fā)展，這將成為構(gòu)建準(zhǔn)確多模態(tài)數(shù)據(jù)集的必要條件。

挑戰(zhàn)八：專業(yè)知識與資源儲備

多模態(tài)標(biāo)注的關(guān)鍵，在于將領(lǐng)域?qū)I(yè)知識、數(shù)據(jù)科學(xué)素養(yǎng)以及通過高級標(biāo)注平臺處理各類數(shù)據(jù)的能力完全結(jié)合起來。只有這樣，系統(tǒng)才能查找并訓(xùn)練出從數(shù)據(jù)、圖像、視頻或音頻中提取情緒基調(diào)與面部表情的能力。

由于專業(yè)人才不足，AI與機(jī)器學(xué)習(xí)企業(yè)往往面臨項(xiàng)目延期、標(biāo)注質(zhì)量低下的問題。要克服這一挑戰(zhàn)，必須建立專門的訓(xùn)練流程、質(zhì)量保證監(jiān)督以及管理完善的多學(xué)科標(biāo)注人才儲備。

總結(jié)

高質(zhì)量多模態(tài)訓(xùn)練數(shù)據(jù)的生成極其困難，但又是支撐強(qiáng)大多模態(tài)AI系統(tǒng)的必要前提。從模態(tài)同步到語義一致性，每個步驟都充滿不容忽視的技術(shù)與操作問題。

面對這些現(xiàn)實(shí)挑戰(zhàn)，與專業(yè)多模態(tài)標(biāo)注提供商合作已經(jīng)成為一項(xiàng)戰(zhàn)略要務(wù)。依托適當(dāng)?shù)娜瞬拧⒃O(shè)備與方法，這種能力合作將建立起可擴(kuò)展、高精度且符合倫理的數(shù)據(jù)管線，最終掀起下一波多模態(tài)AI浪潮。

原文標(biāo)題：8 Challenges in Multimodal Training Data Creation，作者：Chirag Shivalker