自動駕駛數據集管理解決方案 原創
自動駕駛 AI 訓練場景智能駕駛正在重塑交通格局，為人們帶來更舒適高效的駕駛體驗。當下，智能駕駛融合了先進的傳感技術、大數據和人工智能算法，為了確保車輛能夠在各種復雜環境中安全、高效地運行，智能駕駛 AI 訓練涉及大量的數據處理、算法開發和模型訓練。
自動駕駛技術的發展離不開海量且高質量的數據集，而數據集的質量和一致性管理則是推進這一領域發展的關鍵。dgp（Dataset Governance Policy）項目正是為此而生，它為Toyota Research Institute（TRI）的自動駕駛數據集提供了可追蹤性、可再現性和標準化管理的解決方案。
dgp 是一個開源項目，旨在為自動駕駛數據集的創建、管理和使用制定一套統一的規范。通過編碼化的數據模式（schema）和維護策略，dgp 確保了所有數據集的一致性和高效性，這對于機器學習模型的訓練和評估至關重要。
自動駕駛數據可以分為四大類：
自動駕駛車輛產生的數據首先是 原始數據。主要是傳感器數據、車輛自身數據、駕駛行為數據等。這些數據的特點是數據量極大、類型多樣、以非結構化半結構化數據為主。無論對存儲、傳輸、處理都構成比較大的挑戰。
為了在深度學習中使用數據，我們還需要大量 標注數據。主要有紅綠燈數據集，障礙物數據集（2D、3D），語義分割數據集，自由空間數據集，行為預測數據集等等。
為了刻畫自動駕駛行為，我們還需要將數據抽象成 邏輯數據。主要是完美感知數據，環境抽象數據，車輛動力學模型等。
最后，我們會用為仿真構建 仿真數據，主要是參數模糊化數據，三維重建數據，互動行為數據等。
數據平臺是支撐智能汽車的“云 + 端”研發迭代新模式的核心平臺。
由數據采集與傳輸，自動駕駛數據倉庫，自動駕駛計算平臺三個部分構成。
首先是數據采集與傳輸部分。使用 Data-Recorder 會按 Apollo 數據規范產生，完整的、精確記錄的數據包，可以完成問題復現，也同時完成數據積累。通過傳輸接口，可以將數據高效地傳輸到運營點和云集群中。
接著是自動駕駛數據倉庫部分，會將全部海量數據成體系地組織在一起，快速搜索，靈活使用，為數據流水線和各業務應用提供數據支撐。
自動駕駛計算平臺部分，基于云資源異構計算硬件提供超強算力，通過細粒度容器調度提供多種計算模型，來支撐起各業務應用。如訓練平臺、仿真平臺、車輛標定平臺等等。
以百度Apollo為例， 開源數據集分為以下三大部分：
- 標注數據集，包括 6 部分數據集：激光點云障礙物檢測分類，紅綠燈檢測，Road Hackers，基于圖像的障礙物檢測分類，障礙物軌跡預測，場景解析。
- 演示數據集，包括車載系統演示數據，標定演示數據，端到端演示數據，自定位模塊演示數據；
- 仿真數據集，包括自動駕駛虛擬場景和實際道路真實場景；
除開放數據外，還配套開放云端服務，包括數據標注平臺，訓練學習平臺以及仿真平臺和標定平臺，為 Apollo 開發者提供一整套數據計算能力的解決方案，加速迭代創新。
數據開放平臺的首頁由幾個小節構成，分別是仿真場景數據、標注數據、演示數據、相關產品與服務、上傳我的數據。
開發者可以直接使用 Apollo 已經開放的數據，也可以通過 Apollo 的 Data-Recorder 記錄數據上傳到云上使用。
通過選擇特定數據，可以進入特定數據的應用。
開發者可以在標定平臺中標定車輛參數，通過上傳數據，申請數據加工，使用數據標注服務，在訓練平臺中訓練 Model，將前幾步應用平臺的結果合并到 Github 的 Apollo 代碼中，將編譯結果或源碼提交到仿真平臺中完成評估，這樣就通過“云 + 端”完成了自有車載系統的研發迭代。
接下來是標注數據。
標注數據是為滿足深度學習訓練需求，經人工標注而生成的數據，目前我們開放了多種標注數據，同時在云端配套提供相應的計算能力，供開發者在云端訓練算法，提升算法迭代效率。
Apollo 開放了 6 個標注數據集和社區中比較流行的算法，以便開發者調試云端環境：
- 激光點云障礙物檢測分類，我們提供基于規則算法的 Demo（傳統機器學習）；
- 紅綠燈檢測，我們提供基于SSD 算法的 Demo（Paddle、Caffe）；
- Road Hackers，我們提供基于 CNN+LSTM 的 Demo（Keras、TensorFlow）；
- 基于圖像的障礙物檢測分類我們提供基于 SSD 算法的 Demo（Caffe）；
- 障礙物軌跡預測，我們提供基于 MLP 算法的 Demo（TensorFlow）；
- 場景解析
綜上所述，開發者可以在標定平臺中標定車輛參數，通過上傳數據，申請數據加工，使用數據標注服務，在訓練平臺中訓練 Model，將前幾步應用平臺的結果合并到 Github 的 Apollo 代碼中，將編譯結果或源碼提交到仿真平臺中完成評估，這樣就通過“云 + 端”完成了自有車載系統的研發迭代。
本文轉載自?????數字化助推器????? 作者：天涯咫尺TGH
