【51CTO.com快譯】什么是機器人數(shù)據自動化 (Robotic Data Automation 以下簡稱 RDA)

機器人數(shù)據自動化 (RDA) 是一種新模式，它有助于自動化數(shù)據集成和數(shù)據準備活動，這些活動涉及到處理用于分析和人工智能/機器學習應用程序的機器數(shù)據。RDA 不僅僅是一個框架，還包含了一套實現(xiàn)數(shù)據自動化的技術和產品能力。

RDA 使企業(yè)能夠大規(guī)模操作機器數(shù)據，從而推動人工智能。

RDA 在企業(yè)領域具有廣泛的適用性，首先，CloudFabrix 采用 RDA 框架并將其應用于解決 AIOps 問題——以幫助簡化和加速 AIOps 實現(xiàn)，并使其更加開放和可擴展。

RDA使用數(shù)據機器人自動執(zhí)行重復的數(shù)據集成、清理、驗證、成形、豐富和轉換活動，這些數(shù)據機器人被調用以在“低代碼”數(shù)據工作流或管道中連續(xù)工作。RDA有助于輕松地將數(shù)據移入和移出AIOps系統(tǒng)，從而簡化和加速AIOps實現(xiàn)，否則這些實現(xiàn)將依賴于大量手動數(shù)據集成和專業(yè)服務活動。

為什么需要 RDA

AIOps需要處理從各種混合 IT 數(shù)據源獲得的大量數(shù)據，這些數(shù)據分布在本地、云和邊緣環(huán)境中。這些數(shù)據有多種格式和交付模式。此外，此類數(shù)據處理的結果還需要與 IT 生態(tài)系統(tǒng)中的其他工具（例如：ITSM/閉環(huán)自動化/協(xié)作工具和 BI/報告工具）進行交換。

所有這些都需要以高效、可重用和可擴展的方式集成、攝取、準備、驗證、清理、轉換、整合、分析和將數(shù)據移入或者移出 AIOps 系統(tǒng)。這些基本任務在 AIOps 實施中常常被忽略，并且導致了嚴重的延遲和增加了 AIOps 項目的成本。

挑戰(zhàn)

讓我們了解一下在實施 AIOps 項目時，數(shù)據準備和數(shù)據集成活動中的一些關鍵挑戰(zhàn)。

• 不同的數(shù)據格式（文本/二進制/json/XML/CSV）、數(shù)據傳輸模式（流、批處理、批量、通知）、編程接口（API/Webhooks/Queries/CLI）
• 復雜的數(shù)據準備活動，包括完整性檢查、清理、轉換和行成數(shù)據（聚合/過濾/排序）
• 原始數(shù)據通常缺乏應用程序或服務上下文，需要從外部系統(tǒng)引入上下文來進行更新實時數(shù)據。
• 實施數(shù)據工作流需要專業(yè)的編程/數(shù)據科學技能
• 源系統(tǒng)或目標系統(tǒng)的更改需要重寫/更新連接器

AIOps 中數(shù)據處理的傳統(tǒng)方法

在傳統(tǒng)方法中，AIOps 供應商提供了一組現(xiàn)成的集成，將 AIOps 解決方案連接到數(shù)據源，處理數(shù)據的方法和結果如下：

• 數(shù)據采集、處理和集成的黑盒方法。
• 用例和場景僅限于平臺支持的內容。
• 集成大多是預定義/硬編碼的限制重用。
• 需要專業(yè)/編程技能（Javascript、Python 等）的復雜腳本模塊或說明書。
• 難以引入外部集成，用于間歇數(shù)據處理（例如：富集）。
• 難以以編程方式訪問數(shù)據，以實現(xiàn)補充功能（例如：腳本、報告、儀表板、自動化等的數(shù)據訪問）。

這些都是通過增加延遲和成本（手動數(shù)據準備/處理活動）來有效處理 AIOps 的障礙。

短時需求：AIOps 的機器人數(shù)據自動化

機器人數(shù)據自動化 (RDA)是AIOps 2.0 的關鍵技術

RDA 的自動化 DataOps，類似于 RPA 自動化業(yè)務流程。RDA是AIOps平臺不可分割的一部分，可提供增強的數(shù)據準備和集成功能能力。RDA 既是一個數(shù)據自動化框架，也是一個加速和簡化AIOps實現(xiàn)中所有數(shù)據處理的工具箱。

重點

• 使用數(shù)據機器人實現(xiàn)低代碼數(shù)據管道。
• 原生 AI/ML 機器人程序。
• CFXQL — 統(tǒng)一查詢語言。
• 內聯(lián)數(shù)據映射。
• 數(shù)據完整性檢查。
• 數(shù)據屏蔽、編輯和加密。
• 數(shù)據整合：聚合/過濾/排序。
• 數(shù)據提取/指標獲取。
• 合成數(shù)據。

好處

• 簡化和加速 AIOps 用例的實現(xiàn)。
• 減少與數(shù)據準備和集成相關的時間/工作/成本。
• 適用于 DevOps/ProdOps 人員（不需要數(shù)據科學家技能）。

用例和場景

• 日志集群： 從云和本地獲取應用程序日志，運行 ML 模型以集群日志，將結果推送到Kibana/CFX儀表板。
• CMDB 同步：從 CFX 獲取最新的資產清單并將其推送到CMDB。
• 從合作伙伴/子公司 ITSM 到客戶ITSM的標簽電子綁定（例如：BMC 事件到 ServiceNow）。
• 事件 NLP 分類：從 ServiceNow 獲取標簽，OpenAI（GPT-3）進行NLP分類，并在 ServiceNow 中豐富標簽。
• 異常檢測：從Prometheus（或任何監(jiān)控工具）獲取節(jié)點的歷史 CPU 使用率（每小時）。應用回歸在Slack上發(fā)送一條消息，并將異常列表作為附件。
• 標簽集群：從ServiceNow獲取最近 24 小時的事件，對標簽應用集群，并將結果推送到新數(shù)據集，以便在 CFX 儀表板中進行可視化。
• 變更檢測：獲取AWS EC2 虛擬機的基準清單，并與當前狀態(tài)進行比較以突出計劃外的變更。

原文標題：Taming the Data Problem and Accelerating AIOps Implementations With RDA，作者：Tejo Prayaga

【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】