Sentry 企業(yè)級(jí)數(shù)據(jù)安全解決方案-Relay PII 和數(shù)據(jù)清理
本文檔描述了一種我們希望最終對(duì)用戶(hù)隱藏的配置格式。該頁(yè)面仍然存在的唯一原因是當(dāng)前 Relay 接受這種格式以替代常規(guī)數(shù)據(jù)清理設(shè)置。
以下文檔探討了 Relay 使用和執(zhí)行的高級(jí)數(shù)據(jù)清理配置的語(yǔ)法和語(yǔ)義。有時(shí)，這也稱(chēng)為 PII 清理。
一個(gè)基本的例子
假設(shè)您有一條異常消息，不幸的是，其中包含不應(yīng)該存在的 IP 地址。你會(huì)寫(xiě)：
- {
- "applications": {
- "$string": ["@ip:replace"]
- }
- }
它讀作 “替換所有字符串中的所有 IP 地址”，或 "將 @ip:replace 應(yīng)用于所有 $string 字段"。
@ip:replace 稱(chēng)為規(guī)則，$string 稱(chēng)為選擇器。
- https://develop.sentry.dev/pii/selectors/
內(nèi)置規(guī)則
默認(rèn)存在以下規(guī)則：
- @ip:replace 和 @ip:hash 用于替換 IP 地址。
- @imei:replace 和 @imei:hash 用于替換 IMEI。
- @mac:replace、@mac:mask 和 @mac:hash 用于匹配 MAC 地址。
- @email:mask、@email:replace 和 @email:hash 用于匹配 email 地址。
- @creditcard:mask、@creditcard:replace 和 @creditcard:hash 用于匹配信用卡號(hào)碼。
- @userpath:replace 和 @userpath:hash 用于匹配本地路徑(例如 C:/Users/foo/)。
- @password:remove 用于刪除密碼。在這種情況下，我們對(duì)字段的 key 進(jìn)行 pattern 匹配，無(wú)論它是否包含 password、credentials 或類(lèi)似的字符串。
- @anything:remove、@anything:replace 和 @anything:hash 用于刪除、替換或 hash 任何值。它本質(zhì)上等同于通配符正則表達(dá)式，但它也比字符串匹配得多。
編寫(xiě)自己的規(guī)則
規(guī)則一般由兩部分組成：
- 規(guī)則類(lèi)型 描述要匹配的內(nèi)容。有關(guān)詳盡列表，請(qǐng)參閱PII 規(guī)則類(lèi)型。
- https://develop.sentry.dev/pii/types/
- 規(guī)則編輯方法 描述了如何處理匹配。有關(guān)列表，請(qǐng)參閱PII 編輯方法。
- https://develop.sentry.dev/pii/methods/
每個(gè)頁(yè)面都帶有示例。通過(guò)將這些示例粘貼到 Piinguin 的 “PII 配置” 列并單擊字段以獲取建議來(lái)嘗試這些示例。
- https://getsentry.github.io/piinguin/
交互式編輯
解決此問(wèn)題的最簡(jiǎn)單方法是，如果您已經(jīng)擁有來(lái)自某個(gè) SDK 的原始 JSON payload。轉(zhuǎn)到我們的 PII 配置編輯器 Piinguin，然后：
- 粘貼到原始事件中
- 點(diǎn)擊你想要消除的數(shù)據(jù)
- 粘貼其他有效負(fù)載并查看它們是否正常，如有必要，請(qǐng)轉(zhuǎn)到步驟 2。
在對(duì)配置進(jìn)行迭代后，將其粘貼回位于 .relay/projects/
例如：
- {
- "publicKeys": [
- {
- "publicKey": "___PUBLIC_KEY___",
- "isEnabled": true
- }
- ],
- "config": {
- "allowedDomains": ["*"],
- "piiConfig": {
- "rules": {
- "device_id": {
- "type": "pattern",
- "pattern": "d/[a-f0-9]{12}",
- "redaction": {
- "method": "hash"
- }
- }
- },
- "applications": {
- "freeform": ["device_id"]
- }
- }
- }
- }
PII 規(guī)則類(lèi)型
pattern
- {
- "rules": {
- "hash_device_id": {
- "type": "pattern",
- "pattern": "d/[a-f0-9]{12}",
- "redaction": {
- "method": "hash"
- }
- }
- },
- "applications": {
- "$string": ["hash_device_id"]
- }
- }
imei
: 匹配 IMEI 或 IMEISV。
- {
- "rules": {
- "hash_imei": {
- "type": "imei",
- "redaction": {
- "method": "hash"
- }
- }
- },
- "applications": {
- "$string": ["hash_imei"]
- }
- }
mac
: 匹配一個(gè) MAC 地址。
- {
- "rules": {
- "hash_mac": {
- "type": "mac",
- "redaction": {
- "method": "hash"
- }
- }
- },
- "applications": {
- "$string": ["hash_mac"]
- }
- }
:ip
匹配任何 IP 地址。
- {
- "rules": {
- "hash_ip": {
- "type": "ip",
- "redaction": {
- "method": "hash"
- }
- }
- },
- "applications": {
- "$string": ["hash_ip"]
- }
- }
creditcard
: 匹配信用卡號(hào)。
- {
- "rules": {
- "hash_cc": {
- "type": "creditcard",
- "redaction": {
- "method": "hash"
- }
- }
- },
- "applications": {
- "$string": ["hash_cc"]
- }
- }
userpath
: 匹配本地路徑(例如C:/Users/foo/)。
- {
- "rules": {
- "hash_userpath": {
- "type": "userpath",
- "redaction": {
- "method": "hash"
- }
- }
- },
- "applications": {
- "$string": ["hash_userpath"]
- }
- }
anything
: 匹配任何值。這基本上等同于通配符正則表達(dá)式。
例如，要?jiǎng)h除所有字符串：
- {
- "rules": {
- "remove_everything": {
- "type": "anything",
- "redaction": {
- "method": "remove"
- }
- }
- },
- "applications": {
- "$string": ["remove_everything"]
- }
- }
multiple
: 將多個(gè)規(guī)則合二為一。這是一個(gè)析取 (OR)：有問(wèn)題的字段必須只匹配一個(gè)規(guī)則來(lái)匹配組合規(guī)則，而不是全部。
- {
- "rules": {
- "remove_ips_and_macs": {
- "type": "multiple",
- "rules": [
- "@ip",
- "@mac"
- ],
- "hide_rule": false, // Hide the inner rules when showing which rules have been applied. Defaults to false.
- "redaction": {
- "method": "remove"
- }
- }
- },
- "applications": {
- "$string": ["remove_ips_and_macs"]
- }
- }
alias
: 別名一個(gè)規(guī)則到另一個(gè)。這與 multiple 相同，只是您只能包裝一個(gè)規(guī)則。
- {
- "rules": {
- "remove_ips": {
- "type": "multiple",
- "rule": "@ip",
- "hide_rule": false, // Hide the inner rule when showing which rules have been applied. Defaults to false.
- "redaction": {
- "method": "remove"
- }
- }
- },
- "applications": {
- "$string": ["remove_ips"]
- }
- }
PII 編輯方法
remove
: 刪除整個(gè)字段。Relay 可以選擇將其設(shè)置為 null 或完全刪除它。
- {
- "rules": {
- "remove_ip": {
- "type": "ip",
- "redaction": {
- "method": "remove"
- }
- }
- },
- "applications": {
- "$string": ["remove_ip"]
- }
- }
replace
: 用 static string 替換 key。
- {
- "rules": {
- "replace_ip": {
- "type": "ip",
- "redaction": {
- "method": "replace",
- "text": [censored]"
- }
- }
- },
- "applications": {
- "$string": ["replace_ip"]
- }
- }
mask
: 用 "masking(掩碼)" 字符 * 替換匹配字符串的每個(gè)字符。與 replace 相比，它保留了原始字符串的長(zhǎng)度。
- {
- "rules": {
- "mask_ip": {
- "type": "ip",
- "redaction": {
- "method": "mask"
- }
- }
- },
- "applications": {
- "$string": ["mask_ip"]
- }
- }
hash
: 用它自己的 hash 版本替換字符串。相等的字符串將產(chǎn)生相同的 hash 值，因此，例如，如果您決定對(duì)用戶(hù) ID 進(jìn)行散列處理而不是替換或刪除它，您仍將獲得受影響用戶(hù)的準(zhǔn)確計(jì)數(shù)。
- {
- "rules": {
- "hash_ip": {
- "type": "ip",
- "redaction": {
- "method": "hash"
- }
- }
- }
- "applications": {
- "$string": ["mask_ip"]
- }
- }
PII 選擇器
選擇器允許您將規(guī)則限制在事件的某些部分。這對(duì)于按變量/字段名稱(chēng)從事件中無(wú)條件刪除某些數(shù)據(jù)很有用，但也可用于對(duì)真實(shí)數(shù)據(jù)進(jìn)行保守的測(cè)試規(guī)則。
數(shù)據(jù)清理始終適用于原始事件負(fù)載。請(qǐng)記住，UI 中的某些字段在 JSON schema 中的調(diào)用方式可能不同。在查看事件時(shí)，應(yīng)該始終存在一個(gè)名為 "JSON" 的鏈接，可讓您查看數(shù)據(jù)清理器看到的內(nèi)容。
例如，在 UI 中稱(chēng)為 "Additional Data" 的內(nèi)容在事件負(fù)載中稱(chēng)為 extra。要?jiǎng)h除名為 foo 的特定 key，您可以編寫(xiě)：
- [Remove] [Anything] from [extra.foo]
另一個(gè)例子。Sentry 知道兩種錯(cuò)誤消息：異常消息和頂級(jí)日志消息。以下是由 SDK 發(fā)送的此類(lèi)事件負(fù)載(可從 UI 下載)的示例：
- {
- "logentry": {
- "formatted": "Failed to roll out the dinglebop"
- },
- "exceptions": {
- "values": [
- {
- "type": "ZeroDivisionError",
- "value": "integer division or modulo by zero"
- }
- ]
- }
- }
由于 "error message" 取自 exception 的 value， 而 "message" 取自 logentry，因此我們必須編寫(xiě)以下內(nèi)容以將兩者從事件中刪除：
- [Remove] [Anything] from [exception.value]
- [Remove] [Anything] from [logentry.formatted]
布爾邏輯
您可以使用布爾邏輯組合選擇器。
- 以 ! 為前綴來(lái)反轉(zhuǎn)選擇器。foo 匹配 JSON key foo，而 !foo 匹配除 foo 之外的所有內(nèi)容。
- 使用 && 構(gòu)建連詞 (AND)，例如：foo && !extra.foo 以匹配 key foo，除非在 extra 內(nèi)部。
- 使用 || 構(gòu)建析取 (OR)，例如：foo || bar 匹配 foo 或 bar。
通配符
- ** 匹配所有子路徑，因此 foo.** 匹配 foo 中的所有 JSON 鍵。
- * 匹配單個(gè)路徑項(xiàng)，因此 foo.* 匹配比 foo 低一級(jí)的所有 JSON 鍵。
值類(lèi)型
使用以下內(nèi)容按 JSON-type 選擇子節(jié)：
- $string 匹配任何字符串值
- $number 匹配任何整數(shù)或浮點(diǎn)值
- $datetime 匹配事件中代表時(shí)間戳的任何字段
- $array 匹配任何 JSON 數(shù)組值
- $object 匹配任何 JSON 對(duì)象
使用以下方法選擇 schema 的已知部分：
- $exception 匹配 {"exception": {"values": [...]}} 中的單個(gè)異常實(shí)例
- $stacktrace 匹配一個(gè)堆棧跟蹤實(shí)例
- $frame 匹配一個(gè)幀
- $request 匹配事件的 HTTP 請(qǐng)求上下文
- $user 匹配事件的用戶(hù)上下文
- $logentry(也適用于 message 屬性)
- $thread 匹配 {"threads": {"values": [...]}} 中的單個(gè)線(xiàn)程實(shí)例
- $breadcrumb 匹配 {"breadcrumbs": [...]} 中的單個(gè)面包屑
- $span 匹配一個(gè) trace span
- https://docs.sentry.io/product/sentry-basics/tracing/distributed-tracing/
- $sdk 匹配 {"sdk": ...} 中的 SDK 上下文
示例
- 刪除 event.user:
- [Remove] [Anything] from [$user]
- 刪除所有幀局部變量：
- [Remove] [Anything] from [$frame.vars]
轉(zhuǎn)義特殊字符
如果要匹配的對(duì)象 key 包含空格或特殊字符，可以使用引號(hào)將其轉(zhuǎn)義：
- [Remove] [Anything] from [extra.'my special value']
這與 附加數(shù)據(jù) 中的 key my special value 相匹配。
要在引號(hào)內(nèi)轉(zhuǎn)義 '(單引號(hào))，請(qǐng)將其替換為 ''(兩個(gè)引號(hào))：
- [Remove] [Anything] from [extra.'my special '' value']
這與 附加數(shù)據(jù) 中的key my special ' value 值相匹配。
