速看：火山引擎DataLeap：從抖音電商來看，“數據質量治理”怎么做？

經過近年發(fā)展，抖音電商的體量和規(guī)模已經相當可觀。

(資料圖片)

基于數據驅動思路，抖音電商在數倉建設、數據管理等層面實現準確分析和測量數據，做出以數據為依據的決策，從而推動業(yè)務快速發(fā)展。本文對話抖音電商團隊，為你揭秘龐大數據體量下的數據質量管理最佳實踐。

數據有效性、及時性、準確性關系到C端用戶體驗和B端商家決策，在數據體量龐大的情況下，難以避免數據缺失、緯度錯誤、產出延時等問題，這與數據質量管理息息相關。據抖音電商數據團隊介紹，之前數據質量問題集中體現在：歷史數據繁多，導致無法準確定位異常數據；缺乏合理的監(jiān)控規(guī)則；補齊表監(jiān)控規(guī)則時間、人力成本高等。

為了高效、便捷實現數據質量監(jiān)控，抖音電商數據團隊引入火山引擎DataLeap數據質量平臺，通過數據波動監(jiān)控、異常報警、數據內容探查及差異對比工具等功能，保證數據在生產及使用流程中的可靠性和合理性，避免因為數據質量導致的數據失信、決策失誤等事故。

抖音電商數據團隊主要介紹了數據質量監(jiān)控、數據異常治理兩個場景。

在數據質量監(jiān)控上，抖音電商通過火山引擎DataLeap對抖音APP存量數據質量配置監(jiān)控，并沉淀合理的監(jiān)控規(guī)則，方便監(jiān)控任務的配置情況及把關數據質量。

火山引擎DataLeap數據質量平臺

首先，在監(jiān)控范圍上，通過數據質量平臺實現ToB、ToC 任務覆蓋全量監(jiān)控，及時規(guī)避數據質量風險；其次，在推進機制上，由于 ToC鏈路上游多且監(jiān)控任務帶來過多計算資源消耗，抖音電商團隊優(yōu)先從核心數據鏈路開展數據質量監(jiān)控；最后，在落地執(zhí)行上，通過確立目標、Owner和進度，完成表行數、重復值、空值、表字段、異常值的梳理。

最終實現抖音電商數據質量管理全鏈路標準化，即由牽頭人發(fā)起配置事項，通過火山引擎DataLeap數據質量平臺完成監(jiān)控配置，并跟蹤完成情況，最后相關數據被推送至看板，方便相關數據研發(fā)人員查看和復盤。

對于數據異常情況，抖音電商團隊主要通過火山引擎DataLeap表探查的能力來解決。

數倉中較多數據表字段存在異常值、空值，在使用前無法感知，導致在數據使用時才發(fā)現質量問題，再由業(yè)務方反饋，處理效率較低?；鹕揭鍰ataLeap具備制定統(tǒng)一的監(jiān)控規(guī)范與開發(fā)規(guī)范能力，支持檢測歷史數據異常以及空值等情況，并默認處理、標注數據屬性，確保無數據質量問題，才推進表上線流程。

除數據質量治理外，火山引擎DataLeap還具備數據集成、開發(fā)、運維、資產、安全等全套數據中臺建設能力，有效提升數據研發(fā)效率、降低管理成本，目前已經應用于泛互聯(lián)網、制造、新零售、汽車等領域。（作者：康峰）

推薦DIY文章

環(huán)球熱點評！電腦進入QQ游戲大廳后打不開游戲無法登錄 建議重新下載安裝最新版本

世界即時看！system是什么程序進程可以關閉嗎 system進程功能介紹

筆記本電腦玩游戲卡怎么辦 如何知曉是不是獨立顯卡設置問題

【天天快播報】ghost一鍵恢復系統(tǒng)教程 如果你不懂怎么使用可以參考

【天天聚看點】daemon tools lite虛擬光驅軟件怎么用？請感興趣的一起往下閱讀

教你win7安裝虛擬打印機的方法 有需要安裝的用戶可以這般操作 世界觀點