速看:火山引擎DataLeap:從抖音電商來看,“數(shù)據(jù)質(zhì)量治理”怎么做?

經(jīng)過近年發(fā)展,抖音電商的體量和規(guī)模已經(jīng)相當(dāng)可觀。


(資料圖片)

基于數(shù)據(jù)驅(qū)動(dòng)思路,抖音電商在數(shù)倉建設(shè)、數(shù)據(jù)管理等層面實(shí)現(xiàn)準(zhǔn)確分析和測量數(shù)據(jù),做出以數(shù)據(jù)為依據(jù)的決策,從而推動(dòng)業(yè)務(wù)快速發(fā)展。本文對(duì)話抖音電商團(tuán)隊(duì),為你揭秘龐大數(shù)據(jù)體量下的數(shù)據(jù)質(zhì)量管理最佳實(shí)踐。

數(shù)據(jù)有效性、及時(shí)性、準(zhǔn)確性關(guān)系到C端用戶體驗(yàn)和B端商家決策,在數(shù)據(jù)體量龐大的情況下,難以避免數(shù)據(jù)缺失、緯度錯(cuò)誤、產(chǎn)出延時(shí)等問題,這與數(shù)據(jù)質(zhì)量管理息息相關(guān)。據(jù)抖音電商數(shù)據(jù)團(tuán)隊(duì)介紹,之前數(shù)據(jù)質(zhì)量問題集中體現(xiàn)在:歷史數(shù)據(jù)繁多,導(dǎo)致無法準(zhǔn)確定位異常數(shù)據(jù);缺乏合理的監(jiān)控規(guī)則;補(bǔ)齊表監(jiān)控規(guī)則時(shí)間、人力成本高等。

為了高效、便捷實(shí)現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控,抖音電商數(shù)據(jù)團(tuán)隊(duì)引入火山引擎DataLeap數(shù)據(jù)質(zhì)量平臺(tái),通過數(shù)據(jù)波動(dòng)監(jiān)控、異常報(bào)警、數(shù)據(jù)內(nèi)容探查及差異對(duì)比工具等功能,保證數(shù)據(jù)在生產(chǎn)及使用流程中的可靠性和合理性,避免因?yàn)閿?shù)據(jù)質(zhì)量導(dǎo)致的數(shù)據(jù)失信、決策失誤等事故。

抖音電商數(shù)據(jù)團(tuán)隊(duì)主要介紹了數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)異常治理兩個(gè)場景。

在數(shù)據(jù)質(zhì)量監(jiān)控上,抖音電商通過火山引擎DataLeap對(duì)抖音APP存量數(shù)據(jù)質(zhì)量配置監(jiān)控,并沉淀合理的監(jiān)控規(guī)則,方便監(jiān)控任務(wù)的配置情況及把關(guān)數(shù)據(jù)質(zhì)量。

火山引擎DataLeap數(shù)據(jù)質(zhì)量平臺(tái)

首先,在監(jiān)控范圍上,通過數(shù)據(jù)質(zhì)量平臺(tái)實(shí)現(xiàn)ToB、ToC 任務(wù)覆蓋全量監(jiān)控,及時(shí)規(guī)避數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn);其次,在推進(jìn)機(jī)制上,由于 ToC鏈路上游多且監(jiān)控任務(wù)帶來過多計(jì)算資源消耗,抖音電商團(tuán)隊(duì)優(yōu)先從核心數(shù)據(jù)鏈路開展數(shù)據(jù)質(zhì)量監(jiān)控;最后,在落地執(zhí)行上,通過確立目標(biāo)、Owner和進(jìn)度,完成表行數(shù)、重復(fù)值、空值、表字段、異常值的梳理。

最終實(shí)現(xiàn)抖音電商數(shù)據(jù)質(zhì)量管理全鏈路標(biāo)準(zhǔn)化,即由牽頭人發(fā)起配置事項(xiàng),通過火山引擎DataLeap數(shù)據(jù)質(zhì)量平臺(tái)完成監(jiān)控配置,并跟蹤完成情況,最后相關(guān)數(shù)據(jù)被推送至看板,方便相關(guān)數(shù)據(jù)研發(fā)人員查看和復(fù)盤。

對(duì)于數(shù)據(jù)異常情況,抖音電商團(tuán)隊(duì)主要通過火山引擎DataLeap表探查的能力來解決。

數(shù)倉中較多數(shù)據(jù)表字段存在異常值、空值,在使用前無法感知,導(dǎo)致在數(shù)據(jù)使用時(shí)才發(fā)現(xiàn)質(zhì)量問題,再由業(yè)務(wù)方反饋,處理效率較低?;鹕揭鍰ataLeap具備制定統(tǒng)一的監(jiān)控規(guī)范與開發(fā)規(guī)范能力,支持檢測歷史數(shù)據(jù)異常以及空值等情況,并默認(rèn)處理、標(biāo)注數(shù)據(jù)屬性,確保無數(shù)據(jù)質(zhì)量問題,才推進(jìn)表上線流程。

除數(shù)據(jù)質(zhì)量治理外,火山引擎DataLeap還具備數(shù)據(jù)集成、開發(fā)、運(yùn)維、資產(chǎn)、安全等全套數(shù)據(jù)中臺(tái)建設(shè)能力,有效提升數(shù)據(jù)研發(fā)效率、降低管理成本,目前已經(jīng)應(yīng)用于泛互聯(lián)網(wǎng)、制造、新零售、汽車等領(lǐng)域。(作者:康峰)

推薦DIY文章
環(huán)球熱點(diǎn)評(píng)!電腦進(jìn)入QQ游戲大廳后打不開游戲無法登錄 建議重新下載安裝最新版本
世界即時(shí)看!system是什么程序進(jìn)程可以關(guān)閉嗎 system進(jìn)程功能介紹
筆記本電腦玩游戲卡怎么辦 如何知曉是不是獨(dú)立顯卡設(shè)置問題
【天天快播報(bào)】ghost一鍵恢復(fù)系統(tǒng)教程 如果你不懂怎么使用可以參考
【天天聚看點(diǎn)】daemon tools lite虛擬光驅(qū)軟件怎么用?請(qǐng)感興趣的一起往下閱讀
教你win7安裝虛擬打印機(jī)的方法 有需要安裝的用戶可以這般操作 世界觀點(diǎn)
精彩新聞

超前放送