火山引擎ByteHouse助力大地量子精準、高效預測天氣

伴隨著氣象技術的發(fā)展以及城市氣象設施的完善,氣象監(jiān)測服務能力在不斷提高,實現(xiàn)短期甚至中長期的氣象預測成為可能。

短期、長期的天氣形勢預測,不僅能幫助相關行業(yè)、有關部門針對性地進行極端天氣防范準備,降低氣象災害帶來的影響;還可以提升對風力、水力等可再生能源的利用效率,實現(xiàn)可持續(xù)發(fā)展,推動環(huán)境保護。

而大地量子正是這樣一家深耕氣象領域的公司。作為定位為AI大模型與數(shù)字孿生的公司,大地量子通過對PB級衛(wèi)星遙感數(shù)據(jù)、氣象數(shù)據(jù)的AI開發(fā),打造業(yè)界領先的天氣預測、清潔能源功率預測、綠電交易預測、碳匯碳排等技術產(chǎn)品,并利用自有的AI與超算優(yōu)勢,完成下一代氣象預報系統(tǒng)。


(相關資料圖)

預測一個地理位置的氣象情況,實際是根據(jù)周圍的觀測站點的大量信息,做重合面積的地理信息查詢,包括經(jīng)緯度、溫度、濕度等具體數(shù)值。除此之外,大自然中變幻莫測的風、雨、云、電,也會為數(shù)據(jù)的計算能力和實時查詢也帶來了巨大的難點。具體可以包括以下三點:

第一,地理信息數(shù)據(jù)處理能力,業(yè)務需要豐富的geo函數(shù),用于整合海量的歷史氣象數(shù)據(jù),對目標點位/區(qū)域?qū)崿F(xiàn)天氣預測;第二,高時效性查詢需求,風場、云層預測等模型需要實時查詢能力,快速做到結果反饋;第三,由于查詢的接口眾多,高并發(fā)擴展也是交互式業(yè)務不可或缺的能力之一。

如何解決這些痛點?大地量子選擇了與火山引擎云原生數(shù)據(jù)倉庫ByteHouse進行合作。

隨著字節(jié)跳動業(yè)務的快速發(fā)展,產(chǎn)生了海量的產(chǎn)品使用數(shù)據(jù)分析需求。這類場景數(shù)據(jù)指標計算相對復雜、數(shù)據(jù)總量大且查詢模式多變,要求底層數(shù)據(jù)計算引擎具備高可用性,以及具備應對超大數(shù)據(jù)規(guī)模下交互式實時響應的能力。ByteHouse的極致性能和強大計算能力,正是源于內(nèi)部場景的多年積累和檢驗。

在字節(jié)跳動內(nèi)部實踐場景和海量數(shù)據(jù)打磨下的技術能力也復制在大地量子上,并進行了進一步升級。

據(jù)介紹,ByteHouse起初是基于開源ClickHouse引擎進行技術架構重構和優(yōu)化。但相比起原生的ClickHouse,火山引擎ByteHouse基于獨家自研的高可用引擎及查詢優(yōu)化器,可以為企業(yè)提供快速、穩(wěn)定、安全的查詢服務和數(shù)據(jù)寫入性能。

從技術層面看,ByteHouse 提供了 PB 級數(shù)據(jù)秒級響應,通過增強的自研引擎,確保95%以上的查詢均可在秒級返回,同時通過自研的HAEngine和元數(shù)據(jù)持久化等優(yōu)化,ByteHouse提供了新的生產(chǎn)級高可用方案,能夠保障其在大數(shù)據(jù)量場景下依然不會影響到查詢分析體驗。

大地量子通過將現(xiàn)場采集及大模型生成的氣象數(shù)據(jù)導入到ByteHouse中,通過ByteHouse的多邊形計算、方差、平均值等計算函數(shù)能力,支撐GEO查詢和空間計算,滿足其對預測系統(tǒng)以及交互式查詢需求。另外,針對大地量子不同階段數(shù)據(jù)波動情況,ByteHouse也提出了定制化解決方案。例如,在業(yè)務數(shù)據(jù)低谷期,ByteHouse提供集群節(jié)點進行自助升級能力,在保持產(chǎn)品功能更新的同時,能更靈活幫助大地量子控制產(chǎn)品版本,降低運維負擔。

在降本增效層面,大地量子也利用ByteHouse進行了極致優(yōu)化。ByteHouse 能支持用戶自定義冷存儲的比例,該能力幫助大地量子將查詢頻次較少的歷史數(shù)據(jù)進行冷存,起到降低存儲成本的作用,最終實現(xiàn)查詢效率和成本之間的平衡。

目前,在業(yè)務實踐中,平均查詢?nèi)蝿諘r長始終保持在50毫秒以內(nèi),同時可以做到400QPS的峰值并發(fā),火山引擎ByteHouse的高效率表現(xiàn)為大地量子提供了最有力的用數(shù)支持。

未來,大地量子將把部分功能作為API接口對外開放,ByteHouse的高查詢性能足以滿足預測系統(tǒng)及后續(xù)交互式查詢需求,進一步為大地量子提供了查詢并發(fā)的保障,為業(yè)務擴展提供基礎。除此之外,由于ByteHouse 支持無損和自助水平擴容,隨著數(shù)據(jù)量持續(xù)增加,大地量子也計劃通過 ByteHouse 集群的水平擴容來動態(tài)調(diào)整和支持計算、存儲能力,為高性能查詢提供更強保障。

除了在氣象領域落地,火山引擎ByteHouse還與中國地震臺網(wǎng)中心、海王集團、莉莉絲游戲、極客邦科技等諸多行業(yè)企業(yè)達成了深度合作,憑借新一代的云原生架構,高效方便的運維模式,以及高性能更靈活的實時查詢能力,為企業(yè)抓穩(wěn)數(shù)字化機遇建立了夯實的地基,推動企業(yè)的數(shù)智化轉型升級。(作者:李維)

推薦DIY文章
當智能健身走向全民化:AEKE輕力量家庭智能健身房引領未來
海藝AI:迎合“AI時代”發(fā)展潮流,刷新繪圖市場傳統(tǒng)認知
布局產(chǎn)業(yè)新高地!海星醫(yī)藥健康創(chuàng)新園B區(qū)奠基儀式隆重舉行
未來五年500億投入打底,北汽藍谷錨定細分市場增量
【展會直擊】華秋慕尼黑上海電子展精彩ing,助力電子產(chǎn)業(yè)高質(zhì)量發(fā)展!
桂花網(wǎng)藍牙網(wǎng)關助力司乘人員職業(yè)健康監(jiān)測
精彩新聞