Over 10 years we help companies reach their financial and branding goals. Engitech is a values-driven technology agency dedicated.

Gallery

Contacts

411 University St, Seattle, USA

+1 -800-456-478-23

Data

Data︰Data Pipeline 是什麼?除了運送數據還能做什麼?

預計閱讀時間︰8 分鐘

無論是數碼營銷、大數據分析,還是人工智能都需要大量顧客數據。不過隨著業務增長,顧客數據量與軟件系統越來越多,數據流動及管理成為致勝關鍵。Data pipeline (數據管道)能為品牌供應大量穩定、可靠而且結構化的數據,對品牌業務發展至關重要。讓我們一起探討 data pipeline 是什麼!

Data Pipeline 是什麼?

你會每天去水井取水嗎?不會,因為我們有供水系統。相同地,為什麼大家還要重複地用人手從一個系統下載數據檔案,重新整理再上載到另一個系統呢?

Data pipeline 中文是「數據管道」或「數據工作流」,是一系列自動化數據處理步驟。它的作用就像供水系統一樣,專門從各個數據系統收集並運送數據到指定數據庫。由於這些數據的格式不一,因此數據管道亦包括數據過濾及整理。一個設計良好的數據管道能為數碼營銷、個人化營銷、大數據分析、人工智能及機構學習等計劃定下重要基礎,是品牌轉型到 next gen marketing 不可或缺的一步。

使用 Data Pipeline 對品牌的三大好處

提升生產力

數據管道能幫助 marketers 自動執行一些處理數據的動作,從而節省人力資源及減少人為錯誤,讓 marketers 騰出時間專注於更有價值的工作。

提高數據質量

數據管道能收集和整合來自不同源頭的顧客數據。有了這些結構化數據,品牌就可以獲得更多見解,作出更準確的營銷決策,從而大幅提高營銷績效。

推動 AI & 機器學習

人工智能需要大量數據來訓練模型,進行深度學習,建立相關智慧。 數據管道能為 AI 提供穩定、可靠而且結構化的數據,推動品牌 AI 發展,更快做到營銷自動化 (marketing automation) 與 personalisation at scale。

延伸閱讀︰Marketing Automation 是什麼?如何節省營銷成本?

Data-Pipeline-Planning

Data Pipeline 六大組成部份

Data Source 數據源頭

你的顧客數據來自什麼地方?Google 及 Meta 廣告平台、分析網站及移動應用程式數據的 GA4、會員計劃及 CRM 系統、客戶服務系統、電郵及 SMS 系統、網店、銷售系統及第三方數據系統等都可以是你的顧客數據源頭。基本上任何產生顧客數據的地方都可以是你的顧客數目源頭。

延伸閱讀︰2023 年 Digital Marketing 趨勢特輯︰Google Analytics 4 (GA4)

Data Collection/Ingestion 數據收集/攝取

確認數據源頭後,就是時候把不同來源的數據集合成統一數據流。不同數據系統可能有不同的要求。以 Apple 廣告為例,用戶必須在看到廣告後於一定時間內完成某些指定動作才算一個 conversion,SKAdNetwork 系統才會發放相關數據,因此數據普遍有 24 – 48 小時的延後,因此比較廣告平台表現時要小心。

Data Flow 數據流程

數據流程是指數據所採取的路線,包括步驟的先後次序。最被廣泛使用的三種數據流方法是 ETL、ELT 和 reverse ETL。ETL (extract, transform, load) 是先從源頭收集數據,經過整合後才儲存入數據庫,適合用於較傳統的數據系統。ELT (extract, load, transform) 是先把數據儲存於數據庫,到需要的時候才加以分析,可以提高數據處理的靈活性。最後的 reverse ETL 有點不一樣。它是把數據倒流回數據源頭,完成整個數據循環的步驟。例如品牌可把整理後的顧客數據載入 Google 及 Meta 廣告平台做 retargeting 及 microtargeting,提升廣告表現等。

延伸閱讀︰如何挑選最適合的 Retargeting 策略 、Microtargeting 的原理、好處和應用

Data Processing 數據處理

數據被收集後需要通過驗證、清理 (data cleansing)、標準化、配對等整合工作才能使用。視乎品牌採用的是 ETL 還是 ELT 架構,這步驟可能在儲蓄數據之後或之後完成。

延伸閱讀︰Data Cleansing 是什麼?

Data Destination 數據目的地

這是存放數據的地方,通常由大型數據儲蓄庫組成,例如用於結構化數據的 data warehouse (數據倉庫),用於非結構化或半結構化數據的 data lake (數據湖),以及結合兩者優點的 data lakehouse (數據湖倉一體)。我們可從這些儲蓄庫中獲取最新數據作分析之用。

延伸閱讀︰Customer Data Platform 顧客數據平台完整指南

Monitoring System 監控系統

數據管道必須有監控以確保數據輸送流暢。這可以包括監控數據質量、管道性能和資源利用率等。管道亦應預先設有通報機制,確保突發情況出現時管理員能得到及時通知。

Data-Pipeline-Design

建立 Data Pipeline 要考慮什麼因素?

一個設計良好的數據管道能為數碼營銷、個人化營銷、大數據分析、人工智能及機構學習等計劃提供重要基礎,不過建立數據管道涉及許多不同的用戶、平台和系統,需要詳細計劃。我們建議大家建立數據管道時需要考慮以下項目。

確定 Customer Data Strategy

設計數據管道時,你首要需要考慮你希望透過數據管道達到什麼目標?需要哪些數據?你可以從什麼地方獲得這些數據?如何衡量數據管道的成功?有了這些大方向,你才可以設計一個有效的數據管道。

延伸閱讀︰2023 年 Digital Marketing 趨勢特輯︰Customer Data Strategy

了解目標用戶的需要和技術水平

用戶不願意使用,再先進的技術也是毫無用處的。因此我們建議大家設計數據管道前先進行 focus group 及 UX audit,詳細了解用戶的期望、實際需要與技術水平,確保數據能以最適合的形式出現,方便用戶使用。

延伸閱讀︰想改善生意?先用 UX Audit 檢查你的網店!

留意時間可能帶來的變化

數據管道可以使用一段非常長的時間。隨著時間過去你可能遇到數據格式轉變、系統轉換、顧客數據量增加等情況,導致出現系統不相容、數據偏差、處理數據量超出限額等問題。因此我們建議大家設計數據管道時需要預留一定的靈活性,確保它能隨著業務增長而變化。

延伸閱讀︰Customer Data 也有保鮮期?

進行數據質量檢查

數據質量是指數據的準確性、完整性和一致性。所謂「garbage in, garbage out」,如果數據質量出現問題,可能導致日後數據分析時得出錯誤或不完整的結論。 因此我們建議大家在管道的各個階段加入數據質量檢查機制,有助確保數據準確、完整和一致。

總結

一個優良的數據管道能為品牌集中所有顧客數據,為數碼營銷、自動化營銷、人工智能驅動營銷提供重要的數據基礎,對品牌業務至關重要。然而,設計和建立數據管道是一個複雜的過程,設計者必須對 marketing、大數據和相關電腦系統和軟件擁有深入了解,因此不少品牌都選擇尋找專業機構代為建立。如果你也對建立數據管道有興趣,歡迎與我們聯絡!

歡迎到 Facebook 和 Instagram inbox 我們!如果你對我們的服務感興趣,歡迎與我們聯絡

Customer Data 系列文章

相關服務

相關文章