ESB在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中的應(yīng)用

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

1、企業(yè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)的需求

目前大多數(shù)企業(yè)根據(jù)自己的業(yè)務(wù)特點(diǎn)和辦公的需要，建立了一大批各自的業(yè)務(wù)處理系統(tǒng)和企業(yè)辦公自動(dòng)化系統(tǒng)，積累了大量的業(yè)務(wù)數(shù)據(jù)。這些業(yè)務(wù)信息系統(tǒng)為提高企業(yè)的工作效率，減少重復(fù)性的工作起到了積極的作用，為企業(yè)的發(fā)展做出了巨大貢獻(xiàn)。但是這些系統(tǒng)的數(shù)據(jù)隨著時(shí)間和業(yè)務(wù)的發(fā)展而不斷膨脹，同時(shí)數(shù)據(jù)分布在不同的系統(tǒng)平臺(tái)上，具有多種存儲(chǔ)形式。隨著市場(chǎng)競(jìng)爭(zhēng)的加劇，信息對(duì)于企業(yè)的生存和發(fā)展起著愈來(lái)愈重要的作用。管理人員常常希望能夠通過(guò)對(duì)組織中的大量數(shù)據(jù)進(jìn)行分析，了解業(yè)務(wù)的發(fā)展趨勢(shì)，而傳統(tǒng)數(shù)據(jù)庫(kù)只保留了當(dāng)前的業(yè)務(wù)處理信息，缺乏決策分析所需要的大量歷史信息。

為此，建立基于數(shù)據(jù)倉(cāng)庫(kù)的商務(wù)智能系統(tǒng)，為企業(yè)的發(fā)展決策提供有根有據(jù)的事實(shí)支持。數(shù)據(jù)倉(cāng)庫(kù)是指面向主題的、一致的、不同時(shí)間的、穩(wěn)定的數(shù)據(jù)集合，用于支持經(jīng)營(yíng)管理中的決策支持過(guò)程。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是通過(guò)對(duì)生產(chǎn)經(jīng)營(yíng)過(guò)程涉及的銷售、庫(kù)存、生產(chǎn)、采購(gòu)等業(yè)務(wù)財(cái)務(wù)數(shù)據(jù)、市場(chǎng)行情、競(jìng)爭(zhēng)對(duì)手等外部數(shù)據(jù)進(jìn)行收集、管理、處理、分析，進(jìn)而給出綜合分析結(jié)果的計(jì)算機(jī)信息處理系統(tǒng)。

2、ETL技術(shù)

構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)關(guān)鍵核心技術(shù)是數(shù)據(jù)集成和遷移。現(xiàn)在，一般是以ETL（以抽取、轉(zhuǎn)換、加載)集成遷移工具實(shí)現(xiàn)。ETL作為數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建的核心和靈魂，它能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)化的過(guò)程，是實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的重要步驟。

ETL是在數(shù)據(jù)遷移過(guò)程中進(jìn)行數(shù)據(jù)抽取(extract)、轉(zhuǎn)換(transform)和加載(load)的過(guò)程。ETL過(guò)程的主要目的就是以最小代價(jià)將面向日常業(yè)務(wù)操作的數(shù)據(jù)轉(zhuǎn)化為面向數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的決策支持型數(shù)據(jù)。傳統(tǒng)的方法是手動(dòng)編寫(xiě)SQL語(yǔ)句和相對(duì)應(yīng)的程序來(lái)實(shí)現(xiàn)數(shù)據(jù)抽取轉(zhuǎn)換工作。這種方法對(duì)技術(shù)人員的專業(yè)水平要求很高，又要求對(duì)業(yè)務(wù)方面有足夠的了解。傳統(tǒng)方式實(shí)現(xiàn)的抽取轉(zhuǎn)換工作在經(jīng)歷了一段時(shí)間后會(huì)造成SQL語(yǔ)句的數(shù)量急劇增加，系統(tǒng)會(huì)逐漸變得難以維護(hù)，模塊難以復(fù)用。因此采用通用成熟的ETL工具來(lái)實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)中數(shù)據(jù)的集中，可以提高復(fù)用維護(hù)的簡(jiǎn)易性，減少設(shè)計(jì)抽取轉(zhuǎn)換流程的難度，使技術(shù)人員把精力放在業(yè)務(wù)上而非實(shí)現(xiàn)的細(xì)節(jié)上。

ETL工具的本質(zhì)是數(shù)據(jù)轉(zhuǎn)換器，它提供一種從源到目標(biāo)系統(tǒng)轉(zhuǎn)換數(shù)據(jù)的方法。這個(gè)功能傳統(tǒng)上由程序員來(lái)完成，需要針對(duì)每一種數(shù)據(jù)源編寫(xiě)不同的數(shù)據(jù)抽取和裝載的程序，效率極其低下。ETL工具提供一種通用的解決方案，它一般用圖形化方式來(lái)生成用于數(shù)據(jù)轉(zhuǎn)換裝載的程序代碼，即直觀高效地生成一個(gè)專用的數(shù)據(jù)轉(zhuǎn)換器，從而減少了70%一80%的工作。

ETL過(guò)程可分為三步：首先是從數(shù)據(jù)源(底層的業(yè)務(wù)系統(tǒng))中，將所需要的數(shù)據(jù)抽取出來(lái)；然后轉(zhuǎn)換為目標(biāo)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)格式；最后將轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中，為了解決“臟數(shù)據(jù)”的數(shù)據(jù)質(zhì)量問(wèn)題，還會(huì)在數(shù)據(jù)轉(zhuǎn)換步驟后加入數(shù)據(jù)清洗功能。ETL包括以下3個(gè)組成部分：

1）數(shù)據(jù)的抽?。褐笍牟煌木W(wǎng)絡(luò)、不同的操作平臺(tái)、不同的數(shù)據(jù)庫(kù)和數(shù)據(jù)格式、不同的應(yīng)用中提取數(shù)據(jù)的過(guò)程；數(shù)據(jù)抽取有完全抽取和增量式抽取。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)很大一部份是用來(lái)反映歷史情況的，抽取功能不只是簡(jiǎn)單的數(shù)據(jù)庫(kù)導(dǎo)向的過(guò)程，更多是一個(gè)獲取增量數(shù)據(jù)的過(guò)程。

2）數(shù)據(jù)的轉(zhuǎn)換：指數(shù)據(jù)的轉(zhuǎn)化(數(shù)據(jù)的合并、匯總、過(guò)濾、轉(zhuǎn)換等)、數(shù)據(jù)的重新格式化和計(jì)算、關(guān)鍵數(shù)據(jù)的重新構(gòu)建和數(shù)據(jù)總結(jié)、數(shù)據(jù)定位等。

3）數(shù)據(jù)的加載：跨網(wǎng)絡(luò)、跨操作系統(tǒng)平臺(tái)，將數(shù)據(jù)按照物理數(shù)據(jù)模型定義的表結(jié)構(gòu)裝入目標(biāo)數(shù)據(jù)庫(kù)中。

3、應(yīng)用協(xié)同Syn__chroESB實(shí)現(xiàn)ETL

3.1 Syn__chroESB的ETL功能概述

協(xié)同Syn__chroESB是以SOA架構(gòu)為核心的企業(yè)服務(wù)總線（ESB），它是一個(gè)基于標(biāo)準(zhǔn)的、面向消息的、高度分布的、具有智能路由的系統(tǒng)整合平臺(tái)。它在JBI規(guī)范的基礎(chǔ)上，實(shí)現(xiàn)了數(shù)據(jù)集成服務(wù)，包含了ETL相關(guān)組件，具有普通ETL工具所具有的功能。它又是一個(gè)開(kāi)放的平臺(tái)，用戶可以編寫(xiě)自己的組件插入到Syn__chroESB總線上，實(shí)現(xiàn)特定的功能。

Syn__chroESB的數(shù)據(jù)集成服務(wù)主要包括歷史數(shù)據(jù)遷移、數(shù)據(jù)同步、數(shù)據(jù)合并、數(shù)據(jù)倉(cāng)庫(kù)等服務(wù)。

    * 歷史數(shù)據(jù)遷移：實(shí)現(xiàn)歷史遺留數(shù)據(jù)的重用，將歷史數(shù)據(jù)遷移到新的目標(biāo)數(shù)據(jù)庫(kù)中。

    * 數(shù)據(jù)同步：實(shí)現(xiàn)分布的數(shù)據(jù)庫(kù)中數(shù)據(jù)的上傳、下載，保證分布數(shù)據(jù)庫(kù)中的數(shù)據(jù)的一致性。

    * 數(shù)據(jù)合并：實(shí)現(xiàn)不同應(yīng)用的數(shù)據(jù)庫(kù)中的個(gè)性化數(shù)據(jù)到統(tǒng)一結(jié)構(gòu)的數(shù)據(jù)庫(kù)中的數(shù)據(jù)的合并，包括清洗、轉(zhuǎn)換等操作。

    * 數(shù)據(jù)倉(cāng)庫(kù)：實(shí)現(xiàn)將分散的數(shù)據(jù)集中到統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)中，并建立統(tǒng)一的數(shù)據(jù)模型來(lái)存儲(chǔ)。

Syn__chroESB的ETL處理主要包括：

    *  實(shí)現(xiàn)數(shù)據(jù)源的批量抽取、增量抽取、定時(shí)抽取，支持主流數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)、平面文件等多種數(shù)據(jù)源，經(jīng)過(guò)數(shù)據(jù)抽取后，將各種數(shù)據(jù)來(lái)源的數(shù)據(jù)在技術(shù)層面上實(shí)現(xiàn)XML格式統(tǒng)一；

    * 實(shí)現(xiàn)對(duì)于分布式的部署系統(tǒng)的數(shù)據(jù)傳輸，提供可靠性傳輸機(jī)制，支持?jǐn)?shù)據(jù)的壓縮、加密等處理；實(shí)現(xiàn)數(shù)據(jù)的加工，主要包括數(shù)據(jù)的清洗、轉(zhuǎn)換處理。

    * 實(shí)現(xiàn)高效的流程并行調(diào)度，并可以批量將數(shù)據(jù)載入，適合于海量數(shù)據(jù)的處理。