數(shù)據(jù)挖掘與決策支持系統(tǒng)之間的關(guān)系

申請免費試用、咨詢電話：400-8352-114

1 決策支持系統(tǒng)

決策支持系統(tǒng)（DSS）中“決策”就是決策者根據(jù)所掌握的信息為決策對象選擇行為的思維過程。為決策者提供支持的信息成為決策支持信息，相應的信息系統(tǒng)稱為決策支持系統(tǒng)，我們將決策支持領域分成OLTP、MIS、LDSS及HDSS四個層次：

1.1 OLTP（聯(lián)機事物處理）

最基本的數(shù)據(jù)庫應用系統(tǒng)，是更高級的MIS系統(tǒng)和DSS系統(tǒng)的基礎，OLTP系統(tǒng)一般具有底層信息采集（數(shù)據(jù)錄入功能）、一定的信息查詢以及信息庫更新維護功能，OLTP面向的是操作人員和低層管理人員，其主要功能在于對數(shù)據(jù)庫中的信息進行錄入、存儲、更新、刪除等操作，是最基本的管理細節(jié)信息的數(shù)據(jù)庫應用系統(tǒng)。

1.2 基于OLTP的MIS系統(tǒng)

這是較高一級的數(shù)據(jù)庫應用系統(tǒng)，這類系統(tǒng)在OUP的基礎上進一步擴展，包括提高信息訪問功能，報表生成能力等。MIS系統(tǒng)由若干個功能相對獨立的OLTP系統(tǒng)集成而成，當前的信息服務系統(tǒng)基本屬于MIS系統(tǒng)。

1.3 LDSS（低級決策支持系統(tǒng)）

LDSS處于比MIS更高一層的位置，直接為決策者提供決策支持服務，它的關(guān)鍵在于信息的有效提取并加以分析而不在于信息的收集與更新（這些操作由基礎層的OLTP系統(tǒng)完成）。目前決策支持系統(tǒng)絕大部分屬于LDSS的層次，它存在著如下功能局限：

（1）隨機性的綜合信息提取功能較弱；

（2）對查詢得到的信息的分析功能較弱；

（3）不是基于海量數(shù)據(jù)庫。

1.4 HDSS〔高級決策支持系統(tǒng)）

HDSS是決策支持系統(tǒng)的最高形式，能夠真正使用戶利用DSS工具直接從企業(yè)信息池中隨機地提取、分析數(shù)據(jù)，有效地服務于企業(yè)的全方位決策。它由三個主要部件構(gòu)成：

1.4.1 數(shù)據(jù)倉庫技術(shù)（DW，Data Warehousing）

進入90年代后，隨著人們對信息需求的迅速增加，信息系統(tǒng)部門工作的重點已不局限于簡單的數(shù)據(jù)收集，而是讓整個企業(yè)內(nèi)的人們能夠充分利用這些數(shù)據(jù)，為此而提出的數(shù)據(jù)倉庫化概念，越來越成為各行各業(yè)信息系統(tǒng)部門普遍關(guān)注的焦點。數(shù)據(jù)倉庫技術(shù)是企業(yè)范圍內(nèi)數(shù)據(jù)的處理技術(shù)，它將這些分散的數(shù)據(jù)集中到一個更大的庫中（稱為數(shù)據(jù)倉庫），最終用戶從數(shù)據(jù)倉庫中運行查詢、制作報表，進行數(shù)據(jù)分析。數(shù)據(jù)倉庫收集存儲了各個不同數(shù)據(jù)源中的數(shù)據(jù)，通過數(shù)據(jù)的組織給決策支持者提供分布在整個企業(yè)內(nèi)部、跨平臺的數(shù)據(jù)。

1.4.2 聯(lián)機分析處理技術(shù)（OLAP，On-line Analytical Processing）

這種技術(shù)能有效地集中分析和深入研究數(shù)據(jù)，發(fā)現(xiàn)趨勢，看到異常情況，得到重要細節(jié)，大體可分為基于多維數(shù)據(jù)庫的OLAP實現(xiàn)（MD-OLAP）和基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)（ROLAP）。OLAP允許用戶使用數(shù)據(jù)導航技術(shù)獲取更詳細的信息，可以使用戶在一個數(shù)據(jù)集內(nèi)進行“向上挖掘”、“向下挖掘”、“跨越挖掘”以及“切片和旋轉(zhuǎn)”等功能。

1.4.3 數(shù)據(jù)挖掘技術(shù)（DM，Data Mining）

它能從大型數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)模式，預測趨勢和行為，致力于知識的自動發(fā)現(xiàn)。一般認為數(shù)據(jù)挖掘是OLAP之后進行的步驟，它通過篩選數(shù)據(jù)獲得未知的關(guān)系，而不是尋找已知的關(guān)系。它能幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)被忽略的要素，如“在某年某地區(qū)賣了多少機械”這就是OLAP，而“促使人們購買某種產(chǎn)品的原因是什么”，則是數(shù)據(jù)挖掘。雖然數(shù)據(jù)倉庫、數(shù)據(jù)挖掘和OLAP技術(shù)最初是作為三種獨立的信息處理技術(shù)出現(xiàn)的，但是，由于它們之間內(nèi)在的聯(lián)系和互補性，使得這三種技術(shù)在高級決策支持系統(tǒng)中已經(jīng)成為一個密不可分的核心。

2 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中發(fā)現(xiàn)并提取隱藏在其中的信息或知識的過程，目的是幫助分析人員尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)忽略的要素，而這些信息對預測趨勢和決策行為是十分有用的，所以它屬于決策支持系統(tǒng)的范疇。

2.1 預處理數(shù)據(jù)

通過消除噪聲、推導計算缺值數(shù)據(jù)、消除重復記錄、完成數(shù)據(jù)類型轉(zhuǎn)換（如把連續(xù)值數(shù)據(jù)轉(zhuǎn)換為離散型的數(shù)據(jù)，或是把離散型的數(shù)據(jù)轉(zhuǎn)換為連續(xù)值數(shù)據(jù)）等來收集和凈化來自數(shù)據(jù)源的信息，并加以存儲，一般是將其存放在數(shù)據(jù)倉庫中。

2.2 模型搜索

利用數(shù)據(jù)挖掘工具在數(shù)據(jù)中查找模型，這個搜尋過程可以由系統(tǒng)自動執(zhí)行，自底向上搜尋原始事實以發(fā)現(xiàn)它們之間的某種聯(lián)系，也可以加入用戶交互過程，由分析人員主動發(fā)問，從上到下地找尋以驗證假定的正確性，對于一個問題的搜尋過程可能用到許多工具，例如神經(jīng)網(wǎng)絡、基于規(guī)則的系統(tǒng)、基于實例的推理、機器學習、統(tǒng)計方法等。

2.3 評價輸出結(jié)果

數(shù)據(jù)挖掘階段發(fā)現(xiàn)出來的模式，經(jīng)過用戶或機器的評估，可能存在冗余、價值不大的或無關(guān)的模式，這時需要將其剔除，把重要的模式形成知識存儲到知識庫中，也有可能模式未能滿足用戶要求，這時則需要整個發(fā)現(xiàn)過程回到發(fā)現(xiàn)階段之前，如重新選取數(shù)據(jù)、采用新的數(shù)據(jù)變換方法、設定新的數(shù)據(jù)挖掘參數(shù)值，甚至換一種挖掘算法。可見數(shù)據(jù)發(fā)掘的搜尋過程一般需要反復多次，因為當分析人員評價輸出結(jié)果后，他們可能會形成一些新的問題或要求對某一方面作更精細的查詢。

2.4 生成最后的結(jié)果報告

DM由于最終是面向人類用戶的，因此可能要對發(fā)現(xiàn)的模式進行可視化，或者把結(jié)果轉(zhuǎn)換為用戶易懂的另一種表示。

2.5 解釋結(jié)果報告

對結(jié)果進行解釋，依據(jù)此結(jié)果采取相應的商業(yè)措施，這是一個人工過程。

數(shù)據(jù)挖掘的相關(guān)技術(shù)：為了簡化和加快數(shù)據(jù)挖掘過程，使數(shù)據(jù)挖掘真正方便、實用，還需其他的技術(shù)支持，如數(shù)據(jù)凈化、數(shù)據(jù)倉庫技術(shù)、強大的平行處理技術(shù)和存儲技術(shù)。

（1）數(shù)據(jù)凈化（Data Scrubbing）。為了使數(shù)據(jù)挖掘能夠產(chǎn)生合理的結(jié)果，數(shù)據(jù)在進入數(shù)據(jù)倉庫以前必須清除錯誤，形成統(tǒng)一的格式，如用“1”和“0”代表性別，而不是用“male”、“female”、“man”、“woman”表示，這個過程可能用的很慢。此外，盡管有現(xiàn)成的軟件可以輔助開發(fā)人員凈化數(shù)據(jù)，將數(shù)據(jù)搬遷到數(shù)據(jù)倉庫中，但開發(fā)人員還是要考慮數(shù)據(jù)如何表示、采用哪種格式等問題。數(shù)據(jù)凈化過程的步驟，按順序如下：a）檢查拼寫錯誤；b）去掉重復的記錄；c）補上不完全的記錄；d）解決不一致的記錄；e）用測試查詢來驗證數(shù)據(jù)；f）根據(jù)驗證結(jié)果反復迭代上述步驟。

（2）數(shù)據(jù)倉庫技術(shù)。一個企業(yè)在沒有建立自己的數(shù)據(jù)倉庫之前，有許多分散的、未集成的、不精練的信息，采掘這樣的數(shù)據(jù)，效率是很低的。數(shù)據(jù)倉庫技術(shù)是企業(yè)范圍內(nèi)數(shù)據(jù)的處理技術(shù)，它將這些分散的數(shù)據(jù)集中到一個更大的庫中，為數(shù)據(jù)挖掘提供了有效的結(jié)構(gòu)，有利于數(shù)據(jù)挖掘。

（3）平行處理技術(shù)。毫無疑問，強大的平行處理計算機可以提高數(shù)據(jù)挖掘的應用，因為平行處理技術(shù)可以將一個復雜查詢分解成多個子查詢，每個子查詢交給不同的處理器處理，這一處理過程是并行執(zhí)行的，不像串行處理機，任務只能順序執(zhí)行。因此，并行處理技術(shù)可以大大加速數(shù)據(jù)挖掘的過程；反過來，人們對數(shù)據(jù)挖掘的興趣也有助于并行系統(tǒng)的銷售。

（4）存儲技術(shù)?，F(xiàn)在的數(shù)據(jù)倉庫存儲的數(shù)據(jù)量是GB到TB級別，隨著時間的推移，在未來五年，可能會達到幾百個TB級，因此，廉價可行的存儲技術(shù)對于數(shù)據(jù)挖掘來說變得非常重要。目前，普遍采用的是二級存儲技術(shù)，即磁盤（磁光盤）-主存兩級存儲，由于缺乏快速的訪問和存儲磁盤的技術(shù)，隨著存儲容量的增長、數(shù)據(jù)挖掘查詢越來越復雜以及并行處理器速度的加快，存儲技術(shù)可能會成為數(shù)據(jù)挖掘的新瓶頸。

3 數(shù)據(jù)挖掘與決策支持系統(tǒng)的聯(lián)系及數(shù)據(jù)挖掘工具產(chǎn)品

傳統(tǒng)的DSS系統(tǒng)通常是在某個假設的前提下通過數(shù)據(jù)查詢和分析來驗證或否定這個假設，而數(shù)據(jù)挖掘技術(shù)則能夠自動分析數(shù)據(jù)，進行歸納整理，從中發(fā)現(xiàn)潛在的模式，或產(chǎn)生聯(lián)想，建立新的業(yè)務模型，幫助決策者調(diào)整市場策略，并找出正確的決策。例如在銷售業(yè)數(shù)據(jù)庫中，數(shù)據(jù)挖掘工具回答“哪些客戶最可能對促銷作出反應，為什么他會這樣？”、“哪些商品之間具有潛在的聯(lián)系？”、“下一個月，在天津的銷售部門的情況將會如何？為什么？”等。而DSS系統(tǒng)回答“今年銷售總量比去年多多少？從而預測明年銷售總量”、“三月份中，在天津的銷售部門的情況如何？從而推測在北京的銷售部門情況”，所以，數(shù)據(jù)挖掘的出現(xiàn)使決策支持工具跨人了一個新階段。

數(shù)據(jù)挖掘技術(shù)能夠幫助用戶從歷史性數(shù)據(jù)中挖掘知識，進而支持決策，極大地吸引用戶，而用戶造就的數(shù)十億美元的市場又極大地吸引了數(shù)據(jù)庫廠商，各大公司紛紛開始了自己的數(shù)據(jù)挖掘工具產(chǎn)品的研制工作。

目前為數(shù)據(jù)挖掘所提供的主要工具有：聯(lián)機分析處理（OLAP：On-Line Analytical Processing）工具及包含一些AI技術(shù)的工具，如IDIS（InformationD iscovery System）。OLAP描述的是一種多維數(shù)據(jù)服務（這里的“維”是指人們觀察世界的角度，如時間、地域、業(yè)務等），這種服務的設計目的是保證分析員、經(jīng)理和決策者針對特定問題，通過快速、一致、交互式的實時數(shù)據(jù)訪問和分析，獲得有創(chuàng)意的發(fā)現(xiàn)。目前，典型的產(chǎn)品有Pilot公司推出的Lightship產(chǎn)品，Oracle公司新近推出的Orcale Express系列產(chǎn)品，美國BusinessObjects公司于1996年推出的Business Miner產(chǎn)品。Business Miner產(chǎn)品是一個桌面式數(shù)據(jù)發(fā)掘工具，可在所有Windows平臺（包括Windows95，Windows NT和Windows 3.x）上使用。（萬方數(shù)據(jù)）