|
|
| 商業智能在ERP系統中的應用研究 |
| 商業智能在ERP系統中的應用研究 | | 發布時間：2012/6/5 11:24:47 |
1 緒論
商業智能的發展
商業智能是一種綜合運用了數據倉庫、聯機分析和數據挖掘技術來處理和分析數據的嶄新技術。商業智能這一術語1989年由Gartner Group的Howard Dresner首次提出，它描述了一系列的概念和方法，通過應用基于事實的支持系統來輔助商業決策的制定。商業智能提供使企業迅速分析數據的技術和方法，包括收集、管理和分析數據，將這些數據轉化為有用的信息，然后分發到企業各處。商業智能系統從企業運作的日常數據中開發出結論性的、基于事實的和具有可實旌性的信息，使企業能夠更快更容易的做出更好的商業決策。使企業管理者和決簧者以一種更清晰的角度看待業務數據，提高企業運轉效率、增加利潤并建立良好的客戶關系，使企業以最短的時間發現商業機會捕捉商業機遇。如何時何地進入何市場，如何選擇和管理大客戶聯系，以及如何選擇和有效她推出商品優惠策略等。同時通過提供決策分析能力。使企業更有效地實現了財務分析、風險管理、詐騙檢測、分銷和后勤管理，以及銷售狀況分析等。
商業智能系統可以說是一個智能決策支持系統，它不是一種產品或服務，從某種意義上商業智能是一種概念或者說是一種商業理念，它是在企業數據倉庫的基礎上，利用數據挖掘和信息挖掘工具獲取商業信息，以輔助和支持商業決策的全過程。通過商業智能技術，用戶更充分地了解他們的產品、服務、客戶以及銷售趨勢。商業智能在我國尚處于起步階段，商業智能系統適合應用的行業依次是：零售、保險、銀行、通信、離散制造、政府、醫療、分銷、流程制造、教育。
國內外研究現狀
隨著2003年12月12日Business Objects公司(簡稱Bo)收購Crystal Decisions所有交易的全部結束，一個年營業額達7．36億美元的全球最大的m廠商誕生了。從聽到關于沃爾瑪超市的“啤酒”與“尿布”的故事，我們知道了BI應用可以如此神奇地分析出兩種看似毫不相干的東西之間原來還有著千絲萬縷的聯系，如今以數據倉庫為核心的BI應用正在成為國內很多用戶們實施的熱點。據IDC(Intemational Data Corp．1最新的研究報告稱，2007年商業智能系統的市場規模將翻倍，且在世界范圍超過140億美元，而亞太地區：BI解決方案市場將達33億美元，這是目前市場價值12億美元的近3信。世界許多以提供軟件平臺和工具平臺的大公司通過多年與企業的交流，己經認識到企業對商業智能的迫切需求，紛紛加入到從事商業智能的研究與開發上來。IBM建立了專門從事m方案設計的研究中心，ORACI丑、微軟等公司紛紛推出了支持Ⅸ開發和應用的軟件系統，有的自接進入了BI的開發領域。據市場分析員介紹，BI己經成了企業信息技術最為重要并且極具潛力的領域。
在國外己有很多實施商業智能的成功案例：AT&T Universal公司通過部署商業智能解決方案，每年減少信用卡欺詐額高達8001萬美元：Cadbury巧克力公司借助商業智能使市場份額很快從28％提升到了30％：美國第二大銀行一花旗銀行(Citibank)在BI系統的幫助下，能夠有效分析其分布于57個國家的客戶和信息在國內，商業智能的應用方面還處于剛剛起步階段，但它的需求潛力巨大。在過去兩年里，已經有不少國際商業智能公司進入中國，其中有MicroStrategy,BusinessObjects， Cognos等國際知名的傳統的商業智能軟件廠商，也有一些著名的企業管理應用軟件廠商，比如SAP,qj骨文和冠群等公司投資于分析軟件。國內用友、金蝶、創智等廠商近期也推出了這類產品。這些國內廠商一方面同國際商業智能軟件廠商建立良好的合作關系以維持發展，另一方面也在積極提升產品和解決方案的內在品質，向客戶提供更完美的決策支持服務，爭取與國外廠商一比高低。BI的發展得益于相關技術的發展，并行處理系統、廉價數據存儲、新數據挖掘算法、神經網絡技術、人工智能技術、決策支持技術、從大量數據中發現其背后潛藏的商業機會等等技術的發展。隨著這些技術的不斷進步，必將推動商業智能的發展和完善。
目前國內的m應用仍然存在許多問題，主要表現在數據分析、知識發現能力、效率低，或者缺乏知識發現，而更像一個操作型應用系統。很難在決策支持方面發揮BI應有的作用。首先應該認識到劭發展、應用的總體趨勢，其次多借鑒國外BI成熟的技術和方法，開發或不斷完善真正意義上的BI系統。相信本文對國內企業BI系統的研究開發會有啟發。
商韭智能解決方案的核心功能
(1)客戶智能(客戶關系管理)：
提供全方位的客戶信息查詢、分析和監控功能。利用客戶智能可幫助企業制定獲取客戶、保留情況和提升客戶和潤貢獻度的客戶管理策略。客戶智能還可以對客戶滿意度、忠誠度以及客戶生命周期進行分析，并通過先進的績效管理框架對客戶利潤貢獻度進行評估進而制定客戶細分策略。
(2)營銷智能：
通過分析、報告、管理和監控營銷信息來幫助企業的決策者、營銷專家和分析人員制定戰略性的營銷策略，幫助企業提高營銷能力。并可以根據企業制定的營銷策略進行計算機仿真，觀察銷售策略是否能達到預期的效果。
(3)銷售智能：
提供全面的銷售團隊分析、銷售業績分析、根源分析和業績管理來幫助決策者制定銷售策略及對銷售業務快速做出市場反應。銷售智能還提供很多隨時可以運行的智能報告和分析手冊，評估銷售趨勢、市場開拓活動、產品利潤、產品生存周期以及促銷效果。
(4)服務智能：
分析與服務相關活動的全面信息，監控服務質量，幫助企業制定更合理高效的服務策略。該智能進行閉環式的跟蹤反饋，并與業務人員的工作績效直接掛鉤，起到指導和監督的作用。
(5)財務智能：
提供易于使用的財務盈利狀況分析報表、現金流分析報表、現金狀況分析報表、資產管理分析報表、項目分析報表等，方便決策者迅速地分析財務信息。
商業智能能為企業帶來效益
商業智能幫助企業的管理層進行快速，準確的決策，迅速的發現企業中的問題，提示管理人員加以解決．但商業智能軟件系統能代替管理人員進行決策，不能自動處理企業運行過程中遇到的問題．因此商業智能系統并不能為企業帶來直接的經濟效益，但必須看到，商業智能為企業帶來的是一種經過科學武裝的管理思維，給整個企業帶來的是決策的快速性和準確性，發現問題的及時性，以及發現那些對手未發現的潛在的知識和規律，而這些信息是企業產生經濟效益的基礎，不能快速，準確的指定決策方針等于將市場送給對手，不能及時發現業務種的潛在信息等于浪費自己的資源．比如：通過對銷售數據的分析可發現各類客戶的特征和喜歡購買商品之間的聯系，這樣就可進行更有針對性的精確的促銷活動或向客戶提供更具有個性的服務等，這都會為企業帶來直接的經濟效益．如果把“商業智能“技術應用剄ERP系統中，并對ERP系統積累的數據進行分析處理，使數據倉庫建立在這些數據之上，結合0LAP技術及數據挖掘技術，將非直觀的、隱含的信息和知識以直觀的形式描述，輔助領導層進行決策分析，幫助用戶發現ERP系統積累的數據的潛在價值。可以這么說，普通的ERP系統能夠幫助用戶規范企業的管理，而擁有強大數據分析功能的ERP系統則能夠使用戶從這種規范的管理中獲得更大的效益。它也是當前ERP系統研究的熱點。
中小企業對商業智能需求的迫切性
隨著信息技術的高速發展，企業信息處理量不斷加大，企業資源管理的復雜化也不斷加大，這要求信息的處理有更高的效率，信息的集成度要求擴大到企業的整個資源的利用和管理，ERP(Enterprise Resource Planning-企業資源計劃正是為了適應企業的需求而產生。激烈的市場競爭使越來越多的國內企業開始關注ERP系統，而且在企業中建立起自己的ERP系統，并在多年的系統運行中積累了豐富的數據。隨著計算機網絡的飛速發展和企業走向電子商務的趨勢賦于了ERP許多新的發展趨勢，要求把數據挖掘和聯機分析技術應用到ERP系統中，使其具有商業智能。然而，目前多數國內企業的礤瞪系統仍停留在功能全面的MIS系統層面，尤其沒能夠達到真正的ERP所期望的輔助決策分析的功能。企業面對日益積累的龐大數據，渴望尋求新的途徑來迎接信息時代的挑戰。
商業智能的出現，則可以很好的解決這個鬩題，并且順應時代的的需求，利用現有的業務信息提取和組織有用的信息，能夠幫助用戶在加強管理、促進營銷和企業發展方面做出及時、正確的決策。然而，根據調查數據顯示，中國的BI市場主要集中在電信、金融、稅務、保險等商端市場，對于企業來說，也僅僅少數規模較大的企業用到了BI，究其原因是：
首先是ERP開發商沒有在BI這個產品上投入研發。我們看國內最大的兩家ERP廠商：用友和金蝶，，雖然他們的產品中都加入了自己研發的管理數據倉庫，但都屬于一個概念性的模塊，沒有實際的銷售。那為什么他們不在這個上面投入研發力量呢?原因又有二，其一，BI研發要求相對ERP更為精深的技術，而且，需要更為專業的需求人員。其二，在用友或金蝶看來，中國的ERP也才剛剛進入到普及化的初級階段，國內9096的企業屬于中小型的，BI的需求還不明顯，且它們多數不具備建立數據倉庫的能力。
其次是中小企業在BI上一次性資金投入少，但對短期回報要求高。中小企業由于規模有限，不可能對企業的信息化做大的資金投入，尤其是軟件方面，一次性投入幾十萬元人民幣，對多數中小企業來說就是一個非常龐大的數字了，它們也不可能向大型企業那樣幾個月，甚至幾年后再計算收益，因此更希望在投入的短時間內取得效果，而且效果越明顯越好。然而，商業智能的發展是建立在數據倉庫基礎上的，從目前國內外數據倉庫的建設表明，數據倉庫建設不是一朝一夕的工作，它需要企業擁有強大的數據源，強大的資金作后盾，同時要配備一批數據倉庫管理，維護人員進行日常工作。對于廣大中小企業而言，面對剛剛興起的商業智能，企業決策者只能在理論上認可。那么，是不是中小企業就根本不需要BI呢?答案是否定的。國內中小企業需要商業智能，隨著我國經濟的不斷發展，企業也在不斷壯大，商業智能的興起，使企業看到信息時代的優越性，現有的ERP系統不能滿足決策者的要求，中小企業迫切希望能應用商業智能給企業提供幫助。
其原因在于：
1．有關決策支持的功能分布于ERP的各個部分中，不利于系統的更新及維護。企業的決策需求隨著業務需求及市場的變化而不斷發生變化，在分散的系統中更新、維護系統遠遠不如在集中的系統中方便。
2．較難應用OLAF的分析技術。OLAF技術為數據的快速查詢，分析提供了一種非常好的方法，但分散的系統不利于OLAP技術的實現。
3．不利于數據挖掘技術的應用。數據挖掘技術是現代人工智能和專家系統必用的技術，是數據倉庫和數據集市常用的技術，目前多數企業的ERP系統在數據分析方面是以數據庫為基礎，數據來源不同，不能形成統一的格式，很少建立起自己的數據倉庫或數據集市，使數據挖掘技術不能很好利用。
4．有關決策支持的功能分布于ERP的各個系統中，不能充分發揮第三方數據展示工具的應用。在數據倉庫的解決方案中，有很多的專用工具可以選擇，而分散的系統造成了工具使用上的難度。
研究意義
基于目前情況，本課題研究意義是把數據集市引入商業智能系統中代替數據倉庫，使國內的中小企業也能擁有自己的商業智能，利用ERP系統提供的大量及時的數據果斷決策，使用少量的投資，獲取更大的回報，抓住機遇，贏得優勢，使企業生存發展處于不敗之地。通過引入數據集市建立的ERP軟件的商業智能，它的優勢在于：
1．數據集市是一種更小、更集中的數據倉庫，是為企業提供分析商業數據的一條廉價途徑。它是具有特定應用的數據倉庫，主要針對某個具有戰略意義的應用或具體部門級的應用，把企業長期積累的數據充分利用。
2．數據集市一般包含有關某一特定業務領域的數據，可以分布在不同的物理平臺上，隨著企業的壯大，當更多的數據集市加人時，應將這些數據集市加以集成，最終建立起一種結構，即構成企業級數據倉庫的數據。
相關理論與技術
數據倉庫
業界公認的數據倉庫概念創始人w．H．Iumon在‘建立數據倉庫》一書中對數據倉庫的定義是：數據倉庫就是面向主題的、集成的、穩定的、不同時問的數據集合，用以支持經營管理中的決策制定過程。
數據倉庫中的數據面向主題與傳統數據庫面向應用相對應。主題是一個在較高層次將數據歸類的標準，每一個主題對應一個宏觀的分析領域：數據倉庫的集成特性是指在數據進人數據倉庫之前，必須經過數據加工和集成，這是建立數據倉庫的關鍵步驟，首先要統一原始數據中的矛盾之處，還要將原始數據結構做一個從面向應用向面向主題的轉變：數據倉庫的穩定性是指數據倉庫反映的是歷史數據的內容，而不是日常事務處理產生的數據，數據經加工和集成進入數據倉庫后是極少或根本不修改的；數據倉庫是不同時間的數據集合，它要求數據倉庫中的數據保存時限能滿足進行決策分析的需要，而且數據倉庫中的數據都要標明該數據的歷史時期。
數據倉庫最根本的特點是物理地存放數據，而且這些數據并不是最新的、專有的，而是來源于其它數據庫的。數據倉庫的建立并不是要取代數據庫，它要建立在一個較全面和完善的信息應用的基礎上，用于支持高層決策分析，而事務處理數據庫在企業的信息環境中承擔的是日常操作性的任務。數據倉庫是數據庫技術的一種新的應用，而且到目前為止，數據倉庫還是用數據庫管理系統來管理其中的數據，
數據倉庫的結構
數據倉庫是存儲數據的一種組織形式，它從傳統數據庫中獲得原始數據，先按輔助決策的主題要求形成當前基本數據層，再按綜合決策的要求形成綜合數據層(又可分為輕度綜合層和高度綜合層)。隨著時間的推移，由時間控制機制將當前基本數據層轉為歷史數據層。可見數據倉庫中邏輯結構數據由3層到4層數據組成，它們均由元數據
聯機分析處理
聯機分析處理(On-Line Analytical Process，OLAP)瑚，是使分析人員，管理人員或執行人員能夠從各種角度，對原始數據轉化出來的，能夠真正為用戶所證明的，并真實反映企業維持性的信息進行快速，一致，交互的存取，從而獲得對數據的更深入得了解的一般軟件技術。OLAP的目標是滿足決策支持或多維環境特定的查詢和數據分析工具的集合。
聯機分析處理是數據倉庫進行決策分析的一個重要概念，是一種共享多維信息的快速分析工具，也稱多維分析。它是一種數據分析技術，能夠完成基于某種數據存儲的數據分析功能。OLAP技術是對由語意動態對象建立的，以動態微立方結構形式存儲的表進行向下鉆取(Drill Down)。向上鉆取(Drill Up)，跨越鉆取，切片和切換等操作實現數據的多維分析。完成這些功能和任務涉及的技術包括數據庫，數據倉庫，可視化網絡，數據挖掘和領域知識處理等，系統集成還要處理多種環境。
在適應性方面，有以下幾方面不同：
在維數交化方面
MOLAP具有較高的預綜合度，隨維數的增加，數據超立方體的體積增長十分迅速，管理較難，相比之下，ROLAP的預綜合度較低，管理靈活，維的增加對數據集市的影響較小，適應性較強。
在數據變化方面
由于MOLAP的高效率是建立在預綜合基礎上的，當數據變化頻繁時，如陰進行預綜合所需的開銷將十分客觀，它對數據變化的適應性不如ROi．^P。
在數據量方面
作為ROLAP基礎的RDBMS，其發展歷程要遠遠超過MDDB，目前以擁有較強的并行處理能力，能較好的適應大數據量的運算，同時在對軟硬件環境的適應能力上，也具有明顯的優勢。
聯機分析處理與數據倉庫的關系
在數據倉庫中，OLAP和數據倉庫是密不可分的，但是兩者具有不同的概念。數據倉庫是一個包含企業歷史數據的大規模數據庫，這些歷史數據主要用于對企業的經營決策提供分析和支持。數據倉庫中的數據是不能用于連機事務處理系統(OLTP)的，而OLAP技術則利用數據倉庫中的數據進行聯機分析，將復雜的分析查詢結果快速地返回用戶。OLAP利用多維數據集和數據聚集技術對數據倉庫中的數據進行組織和匯總，用聯機分析和可視化工具對這些數據迅速進行評價。從圖2-1中可以發現OLAP用多維結構表示數據倉庫中的數據，創建組織和匯總數據的立方體，這樣才能有效地提高用戶復雜查詢的要求。因此數據倉庫的結構將直接影響立方體的設計和構造，也就影響OLAP的：工作效率。從OLAP使用的效率角度考慮，在設計數據倉庫時應該考慮這樣一些因素。
數據挖掘技術
數據挖掘技術建立在數據倉庫之上，一方面能夠提高數據倉庫系統的決策支持能力，另一方面，由于數據倉庫完成了數據的清洗、ETL(抽取，轉換，裝載)，數據挖掘面對的是經過初步處理的數據，更加有利于數據挖掘功能的發揮。與展示企業歷史和現有信息的靜態、動態報表及查詢等分析方法不同，數據挖掘是從數據庫中智能地尋找模型，從海量數據中歸納出有用信息。可以說通過商業智能系統，企業獲得洞察力的主要手段就是數據挖掘。
數據挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
數據挖掘技術的分類
數據挖掘技術充分利用機器學習、人上智能、模糊邏輯、人上神經網絡等方法。按照研究方法的不同，可分為：
①歸納學習方法：如信息論方法(決策樹方法)，集合論方法(粗集方法，概念樹方法等)；
②仿生物技術方法：如神經網絡方法，遺傳算法；
③公式發現法：如物理定律發現系統BACON、經驗公式發現系統FI)D；
④統計分析方法：如相關分析，回歸分析，因子分析等；
⑤模糊數學方法：如模糊評判，模糊聚類等。數據挖掘按照功能又可分為描述型數據挖掘和預測型數據挖掘兩種。描述型數據挖掘包括數據總結、聚類及關聯分析等。預測型數據挖掘包括分類、回歸及時問序列分析等。
下面介紹集中比較典型的數據挖掘方法：
(1)數據總結：繼承于數據分析中的統計分析。數據總結目的是對數據進行濃縮，給出它的緊湊描述。傳統統計方法如求和值、平均值、方差值等都是有效方法。另外還可以用直方圖、餅狀圖等圖形方式表示這些值。廣義上講，多維分析也可以歸入這一類。
(2)聚類：聚類分析是根據物以類聚的原理，將本身沒有類別的樣本聚集成不同的群組，并且對每一個這樣的組進行描述的過程。它的目的是使群與群之間差別很明顯，而同一個群之間的數據盡量相似。
聚類分析常用于客戶關系管理。利用聚類技術，根據客戶的個人特征以及消費數據，可以將客戶群體進行細分。例如，可以得到這樣的一個消費群體：女性占91％，全部無子女、年齡在3l到40歲占70％，高消費級別的占64％，買過針織品的占91％，買過廚房用品的占89％，買過園藝用品的占79％。針對不同的客戶群，可以實施不同的營銷和服務方式，從而提高客戶的滿意度。
對于空間數據，根據地理位置以及障礙物的存在情況．可以自動進行區域劃分。例如，根據分布在不同地理位置的ATM機的情況將居民進行區域劃分，根據這一信息，可以有效地進行ATM機的設置規劃，避免浪費，同時也避免失掉每一個商機。對于文本數據，利用聚類技術可以根據文檔的內容自動劃分類別，從而便于文本的檢索。
(3)關聯分析：關聯分析主要用于發現不同事件之間的關聯性，即一個事件發生的同時，另一個事件也經常發生。兩種常用的技術是關聯規則和序列模式。關聯規則是尋找在同一個事件中出現的不同項的相關性：序列模式與此類似，尋找的是事件之間時間上的相關性，如對股票漲跌的分析等。關聯分析的重點在于快速發現那些有實用價值的關聯發生的事件。其主要依據是事件發生的概率和條件概率應該符合一定的統計意義。
對于結構化的數據，以客戶的購買習慣數據為例，利用關聯分析，可以發現客戶的關聯購買需要。例如，一個開設儲蓄賬戶的客戶很可能同時進行債券交易和股票交易，購買紙尿褲的男顧客經常同時購買啤酒等。利用這種知識可以采取積極的營銷策略，擴展客戶購買的產品范圍，吸引更多的客戶。通過調整商品的布局便于顧客買到經常同時購買的商品，或者通過降低一種商品的價格來促進另一種商品的銷售等。
對于非結構化的數據，以空間數據為例，利用關聯分析，可以發現地理位置的關聯性。例如，85％的靠近高速公路的大城鎮與水相鄰，或者發現通常與高爾夫球場相鄰的對象等。
(4)分類：目的是構造一個分類函數或分類模型(也常常稱作分類器)，該模型能把數據庫中的數據項映射到給定類別中的某一個。要構造分類器，需要有一個訓練樣本數據集作為輸入。訓練集由一組數據庫記錄或元組構成，每個元組是一個由有關字段(又稱屬性或特征)值組成的特征向量，此外，訓練樣本還有一個類別標記。
元數據分類
對元數據的合理分類，是對其有效管理的前提，目前對于元數據分類有很多種，從不同的角度可以將元數據分成不同的類蹦。按數據類型分為：基礎數據元數據，數據處理元數據：按抽象層次分為：概念元數據，邏輯元數據和物理元數據：按用戶使用角度來分：技術元數據和業務元數據：按元數據來源分為：工具元數據，資源元數據，外來元數據：按應用日的分為：管理維護元數據，更新元數據和分析元數據，等等。
本文將元數據集市中的元數據劃分為：技術元數據和業務元數據。技術元數據(technical metadata)是為企業技術用戶和IT員工提供支持的元數據，而業務元數據(business metadata)是為企業業務用戶提供支持的元數據。當開發人員和技術用戶對企業應用系統進行維護和擴展時，技術元數據為他們提供所需的信息。例如，如果企業需要重新劃分其他地理銷售區域，信息主管就可以用技術元數據列出所有含有地理銷售數據的程序、表和系統。這些信息使主管能夠方便而迅速地估計出開發團隊進行修改所需要的開發資源和時問，還可以幫助確定可能受到影響的所有其它系統。然后開發人員在實現新的地理銷售區域時，可以使用其他技術元數據來幫助定位到具體的代碼。因此，技術元數據對于維護和改進信息系統來說時至關重要的。技術元數據還可以幫助IT員工為信息系統的后續版本制定計劃，還可以協助開發人員實際地實現這些變化。如果沒有技術元數據，分析和實現這些變換就會變成一項困難而費時的任務。
盡管創建元數據源的副本《抽取文件)會有一些額外的存儲r丌銷，但這些開銷會相當小，因為元數據源文件中的數據量通常不會很大。另一方面，單獨建立抽取層有三個優點：
1)時效性
抽取層對于保持系統中的元數據同步非常重要。為了說明這一點，可以假定有三張元數據倉庫表需要從相同的元數據源得至0數據。如何構造一個進程直接從同一數據源構建這三張元數據表，當執行該迸程來構建其中一元數據表時，此時的元數據源可能已經變化了。當元數據源高度動態變化時，這種情況的可能性會更大。在不同時刻讀取元數據時，元數據倉庫中的數據就會不同步。通過在集成處理過程中一次性創建抽取文件，所有的元數據表可由該抽取文件構建，這就消除了可能的時效性問題。
2)擴展性
因為要創建類似于元數據源文件或表的抽取文件，所以只需要從元數據源一次性地讀取數據。如果沒有抽取文件或表，元數據倉庫中的每張表都必須分別從元數據源中讀取，這并不是開發人員所期望的。
3)備份
創建抽取文件提供了該元數據源的自然備份。因此，如果出現了不得不停止元數據集成處理的狀況，那么可以在不影響元數據源的情況下輕易地撤消改動。 |
1 緒論
商業智能的發展
商業智能是一種綜合運用了數據倉庫、聯機分析和數據挖掘技術來處理和分析數據的嶄新技術。商業智能這一術語1989年由Gartner Group的Howard Dresner首次提出，它描述了一系列的概念和方法，通過應用基于事實的支持系統來輔助商業決策的制定。商業智能提供使企業迅速分析數據的技術和方法，包括收集、管理和分析數據，將這些數據轉化為有用的信息，然后分發到企業各處。商業智能系統從企業運作的日常數據中開發出結論性的、基于事實的和具有可實旌性的信息，使企業能夠更快更容易的做出更好的商業決策。使企業管理者和決簧者以一種更清晰的角度看待業務數據，提高企業運轉效率、增加利潤并建立良好的客戶關系，使企業以最短的時間發現商業機會捕捉商業機遇。如何時何地進入何市場，如何選擇和管理大客戶聯系，以及如何選擇和有效她推出商品優惠策略等。同時通過提供決策分析能力。使企業更有效地實現了財務分析、風險管理、詐騙檢測、分銷和后勤管理，以及銷售狀況分析等。
商業智能系統可以說是一個智能決策支持系統，它不是一種產品或服務，從某種意義上商業智能是一種概念或者說是一種商業理念，它是在企業數據倉庫的基礎上，利用數據挖掘和信息挖掘工具獲取商業信息，以輔助和支持商業決策的全過程。通過商業智能技術，用戶更充分地了解他們的產品、服務、客戶以及銷售趨勢。商業智能在我國尚處于起步階段，商業智能系統適合應用的行業依次是：零售、保險、銀行、通信、離散制造、政府、醫療、分銷、流程制造、教育。
國內外研究現狀
隨著2003年12月12日Business Objects公司(簡稱Bo)收購Crystal Decisions所有交易的全部結束，一個年營業額達7．36億美元的全球最大的m廠商誕生了。從聽到關于沃爾瑪超市的“啤酒”與“尿布”的故事，我們知道了BI應用可以如此神奇地分析出兩種看似毫不相干的東西之間原來還有著千絲萬縷的聯系，如今以數據倉庫為核心的BI應用正在成為國內很多用戶們實施的熱點。據IDC(Intemational Data Corp．1最新的研究報告稱，2007年商業智能系統的市場規模將翻倍，且在世界范圍超過140億美元，而亞太地區：BI解決方案市場將達33億美元，這是目前市場價值12億美元的近3信。世界許多以提供軟件平臺和工具平臺的大公司通過多年與企業的交流，己經認識到企業對商業智能的迫切需求，紛紛加入到從事商業智能的研究與開發上來。IBM建立了專門從事m方案設計的研究中心，ORACI丑、微軟等公司紛紛推出了支持Ⅸ開發和應用的軟件系統，有的自接進入了BI的開發領域。據市場分析員介紹，BI己經成了企業信息技術最為重要并且極具潛力的領域。
在國外己有很多實施商業智能的成功案例：AT&T Universal公司通過部署商業智能解決方案，每年減少信用卡欺詐額高達8001萬美元：Cadbury巧克力公司借助商業智能使市場份額很快從28％提升到了30％：美國第二大銀行一花旗銀行(Citibank)在BI系統的幫助下，能夠有效分析其分布于57個國家的客戶和信息在國內，商業智能的應用方面還處于剛剛起步階段，但它的需求潛力巨大。在過去兩年里，已經有不少國際商業智能公司進入中國，其中有MicroStrategy,BusinessObjects， Cognos等國際知名的傳統的商業智能軟件廠商，也有一些著名的企業管理應用軟件廠商，比如SAP,qj骨文和冠群等公司投資于分析軟件。國內用友、金蝶、創智等廠商近期也推出了這類產品。這些國內廠商一方面同國際商業智能軟件廠商建立良好的合作關系以維持發展，另一方面也在積極提升產品和解決方案的內在品質，向客戶提供更完美的決策支持服務，爭取與國外廠商一比高低。BI的發展得益于相關技術的發展，并行處理系統、廉價數據存儲、新數據挖掘算法、神經網絡技術、人工智能技術、決策支持技術、從大量數據中發現其背后潛藏的商業機會等等技術的發展。隨著這些技術的不斷進步，必將推動商業智能的發展和完善。
目前國內的m應用仍然存在許多問題，主要表現在數據分析、知識發現能力、效率低，或者缺乏知識發現，而更像一個操作型應用系統。很難在決策支持方面發揮BI應有的作用。首先應該認識到劭發展、應用的總體趨勢，其次多借鑒國外BI成熟的技術和方法，開發或不斷完善真正意義上的BI系統。相信本文對國內企業BI系統的研究開發會有啟發。
商韭智能解決方案的核心功能
(1)客戶智能(客戶關系管理)：
提供全方位的客戶信息查詢、分析和監控功能。利用客戶智能可幫助企業制定獲取客戶、保留情況和提升客戶和潤貢獻度的客戶管理策略。客戶智能還可以對客戶滿意度、忠誠度以及客戶生命周期進行分析，并通過先進的績效管理框架對客戶利潤貢獻度進行評估進而制定客戶細分策略。
(2)營銷智能：
通過分析、報告、管理和監控營銷信息來幫助企業的決策者、營銷專家和分析人員制定戰略性的營銷策略，幫助企業提高營銷能力。并可以根據企業制定的營銷策略進行計算機仿真，觀察銷售策略是否能達到預期的效果。
(3)銷售智能：
提供全面的銷售團隊分析、銷售業績分析、根源分析和業績管理來幫助決策者制定銷售策略及對銷售業務快速做出市場反應。銷售智能還提供很多隨時可以運行的智能報告和分析手冊，評估銷售趨勢、市場開拓活動、產品利潤、產品生存周期以及促銷效果。
(4)服務智能：
分析與服務相關活動的全面信息，監控服務質量，幫助企業制定更合理高效的服務策略。該智能進行閉環式的跟蹤反饋，并與業務人員的工作績效直接掛鉤，起到指導和監督的作用。
(5)財務智能：
提供易于使用的財務盈利狀況分析報表、現金流分析報表、現金狀況分析報表、資產管理分析報表、項目分析報表等，方便決策者迅速地分析財務信息。
商業智能能為企業帶來效益
商業智能幫助企業的管理層進行快速，準確的決策，迅速的發現企業中的問題，提示管理人員加以解決．但商業智能軟件系統能代替管理人員進行決策，不能自動處理企業運行過程中遇到的問題．因此商業智能系統并不能為企業帶來直接的經濟效益，但必須看到，商業智能為企業帶來的是一種經過科學武裝的管理思維，給整個企業帶來的是決策的快速性和準確性，發現問題的及時性，以及發現那些對手未發現的潛在的知識和規律，而這些信息是企業產生經濟效益的基礎，不能快速，準確的指定決策方針等于將市場送給對手，不能及時發現業務種的潛在信息等于浪費自己的資源．比如：通過對銷售數據的分析可發現各類客戶的特征和喜歡購買商品之間的聯系，這樣就可進行更有針對性的精確的促銷活動或向客戶提供更具有個性的服務等，這都會為企業帶來直接的經濟效益．如果把“商業智能“技術應用剄ERP系統中，并對ERP系統積累的數據進行分析處理，使數據倉庫建立在這些數據之上，結合0LAP技術及數據挖掘技術，將非直觀的、隱含的信息和知識以直觀的形式描述，輔助領導層進行決策分析，幫助用戶發現ERP系統積累的數據的潛在價值。可以這么說，普通的ERP系統能夠幫助用戶規范企業的管理，而擁有強大數據分析功能的ERP系統則能夠使用戶從這種規范的管理中獲得更大的效益。它也是當前ERP系統研究的熱點。
中小企業對商業智能需求的迫切性
隨著信息技術的高速發展，企業信息處理量不斷加大，企業資源管理的復雜化也不斷加大，這要求信息的處理有更高的效率，信息的集成度要求擴大到企業的整個資源的利用和管理，ERP(Enterprise Resource Planning-企業資源計劃正是為了適應企業的需求而產生。激烈的市場競爭使越來越多的國內企業開始關注ERP系統，而且在企業中建立起自己的ERP系統，并在多年的系統運行中積累了豐富的數據。隨著計算機網絡的飛速發展和企業走向電子商務的趨勢賦于了ERP許多新的發展趨勢，要求把數據挖掘和聯機分析技術應用到ERP系統中，使其具有商業智能。然而，目前多數國內企業的礤瞪系統仍停留在功能全面的MIS系統層面，尤其沒能夠達到真正的ERP所期望的輔助決策分析的功能。企業面對日益積累的龐大數據，渴望尋求新的途徑來迎接信息時代的挑戰。
商業智能的出現，則可以很好的解決這個鬩題，并且順應時代的的需求，利用現有的業務信息提取和組織有用的信息，能夠幫助用戶在加強管理、促進營銷和企業發展方面做出及時、正確的決策。然而，根據調查數據顯示，中國的BI市場主要集中在電信、金融、稅務、保險等商端市場，對于企業來說，也僅僅少數規模較大的企業用到了BI，究其原因是：
首先是ERP開發商沒有在BI這個產品上投入研發。我們看國內最大的兩家ERP廠商：用友和金蝶，，雖然他們的產品中都加入了自己研發的管理數據倉庫，但都屬于一個概念性的模塊，沒有實際的銷售。那為什么他們不在這個上面投入研發力量呢?原因又有二，其一，BI研發要求相對ERP更為精深的技術，而且，需要更為專業的需求人員。其二，在用友或金蝶看來，中國的ERP也才剛剛進入到普及化的初級階段，國內9096的企業屬于中小型的，BI的需求還不明顯，且它們多數不具備建立數據倉庫的能力。
其次是中小企業在BI上一次性資金投入少，但對短期回報要求高。中小企業由于規模有限，不可能對企業的信息化做大的資金投入，尤其是軟件方面，一次性投入幾十萬元人民幣，對多數中小企業來說就是一個非常龐大的數字了，它們也不可能向大型企業那樣幾個月，甚至幾年后再計算收益，因此更希望在投入的短時間內取得效果，而且效果越明顯越好。然而，商業智能的發展是建立在數據倉庫基礎上的，從目前國內外數據倉庫的建設表明，數據倉庫建設不是一朝一夕的工作，它需要企業擁有強大的數據源，強大的資金作后盾，同時要配備一批數據倉庫管理，維護人員進行日常工作。對于廣大中小企業而言，面對剛剛興起的商業智能，企業決策者只能在理論上認可。那么，是不是中小企業就根本不需要BI呢?答案是否定的。國內中小企業需要商業智能，隨著我國經濟的不斷發展，企業也在不斷壯大，商業智能的興起，使企業看到信息時代的優越性，現有的ERP系統不能滿足決策者的要求，中小企業迫切希望能應用商業智能給企業提供幫助。
其原因在于：
1．有關決策支持的功能分布于ERP的各個部分中，不利于系統的更新及維護。企業的決策需求隨著業務需求及市場的變化而不斷發生變化，在分散的系統中更新、維護系統遠遠不如在集中的系統中方便。
2．較難應用OLAF的分析技術。OLAF技術為數據的快速查詢，分析提供了一種非常好的方法，但分散的系統不利于OLAP技術的實現。
3．不利于數據挖掘技術的應用。數據挖掘技術是現代人工智能和專家系統必用的技術，是數據倉庫和數據集市常用的技術，目前多數企業的ERP系統在數據分析方面是以數據庫為基礎，數據來源不同，不能形成統一的格式，很少建立起自己的數據倉庫或數據集市，使數據挖掘技術不能很好利用。
4．有關決策支持的功能分布于ERP的各個系統中，不能充分發揮第三方數據展示工具的應用。在數據倉庫的解決方案中，有很多的專用工具可以選擇，而分散的系統造成了工具使用上的難度。
研究意義
基于目前情況，本課題研究意義是把數據集市引入商業智能系統中代替數據倉庫，使國內的中小企業也能擁有自己的商業智能，利用ERP系統提供的大量及時的數據果斷決策，使用少量的投資，獲取更大的回報，抓住機遇，贏得優勢，使企業生存發展處于不敗之地。通過引入數據集市建立的ERP軟件的商業智能，它的優勢在于：
1．數據集市是一種更小、更集中的數據倉庫，是為企業提供分析商業數據的一條廉價途徑。它是具有特定應用的數據倉庫，主要針對某個具有戰略意義的應用或具體部門級的應用，把企業長期積累的數據充分利用。
2．數據集市一般包含有關某一特定業務領域的數據，可以分布在不同的物理平臺上，隨著企業的壯大，當更多的數據集市加人時，應將這些數據集市加以集成，最終建立起一種結構，即構成企業級數據倉庫的數據。
相關理論與技術
數據倉庫
業界公認的數據倉庫概念創始人w．H．Iumon在‘建立數據倉庫》一書中對數據倉庫的定義是：數據倉庫就是面向主題的、集成的、穩定的、不同時問的數據集合，用以支持經營管理中的決策制定過程。
數據倉庫中的數據面向主題與傳統數據庫面向應用相對應。主題是一個在較高層次將數據歸類的標準，每一個主題對應一個宏觀的分析領域：數據倉庫的集成特性是指在數據進人數據倉庫之前，必須經過數據加工和集成，這是建立數據倉庫的關鍵步驟，首先要統一原始數據中的矛盾之處，還要將原始數據結構做一個從面向應用向面向主題的轉變：數據倉庫的穩定性是指數據倉庫反映的是歷史數據的內容，而不是日常事務處理產生的數據，數據經加工和集成進入數據倉庫后是極少或根本不修改的；數據倉庫是不同時間的數據集合，它要求數據倉庫中的數據保存時限能滿足進行決策分析的需要，而且數據倉庫中的數據都要標明該數據的歷史時期。
數據倉庫最根本的特點是物理地存放數據，而且這些數據并不是最新的、專有的，而是來源于其它數據庫的。數據倉庫的建立并不是要取代數據庫，它要建立在一個較全面和完善的信息應用的基礎上，用于支持高層決策分析，而事務處理數據庫在企業的信息環境中承擔的是日常操作性的任務。數據倉庫是數據庫技術的一種新的應用，而且到目前為止，數據倉庫還是用數據庫管理系統來管理其中的數據，
數據倉庫的結構
數據倉庫是存儲數據的一種組織形式，它從傳統數據庫中獲得原始數據，先按輔助決策的主題要求形成當前基本數據層，再按綜合決策的要求形成綜合數據層(又可分為輕度綜合層和高度綜合層)。隨著時間的推移，由時間控制機制將當前基本數據層轉為歷史數據層。可見數據倉庫中邏輯結構數據由3層到4層數據組成，它們均由元數據
聯機分析處理
聯機分析處理(On-Line Analytical Process，OLAP)瑚，是使分析人員，管理人員或執行人員能夠從各種角度，對原始數據轉化出來的，能夠真正為用戶所證明的，并真實反映企業維持性的信息進行快速，一致，交互的存取，從而獲得對數據的更深入得了解的一般軟件技術。OLAP的目標是滿足決策支持或多維環境特定的查詢和數據分析工具的集合。
聯機分析處理是數據倉庫進行決策分析的一個重要概念，是一種共享多維信息的快速分析工具，也稱多維分析。它是一種數據分析技術，能夠完成基于某種數據存儲的數據分析功能。OLAP技術是對由語意動態對象建立的，以動態微立方結構形式存儲的表進行向下鉆取(Drill Down)。向上鉆取(Drill Up)，跨越鉆取，切片和切換等操作實現數據的多維分析。完成這些功能和任務涉及的技術包括數據庫，數據倉庫，可視化網絡，數據挖掘和領域知識處理等，系統集成還要處理多種環境。
在適應性方面，有以下幾方面不同：
在維數交化方面
MOLAP具有較高的預綜合度，隨維數的增加，數據超立方體的體積增長十分迅速，管理較難，相比之下，ROLAP的預綜合度較低，管理靈活，維的增加對數據集市的影響較小，適應性較強。
在數據變化方面
由于MOLAP的高效率是建立在預綜合基礎上的，當數據變化頻繁時，如陰進行預綜合所需的開銷將十分客觀，它對數據變化的適應性不如ROi．^P。
在數據量方面
作為ROLAP基礎的RDBMS，其發展歷程要遠遠超過MDDB，目前以擁有較強的并行處理能力，能較好的適應大數據量的運算，同時在對軟硬件環境的適應能力上，也具有明顯的優勢。
聯機分析處理與數據倉庫的關系
在數據倉庫中，OLAP和數據倉庫是密不可分的，但是兩者具有不同的概念。數據倉庫是一個包含企業歷史數據的大規模數據庫，這些歷史數據主要用于對企業的經營決策提供分析和支持。數據倉庫中的數據是不能用于連機事務處理系統(OLTP)的，而OLAP技術則利用數據倉庫中的數據進行聯機分析，將復雜的分析查詢結果快速地返回用戶。OLAP利用多維數據集和數據聚集技術對數據倉庫中的數據進行組織和匯總，用聯機分析和可視化工具對這些數據迅速進行評價。從圖2-1中可以發現OLAP用多維結構表示數據倉庫中的數據，創建組織和匯總數據的立方體，這樣才能有效地提高用戶復雜查詢的要求。因此數據倉庫的結構將直接影響立方體的設計和構造，也就影響OLAP的：工作效率。從OLAP使用的效率角度考慮，在設計數據倉庫時應該考慮這樣一些因素。
數據挖掘技術
數據挖掘技術建立在數據倉庫之上，一方面能夠提高數據倉庫系統的決策支持能力，另一方面，由于數據倉庫完成了數據的清洗、ETL(抽取，轉換，裝載)，數據挖掘面對的是經過初步處理的數據，更加有利于數據挖掘功能的發揮。與展示企業歷史和現有信息的靜態、動態報表及查詢等分析方法不同，數據挖掘是從數據庫中智能地尋找模型，從海量數據中歸納出有用信息。可以說通過商業智能系統，企業獲得洞察力的主要手段就是數據挖掘。
數據挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
數據挖掘技術的分類
數據挖掘技術充分利用機器學習、人上智能、模糊邏輯、人上神經網絡等方法。按照研究方法的不同，可分為：
①歸納學習方法：如信息論方法(決策樹方法)，集合論方法(粗集方法，概念樹方法等)；
②仿生物技術方法：如神經網絡方法，遺傳算法；
③公式發現法：如物理定律發現系統BACON、經驗公式發現系統FI)D；
④統計分析方法：如相關分析，回歸分析，因子分析等；
⑤模糊數學方法：如模糊評判，模糊聚類等。數據挖掘按照功能又可分為描述型數據挖掘和預測型數據挖掘兩種。描述型數據挖掘包括數據總結、聚類及關聯分析等。預測型數據挖掘包括分類、回歸及時問序列分析等。
下面介紹集中比較典型的數據挖掘方法：
(1)數據總結：繼承于數據分析中的統計分析。數據總結目的是對數據進行濃縮，給出它的緊湊描述。傳統統計方法如求和值、平均值、方差值等都是有效方法。另外還可以用直方圖、餅狀圖等圖形方式表示這些值。廣義上講，多維分析也可以歸入這一類。
(2)聚類：聚類分析是根據物以類聚的原理，將本身沒有類別的樣本聚集成不同的群組，并且對每一個這樣的組進行描述的過程。它的目的是使群與群之間差別很明顯，而同一個群之間的數據盡量相似。
聚類分析常用于客戶關系管理。利用聚類技術，根據客戶的個人特征以及消費數據，可以將客戶群體進行細分。例如，可以得到這樣的一個消費群體：女性占91％，全部無子女、年齡在3l到40歲占70％，高消費級別的占64％，買過針織品的占91％，買過廚房用品的占89％，買過園藝用品的占79％。針對不同的客戶群，可以實施不同的營銷和服務方式，從而提高客戶的滿意度。
對于空間數據，根據地理位置以及障礙物的存在情況．可以自動進行區域劃分。例如，根據分布在不同地理位置的ATM機的情況將居民進行區域劃分，根據這一信息，可以有效地進行ATM機的設置規劃，避免浪費，同時也避免失掉每一個商機。對于文本數據，利用聚類技術可以根據文檔的內容自動劃分類別，從而便于文本的檢索。
(3)關聯分析：關聯分析主要用于發現不同事件之間的關聯性，即一個事件發生的同時，另一個事件也經常發生。兩種常用的技術是關聯規則和序列模式。關聯規則是尋找在同一個事件中出現的不同項的相關性：序列模式與此類似，尋找的是事件之間時間上的相關性，如對股票漲跌的分析等。關聯分析的重點在于快速發現那些有實用價值的關聯發生的事件。其主要依據是事件發生的概率和條件概率應該符合一定的統計意義。
對于結構化的數據，以客戶的購買習慣數據為例，利用關聯分析，可以發現客戶的關聯購買需要。例如，一個開設儲蓄賬戶的客戶很可能同時進行債券交易和股票交易，購買紙尿褲的男顧客經常同時購買啤酒等。利用這種知識可以采取積極的營銷策略，擴展客戶購買的產品范圍，吸引更多的客戶。通過調整商品的布局便于顧客買到經常同時購買的商品，或者通過降低一種商品的價格來促進另一種商品的銷售等。
對于非結構化的數據，以空間數據為例，利用關聯分析，可以發現地理位置的關聯性。例如，85％的靠近高速公路的大城鎮與水相鄰，或者發現通常與高爾夫球場相鄰的對象等。
(4)分類：目的是構造一個分類函數或分類模型(也常常稱作分類器)，該模型能把數據庫中的數據項映射到給定類別中的某一個。要構造分類器，需要有一個訓練樣本數據集作為輸入。訓練集由一組數據庫記錄或元組構成，每個元組是一個由有關字段(又稱屬性或特征)值組成的特征向量，此外，訓練樣本還有一個類別標記。
元數據分類
對元數據的合理分類，是對其有效管理的前提，目前對于元數據分類有很多種，從不同的角度可以將元數據分成不同的類蹦。按數據類型分為：基礎數據元數據，數據處理元數據：按抽象層次分為：概念元數據，邏輯元數據和物理元數據：按用戶使用角度來分：技術元數據和業務元數據：按元數據來源分為：工具元數據，資源元數據，外來元數據：按應用日的分為：管理維護元數據，更新元數據和分析元數據，等等。
本文將元數據集市中的元數據劃分為：技術元數據和業務元數據。技術元數據(technical metadata)是為企業技術用戶和IT員工提供支持的元數據，而業務元數據(business metadata)是為企業業務用戶提供支持的元數據。當開發人員和技術用戶對企業應用系統進行維護和擴展時，技術元數據為他們提供所需的信息。例如，如果企業需要重新劃分其他地理銷售區域，信息主管就可以用技術元數據列出所有含有地理銷售數據的程序、表和系統。這些信息使主管能夠方便而迅速地估計出開發團隊進行修改所需要的開發資源和時問，還可以幫助確定可能受到影響的所有其它系統。然后開發人員在實現新的地理銷售區域時，可以使用其他技術元數據來幫助定位到具體的代碼。因此，技術元數據對于維護和改進信息系統來說時至關重要的。技術元數據還可以幫助IT員工為信息系統的后續版本制定計劃，還可以協助開發人員實際地實現這些變化。如果沒有技術元數據，分析和實現這些變換就會變成一項困難而費時的任務。
盡管創建元數據源的副本《抽取文件)會有一些額外的存儲r丌銷，但這些開銷會相當小，因為元數據源文件中的數據量通常不會很大。另一方面，單獨建立抽取層有三個優點：
1)時效性
抽取層對于保持系統中的元數據同步非常重要。為了說明這一點，可以假定有三張元數據倉庫表需要從相同的元數據源得至0數據。如何構造一個進程直接從同一數據源構建這三張元數據表，當執行該迸程來構建其中一元數據表時，此時的元數據源可能已經變化了。當元數據源高度動態變化時，這種情況的可能性會更大。在不同時刻讀取元數據時，元數據倉庫中的數據就會不同步。通過在集成處理過程中一次性創建抽取文件，所有的元數據表可由該抽取文件構建，這就消除了可能的時效性問題。
2)擴展性
因為要創建類似于元數據源文件或表的抽取文件，所以只需要從元數據源一次性地讀取數據。如果沒有抽取文件或表，元數據倉庫中的每張表都必須分別從元數據源中讀取，這并不是開發人員所期望的。
3)備份
創建抽取文件提供了該元數據源的自然備份。因此，如果出現了不得不停止元數據集成處理的狀況，那么可以在不影響元數據源的情況下輕易地撤消改動。 |
|
|
