- 相關推薦
網(wǎng)絡信息挖掘系統(tǒng)評價初探
【 正 文】
隨著電子商務的蓬勃興起，許多企業(yè)已經(jīng)開始意識到其所擁有的豐富的信息資源在商業(yè)決策中具有潛在的巨大商業(yè)價值。更好的決策支持需求和企業(yè)電子商務的開展正推動著網(wǎng)絡信息挖掘系統(tǒng)的研究與開發(fā)。
鑒于網(wǎng)絡信息挖掘是在數(shù)據(jù)挖掘的基礎上發(fā)展起來的，因此對于網(wǎng)絡信息挖掘系統(tǒng)的基本問題，本文仍將利用數(shù)據(jù)挖掘系統(tǒng)的基本理論來描述。
目前，由于網(wǎng)絡信息挖掘系統(tǒng)的發(fā)展正在起步階段，因此它的分類還無法達到數(shù)據(jù)挖掘系統(tǒng)分類那樣細致。具體而言，對網(wǎng)絡信息挖掘系統(tǒng)分類可以從商業(yè)能力、挖掘數(shù)據(jù)類型、挖掘功能、數(shù)據(jù)分析方法和應用領域角度進行。其中商業(yè)能力角度的分類與數(shù)據(jù)挖掘系統(tǒng)的商業(yè)能力分類完全相同，即分為商業(yè)產(chǎn)品和研究原型。而從另外幾個角度看，網(wǎng)絡信息挖掘系統(tǒng)的類型具有自身一些特點，例如從應用領域角度看，網(wǎng)絡信息挖掘系統(tǒng)可以分為面向電子商務型、面向遠程教育型、面向旅游型、面向廣告業(yè)型等。隨著網(wǎng)絡信息挖掘技術(shù)的進一步發(fā)展，將出現(xiàn)更加豐富的網(wǎng)絡信息挖掘系統(tǒng)類型。
1 系統(tǒng)評價現(xiàn)狀調(diào)查
據(jù)調(diào)查，目前國內(nèi)外還沒有出現(xiàn)完全針對網(wǎng)絡信息挖掘系統(tǒng)的評價成果，因而對網(wǎng)絡信息挖掘系統(tǒng)的評價具有一定的創(chuàng)新性。筆者認為，對網(wǎng)絡信息挖掘系統(tǒng)的評價可以充分地借鑒數(shù)據(jù)挖掘系統(tǒng)的評價方法。應該說這兩類系統(tǒng)在很多評價指標上都有重合。
從國外來講，1998年前后已經(jīng)有一些研究人員和機構(gòu)對數(shù)據(jù)挖掘系統(tǒng)進行了一定的評價研究。他們所采用的評價體系各有特點，以下是一些簡要介紹。
1）J.F.Elder等人主要對17種數(shù)據(jù)挖掘系統(tǒng)進行了評價[1]，其中包括了著名的Clementine、Intelligent Miner系統(tǒng)。這些系統(tǒng)具有以下共同的特點：單平臺（Stand Alone）、多用途、支持多種模式和分類算法，并支持模式構(gòu)建中的項目階段。他們主要從6大方面對這些系統(tǒng)進行比較，除此之外，他們還單獨從用戶端角度對數(shù)據(jù)挖掘系統(tǒng)性能進行評價。他們認為并非支持的算法越多越好，各種算法面對不同的問題其解決能力也是不同的，它們具有自身的優(yōu)點與缺點。在文章的最后，還對這17種產(chǎn)品的優(yōu)勢/劣勢作了總體的描述性評價。
2）M.A. King等人針對14種桌面型數(shù)據(jù)挖掘系統(tǒng)[2]，重點對各個系統(tǒng)的特征和性能進行比較。他們選用了20個評價指標，并設計了一個標準的評價過程——6分制評分標準來評價各種軟件工具的優(yōu)點和缺點。他們評價的特色在于針對4種算法的產(chǎn)品分別評價，并采用4類數(shù)據(jù)集測試系統(tǒng)的性能。他們認為網(wǎng)絡法（Polynomial and Neural）要比分割法（Trees and Rules）更精確，另外也提出可以加入計算機環(huán)境、數(shù)據(jù)庫連接性、提供商的穩(wěn)定性等指標進一步評價。
3）D.W.Abbott等人主要針對高端型（High-end）用于欺詐甄別的數(shù)據(jù)挖掘系統(tǒng)進行了評價[3]。盡管僅選擇了5個系統(tǒng)（Clementine、Intelligent Miner for Mata、Darwin、En- terprise Miner、Pattern Recognition Workbench）進行評價，但是他們針對這5個專門應用于欺詐甄別的系統(tǒng)進行了細致的比較。
4）M.Goebel等人將數(shù)據(jù)庫中知識發(fā)現(xiàn)（KDD）與數(shù)據(jù)挖掘結(jié)合到一起評價[4]。他們在介紹一般知識發(fā)現(xiàn)任務以及解決這些任務的方法基礎上，主要調(diào)查了43種提供這類功能的軟件工具。這些工具既包括研究的原型系統(tǒng)，也包括已經(jīng)商業(yè)化的產(chǎn)品。其中有較為著名的Clementine、DBMiner、Intelligent Miner系統(tǒng)。他們采用了一個系統(tǒng)特征分類體系對上述產(chǎn)品進行比較，并提出一些尚待解決的問題：如不同技術(shù)的集成、可擴展性、與數(shù)據(jù)庫的無縫集成、對正在變化中的數(shù)據(jù)進行管理以及非標準的數(shù)據(jù)類型等問題。
5）J.Hah博士沒有針對個別的數(shù)據(jù)挖掘系統(tǒng)具體評價，但他認為評價一個數(shù)據(jù)挖掘系統(tǒng)應包括如下幾個方面[5]：數(shù)據(jù)類型、系統(tǒng)問題、數(shù)據(jù)源、數(shù)據(jù)控制的功能與方法、數(shù)據(jù)挖掘系統(tǒng)和數(shù)據(jù)庫或數(shù)據(jù)倉庫系統(tǒng)的結(jié)合、可伸縮性、可視化工具、數(shù)據(jù)挖掘查詢語言和圖形用戶接口。
6）A.Berson等認為數(shù)據(jù)挖掘軟件產(chǎn)品因為不同的目標用戶和不同類型的解決問題而具有不同的重點[6]。主要可以分為目標解決方案、商業(yè)工具、商業(yè)分析工具、研究分析工具4類。另外，從目前整個數(shù)據(jù)挖掘市場看也可以分成3個主要組成部分：通用的工具、綜合DSS/OLAP/數(shù)據(jù)挖掘工具和快速成長的面向特定應用的工具。他們還進一步提供了一套專門用于數(shù)據(jù)挖掘工具評價的屬性和方法，對11種具體的工具進行了評價，其中包括Clementine、Intelligent Miner等著名的工具。
從國內(nèi)來看，數(shù)據(jù)挖掘系統(tǒng)的評價研究不如國外活躍，這與數(shù)據(jù)挖掘系統(tǒng)在國內(nèi)的應用仍處于初步階段有直接關系。目前這方面的研究狀況如下。
朱愛群提出了一種高級記分卡系統(tǒng)[7]，采用該記分系統(tǒng)有助于商業(yè)用戶更好地比較不同的數(shù)據(jù)挖掘技術(shù)，并以此作出正確的選擇。該系統(tǒng)共有3種不同的記分卡：商業(yè)記分卡、算法記分卡、應用記分卡。
從上述文獻的調(diào)查看，國內(nèi)外數(shù)據(jù)挖掘系統(tǒng)評價普遍具有的特點是：
1）重視系統(tǒng)算法能力的評價。在7個調(diào)查對象中，其中6個都明確采用了算法評價指標，特別是J.F.Elder、D.W.Abbott、朱愛群等人，對算法指標的分析尤為細致。
2）突出或者具有從商業(yè)能力角度的評價。朱愛群和A.Berson都明確提出采用商業(yè)能力指標，而其他研究者提供的從用戶端角度對系統(tǒng)易用性的評價實際上可以作為系統(tǒng)商業(yè)能力評價的一部分。
3）缺少對數(shù)據(jù)挖掘流程的評價。數(shù)據(jù)準備、數(shù)據(jù)預處理、數(shù)據(jù)建模、模型評估、模型應用等一系列步驟是幾乎每個數(shù)據(jù)挖掘系統(tǒng)所必須經(jīng)歷的，往往各種系統(tǒng)在每個階段表現(xiàn)的能力各有不同，因此有必要對過程中的每個階段進行評價。
4）缺少從應用能力角度的評價。從所有的調(diào)查對象中看，僅有國內(nèi)的一個評價提到了應用評價，而且其具體的指標并不是直接針對如保險業(yè)、零售業(yè)、電子商務等實際應用領域的。
由此可見，本文所要進行的網(wǎng)絡信息挖掘系統(tǒng)的評價應當積極吸取已有數(shù)據(jù)挖掘系統(tǒng)評價的優(yōu)點，同時結(jié)合網(wǎng)絡信息挖掘的特點來彌補評價中的不足。
2 評價系統(tǒng)的選擇
由于目前許多數(shù)據(jù)挖掘系統(tǒng)也同時提供網(wǎng)絡信息挖掘功能，因此本文所要評價的網(wǎng)絡信息挖掘系統(tǒng)，一方面從一些著名的數(shù)據(jù)挖掘系統(tǒng)中選擇，一方面將參考KD-nuggets上有關網(wǎng)絡信息挖掘軟件的最新統(tǒng)計報道。
從文獻調(diào)查
看[8]，Intelligent Miner、Enterprise Miner、 MineSet、Clementine、Darwin、Scenario等被超過50％的團體或個人選用作為數(shù)據(jù)挖掘評價系統(tǒng)。
從KDNuggets2001對數(shù)據(jù)挖掘工具利用情況的調(diào)查看，位于前5位的工具依次為：Clementine（18％）、SPSS/An-swerTree（16％）、SAS（12％）、CART/MARS（11％）、 SASEM（6％）。
通過進一步調(diào)查KDnuggets關于網(wǎng)絡信息挖掘的報道[9]，可以發(fā)現(xiàn)它所提供的19種網(wǎng)絡信息挖掘軟件工具是目前這個領域比較全面和權(quán)威的。因此，本文決定對這19種網(wǎng)絡信息挖掘軟件工具展開調(diào)查（見表1）。
表1 商業(yè)能力評價（產(chǎn)品成熟度和提供商實力）
附圖
注：采用7分制評分，各個數(shù)字代表的含義分別是：1—優(yōu)秀；2—好；3—一般；4—還可以；5—較差；6—沒有；7—有，但無法評價。
從上述調(diào)查可以發(fā)現(xiàn)，比較熟悉的數(shù)據(jù)挖掘系統(tǒng)的提供商諸如SPSS公司、SAS公司在網(wǎng)絡信息挖掘市場上仍然比較活躍，特別是SPSS公司，它目前擁有Clementine和net.Analysis兩種網(wǎng)絡信息挖掘軟件產(chǎn)品。
3 評價指標與方法
通過對數(shù)據(jù)挖掘系統(tǒng)評價方法的調(diào)查，了解到目前還沒有針對網(wǎng)絡信息挖掘系統(tǒng)評價報告公布出來。因此，本文在借鑒多種數(shù)據(jù)挖掘系統(tǒng)評價方法的基礎上，提出從商業(yè)能力、算法能力、網(wǎng)絡信息挖掘過程能力、電子商務應用能力這4個角度來評價網(wǎng)絡信息挖掘系統(tǒng)的綜合能力，以期為網(wǎng)絡信息挖掘系統(tǒng)的選擇提供一定的參考。
3.1 商業(yè)能力
這個指標又具體通過下面3個子指標體現(xiàn)：
1）產(chǎn)品的成熟度和提供商的實力。這個指標可以體現(xiàn)網(wǎng)絡信息挖掘軟件產(chǎn)品是否成熟及它的提供商具備的實力的大小。通�？梢詮漠a(chǎn)品推出時間、更新頻率、公司創(chuàng)立時間、擁有客戶數(shù)量、客戶涉及領域等多個方面綜合考慮。
2）易用性。這個指標主要從用戶端角度來考慮的，又可以分為如下4個子指標：①挖掘過程的清晰度；②無技術(shù)術(shù)語；③熟悉的環(huán)境；④可視化的報告。
3）投資回報率（Return on Investment，ROI）。這個指標通常被認為是一個主觀性很強、不易衡量的指標，因為對它的評價很大程度上依賴于開展的個別項目以及挖掘?qū)＜业膶I(yè)知識和技能。然而它仍不失為衡量網(wǎng)絡信息挖掘系統(tǒng)商業(yè)能力的重要指標之一。在電子商務環(huán)境下，網(wǎng)絡可以使投資回報率的評測較易實現(xiàn)，結(jié)果更為客觀。這個指標的評價，一方面可以通過各個網(wǎng)絡信息挖掘軟件的新聞報道進行分析，另一方面如果可以獲得網(wǎng)絡信息挖掘軟件提供商或領域?qū)＜业目陀^評價則更好。
3.2 算法能力
算法能力指標用于評價在系統(tǒng)挖掘網(wǎng)絡信息過程中某種算法的有效性。該指標下目前僅列出了8個子指標，即8種算法：①決策樹；②神經(jīng)網(wǎng)絡；③回歸；④Radial Basis Functions；⑤最近鄰；⑥Nearest Mean Kohonen和自組織圖（Self-organizing Maps）；⑦聚類；⑧關聯(lián)規(guī)則。
由于新的挖掘算法不斷出現(xiàn)，可能這里列出的算法不完整，在具體評價時可添加。
3.3 網(wǎng)絡信息挖掘過程能力
這個角度的評價是以往的數(shù)據(jù)挖掘系統(tǒng)評價所缺乏的，因此本文所提出的網(wǎng)絡信息挖掘系統(tǒng)的評價體系中特別加入這個指標。它主要被用來評價網(wǎng)絡信息挖掘系統(tǒng)在網(wǎng)絡信息挖掘過程的各個階段所表現(xiàn)的能力。具體分為如下5個子指標：①商業(yè)問題理解；②數(shù)據(jù)準備：數(shù)據(jù)選擇，數(shù)據(jù)預處理，數(shù)據(jù)轉(zhuǎn)換；③網(wǎng)絡信息挖掘模型；④模型評價；⑤模型應用。
一般的網(wǎng)絡信息挖掘系統(tǒng)都遵循這樣的5個基本階段。當然有些系統(tǒng)可能也有略微的差別，如WUM6.0的挖掘過程重點就是在前3個階段。
3.4 電子商務應用能力
應用能力角度的評價也是數(shù)據(jù)挖掘系統(tǒng)評價中所忽視的，同時由于網(wǎng)絡信息挖掘在電子商務方面的應用點在不斷增多，本文特別設置從電子商務應用能力角度評價的指標。根據(jù)目前掌握的應用情況，又具體分為如下5個子指標：①站點布局/設計；②交叉銷售；③促銷（Up-sells）；④個性化/推薦；⑤早期預警。
如果新的應用層面出現(xiàn)，可以考慮添入新的子指標。
4 初步評價分析
目前，筆者僅根據(jù)在網(wǎng)上可獲取的信息來對各種系統(tǒng)的相應屬性進行評價。目前可以得到的結(jié)果如下。
1）網(wǎng)絡信息挖掘軟件與數(shù)據(jù)挖掘軟件的關聯(lián)。本文調(diào)查的網(wǎng)絡信息挖掘軟件的提供商中一些是比較熟知的提供數(shù)據(jù)挖掘軟件的公司，如Clementine網(wǎng)絡信息挖掘應用模板（Clementine Web Mining）的提供者就是SPSS公司，該模板是該公司Clementine的應用模板之一。又如Web-hound的提供者是SAS公司。可見，越來越多的數(shù)據(jù)挖掘軟件公司將目光投入到網(wǎng)絡信息挖掘及其應用中。當然這個充滿前景的領域也吸引了眾多新的擁有網(wǎng)絡信息挖掘先進技術(shù)的小公司的加盟。
2）產(chǎn)品的成熟度和提供商的實力比較。通過對這19種軟件產(chǎn)品的成熟度和提供商的實力進行評價，發(fā)現(xiàn)大概有1/3的網(wǎng)絡信息挖掘軟件的商業(yè)能力超過了普通水平（見圖1）。原來數(shù)據(jù)挖掘系統(tǒng)領域的領先者，像SPSS公司和SAS公司，在網(wǎng)絡信息挖掘系統(tǒng)領域仍然保持很強的商業(yè)能力。當然，本文的評價中還有NetTracker的商業(yè)能力也獲得了較好的評價。調(diào)查中大概有一半的軟件產(chǎn)品的商業(yè)能力處于普通水平之下。另外表1中Analog和WUM6.0仍為研究原型系統(tǒng)，故本次調(diào)查暫不對其商業(yè)能力進行評價。
附圖
圖1 商業(yè)能力評價（產(chǎn)品成熟度和提供商實力）
當然；由于筆者主要通過網(wǎng)站調(diào)查，對信息的理解往往帶有個人主觀色彩，在評價結(jié)果中不可避免存在偏差。
5 未來工作
筆者認為此類評價工作應該將專家調(diào)查和二手信息收集相結(jié)合�？梢岳脤＜艺{(diào)查法獲得較為科學的指標權(quán)重，進一步完善本文所建立的網(wǎng)絡信息挖掘系統(tǒng)的評價指標體系。另外可以嘗試利用現(xiàn)有的數(shù)據(jù)集進行一些可能的測試工作，如網(wǎng)絡信息挖掘準確度的定量評價。
綜上所述，網(wǎng)絡信息挖掘發(fā)展方興未艾。從國內(nèi)外現(xiàn)狀看，網(wǎng)絡信息挖掘系統(tǒng)評價工作也僅處于起步階段。希望本文所提出的網(wǎng)絡信息挖掘系統(tǒng)評價體系和初步的評價結(jié)果對國內(nèi)進一步開展這方面的研究有所裨益。
【參考文獻】
1 Elder J，Abbott D W.A Comparison of Leadin
g Data Mining Tools In: Fourth Annual
Conference on Knowledge Discovery & Data Mining. New York：[s.n]，1998
2 King M A，Elder J F，et al.Evaluation of Fourteen Desktop Data Mining
Tools，Im：1998 IEEE International Conference on Systems， Man，and Cybernetics，San Diego：[s.n]，1998
3 Abbott D W，Matkovsky I P，Elder J F.An Evaluation of High-end Data Mining Tools for Fraud Detection.In：1998 IEEE International Conference on Systems，Man，and Cybernetics.San Diego：[s.n]， 1998
4 Goebel N，Gruenwald L.A Survey of Data Mining and Knowledge Discovery Software
Tools.ACM SIGKDD，1999（6）
5 Han J Kamber M.數(shù)據(jù)挖掘：概念與技術(shù).北京：機械工業(yè)出版社，2001
6 Berson A，el al，構(gòu)建面向CRM的數(shù)據(jù)挖掘應用.賀奇等譯.北京：人民郵電出版社，2001
7 朱愛群.客戶關系管理與數(shù)據(jù)挖掘.北京：中國財政經(jīng)濟出版社，2001
8 http：//www.kdnuggets.com/polls/dm_tools_2001_october.htm
9 http：//www.kdnuggets.com/soft ware/web.Html
【網(wǎng)絡信息挖掘系統(tǒng)評價初探】相關文章：
多媒體網(wǎng)絡教學評價初探08-17
基于HL7的臨床信息系統(tǒng)(CIS)初探(Draft)08-06
網(wǎng)絡班會實踐初探08-07
學科信息門戶中網(wǎng)絡信息導航系統(tǒng)的規(guī)范建設08-06
網(wǎng)絡倫理學初探08-06
校園網(wǎng)絡管理初探08-07
非平衡與系統(tǒng)演化過程的初探08-17
小學數(shù)學教學評價改革初探08-05