- 相關(guān)推薦
一種基于人機結(jié)合思想的書本式地方文獻(xiàn)索引編制方法
地方文獻(xiàn)以其地名、人名、機構(gòu)名等專有名詞術(shù)語眾多而一直是索引編制的難點。對于文字?jǐn)?shù)量數(shù)百萬乃至上千萬的地方文獻(xiàn)而言,若要達(dá)到滿足讀者檢索要求的標(biāo)引深度,則索引制作的工作量就會急劇增加。如果純用手工制作,不僅在信息的處理過程中容易產(chǎn)生差錯,且費時費力。為了解決這一矛盾,降低索引編制成本,需要引入計算機信息處理技術(shù)。以下我們以在《杭州市志·索引》編制過程中開發(fā)的計算機輔助索引軟件(CAIC1.0Beta)為例,就詳細(xì)說明這一基于人機結(jié)合思想的地方文獻(xiàn)索引編制方法。
1 現(xiàn) 狀
目前,運用計算機信息處理技術(shù)來進(jìn)行漢語文獻(xiàn)索引編制的方法一般分為兩大類:一種為基本以自動標(biāo)引、索引為主的方法,其中漢語自動標(biāo)引法常見的有詞典標(biāo)引法、切分標(biāo)引法、語法分析標(biāo)引法、漢語自動標(biāo)引專家系統(tǒng)、單漢字標(biāo)引法等;在漢語索引法上則多采用題名關(guān)鍵詞抽詞索引法、主題詞表選詞索引法、職能符號標(biāo)引索引法等。這些方法都在一定程度上解決了漢語文獻(xiàn)標(biāo)引和索引的問題,但由于漢語語言現(xiàn)象的復(fù)雜性,此工作基本都在文獻(xiàn)題名這一層次上展開,至于針對文獻(xiàn)全文的智能標(biāo)引和索引尚處于探索階段。而且,這些方法需要具備相當(dāng)專業(yè)的計算機、語言學(xué)、文獻(xiàn)學(xué)知識,并且相關(guān)的專用軟件獲取成本極高。另一個常用方法是人機結(jié)合、以人為主的方法,主要為采用諸如Foxpro MicrosoftAccess據(jù)庫軟件來編制。這種方法具有技術(shù)要求低、使用方便的特性。但這僅是一個以人工為主、輔以計算機技術(shù)的方案,并且參照系統(tǒng)即關(guān)鍵詞之間的相互關(guān)系(見、參見)不能直接在上述數(shù)據(jù)庫軟件中得到表達(dá)和轉(zhuǎn)移,因此索引庫的生成無法直接應(yīng)用參照系統(tǒng),編制者將不得不依靠手工來進(jìn)行,這是一個非常繁瑣而且極易導(dǎo)致差錯的工作。
2 解決方案的系統(tǒng)設(shè)計
方志作為地方文獻(xiàn)的一個重要門類,其數(shù)量龐大,包含了一個區(qū)域的自然、政治、經(jīng)濟、文化、社會、軍事等信息,有地方百科全書之稱,具有極高的使用價值。為此,我們在實踐中以《杭州市志·索引》作為地方文獻(xiàn)的樣本,對此進(jìn)行索引的編制。其編制目標(biāo)是一部分析內(nèi)容的書本式關(guān)鍵詞索引,其標(biāo)引范圍為全志中的正文、附錄、圖、表格、照片,標(biāo)引對象為人物、機構(gòu)、地名以及其他一切具有檢索價值的各類事物、事件和活動。
對于一個優(yōu)秀的索引而言,確定適合的標(biāo)引、索引方案和參照系統(tǒng)是至關(guān)重要的,也是本索引編制解決方案首先要解決的問題。因此,在系統(tǒng)設(shè)計過程中,我們考慮了地方文獻(xiàn)的特點和客觀實際,分析上述方法的利弊,制訂了以下的編制思路�！�
2.1 標(biāo)引方案 以實現(xiàn)的手段劃分,可分為人工標(biāo)引和自動標(biāo)引。自動標(biāo)引又可分為自動 抽詞標(biāo)引和賦詞標(biāo)引。自動抽詞標(biāo)引是指直接從原文中抽取詞或短語作為標(biāo)引詞來描述文獻(xiàn)的主題內(nèi)容。如果在自動標(biāo)引過程中,使用的標(biāo)引詞來自于預(yù)先編制好的詞表,則稱之為自動賦詞標(biāo)引。對于計算機而言,針對漢語的自動抽詞主要困難在于自動分詞以及選取標(biāo)引詞的標(biāo)準(zhǔn),而自動抽詞標(biāo)引的標(biāo)準(zhǔn)很大程度上是建立在詞頻統(tǒng)計的基礎(chǔ)上的。就方志這一類地方文獻(xiàn)而言,如果一些人名、地名在文獻(xiàn)中只出現(xiàn)數(shù)次乃至一次的話,就很有可能不被標(biāo)引,這會導(dǎo)致大量有價值的信息不能被檢索到。而如果放低詞頻標(biāo)準(zhǔn),則相關(guān)的標(biāo)引詞數(shù)量會急劇增多,書本式索引的篇幅會相當(dāng)龐大。而自動賦詞標(biāo)引又依賴于詞表,由于方志的地域性,這樣一個包含有大量地方獨特的人名、機構(gòu)名和地方特色事物的詞表一般都沒有建立,因此無從根據(jù)詞表來進(jìn)行自動標(biāo)引。
由于地方文獻(xiàn)的編纂者或研究者對于文獻(xiàn)內(nèi)容比較熟悉,可以準(zhǔn)確地分析主題內(nèi)容,并抽取相應(yīng)的關(guān)鍵詞予以標(biāo)引。因此,采用由他們來進(jìn)行人工標(biāo)引的方法,應(yīng)該是方便和切合實際操作情況的策略。
2.2 索引方案 索引款目的自動生成目前已經(jīng)有很多實際應(yīng)用的方案,如鏈?zhǔn)剿饕?ChainIndexing)、選擇組合排列索引法SLIC)、掛接主題索引法(ASI)、保留上下文索引法(PRECIS)等,這些基于計算機的索引法無一例外地運用了輪排或循環(huán)技術(shù),對于計算機來說只要設(shè)定好索引法的原則后,工作是相當(dāng)簡單的。但是這種方法會導(dǎo)致索引款目急劇增多的后果,因此這種對于專業(yè)性文獻(xiàn)檢索工具而言是十分適合的方法,運用到地方文獻(xiàn)上時,特別是如方志一類篇量較大的文獻(xiàn)上時,就要承擔(dān)索引篇幅大幅增加印刷成本提高所帶來的危險。基于這個因素,我們認(rèn)為在方志索引上應(yīng)該采取對于絕大部分的索引詞不進(jìn)行輪排,只對極個別的主標(biāo)目和副標(biāo)目進(jìn)行輪排的索引方案,以最小的代價來實現(xiàn)相對高的查全率�！�
2.3 參照系統(tǒng)生成 是否設(shè)置參照系統(tǒng)是衡量索引系統(tǒng)質(zhì)量的重要指標(biāo)之一。而為了提高查全率,也需要我們設(shè)置參照系統(tǒng)。參照系統(tǒng)由主標(biāo)目詞和見參照(seereference)、參見參照(seeaisoreference)組成,從而保證了索引的整體性和系統(tǒng)性。因此,我們認(rèn)為在沒有現(xiàn)成詞表的前提下,運用計算機技術(shù)結(jié)合人工干預(yù)來生成參照系統(tǒng)應(yīng)該是軟件追求的目標(biāo)。
2.4 編程語言的選擇 由于直接運用Foxpro數(shù)據(jù)庫技術(shù)在款目地址碼歸并和參照系統(tǒng)生成上的困難,因此采用通用編程語言是理想的選擇。Delphi為一種面向?qū)ο蟮目梢晳?yīng)用程序開發(fā)工具,與其他語言相比,它提供了一種快速的編譯器,優(yōu)化編譯模式在很大程度上提高了代碼質(zhì)量和運行穩(wěn)定性,所以這種語言一直受到專業(yè)人士的青睞。同時,Delphi特別對于數(shù)據(jù)庫的體系結(jié)構(gòu)提供了強大的支撐,Delphi還允許開發(fā)者將應(yīng)用程序作為單一的.exe文件提供給終端用戶,這樣就減少了可執(zhí)行文件在運行時對于其他文件或DLL(動態(tài)鏈接文件)的依賴。因此我們以Delphi為系統(tǒng)前臺,以MicrosoftAccess為后臺數(shù)據(jù)庫存儲原始信息,來編制索引計算機輔助編制系統(tǒng)。
3 本方案的技術(shù)實現(xiàn)
3.1 數(shù)據(jù)結(jié)構(gòu) 本軟件數(shù)據(jù)庫包含三個主要的數(shù)據(jù)表:ａ 主表(標(biāo)引詞庫)。該表用來儲存從方志文獻(xiàn)中抽取的關(guān)鍵詞和諸如卷號、頁碼、體裁、參照關(guān)系等屬性,以及一些用于操作管理的信息。其中的記錄需要索引編制者人工輸入。為了方便數(shù)據(jù)的錄入工作,一般可按照文獻(xiàn)的頁碼順序依次輸入。ｂ 關(guān)鍵詞表。該表依據(jù)主表表達(dá)的各標(biāo)引詞之間的參照關(guān)系,由程序自動生成。此表是軟件下一步進(jìn)行索引合成的依據(jù)。ｃ 索引正文數(shù)據(jù)表。該表用來儲存關(guān)鍵詞及其地址碼(卷號、頁碼),可用來最后輸出索引正文格式的文本文件。
3.2 程序功能(主控界面見圖1)
本軟件具備信息采集;信息處理;信息輸出三大功能。
3.2.1 信息采集功能。主要是由索引編制者將標(biāo)引詞(關(guān)鍵詞)及其屬性輸入主表。標(biāo)引詞屬性包括關(guān)鍵詞所在卷號、頁碼、關(guān)鍵詞代表內(nèi)容的體裁(文、圖、照片、表格)以及參照系統(tǒng)。
3.2.2 信息處理功能。包括人工干預(yù)(預(yù)處理)功能、關(guān)鍵詞表生成功能、索引正文生成功能。
人工干預(yù)功能。由于標(biāo)引者對索引編制規(guī)范和對志書原文的理解可能不一致,不同作者在處理相同事物所用的術(shù)語亦有不同,以及數(shù)據(jù)錄入過程中都會導(dǎo)致相同內(nèi)涵的關(guān)鍵詞往往以不同的形式出現(xiàn)。具體表現(xiàn)形式有:ａ.一見多———如Ａ見Ｂ,Ａ見Ｃ,Ａ見Ｄ,……;ｂ.連續(xù)見———如Ａ見Ｂ,Ｂ見Ｃ,Ｃ見Ｄ,……;ｃ.循環(huán)見———如Ａ見Ｂ,Ｂ見Ｃ,Ｃ見Ａ(Ａ、Ｂ、Ｃ均指不同的關(guān)鍵詞,下同);ｄ.同頁重復(fù)。
如果產(chǎn)生如上ａ、ｂ、ｃ三種情況,對于形式ａ而言,將在索引輸出中丟失信息Ａ見Ｃ和Ａ見Ｄ(假設(shè)Ｂ的音序先于Ｃ、Ｄ,下同);對于情況ｂ而言,將在索引輸出中丟失信息Ａ見Ｂ和Ｂ見Ｃ;對于情況ｃ而言,將出現(xiàn)關(guān)鍵詞Ａ、Ｂ、Ｃ及其地址碼等信息的丟失;對于情況ｄ而言,則會在索引中出現(xiàn)某一關(guān)鍵詞后跟有完全相同的地址碼。
上述情況出現(xiàn)的數(shù)量并不少,這就可能導(dǎo)致生成信息的大量缺失而導(dǎo)致索引資料的不完整。由于人工檢查極為煩瑣且不完全甚至可能會引入新的錯誤,為此本軟件特設(shè)預(yù)處理功能(見圖2),將上述的“循環(huán)見處理”、“連續(xù)見處理”、“一見多處理”、“同頁重復(fù)處理”,通過人工干預(yù)子功能,能夠自動查找在索引主數(shù)據(jù)庫中由于在標(biāo)引、數(shù)據(jù)錄入過程中產(chǎn)生的差錯,生成錯誤提示(寫入.ＴＸＴ文件,格式見信息輸出功能部分),以便編制者根據(jù)提示信息檢查主數(shù)據(jù)庫,對錯誤進(jìn)行修改。同時本軟件還可在一定程度上對上述錯誤在人工確認(rèn)正確的關(guān)系后自動予以修復(fù),保證了在后續(xù)處理過程中信息的正確。
圖
此外,由于方志具有地域性,因此記述到的機構(gòu)往往都為本地機構(gòu)。這樣就會存在大量具有同一地名或行政區(qū)劃名開始的機構(gòu)名。例如,《杭州市志》中就存在大量的以“浙江省”、“杭州市”等為首的機構(gòu)名,如果一律以機構(gòu)名首字音序排列的話,即,如將“浙江省人民政府”和“杭州市人民政府”分別排列在“浙”字和“杭”字中,如此就會出現(xiàn)大量以“浙江省”、“杭州市”開頭的機構(gòu)聚集在一起的情況,從而極大地增加檢索難度,同時還會造成相關(guān)信息的離散。為此,在預(yù)處理時設(shè)置了前置詞處理功能,程序自動將這些詞作為前置詞,進(jìn)行倒置處理,關(guān)鍵詞則按截去前置詞后剩余部分為音序排列。在輸出時,則自動將后置的前置詞還原至頭部(詳見輸出功能部分)。
關(guān)鍵詞表生成功能。程序自動從主表(標(biāo)引詞庫)中根據(jù)標(biāo)引者設(shè)置的參照系統(tǒng)生成關(guān)鍵詞表。此關(guān)鍵詞表是索引正文生成階段的依據(jù),它與主數(shù)據(jù)庫、索引正文保持相對獨立性,以后索引編制者只要對關(guān)鍵詞表中的關(guān)鍵詞及其相互關(guān)系(參照系統(tǒng))進(jìn)行維護(hù),即可獲得正確結(jié)果,而無需對主表數(shù)據(jù)進(jìn)行大量的修改工作,大大減少了工作量。
索引正文生成功能。軟件自動根據(jù)關(guān)鍵詞表中的關(guān)鍵詞及其相互關(guān)系,對主表中的數(shù)據(jù)進(jìn)行處理,按照索引要求,將相同關(guān)鍵詞的卷號、頁碼、體裁代碼按照卷數(shù)、頁碼先后排列,并根據(jù)關(guān)鍵詞表中的參照系統(tǒng),作出相應(yīng)處理,將“所見”關(guān)鍵詞的頁碼自動歸并到“被見”關(guān)鍵詞后,并作出“參見”說明。
3.2.3 信息輸出功能。該功能可分兩種情況:一種是以數(shù)據(jù)庫的形式輸出階段性的查詢操作結(jié)果,一種是文本文件形式輸出結(jié)果。第一種情況的查詢功能包括主表查詢、關(guān)鍵詞表查詢,它支持精確和模糊查詢。第二種情況的信息輸出可分為三種輸出格式,分別對應(yīng)于索引編制的不同階段。其中格式1是在對主表輸入標(biāo)引詞及其屬性等原始信息后輸出的格式,它主要是用來和標(biāo)引原始記錄進(jìn)行校對。格式1以頁碼為順序排列關(guān)鍵詞,其格式如下:
格式1:頁碼1———關(guān)鍵詞1(Keyword 1)[說明語(Description)][見關(guān)鍵詞2][參見關(guān)鍵詞3]……
格式2為利用本文中設(shè)計的人工干預(yù)算法所生成的計算機提示信息。格式如下:
情況“一見多(連續(xù)見、循環(huán)見)”———請查看:
關(guān)鍵詞ｎ(Keyword n)—[地址碼ｍ(addressm)]ｍ,ｎ=1,2,……這里,地址碼包含卷數(shù)和頁碼,均為出現(xiàn)錯誤的卷數(shù)、頁碼數(shù)。
這里,地址碼包含卷數(shù)和頁碼,均為出現(xiàn)錯誤的卷數(shù)、頁碼數(shù)。
格式3 為索引正文輸出格式,又分為Ａ、Ｂ、Ｃ三種子格式:格式3Ａ:關(guān)鍵詞(Keyword)[說明語(Description)]地址碼ｎ(address n);
格式3Ｂ:關(guān)鍵詞(Keyword)[說明語(Description)]見(See)關(guān)鍵詞;
格式3Ｃ:關(guān)鍵詞(Keyword)[說明語(Description)]地址碼ｎ(addressｎ)
[參見(Seealso)關(guān)鍵詞];ｎ=1,2,……這三種格式分別對應(yīng)索引正文中的三種情況,見圖3。
格式3為索引正文形式(見圖4),款目標(biāo)題按關(guān)鍵詞的拼音順序排列,將數(shù)據(jù)處理部分中索引正文生成的結(jié)果輸出到文本文件,以便索引編制者在Microsoftword或方正等專業(yè)排版系統(tǒng)中再進(jìn)行版式處理。
此外,CAIC1.0Beta在程序中間處理過程中將被倒置處理的前置詞還原至關(guān)鍵詞前面,并在這些前置詞前后分別添加“(”、“)”。同時還可在頁碼和標(biāo)目詞之間添加一定的分隔符,以方便排版工作的進(jìn)行。
4 實際應(yīng)用效果
為了保證CAIC1.0Beta有良好的運行效果,建議電腦硬件配置為CPU586以上,內(nèi)存32兆;軟件環(huán)境為Windows95/98/2000,并有MicrosoftAccess數(shù)據(jù)庫。以《杭州市志》索引為例,《杭州市志》正文共11卷780萬字,經(jīng)過標(biāo)引處理共提取了105077條(次)關(guān)鍵詞,經(jīng)處理生成關(guān)鍵詞表,共有關(guān)鍵詞55692條。實際操作中,我們使用方正商祺6100電腦(ＣＰＵ為ＰⅢ733,內(nèi)存64Ｍ)進(jìn)行處理,除去標(biāo)引、校對階段工作時間與投入的人力相關(guān)外,其中數(shù)據(jù)處理階段,關(guān)鍵詞表生成約15分鐘,索引正文生成約60分鐘,索引正文輸出約15秒。如果改進(jìn)算法,還可以進(jìn)一步提高速度。
本軟件系統(tǒng)具有索引生成準(zhǔn)確、速度快、少用人工、使用簡單、人機界面良好、運行穩(wěn)定可靠等特點。其中數(shù)據(jù)處理階段的效率比手工操作提高了數(shù)百倍,因此與整個索引制作所用時間相比,程序處理的時間幾乎可以忽略不計。
5 結(jié)論及展望
通過此次《杭州市志》索引的計算機輔助編制實踐證明,采用本文介紹的方法可以比較圓滿地解決本文開始提出的問題,即由于地方文獻(xiàn)的獨特性及標(biāo)引深度提高而導(dǎo)致的關(guān)鍵詞急劇增多和人工編制速度慢、準(zhǔn)確率低的矛盾,因此該方案具有一定的實用和推廣價值。同時,由于方志索引內(nèi)容的相似性,本次索引編制中生成的關(guān)鍵詞表還為今后構(gòu)造方志關(guān)鍵詞表打下了良好的基礎(chǔ)。
展望地方文獻(xiàn)索引,特別是方志索引今后的發(fā)展趨勢,可以預(yù)見,如果我們運用關(guān)鍵詞索引法、鏈?zhǔn)剿饕�、選擇組合排列索引法等現(xiàn)代索引法,引入包括語用學(xué)、語義學(xué)、語法學(xué)等語言學(xué)研究成果和計算機人工智能、專家系統(tǒng)等技術(shù),研究適合地方文獻(xiàn)特點的自動索引策略,就可逐步達(dá)到對于地方文獻(xiàn)正文的內(nèi)容自動分析,實現(xiàn)計算機自動抽詞和標(biāo)引,使地方文獻(xiàn)索引的編制基本實現(xiàn)自動化,從而使地方文獻(xiàn)索引的編制從現(xiàn)在的人機分量均等的結(jié)合模式逐步過渡到電腦占更多分量的階段。
〔出處〕 情報雜志2003(2)
【一種基于人機結(jié)合思想的書本式地方文獻(xiàn)索引編制方法】相關(guān)文章：
編制地方文獻(xiàn)索引數(shù)據(jù)庫的體會08-09
收集地方文獻(xiàn)資料 編制地方文獻(xiàn)綜目08-09
編制地方文獻(xiàn)分類表點滴08-09
地方文獻(xiàn)分類思想研究08-09