HOME

 

 

那福忠,知名電子出版專家、網路作家。
   
  開鑿文字礦
  那福忠 April 20, 2003
  請把你的想法寫信給我: Frank.Na@Gmail.com
   

   從資料庫�堛熔峟p、分析、關連,可以找出原來設計上沒想到、或不需要的資訊與知識,稱之為資料開礦 (Data Mining),為近年資訊技術上熱門領域,尤其是資料「礦」(庫)愈大,能挖掘出來寶藏愈多。資料庫是製作出來的,是結構化資料,但大多數的資料,像是我們寫的信函、製作的文件、收到的電子郵件、網上取下的網頁,都是非結構化的資料,這些資料多數是看過就丟,留下來也是隨便放個地方,但以後一旦要用,要找回那一篇文稿、郵件、網頁,就倍感困難,許多人感嘆電子處理沒有紙張方便。

   這個 e 化的普遍問題,有許多軟體可以協助解決,像全文檢索、資料分類、搜尋引擎,都能幫忙找到所需要的文件,但文件的內容還要人來解讀,而文件與文件間在內容上的橫向連繫,這類系統多無此設計。

   日前在德國漢諾威舉行的企業技術大展 CeBIT(共有 28 個館展出,參觀人數因 SARS 較去年下降一成七,但仍有 56 萬人),出現了一類自稱為文字開礦 (Text Mining) 的軟體,與資料開礦近似,用統計、分類的程序,把文件的內容分析,來交叉對照、超連結、自動摘要、語意分類。換言之,能協助大家從內容尋找相關的文件、然後整理出答案,好像把把非結構化的資料,用結構化資料來處理。這是一項層次頗高的資訊,現在也僅是開始,但可從下面系統的簡介,看出端倪。

從草堆�塈鉹@根針

   法國的 Temis(取 Text mining system 的簡稱)系統,可從龐大的文件堆�堙A挑選出來所要的資料,系統一共分成四部份:從文件堆�媬翵�資料、依事先訂定的規則分類、依需要臨時組合資料內容、分析資料內容製戶摘要。當然,要系統運作順暢並不容易,事先要架設環境為了使用簡易, Temis 預製了技術卡(僅是軟體、並非真卡),每種卡針對一種行業,其中用詞與規則都是與行業相關的,減少使用人安裝系統的負荷。

   Temis 用在那些地方?實例之一是歐洲一家大銀行,用在人力資源上,因為來申請工作的人太多, Temis 可以協助把申請人的覆歷內容儲存、以供以後查詢。另一個例子是一家大藥廠,使用 Timis 的用途是從競爭對手公開的文件、網頁裡,追蹤進展他們的情況。另外歐洲最大的雜誌出版社,也採用 Temis,來把文章依內容歸類,以備容易查找。

回覆郵件與監視對手

   德國的 XtraMind 做的事與 Temis 類似,但從辦公室系統著眼,先自動回覆電子郵件。鑑於企業回覆電子郵件的人力激增,自動化確有必要,這個系統先把進來的郵件依事先訂定的規則分類,然後製作標準回函,再用人力來少許修正後寄出,對企業的例行回函減化了不少。

   XtraMind 另外可用網路機器人(與搜尋引擎用的類似),爬行企業競爭對手的網站,從網上取回資料,經過分析,以郵件寄給特定的人,而且每人僅收到與他業務相關的資訊。

   這個軟體用語言分析與統計兩種工具,製成許多程式模組,每一模組做固定的事情,包括把文件整合、摘要製作、依不同設定擷取資料(如日期、名稱、地域、公司)、企業經營法則、與機器自己學習,其中所用含混邏輯等人工智慧也用的不少。這都說明了文字開礦是資訊技術深層的運用。

把內容連在一起

   把相關文件連在一起不難,但把相關文件的內容連在一起,又能製作出答案,就不是單純的事。例如化工廠�埵陶\多專家學者,要找出有哪些人對釀造技術了解最多,通常僅能查人事資料的專長項目,人事資料沒能更新的釀造專家就查不到。但有一個更好的辦法,就是從每人的郵件中尋找,如果有人在郵件中時常提起釀造技術,這個人即使不是專家,起碼也知道一些這方面的知識。德國的 Ontoprise 正做這件事。

   Ontoprise 用的是 Ontology(存在學)的人工智慧理念,聽起來有些抽象,但頗為靈活。例如你是一篇文章的作者,那麼你對文章的內容,也應該是專家(假如文章不是抄的),這種就是「存在」的關連, Ontoprise 把它用到郵件與 Office 文件的關連上。

   使用這種內容關連的例子,有一家德國旅遊網站,上網的遊客很多,但僅有 1% 的人在網上訂位,所以想用 Ontoprise 的關連技術,加強網站內容,讓網站不用真人回答,遊客也能獲得滿意的答案而訂位。另一家 Ontoprise 用戶,是一家汽車零件製造廠,在把出版的零件目錄轉換成容易查詢的電子版本的時候,遇到困難,所以想用 Ontoprise 來找出零件之間的關連,用這些資訊做為電子版的基礎。

文字計量

   前面幾種軟體,都用到了複雜的文字語意處理邏輯,功能雖強,但系統建構複雜,使用需要學習,所以就出現了另一種簡便的方式,純以文字出現的統計次數,作為處理的基礎,Autonomy 就是這樣的軟體。系統安裝之後,使用人先訓練軟體 Agent 來搜尋特定種類的文件,成熟之後再多加幾種別類的文件。

   Autonomy 的使用範圍有人力資源、搜尋履歷表,也可以用在客戶關係管理上、搜尋客戶來函,製藥公司更用它來搜尋眾多藥品發展的文獻與研究報告。這個軟體固然有使用簡單的優勢,但沒法關連文件的內容,在許多領域上這成為缺點。



上一篇 │   下一篇 │ 索 引