軟件測試數據庫中Oracle建立二進(jìn)制文件索引的方法
Oracle text是Oracle的全文檢索技術(shù),是9i版本標準版和企業(yè)版的一部分。Oracle text使用標準的sql語(yǔ)言索引、查找、分析存儲在oracle數據庫、文件或者網(wǎng)絡(luò )里的文本及文檔。 Oracle text能進(jìn)行關(guān)于文檔的語(yǔ)言分析,使用多種方法查找文檔,包括關(guān)鍵字、上下文查詢(xún)、邏輯操作、模式匹配、混合主題查詢(xún)、HTML/XML段落查找等方法。Oracle text在包含文本和結構化的關(guān)系屬性的混合查詢(xún)方面具有優(yōu)越性。下面舉例說(shuō)明。
現有文檔表ZYCONTENT_TABLE為上載文件的存儲表,二進(jìn)制文件以BLOB類(lèi)型存儲在BLOB_CONTENT列中,oracle text技術(shù)提供為BLOB列中的二進(jìn)制文本文件建立索引的方法,細節如下:
一、準備工作
文檔表的模式為ZYFILEUP,文檔表為ZYCONTENT_TABLE。文檔表定義為:
CREATE TABLE ZYCONTENT_TABLE( NAME VARCHAR(128) UNIQUE NOT NULL, MIME_TYPE VARCHAR(128), DOC_SIZE NUMBER, DAD_CHARSET VARCHAR(128), LAST_UPDATED DATE, CONTENT_TYPE VARCHAR(128), CONTENT LONG RAW, BLOB_CONTENT BLOB ); |
二、為擁有文檔表的模式建立文本索引授權
以system用戶(hù)連接數據庫,為ZYFILEUP授權。
GRANT "CTXAPP" TO "ZYFILEUP"; ALTER USER "ZYFILEUP" DEFAULT ROLE ALL; GRANT EXECUTE ON "CTXSYS"."CTX_ADM" TO "ZYFILEUP"; GRANT EXECUTE ON "CTXSYS"."CTX_CATSEARCH" TO "ZYFILEUP"; GRANT EXECUTE ON "CTXSYS"."CTX_CONTAINS" TO "ZYFILEUP"; GRANT EXECUTE ON "CTXSYS"."CTX_DDL" TO "ZYFILEUP"; GRANT EXECUTE ON "CTXSYS"."CTX_DOC" TO "ZYFILEUP"; GRANT EXECUTE ON "CTXSYS"."CTX_QUERY" TO "ZYFILEUP"; GRANT EXECUTE ON "CTXSYS"."CTX_ULEXER" TO "ZYFILEUP"; GRANT EXECUTE ON "CTXSYS"."CTX_XPCONTAINS" TO "ZYFILEUP"; |
三、建立文檔表在BLOB_CONTENT列上的索引
以ZYFILEUP用戶(hù)連接數據庫,建立文本索引參考項
begin ctx_ddl.create_preference('mylex','BASIC_LEXER'); ctx_ddl.set_attribute('mylex','printjoins','_-'); ctx_ddl.create_preference('mywordlist', 'BASIC_WORDLIST'); ctx_ddl.set_attribute('mywordlist','PREFIX_INDEX','TRUE'); ctx_ddl.set_attribute('mywordlist','PREFIX_MIN_LENGTH',1); ctx_ddl.set_attribute('mywordlist','PREFIX_MAX_LENGTH', 5); ctx_ddl.set_attribute('mywordlist','SUBSTRING_INDEX', 'YES'); end; begin ctx_ddl.create_preference('cnlex','CHINESE_LEXER'); end; |
建立索引
drop index i_zycontent_table force; create index i_zycontent_table on zycontent_table(blob_content) indextype is ctxsys.context parameters ('DATASTORE CTXSYS.DIRECT_DATASTORE FILTER CTXSYS.INSO_FILTER LEXER ZYFILEUP.CNLEX WORDLIST ZYFILEUP.MYWORDLIST'); |
四、索引同步和刪除
同步索引的兩種方法:
ALTER INDEX i_zycontent_table REBUILD PARAMETERS('resume memory 20M'); |
和
exec ctx_ddl.sync_index('i_zycontent_table', '20M'); |
刪除索引的方法:
drop index i_zycontent_table force; |
五、索引功能介紹
1.索引的文件類(lèi)型
Oracle text可以過(guò)濾以及從不同格式的文檔里提取內容,它支持150多種文檔格式,最常見(jiàn)的MS OFFICE文檔、PDF文檔等都可由Oracle text來(lái)檢索。
2.過(guò)濾器介紹
對于純文本文件格式,如TXT、HTML、XML等文件,使用空過(guò)濾器,即NULL_FILTER,對于二進(jìn)制文件,使用INSO_FILTER過(guò)濾器,如果文檔表的BLOB列中含有二進(jìn)制文件和純文本文件,也要用INSO_FILTER過(guò)濾器,但最好是把純文本和二進(jìn)制文件分開(kāi)存儲和索引。Oracle text還提供包來(lái)從二進(jìn)制文件中提取文本到純文本文件中。
3.詞典
可以定制不同語(yǔ)言的詞典,該詞典含有同意詞和詞的級別關(guān)系。Oracle text可以提供多語(yǔ)言的最優(yōu)特性以支持跨越西方語(yǔ)言、日語(yǔ)、朝鮮語(yǔ)、傳統和簡(jiǎn)體中文所寫(xiě)的文檔查找。
六、文本查詢(xún)語(yǔ)句格式
select name from zycontent_table where contains(blob_content,'教育信息化',1)>0 order by name; |
contains函數提供強大的查詢(xún)功能,"與"、"或"關(guān)系,相近(near ;)和排除(not ~)等功能,更方便的是它還可以根據某一關(guān)鍵詞查詢(xún)不同語(yǔ)種的文本,當然,這要事先設定詞典。
七、實(shí)際應用中的問(wèn)題
在我的實(shí)際應用中,最常用的是使用Oracle text對Word、Excel、PowerPoint、HTML、PDF等格式的中文文檔進(jìn)行索引,但我發(fā)現,無(wú)論使用INSO_FILTER還是NULL_FILTER,無(wú)論使用BASIC_LEXER還是CHINESE_LEXER,都不能檢索RTF格式的文本文檔,我在win2000,XP下試驗,都沒(méi)成功,不知什么原因?傮w來(lái)說(shuō),Oracle text的文本檢索功能還是相當出色的,它甚至不需要文本文件存儲在數據庫里,即使存儲在操作系統的文件目錄里,Oracle text也能在數據庫里為文件建立索引。
文章來(lái)源于領(lǐng)測軟件測試網(wǎng) http://kjueaiud.com/