SQLSERVER 2008 R2中的全文檢索

作者: 觀海看云來源: 博客園發布時間: 2011-06-07 12:08 閱讀: 4621 次推薦: 0 原文鏈接 [收藏]

　　最近在做全文搜索的內容，google了一下全文檢索，發現了一些問題，現在總結如下。

　　全文索引和查詢概念(摘自SQL 聯機幫助)

　　SQL Server 2008 為應用程序和用戶提供了對 SQL Server 表中基于字符的數據發出全文查詢的功能。在可以對給定表運行全文查詢之前，數據庫管理員必須對表創建全文索引。全文索引包括表中一個或多個基于字符的列。這些列可以具有下列任何一種數據類型：char、varchar、nchar、nvarchar、text、ntext、image、xml、varbinary 或 varbinary(max)。每個全文索引都對基表中的一個或多個列創建索引，并且每個列都可以具有一種特定語言。從 SQL Server 2008 開始，全文搜索支持 50 多種不同語言，比如英語、西班牙語、中文、日語、阿拉伯語、孟加拉語和印地語。有關支持的全文語言的完整列表，請參閱 sys.fulltext_languages (Transact-SQL)。

　　對于每種支持的語言，SQL Server 都提供了特定于語言的語言組件，包括斷字符和詞干分析器以及一個空同義詞庫文件。對于每種全文語言，SQL Server 也提供了一個文件（“同義詞庫文件” ），您可以在該文件中有選擇地定義特定于語言的同義詞以擴展搜索查詢的范圍。另外，從 SQL Server 2008 開始提供系統非索引字表。若要支持特定語言或商業應用場景，您可以通過添加和刪除非索引字（也稱為干擾詞）更改系統非索引字表，并且您可以根據需要創建附加的非索引字表。

　　SQL Server 為編寫全文查詢提供了一組全文謂詞（CONTAINS 和 FREETEXT）和行集值函數（CONTAINSTABLE 和 FREETEXTTABLE）。使用這些全文謂詞和行集值函數，應用程序和用戶可以執行各種類型的全文搜索，例如搜索單個單詞或短語（并可以選擇對結果集排名），搜索與其他單詞或短語接近的單詞或短語，或者搜索特定單詞的同義詞形式。

　　全文索引、查詢和同步化最主要的設計要求是，在注冊進行全文檢索的所有表上都有一個唯一的全文鍵列（或者單列主鍵）。全文索引對使用的重要字及其所在位置進行跟蹤。

　　全文查詢根據特定語言（例如，英語或日語）的規則對詞和短語進行操作，從而對全文索引中的文本數據執行語言搜索。全文查詢可以包括簡單的詞和短語，或者詞或短語的多種形式。

　　全文搜索適用于多種商業應用場景：例如，電子商務（在網站上搜索項目）、律師事務所（在法律數據庫中搜索案例記錄）或人力資源部門（從所存儲的個人簡歷中找到符合職位描述的簡歷）。不管是什么樣的商業應用場景，全文搜索的基本管理任務和開發任務是相同的。然而，在給定的商業應用場景中，可以對全文索引和查詢進行優化以使其滿足業務目標。例如，對于電子商務來說，最大限度地提高性能可能比對結果進行排序、檢索的準確性（實際上有多少個現有匹配項是由全文查詢返回的）或支持多種語言更重要。對于律師事務所來說，首先需要考慮的可能是返回所有可能存在的匹配項（“返回全部” 信息）。

　　例如，假定有一個對 DevTools 表的全文索引。全文索引可能指出在 Abstract 列的第 423 個和第 982 個單詞處找到了單詞 Microsoft，所在的行與 ProductID 6 關聯。該索引結構支持對所有包含被索引單詞的項進行有效檢索，以及高級檢索操作，如短語檢索和鄰近檢索。
　　為防止全文索引因包含很多對檢索沒有幫助的詞而變得臃腫，a、and、is 或 the 這類額外的詞都忽略不計。例如，指定"the products ordered during these summer months"與指定"products ordered during summer months"是一樣的。有這兩個字符串的行都會被返回。
　　目錄 \Mssql\Ftdata\Sqlserver\Config 下提供了多種語言的干擾詞列表。在安裝帶有全文檢索支持的 Microsoft® SQL Server™ 時會創建這個目錄，并同時安裝干擾詞文件。干擾詞文件可以編輯。例如，高技術公司的系統管理員可以把單詞 computer 添加到他們的干擾詞表中去。（如果編輯干擾詞文件，則必須在更改生效之前重新填充全文目錄。）下表顯示了干擾詞文件及其相應的語言。

干擾詞文件語言
-------------- ---------
Noise.chs 簡體中文
Noise.cht 繁體中文
Noise.dat 語言中性
Noise.deu 德語
Noise.eng 英語（英國）
Noise.enu 英語（美國）
Noise.esn 西班牙語
Noise.fra 法語
Noise.ita 意大利語
Noise.jpn 日語
Noise.kor 韓文
Noise.nld 荷蘭語
Noise.sve 瑞典語

　　在處理全文查詢時，檢索引擎將滿足檢條件的行的鍵值返回給 Microsoft SQL Server。比如有一個 SciFi 表，其中 Book_No 列是主鍵列。

Book_No Writer Title
-------- ----------- --------------------------
A025 Asimov Foundation's Edge
A027 Asimov Foundation and Empire
C011 Clarke Childhood's End
V109 Verne Mysterious Island

　　假定想使用一個全文檢索查詢來查找包含單詞 Foundation 的書名。在本例中，將從全文索引獲得值 A025 和 A027。然后 SQL Server 用這些鍵值和其它欄的信息響應該查詢。　　　　
　　下表顯示了存儲全文索引數據所使用的語言。這些語言基于 SQL Server 安裝期間選擇的 Unicode 排序規則區域設置標識符。

Unicode 排序規則區域設置標識符全文數據存儲所用的語言
------------------------------- -----------------------
中文注音符號（臺灣）繁體中文
漢語拼音簡體中文
中文筆畫簡體中文
中文筆畫（臺灣）繁體中文
荷蘭語荷蘭語
英語（英國）英語（英國）
法語法語
通用 Unicode 英語（美國）
德語德語
德文電話簿德語
意大利語意大利語
日語日語
日語 Unicode 日語
韓文韓文
韓文 Unicode 韓文
西班牙語（現代）西班牙語
瑞典/芬蘭語瑞典語

　　此列表中沒有的其它所有 Unicode 排序規則區域設置標識符值都映射到使用空格分隔單詞的中性語言單詞的斷字符和詞干分隔符。
　　說明 Unicode 排序規則區域設置標識符設置用于所有可進行全文索引的數據類型（如 char、nchar 等）。如果為 char、varchar 或 text 類型列的排序次序設置的語言類型，不是 Unicode 排序規則區域設置標識符語言，那么在對 char、varchar 和 text 類型的列進行全文索引和查詢時，仍然使用 Unicode 排序規則區域設置標識符值。

　　創建全文索引

　　1、啟動 Microsoft Search 服務
　　開始菜單-->SQL程序組-->服務管理器-->下拉筐-->Microsoft Search 服務-->啟動它。
　　2、 ..\Microsoft SQL Server\MSSQL\FTDATA\SQLServer\Config\目錄里建一個非空noise.chs文件
　　非空noise.chs文件，也有人說是空的noise.chs文件，但我每次都往里寫幾個沒用的字母。
　　3、建立環境
　　打開查詢分析器-->執行下列腳本：

--檢查數據庫pubs是否支持全文索引，如果不支持
--則使用sp_fulltext_database 打開該功能
if(select databaseproperty('DeviceInfoPortal','isfulltextenabled'))=0
execute sp_fulltext_database 'enable'

--建立全文目錄FT_PUBS
execute sp_fulltext_catalog 'FT_DeviceInfoPortal','create'

--創建唯一索引
create unique clustered index Idx_files_id on dbo.files(fileid)

--為title表建立全文索引數據元
execute sp_fulltext_table 'files','create','FT_DeviceInfoPortal','Idx_files_id'

--設置全文索引列名
--execute sp_fulltext_column 'files','content','add'
execute sp_fulltext_column @tabname = 'files',@colname = 'content',@action = 'add',@type_colname = 'type';

--execute sp_fulltext_column 'files','content','drop'

--建立全文索引
--activate，是激活表的全文檢索能力，也就是在全文目錄中注冊該表
execute sp_fulltext_table 'files','activate'

--填充全文索引目錄
execute sp_fulltext_catalog 'FT_DeviceInfoPortal','start_full'
go

--在您可以使用操作系統篩選器、斷字符和詞干分析器之前，您必須將它們加載到服務器實例中
execute sp_fulltext_service @action='load_os_resources', @value=1;

--檢查全文目錄填充情況
While fulltextcatalogproperty('FT_DeviceInfoPortal','populateStatus')<>0
begin

--如果全文目錄正處于填充狀態，則等待30秒后再檢測一次
waitfor delay '0:0:30'
end