高效的SQLSERVER分頁查詢的幾種示例分析 - xiongzaiqiren－IT工程師數位筆記本

文章出處

Sqlserver數據庫分頁查詢一直是Sqlserver的短板，閑來無事，想出幾種方法，假設有表ARTICLE,字段ID、YEAR...(其他省略)，數據53210條(客戶真實數據，量不大)，分頁查詢每頁30條，查詢第1500頁（即第45001-45030條數據），字段ID聚集索引，YEAR無索引，Sqlserver版本：2008R2

第一種方案、最簡單、普通的方法：

1 SELECT TOP 30 * FROM ARTICLE WHERE ID NOT IN(SELECT TOP 45000 ID FROM ARTICLE ORDER BY YEAR DESC, ID DESC) ORDER BY YEAR DESC,ID DESC;

平均查詢100次所需時間：45s

第二種方案：

1 SELECT * FROM (
2     SELECT TOP 30 * FROM (
3         SELECT TOP 45030 * FROM ARTICLE ORDER BY YEAR DESC, ID DESC
4     ) f ORDER BY f.YEAR ASC, f.ID DESC
5 ) s ORDER BY s.YEAR DESC,s.ID DESC;

平均查詢100次所需時間：138S

第三種方案：

1 SELECT * FROM ARTICLE w1, 
2 (
3     SELECT TOP 30 ID FROM 
4     (
5         SELECT TOP 50030 ID, YEAR FROM ARTICLE ORDER BY YEAR DESC, ID DESC
6     ) w ORDER BY w.YEAR ASC, w.ID ASC
7 ) w2 WHERE w1.ID = w2.ID ORDER BY w1.YEAR DESC, w1.ID DESC;

平均查詢100次所需時間：21S

第四種方案：

1 SELECT * FROM ARTICLE w1 
2     WHERE ID in 
3         (
4             SELECT top 30 ID FROM 
5             (
6                 SELECT top 45030 ID, YEAR FROM ARTICLE ORDER BY YEAR DESC, ID DESC
7             ) w ORDER BY w.YEAR ASC, w.ID ASC
8         ) 
9     ORDER BY w1.YEAR DESC, w1.ID DESC;

平均查詢100次所需時間：20S

第五種方案：

1 SELECT w2.n, w1.* FROM ARTICLE w1,(
2     SELECT TOP 50030 row_number() OVER (ORDER BY YEAR DESC, ID DESC) n, ID FROM ARTICLE) w2 
3 WHERE w1.ID = w2.ID AND w2.n > 50000 ORDER BY w2.n ASC;

平均查詢100次所需時間：15S

查詢第1000-1030條記錄

第一種方案：

1 SELECT TOP 30 * FROM ARTICLE WHERE ID NOT IN(
2     SELECT TOP 1000 ID FROM ARTICLE
3     ORDER BY YEAR DESC, ID DESC) 
4 ORDER BY YEAR DESC,ID DESC;

平均查詢100次所需時間：80s

第二種方案：

1 SELECT * FROM(
2     SELECT TOP 30 * FROM (
3         SELECT TOP 1030 * FROM ARTICLE ORDER BY YEAR DESC, ID DESC) f 
4     ORDER BY f.YEAR ASC, f.ID DESC) s 
5 ORDER BY s.YEAR DESC,s.ID DESC;

平均查詢100次所需時間：30S

第三種方案：

1 SELECT * FROM ARTICLE w1, 
2 (
3     SELECT TOP 30 ID FROM 
4     (
5         SELECT TOP 1030 ID, YEAR FROM ARTICLE ORDER BY YEAR DESC, ID DESC
6     ) w ORDER BY w.YEAR ASC, w.ID ASC
7 ) w2 WHERE w1.ID = w2.ID ORDER BY w1.YEAR DESC, w1.ID DESC;

平均查詢100次所需時間：12S

第四種方案：

1 SELECT * FROM ARTICLE w1 
2     WHERE ID in 
3         (
4             SELECT top 30 ID FROM 
5             (
6                 SELECT top 1030 ID, YEAR FROM ARTICLE ORDER BY YEAR DESC, ID DESC
7             ) w ORDER BY w.YEAR ASC, w.ID ASC
8         ) 
9     ORDER BY w1.YEAR DESC, w1.ID DESC;

平均查詢100次所需時間：13S

第五種方案：

1 SELECT w2.n, w1.* FROM ARTICLE w1,(
2     SELECT TOP 1030 row_number() OVER (ORDER BY YEAR DESC, ID DESC) n, ID FROM ARTICLE) w2 
3 WHERE w1.ID = w2.ID AND w2.n > 1000 
4 ORDER BY w2.n ASC;

平均查詢100次所需時間：14S

由此可見在查詢頁數靠前時，效率3>4>5>2>1，頁碼靠后時5>4>3>1>2，再根據用戶習慣，一般用戶的檢索只看最前面幾頁，因此選擇3 4 5方案均可，若綜合考慮方案5是最好的選擇，但是要注意SQL2000不支持row_number()函數，由于時間和條件的限制沒有做更深入、范圍更廣的測試，有興趣的可以仔細研究下。

以下是根據第四種方案編寫的一個分頁存儲過程：

 1 if exists (select * from dbo.sysobjects where id = object_id(N'[dbo].[sys_Page_v2]') and OBJECTPROPERTY(id, N'IsProcedure') = 1)
 2 drop procedure [dbo].[sys_Page_v2]
 3 GO
 4 CREATE PROCEDURE [dbo].[sys_Page_v2]
 5 @PCount int output,    --總頁數輸出
 6 @RCount int output,    --總記錄數輸出
 7 @sys_Table nvarchar(100),    --查詢表名
 8 @sys_Key varchar(50),        --主鍵
 9 @sys_Fields nvarchar(500),    --查詢字段
10 @sys_Where nvarchar(3000),    --查詢條件
11 @sys_Order nvarchar(100),    --排序字段
12 @sys_Begin int,        --開始位置
13 @sys_PageIndex int,        --當前頁數
14 @sys_PageSize int        --頁大小
15 AS
16 SET NOCOUNT ON
17 SET ANSI_WARNINGS ON
18 IF @sys_PageSize < 0 OR @sys_PageIndex < 0
19 BEGIN        
20 RETURN
21 END
22 DECLARE @new_where1 NVARCHAR(3000)
23 DECLARE @new_order1 NVARCHAR(100)
24 DECLARE @new_order2 NVARCHAR(100)
25 DECLARE @Sql NVARCHAR(4000)
26 DECLARE @SqlCount NVARCHAR(4000)
27 DECLARE @Top int
28 if(@sys_Begin <=0)
29     set @sys_Begin=0
30 else
31     set @sys_Begin=@sys_Begin-1
32 IF ISNULL(@sys_Where,'') = ''
33     SET @new_where1 = ' '
34 ELSE
35     SET @new_where1 = ' WHERE ' + @sys_Where 
36 IF ISNULL(@sys_Order,'') <> '' 
37 BEGIN
38     SET @new_order1 = ' ORDER BY ' + Replace(@sys_Order,'desc','')
39     SET @new_order1 = Replace(@new_order1,'asc','desc')
40     SET @new_order2 = ' ORDER BY ' + @sys_Order
41 END
42 ELSE
43 BEGIN
44     SET @new_order1 = ' ORDER BY ID DESC'
45     SET @new_order2 = ' ORDER BY ID ASC'
46 END
47 SET @SqlCount = 'SELECT @RCount=COUNT(1),@PCount=CEILING((COUNT(1)+0.0)/'
48             + CAST(@sys_PageSize AS NVARCHAR)+') FROM ' + @sys_Table + @new_where1
49 EXEC SP_EXECUTESQL @SqlCount,N'@RCount INT OUTPUT,@PCount INT OUTPUT',
50                @RCount OUTPUT,@PCount OUTPUT
51 IF @sys_PageIndex > CEILING((@RCount+0.0)/@sys_PageSize)    --如果輸入的當前頁數大于實際總頁數,則把實際總頁數賦值給當前頁數
52 BEGIN
53     SET @sys_PageIndex =  CEILING((@RCount+0.0)/@sys_PageSize)
54 END
55 set @sql = 'select '+ @sys_fields +' from ' + @sys_Table + ' w1 '
56     + ' where '+ @sys_Key +' in ('
57         +'select top '+ ltrim(str(@sys_PageSize)) +' ' + @sys_Key + ' from '
58         +'('
59             +'select top ' + ltrim(STR(@sys_PageSize * @sys_PageIndex + @sys_Begin)) + ' ' + @sys_Key + ' FROM ' 
60         + @sys_Table + @new_where1 + @new_order2 
61         +') w ' + @new_order1
62     +') ' + @new_order2
63 print(@sql)
64 Exec(@sql)
65 GO

補充：

第六種方案：

SQL Server 2012中引入的OFFSET/FETCH NEXT（https://msdn.microsoft.com/zh-cn/library/ms188385(v=sql.110).aspx）

 1 /*
 2 Server side paging demo using the new enhancements added
 3 in SQL Server 2012
 4 */
 5 
 6 ----DECLARE @d Datetime
 7 ----SET @d=getdate();
 8 SET STATISTICS IO ON;
 9 GO
10 SET STATISTICS TIME ON;
11 GO
12 --SET SHOWPLAN_ALL ON;
13 --GO
14 
15 DECLARE @page INT, @size INT
16 SELECT @page = 3, @size = 10
17 
18 SELECT
19     *,
20     COUNT(*) OVER(PARTITION BY '') AS Total
21 FROM Customers
22 WHERE CustomerCity IN ('A-City','B-City')
23 ORDER BY CustomerID
24 OFFSET (@page -1) * @size ROWS
25 FETCH NEXT @size ROWS ONLY;
26 GO
27 
28 ----select [語句執行花費時間(毫秒)]=datediff(ms,@d,getdate())
29 --SET SHOWPLAN_ALL OFF;
30 --GO
31 SET STATISTICS IO OFF;
32 GO
33 SET STATISTICS TIME OFF;
34 GO
35 /*
36 Execute both versions with execution plan turned on.
37 You may notice a significant performance difference in this
38 example.
39 */

OFFSET { integer_constant | offset_row_count_expression } { ROW | ROWS }
指定開始從查詢表達式返回行之前跳過的行數。該值可以是大于或等于零的整數常量或表達式。
offset_row_count_expression 可以是變量、參數或常數標量子查詢。在使用子查詢時，它無法引用在外部查詢范圍中定義的任何列。也就是說，它無法與外部查詢相關聯。
ROW 和 ROWS 是同義詞，是為了與 ANSI 兼容而提供的。
在查詢執行計劃中，將在 TOP 查詢運算符的 Offset 屬性中顯示偏移行數值。
FETCH { FIRST | NEXT } { integer_constant | fetch_row_count_expression } { ROW | ROWS } ONLY
指定在處理 OFFSET 子句后返回的行數。該值可以是大于或等于 1 的整數常量或表達式。
fetch_row_count_expression 可以是變量、參數或常數標量子查詢。在使用子查詢時，它無法引用在外部查詢范圍中定義的任何列。也就是說，它無法與外部查詢相關聯。
FIRST 和 NEXT 是同義詞，是為了與 ANSI 兼容而提供的。
ROW 和 ROWS 是同義詞，是為了與 ANSI 兼容而提供的。
在查詢執行計劃中，將在 TOP 查詢運算符的 Rows 或 Top 屬性中顯示偏移行數值。