文章出處

前言  

 

  一般來說,物理表的增、刪、改、查都受到數據量的制約,進而影響了性能。

 

  很多情況下,你所負責的業務關鍵表中,每日變動的數據庫與不變動的數據量比較,相差非常大。

 

  這里我們將變動的數據稱為動態數據,不變動的數據稱為靜態數據

 

  舉個例子,1張1000W的表,每日動態數據只有1W條,999W條的數據都為靜態。往往select或者重復改變的數據都在動態數據中。比如訂單表。

 

  所以,如果將動態數據庫從表中剝離出來,分割兩張表,一張動態數據表,一張靜態數據表,從數據量的角度來看,性能是不是就會自然提高了?

 

  下圖為一張現實表和一張理想化的結構   (藍色為靜態數據:1000W、黃色為動態數據:100W):

  

  希望動態數據和靜態數據分割開

  

  

  想法再好,也比不上現實的殘酷。很多朋友可能都想到這種架構,但實現起來問題非常多:

  

  1.  如何將動態數據自動從靜態數據中剝離?如何維護?

  2.  程序代碼改動量不可預計。尤其核心表的使用遍布各地,分割成兩張表后,所有代碼基本都要重構。

  3.  表分區是否可以達到同樣目的,NO~因為表分區無法100%區分動態與靜態,而且分區列的使用決定了效率。

 

  下面開始,進入本次主題,如何在SQL Server中達到動態數據、靜態數據分割;兩表數據如何自動維護;程序統一訪問邏輯表名,零維護成本。

 

正文

  實現方法:利用視圖 + 視圖觸發器

  沒錯,沒有了~就是靠這兩貨,就解決了,下面我們來看看邏輯圖(畫的不好,見諒)。

  

最后,讓我們來看看具體事例

 

1.  創建demo數據庫,和動態表(TB_A_NEW)、歷史表(TB_A_OLD)

CREATE DATABASE demo
GO
ALTER DATABASE demo ADD FILEGROUP HekatonFG CONTAINS MEMORY_OPTIMIZED_DATA;
GO
ALTER DATABASE demo ADD FILE( NAME = 'Memory', FILENAME ='C:\Memory.ndf') TO FILEGROUP [HekatonFG];
GO
CREATE TABLE TB_A_OLD
(
	id INT IDENTITY(1,1) PRIMARY KEY,
     NAME NVARCHAR(36) GO CREATE TABLE TB_A_NEW ( id INT IDENTITY(1, 1) PRIMARY KEY, NAME NVARCHAR(36) ) GO INSERT INTO TB_A_OLD SELECT Newid() GO 10

這個時候的兩張表的數據如下:

 

然后,我們為了保證動態表的新增數據的自增值是靜態表的當前標識值+1,這樣兩表記錄合并才能銜接。

DECLARE @IDENT BIGINT

SELECT @IDENT = Ident_current('TB_A_OLD') + 1

DBCC checkident('TB_A_NEW', reseed, @IDENT)

  

創建視圖(View_TB_A)

CREATE VIEW [dbo].[View_TB_A]
AS
  SELECT *
  FROM   TB_A_NEW
  UNION ALL
  SELECT old.*
  FROM   TB_A_OLD old
         LEFT JOIN TB_A_NEW new
                ON old.id = new.id
  WHERE  new.NAME IS NULL

GO

創建視圖觸發器(Insert、Update)

USE demo

GO

CREATE TRIGGER [dbo].[TR_Insert]
ON [dbo].[View_TB_A]
INSTEAD OF INSERT
AS
  BEGIN
      SET NOCOUNT ON

      INSERT INTO TB_A_NEW
                  (NAME)
      SELECT NAME
      FROM   inserted
  END

GO

USE demo

GO

CREATE TRIGGER [dbo].[TR_Update]
ON [dbo].[View_TB_A]
INSTEAD OF UPDATE
AS
  BEGIN
      SET NOCOUNT ON

      --1. 判斷update中,包含的記錄是否都在new表中
      DECLARE @count BIGINT

      SELECT @count = Count(1)
      FROM   deleted

      UPDATE TB_A_NEW
      SET    NAME = b.NAME
      FROM   TB_A_NEW a,
             inserted b
      WHERE  a.id = b.id

      IF @@ROWCOUNT < @count
        BEGIN
            SET IDENTITY_INSERT TB_A_NEW ON

            INSERT INTO TB_A_NEW
                        (id,
                         NAME)
            SELECT i.id,
                   i.NAME
            FROM   inserted i
                   LEFT JOIN TB_A_NEW n
                          ON i.id = n.id
            WHERE  n.NAME IS NULL
        END
  END

GO

下面,我們來測試下SELECT、UPDATE、INSERT

Select

SELECT的結果就是剛才的插入10條記錄,通過!

 

Insert

INSERT到視圖中,會在TB_A_NEW表中新增一條記錄,TB_A_OLD并沒有任何變化。也就是自動分配到了動態表中,通過!

 

Update

然后我們繼續更新id=2的記錄,看看結果如何

最后,我們繼續查詢視圖VIEW_TB_A,看看最終返回的結果。

看到最終結果11條,并且之前通過視圖的更新,插入都返回了正確結果,通過!

 

至此,測試結束,通過視圖和視圖觸發器,實現了統一名稱訪問,底冊物理表分割動態表和靜態表,測試過程并不包含delete,感興趣的童鞋稍微琢磨下就出來了。

 

如果需要合并動態表與靜態表,只需將id相同記錄,更新到靜態表,靜態表不存在的id對應動態數據,插入到靜態表中即可。

本次內容主意在實現方法,具體性能提升測試,日后再做說明,簡單說下,就是觸發器的邏輯處理,放在了物理表插入數據之前。將數據分類存儲。所以邏輯處理開銷會增加,但是物理存儲分割。在數據量影響性能明顯的場景中會非常適用。

如果你的數據庫是SQL Server 2014,那么將靜態和動態表定義到內存表中,動態數據又剝離了,具體提升多少這里不做猜測,有環境的朋友可以試試哦~

 

另:

  利用以上方法,也可以解決肖桑(大菠蘿)和笑東風提到的的主鍵int修改為bigint型問題

  (http://www.cnblogs.com/TeyGao/p/4463389.html)

      如果每日一次合并動態表與靜態表數據,動態數據表就是當日的差異數據哦,擴展使用非常方便。

 

好~就到這里,再見吧~

 


文章列表


不含病毒。www.avast.com
arrow
arrow
    全站熱搜
    創作者介紹
    創作者 大師兄 的頭像
    大師兄

    IT工程師數位筆記本

    大師兄 發表在 痞客邦 留言(0) 人氣()