前言
一般來說,物理表的增、刪、改、查都受到數據量的制約,進而影響了性能。
很多情況下,你所負責的業務關鍵表中,每日變動的數據庫與不變動的數據量比較,相差非常大。
這里我們將變動的數據稱為動態數據,不變動的數據稱為靜態數據。
舉個例子,1張1000W的表,每日動態數據只有1W條,999W條的數據都為靜態。往往select或者重復改變的數據都在動態數據中。比如訂單表。
所以,如果將動態數據庫從表中剝離出來,分割兩張表,一張動態數據表,一張靜態數據表,從數據量的角度來看,性能是不是就會自然提高了?
下圖為一張現實表和一張理想化的結構 (藍色為靜態數據:1000W、黃色為動態數據:100W):
希望動態數據和靜態數據分割開
想法再好,也比不上現實的殘酷。很多朋友可能都想到這種架構,但實現起來問題非常多:
1. 如何將動態數據自動從靜態數據中剝離?如何維護?
2. 程序代碼改動量不可預計。尤其核心表的使用遍布各地,分割成兩張表后,所有代碼基本都要重構。
3. 表分區是否可以達到同樣目的,NO~因為表分區無法100%區分動態與靜態,而且分區列的使用決定了效率。
下面開始,進入本次主題,如何在SQL Server中達到動態數據、靜態數據分割;兩表數據如何自動維護;程序統一訪問邏輯表名,零維護成本。
正文
實現方法:利用視圖 + 視圖觸發器
沒錯,沒有了~就是靠這兩貨,就解決了,下面我們來看看邏輯圖(畫的不好,見諒)。
最后,讓我們來看看具體事例
1. 創建demo數據庫,和動態表(TB_A_NEW)、歷史表(TB_A_OLD)
CREATE DATABASE demo GO ALTER DATABASE demo ADD FILEGROUP HekatonFG CONTAINS MEMORY_OPTIMIZED_DATA; GO ALTER DATABASE demo ADD FILE( NAME = 'Memory', FILENAME ='C:\Memory.ndf') TO FILEGROUP [HekatonFG]; GO CREATE TABLE TB_A_OLD ( id INT IDENTITY(1,1) PRIMARY KEY,
NAME NVARCHAR(36) GO CREATE TABLE TB_A_NEW ( id INT IDENTITY(1, 1) PRIMARY KEY, NAME NVARCHAR(36) ) GO INSERT INTO TB_A_OLD SELECT Newid() GO 10
這個時候的兩張表的數據如下:
然后,我們為了保證動態表的新增數據的自增值是靜態表的當前標識值+1,這樣兩表記錄合并才能銜接。
DECLARE @IDENT BIGINT SELECT @IDENT = Ident_current('TB_A_OLD') + 1 DBCC checkident('TB_A_NEW', reseed, @IDENT)
創建視圖(View_TB_A)
CREATE VIEW [dbo].[View_TB_A] AS SELECT * FROM TB_A_NEW UNION ALL SELECT old.* FROM TB_A_OLD old LEFT JOIN TB_A_NEW new ON old.id = new.id WHERE new.NAME IS NULL GO
創建視圖觸發器(Insert、Update)
USE demo GO CREATE TRIGGER [dbo].[TR_Insert] ON [dbo].[View_TB_A] INSTEAD OF INSERT AS BEGIN SET NOCOUNT ON INSERT INTO TB_A_NEW (NAME) SELECT NAME FROM inserted END GO USE demo GO CREATE TRIGGER [dbo].[TR_Update] ON [dbo].[View_TB_A] INSTEAD OF UPDATE AS BEGIN SET NOCOUNT ON --1. 判斷update中,包含的記錄是否都在new表中 DECLARE @count BIGINT SELECT @count = Count(1) FROM deleted UPDATE TB_A_NEW SET NAME = b.NAME FROM TB_A_NEW a, inserted b WHERE a.id = b.id IF @@ROWCOUNT < @count BEGIN SET IDENTITY_INSERT TB_A_NEW ON INSERT INTO TB_A_NEW (id, NAME) SELECT i.id, i.NAME FROM inserted i LEFT JOIN TB_A_NEW n ON i.id = n.id WHERE n.NAME IS NULL END END GO
下面,我們來測試下SELECT、UPDATE、INSERT
Select
SELECT的結果就是剛才的插入10條記錄,通過!
Insert
INSERT到視圖中,會在TB_A_NEW表中新增一條記錄,TB_A_OLD并沒有任何變化。也就是自動分配到了動態表中,通過!
Update
然后我們繼續更新id=2的記錄,看看結果如何
最后,我們繼續查詢視圖VIEW_TB_A,看看最終返回的結果。
看到最終結果11條,并且之前通過視圖的更新,插入都返回了正確結果,通過!
至此,測試結束,通過視圖和視圖觸發器,實現了統一名稱訪問,底冊物理表分割動態表和靜態表,測試過程并不包含delete,感興趣的童鞋稍微琢磨下就出來了。
如果需要合并動態表與靜態表,只需將id相同記錄,更新到靜態表,靜態表不存在的id對應動態數據,插入到靜態表中即可。
本次內容主意在實現方法,具體性能提升測試,日后再做說明,簡單說下,就是觸發器的邏輯處理,放在了物理表插入數據之前。將數據分類存儲。所以邏輯處理開銷會增加,但是物理存儲分割。在數據量影響性能明顯的場景中會非常適用。
如果你的數據庫是SQL Server 2014,那么將靜態和動態表定義到內存表中,動態數據又剝離了,具體提升多少這里不做猜測,有環境的朋友可以試試哦~
另:
利用以上方法,也可以解決肖桑(大菠蘿)和笑東風提到的的主鍵int修改為bigint型問題
(http://www.cnblogs.com/TeyGao/p/4463389.html)
如果每日一次合并動態表與靜態表數據,動態數據表就是當日的差異數據哦,擴展使用非常方便。
好~就到這里,再見吧~
文章列表