最近做項目,需要做一個從mysql數據庫中隨機取幾條數據出來。
總所周知,order by rand 會死人的。。因為本人對大數據量方面的只是了解的很少,無解,去找百度老師。。搜索結果千篇一律。特發到這里來,供大家學習。
在mysql中帶了隨機取數據的函數,在mysql中我們會有rand()函數,很多朋友都會直接使用,如果幾百條數據肯定沒事,如果幾萬或百萬時你會發現,直接使用是錯誤的。下面我來介紹隨機取數據一些優化方法。
- SELECT * FROM table_name ORDER BY rand() LIMIT 5;
rand在手冊里是這么說的:
RAND()
RAND(N)
返回在范圍0到1.0內的隨機浮點值。如果一個整數參數N被指定,它被用作種子值。
- mysql> select RAND();
- -> 0.5925
- mysql> select RAND(20);
- -> 0.1811
- mysql> select RAND(20);
- -> 0.1811
- mysql> select RAND();
- -> 0.2079
- mysql> select RAND();
- -> 0.7888
你
不能在一個ORDER BY子句用RAND()值使用列,因為ORDER BY將重復計算列多次。然而在MySQL3.23中,你可以做: SELECT
* FROM table_name ORDER BY RAND(),這是有利于得到一個來自SELECT * FROM
table1,table2 WHERE a=b AND c<d ORDER BY RAND() LIMIT
1000的集合的隨機樣本。注意在一個WHERE子句里的一個RAND()將在每次WHERE被執行時重新評估。
網上基本上都是查詢max(id) * rand()來隨機獲取數據。
- SELECT *
- FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `table`)) AS id) AS t2
- WHERE t1.id >= t2.id
- ORDER BY t1.id ASC LIMIT 5;
但是這樣會產生連續的5條記錄。解決辦法只能是每次查詢一條,查詢5次。即便如此也值得,因為15萬條的表,查詢只需要0.01秒不到。
上面的語句采用的是JOIN,mysql的論壇上有人使用
- SELECT *
- FROM `table`
- WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `table` )
- ORDER BY id LIMIT 1;
我測試了一下,需要0.5秒,速度也不錯,但是跟上面的語句還是有很大差距
后來請教了baidu,得到如下代碼
完整查詢語句是:
- SELECT * FROM `table`
- WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`)) + (SELECT MIN(id) FROM `table`)))
- ORDER BY id LIMIT 1;
- SELECT *
- FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`))+(SELECT MIN(id) FROM `table`)) AS id) AS t2
- WHERE t1.id >= t2.id
- ORDER BY t1.id LIMIT 1;
最后在php中對這兩個語句進行分別查詢10次,
前者花費時間 0.147433 秒
后者花費時間 0.015130 秒
執行效率需要0.02 sec.可惜的是,只有mysql 4.1.*以上才支持這樣的子查詢.
注意事項 查看官方手冊,也說rand()放在ORDER BY 子句中會被執行多次,自然效率及很低。
以上的sql語句最后一條,本人實際測試通過,100W數據,瞬間出結果。
文章列表