【面經(jīng)】面試官：如何以高的效率從MySQL中隨機(jī)查詢一條記錄？

作者：冰河 2020-11-04 07:08:07

MySQL數(shù)據(jù)庫在互聯(lián)網(wǎng)行業(yè)使用的比較多，有些小伙伴可能會認(rèn)為MySQL數(shù)據(jù)庫比較小，存儲不了很多的數(shù)據(jù)。

作者個人研發(fā)的在高并發(fā)場景下，提供的簡單、穩(wěn)定、可擴(kuò)展的延遲消息隊(duì)列框架，具有精準(zhǔn)的定時任務(wù)和延遲隊(duì)列處理功能。自開源半年多以來，已成功為十幾家中小型企業(yè)提供了精準(zhǔn)定時調(diào)度方案，經(jīng)受住了生產(chǎn)環(huán)境的考驗(yàn)。為使更多童鞋受益，現(xiàn)給出開源框架地址：https://github.com/sunshinelyz/mykit-delay

寫在前面

MySQL數(shù)據(jù)庫在互聯(lián)網(wǎng)行業(yè)使用的比較多，有些小伙伴可能會認(rèn)為MySQL數(shù)據(jù)庫比較小，存儲不了很多的數(shù)據(jù)。其實(shí)，這些小伙伴是真的不了解MySQL。MySQL的小不是說使用MySQL存儲的數(shù)據(jù)少，而是說其體積小，比較輕量。使用MySQL完全可以存儲千億級別的數(shù)據(jù)，這個我會在后面的文章中來給小伙伴們分享如何使用MySQL存儲千億級別以上的數(shù)據(jù)。或者小伙伴們可以提前預(yù)定我的新書《MySQL技術(shù)大全：開發(fā)、優(yōu)化與運(yùn)維實(shí)戰(zhàn)》。好了，說了這么多，今天給大家分享一篇有關(guān)MySQL的經(jīng)典面試題：如何以最高的效率從MySQL中隨機(jī)查詢一條記錄?

面試題目

如何從MySQL一個數(shù)據(jù)表中查詢一條隨機(jī)的記錄，同時要保證效率最高。

從這個題目來看，其實(shí)包含了兩個要求，第一個要求就是：從MySQL數(shù)據(jù)表中查詢一條隨機(jī)的記錄。第二個要求就是要保證效率最高。

接下來，我們就來嘗試使用各種方式來從MySQL數(shù)據(jù)表中查詢數(shù)據(jù)。

方法一

這是最原始最直觀的語法，如下：

SELECT * FROM foo ORDER BY RAND() LIMIT 1

當(dāng)數(shù)據(jù)表中數(shù)據(jù)量較小時，此方法可行。但當(dāng)數(shù)據(jù)量到達(dá)一定程度，比如100萬數(shù)據(jù)或以上，就有很大的性能問題。如果你通過EXPLAIN來分析這個語句，會發(fā)現(xiàn)雖然MySQL通過建立一張臨時表來排序，但由于ORDER BY和LIMIT本身的特性，在排序未完成之前，我們還是無法通過LIMIT來獲取需要的記錄。亦即，你的記錄有多少條，就必須首先對這些數(shù)據(jù)進(jìn)行排序。

方法二

看來對于大數(shù)據(jù)量的隨機(jī)數(shù)據(jù)抽取，性能的癥結(jié)出在ORDER BY上，那么如何避免?方法二提供了一個方案。

首先，獲取數(shù)據(jù)表的所有記錄數(shù)：

SELECT count(*) AS num_rows FROM foo

然后，通過對應(yīng)的后臺程序記錄下此記錄總數(shù)(假定為num_rows)。

然后執(zhí)行：

SELECT * FROM foo LIMIT [0到num_rows之間的一個隨機(jī)數(shù)],1

上面這個隨機(jī)數(shù)的獲得可以通過后臺程序來完成。此方法的前提是表的ID是連續(xù)的或者自增長的。

這個方法已經(jīng)成功避免了ORDER BY的產(chǎn)生。

方法三

有沒有可能不用ORDER BY，用一個SQL語句實(shí)現(xiàn)方法二?可以，那就是用JOIN。

SELECT * FROM Bar B JOIN (SELECT CEIL(MAX(ID)*RAND()) AS ID FROM Bar) AS m ON B.ID >= m.ID LIMIT 1;

此方法實(shí)現(xiàn)了我們的目的，同時，在數(shù)據(jù)量大的情況下，也避免了ORDER BY所造成的所有記錄的排序過程，因?yàn)橥ㄟ^JOIN里面的SELECT語句實(shí)際上只執(zhí)行了一次，而不是N次(N等于方法二中的num_rows)。而且，我們可以在篩選語句上加上“大于”符號，還可以避免因?yàn)镮D好不連續(xù)所產(chǎn)生的記錄為空的現(xiàn)象。

在MySQL中查詢5條不重復(fù)的數(shù)據(jù)，使用以下：

SELECT * FROM `table` ORDER BY RAND() LIMIT 5

就可以了。但是真正測試一下才發(fā)現(xiàn)這樣效率非常低。一個15萬余條的庫，查詢5條數(shù)據(jù)，居然要8秒以上

搜索Google，網(wǎng)上基本上都是查詢max(id) * rand()來隨機(jī)獲取數(shù)據(jù)。

SELECT *  
FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `table`)) AS id) AS t2  
WHERE t1.id >= t2.id  
ORDER BY t1.id ASC LIMIT 5;

但是這樣會產(chǎn)生連續(xù)的5條記錄。解決辦法只能是每次查詢一條，查詢5次。即便如此也值得，因?yàn)?5萬條的表，查詢只需要0.01秒不到。

上面的語句采用的是JOIN，mysql的論壇上有人使用

SELECT *  
FROM `table`  
WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `table` )  
ORDER BY id LIMIT 1;

我測試了一下，需要0.5秒，速度也不錯，但是跟上面的語句還是有很大差距。總覺有什么地方不正常。

于是我把語句改寫了一下。

SELECT * FROM `table`  
WHERE id >= (SELECT floor(RAND() * (SELECT MAX(id) FROM `table`)))  
ORDER BY id LIMIT 1;

這下，效率又提高了，查詢時間只有0.01秒

最后，再把語句完善一下，加上MIN(id)的判斷。我在最開始測試的時候，就是因?yàn)闆]有加上MIN(id)的判斷，結(jié)果有一半的時間總是查詢到表中的前面幾行。

完整查詢語句是：

SELECT * FROM `table`  
WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM  `table`)-(SELECT MIN(id) FROM `table`)) + (SELECT MIN(id) FROM  `table`)))  
ORDER BY id LIMIT 1; 
 
SELECT *  
 FROM  `table` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM  `table`)-(SELECT MIN(id) FROM `table`))+(SELECT MIN(id) FROM `table`))  AS id) AS t2  
WHERE t1.id >= t2.id  
ORDER BY t1.id LIMIT 1;