Toán tử mô đun máy chủ SQL để chuyển đến mọi hàng thứ n trên một bảng lớn

Question

Tôi có một bảng lớn với 100.000.000 hàng. Tôi muốn chọn mọi hàng thứ n từ bảng. bản năng đầu tiên của tôi là sử dụng một cái gì đó như thế này:

SELECT id,name FROM table WHERE id%125000=0 

để lấy một thậm chí lây lan của 800 dòng (id là một chỉ số clustered)

Kỹ thuật này hoạt động tốt trên các tập dữ liệu nhỏ hơn nhưng với bảng lớn hơn của tôi truy vấn mất 2,5 phút. Tôi cho rằng điều này là do hoạt động của mô đun được áp dụng cho mọi hàng. Có phương pháp tối ưu nào hơn là bỏ qua hàng không?

Answer 1

Nếu id là một chỉ số, sau đó tôi đang nghĩ đến việc gì đó dọc theo những dòng:

with ids as (
     select 1 as id 
     union all 
     select id + 125000 
     from ids 
     where id <= 100000000 
) 
select ids.id, 
     (select name from table t where t.id = ids.id) as name 
from ids 
option (MAXRECURSION 1000); 

Tôi nghĩ rằng việc xây dựng này sẽ sử dụng các chỉ số trên bàn.

EDIT:

Như tôi đã suy nghĩ về phương pháp này, bạn thực sự có thể sử dụng nó để có được id ngẫu nhiên thực tế trong bảng, chứ không phải là những người chỉ cách đều nhau:

with ids as (
     select 1 as cnt, 
      ABS(CONVERT(BIGINT,CONVERT(BINARY(8), NEWID()))) % 100000000 as id 
     union all 
     select cnt + 1, ABS(CONVERT(BIGINT,CONVERT(BINARY(8), NEWID()))) % 100000000 
     from ids 
     where cnt < 800 
) 

select ids.id, 
     (select name from table t where t.id = ids.id) as name 
from ids 
option (MAXRECURSION 1000); 

Mã cho thực tế trình tạo số ngẫu nhiên đến từ here.

EDIT:

Do quirks trong SQL Server, bạn vẫn có thể nhận được id không tiếp giáp, ngay cả trong kịch bản của bạn. Điều này được chấp nhận answer giải thích nguyên nhân. Tóm lại, các giá trị nhận dạng không được phân bổ một lần, mà là theo nhóm. Máy chủ có thể bị lỗi và thậm chí các giá trị không sử dụng bị bỏ qua.

Một lý do tôi muốn thực hiện lấy mẫu ngẫu nhiên là giúp tránh vấn đề này. Có lẽ, tình hình trên khá hiếm trên hầu hết các hệ thống. Bạn có thể sử dụng lấy mẫu ngẫu nhiên để tạo ra 900 id. Từ đó, bạn sẽ có thể tìm thấy 800 thực tế có sẵn cho mẫu của bạn.

Answer 2

Thời gian không đi vào hoạt động của mô đun, mà chỉ đọc 124,999 hàng không cần thiết cho mỗi hàng mà bạn thực sự muốn (ví dụ: Quét bảng hoặc Quét chỉ mục nhóm).

Chỉ là cách duy nhất để tăng tốc truy vấn như thế này là điều đầu tiên không hợp lệ: Thêm chỉ mục không được nhóm lên chỉ trên cột đó ([ID]). Ngoài ra, bạn có thể phải thêm một Chỉ mục Gợi ý để buộc nó sử dụng chỉ mục đó. Và cuối cùng, nó có thể không thực sự làm cho nó nhanh hơn, mặc dù cho một modulus 125,000+, nó nên được (mặc dù nó sẽ không bao giờ thực sự nhanh chóng).

---

Nếu ID của bạn không nhất thiết phải tiếp giáp (bất kỳ hàng bị xóa sẽ khá nhiều nguyên nhân này) và bạn thực sự cần chính xác mỗi hàng modulo, theo lệnh ID, sau đó bạn vẫn có thể sử dụng phương pháp trên, nhưng bạn sẽ phải xác định lại các ID cho hoạt động Modulo bằng cách sử dụng ROW_NUMBER() OVER(ORDER BY ID) trong truy vấn.

Answer 3

Truy vấn của bạn giả định rằng các ID tiếp giáp nhau (và có thể chúng không có mà bạn không nhận ra điều này ...). Dù sao, bạn nên tự tạo ID:

select * 
from T 
where ID in (0, 250000*1, 250000*2, ...) 

Có thể bạn cần TVP để gửi tất cả ID vì có quá nhiều ID. Hoặc, bạn tạo ra các ID trên máy chủ trong T-SQL hoặc một hàm SQLCLR hoặc một bảng số.

Kỹ thuật này cho phép bạn thực hiện tìm kiếm chỉ mục và sẽ nhanh nhất bạn có thể sản xuất. Nó đọc số lượng dữ liệu tối thiểu có thể.

Modulo không phải là SARGable. SQL Server có thể hỗ trợ điều này nếu Microsoft muốn nó, nhưng đây là một trường hợp sử dụng kỳ lạ. Họ sẽ không bao giờ làm modulo SARGable và họ không nên.

Answer 4

DECLARE @i int, @max int, @query VARCHAR(1000) 
SET @i = 0 
SET @max = (SELECT max(id)/125000 FROM Table1) 
SET @query = 'SELECT id, name FROM Table1 WHERE id in (' 
WHILE @i <= @max 
BEGIN 
    IF @i > 0 SET @query = @query + ',' 
    SET @query = @query + CAST(@i*125000 as varchar(12)) 
    SET @i = @i + 1 
END 
SET @query = @query + ')' 
EXEC(@query) 

EDIT:

Để tránh bất kỳ "lỗ hổng" trong một tình huống ID không tiếp giáp, bạn có thể thử một cái gì đó như thế này:

DECLARE @i int, @start int, @id int, @max int, @query VARCHAR(1000) 
SET @i = 0 
SET @max = (SELECT max(id)/125000 FROM Table1) 
SET @query = 'SELECT id, name FROM Table1 WHERE id in (' 
WHILE @i <= @max 
BEGIN 
    SET @start = @i*125000 
    SET @id = (SELECT TOP 1 id FROM Table1 WHERE id >= @start ORDER BY id ASC) 
    IF @i > 0 SET @query = @query + ',' 
    SET @query = @query + CAST(@id as VARCHAR(12)) 
    SET @i = @i + 1 
END 
SET @query = @query + ')' 
EXEC(@query)