Cách nhanh nhất để chèn song song với một bảng duy nhất

Question

Công ty của tôi bị nguyền rủa bởi quan hệ đối tác cộng sinh chuyển thành ký sinh trùng. Để lấy dữ liệu của chúng tôi từ ký sinh trùng, chúng tôi phải sử dụng kết nối odbc chậm chạp. Tôi đã thông báo gần đây mặc dù tôi có thể nhận được thông lượng nhiều hơn bằng cách chạy các truy vấn song song (ngay cả trên cùng một bảng).

Có một bảng đặc biệt lớn mà tôi muốn trích xuất dữ liệu và chuyển nó vào bảng cục bộ của chúng tôi. Chạy truy vấn song song tôi có thể nhận dữ liệu nhanh hơn, nhưng tôi cũng tưởng tượng rằng điều này có thể gây ra vấn đề với việc cố gắng ghi dữ liệu từ nhiều truy vấn vào cùng một bảng cùng một lúc.

Bạn có thể đưa ra lời khuyên nào về cách xử lý tốt nhất tình huống này để tôi có thể tận dụng tối đa tốc độ sử dụng truy vấn song song?

EDIT: Tôi đã nhận được một số phản hồi tuyệt vời ở đây, nhưng tôi nghĩ rằng tôi không hoàn toàn rõ ràng về thực tế là tôi đang kéo dữ liệu qua máy chủ được liên kết (sử dụng trình điều khiển odbc). Nói cách khác có nghĩa là tôi có thể chạy các câu lệnh INSERT bình thường và tôi tin rằng sẽ cung cấp hiệu suất tốt hơn SqlBulkCopy hoặc INSUL BULK (thực ra, tôi không tin rằng INSUL BULK thậm chí sẽ là một lựa chọn).

Answer 1

Bạn đã đọc Load 1TB in less than 1 hour chưa?

1. Chạy nhiều quá trình tải khi bạn có CPU. Nếu bạn có 32 CPU, hãy chạy 32 tải song song. Nếu bạn có 8 CPU, hãy chạy 8 tải song song .
2. Nếu bạn có quyền kiểm soát việc tạo tệp đầu vào của mình, hãy đặt chúng có kích thước đồng đều chia cho số lượng chuỗi tải bạn muốn chạy song song. Đồng thời đảm bảo tất cả các bản ghi thuộc về một phân vùng nếu bạn muốn sử dụng chiến lược phân vùng chuyển đổi.
3. Sử dụng chèn BULK thay vì BCP nếu bạn đang chạy quá trình trên máy chủ SQL .
4. Sử dụng phân vùng bảng để đạt được 8-10% khác, nhưng chỉ khi các tệp nhập của bạn được đảm bảo để phù hợp với chức năng phân vùng của bạn, nghĩa là tất cả các bản ghi trong một tệp phải nằm trong cùng một phân vùng.
5. Sử dụng TABLOCK để tránh hàng tại một thời điểm khóa.
6. Sử dụng ROWS PER BATCH = 2500 hoặc một cái gì đó gần đây nếu bạn đang nhập nhiều luồng vào một bảng.

Đối với SQL Server 2008, có một số trường hợp bạn có thể sử dụng minimal logging for a standard INSERT SELECT:

SQL Server 2008 giúp tăng cường các phương pháp mà nó có thể xử lý với tối thiểu khai thác gỗ. Nó hỗ trợ các câu lệnh INSERT SELECT thường xuyên ghi lại. Ngoài ra, bật cờ theo dõi 610 cho phép SQL Server 2008 hỗ trợ ghi nhật ký tối thiểu đối với một cây B không trống cho khóa mới phạm vi gây ra phân bổ trang mới.

Answer 2

Nếu bạn muốn thực hiện điều này trong mã tức là C# có tùy chọn sử dụng SqlBulkCopy (trong không gian tên System.Data.SqlClient) và như bài viết này có thể làm điều này song song.

http://www.adathedev.co.uk/2011/01/sqlbulkcopy-to-sql-server-in-parallel.html

Answer 3

Nếu bởi bất kỳ cơ hội bạn đã nâng cấp lên SQL 2014, bạn có thể chèn song song (cấp độ tương thích phải 110). Xem phần này: http://msdn.microsoft.com/en-us/library/bb510411%28v=sql.120%29.aspx