Tôi có một ứng dụng xanh trên đám mây với cơ sở dữ liệu Azure xanh. Tôi có vai trò công nhân cần phân tích cú pháp + xử lý trên một tệp (tối đa ~ 30 triệu hàng) nên tôi không thể trực tiếp sử dụng BCP hoặc SSIS.Chèn hàng loạt song song với SqlBulkCopy và Azure
Tôi hiện đang sử dụng SqlBulkCopy, tuy nhiên điều này có vẻ quá chậm vì tôi đã nhìn thấy thời gian tải lên đến 4-5 phút cho 400 nghìn hàng.
Tôi muốn chạy chèn hàng loạt song song; tuy nhiên đọc qua các bài viết về nhập dữ liệu trong hành vi khóa song song/kiểm soát, nó nói rằng SqlBulkCopy yêu cầu rằng bảng không có các chỉ mục nhóm và một tablelock (khóa BU) cần phải được chỉ định. Tuy nhiên các bảng màu xanh phải có chỉ số nhóm ...
Có thể sử dụng SqlBulkCopy song song trên cùng một bảng trong SQL Azure không? Nếu không có một API (mà tôi có thể sử dụng trong mã) để làm điều này?
Ass Matt nói. Thông lượng cảm thấy về quyền đối với tôi. Đảm bảo rằng bạn không có chỉ mục trên các bảng của bạn ngoài chỉ mục nhóm. –
Tôi đã kết thúc chèn vào bảng tạm thời song song, và sau đó làm một chèn vào từ những bảng tạm thời vào bảng chính (trong nối tiếp). Điều đó dường như nhanh hơn với tôi, vì việc chèn từ các bảng tạm thời mất ~ 4-5 phút cho khoảng 2 triệu hàng. – kyliod