C++ véc tơ ra khỏi bộ nhớ

Question

Tôi có một vectơ rất lớn (hàng triệu mục nhập mỗi 1024 byte). Tôi vượt quá kích thước tối đa của vector (nhận được một ngoại lệ phân bổ bộ nhớ xấu). Tôi đang thực hiện phép toán đệ quy trên vectơ của các vật phẩm đòi hỏi phải truy cập vào các phần tử khác trong vectơ. Các hoạt động cần phải được thực hiện nhanh chóng. Tôi đang cố gắng tránh ghi vào đĩa vì lý do tốc độ. Có cách nào khác để lưu trữ dữ liệu này không yêu cầu ghi vào đĩa không? Nếu tôi phải ghi dữ liệu vào đĩa, thì cách lý tưởng nhất để làm điều đó là gì:

chỉnh sửa thêm một vài chi tiết.

Các hoạt động mà tôi đang thực hiện trên tập dữ liệu đang tạo chuỗi theo cách đệ quy dựa trên các điểm dữ liệu khác trong vectơ. Dữ liệu được sắp xếp khi nó được đọc. Bộ dữ liệu từ 50.000 đến 50.000,0000.

Answer 1

Đó là 1GB bộ nhớ (1024KB * 10^6 = 1MB * 10^3 = 1GB). Lý tưởng nhất cho một máy 32 bit tối đa 4GB hoạt động bộ nhớ có thể được thực hiện. Để trả lời câu hỏi của bạn, trước tiên hãy thử gọi hàm malloc() bình thường và phân bổ 1 GB bộ nhớ. Điều này nên được thực hiện mà không có bất kỳ lỗi nào. Ngoài ra, vui lòng dán thông báo lỗi chính xác mà bạn nhận được khi sử dụng vectơ.

Answer 2

Cách dễ nhất để giải quyết vấn đề này là sử dụng STXXL. Đó là một reimplementation của STL cho các cấu trúc lớn mà minh bạch ghi vào đĩa khi dữ liệu sẽ không phù hợp trong bộ nhớ.

Answer 3

Vì dữ liệu của bạn phải liền nhau và bạn biết cần lưu trữ bao nhiêu phần tử, chỉ cần tạo std::vector và sử dụng chức năng reserve() để cố gắng đạt được khối bộ nhớ liền kề về kích thước yêu cầu.

Có rất ít chi phí lưu trữ một véc-tơ (chỉ một vài con trỏ để quản lý đầu và cuối). Điều này là tốt như bạn sẽ có thể làm.

Nếu thất bại:

• thêm bộ nhớ hơn để máy tính của bạn (có thể không thực sự giúp đỡ, nếu bạn đã chạy lên chống lại việc giải quyết hoặc thực hiện chế)
• chuyển sang một mảng nguyên
• tìm một cách để giảm kích thước của các yếu tố của bạn
• cố gắng để tìm một giải pháp có thể giải quyết vấn đề trong các khối nhỏ

Answer 4

Vấn đề của bạn không thể được giải quyết như đã nêu và làm rõ trong các ý kiến.

Bạn đã yêu cầu một cách để có bộ đệm trong bộ nhớ tiếp giáp với 50.000.000 mục có kích thước 1024 trên hệ thống 32 bit.

Hệ thống 32 bit chỉ có 4294967296 byte bộ nhớ địa chỉ. Bạn đang yêu cầu 51200000000 byte bộ nhớ địa chỉ, hoặc 11,9 lần số lượng không gian địa chỉ bộ nhớ trên hệ thống của bạn.

Nếu bạn không yêu cầu dữ liệu của bạn tiếp giáp và nhớ địa chỉ, nếu bạn không yêu cầu tất cả dữ liệu trong bộ nhớ cùng một lúc hoặc nếu bạn thư giãn các yêu cầu khác, có thể có câu trả lời cho bạn vấn đề. Tức là, một số hệ điều hành tiếp xúc với một không gian bộ nhớ của các giá trị tương ứng với RAM (có cách thức trong hệ thống cửa sổ 8 gig sử dụng hơn 4 hợp đồng RAM tổng số) thông qua một số giao diện hacky hoặc khác.

Nhưng như đã nêu, câu trả lời là "không, bạn không thể làm điều đó".