Đọc từ một MemoryStream lớn trong C#

Question

Tôi sử dụng BinaryReader (MemoryStream(MyByteArray)) để đọc các bản ghi có kích thước biến đổi và xử lý tất cả chúng trong bộ nhớ. Điều này hoạt động tốt miễn là luồng tối ưu của tôi, nằm trong mảng, nhỏ hơn khoảng 1,7 GB. Sau đó (đó là kích thước tối đa của một số nguyên trong hệ thống 64-bit của tôi), bạn không thể tạo ra một khoảng trống lớn hơn, mặc dù tôi có đủ bộ nhớ thực. Vì vậy, giải pháp của tôi đã được đọc bytestream và chia nó thành nhiều mảng byte. Tuy nhiên, bây giờ tuy nhiên, tôi không thể "đọc" qua các ranh giới mảng byte, và, vì dữ liệu của tôi ở định dạng biến, tôi không thể đảm bảo rằng mảng byte luôn kết thúc trên toàn bộ bản ghi. Quay lại đầu trang

Đây phải là vấn đề phổ biến đối với những người xử lý các tập dữ liệu rất lớn và vẫn có nhu cầu về tốc độ.

Làm cách nào để xử lý sự cố này?

Answer 1

Chỉnh sửa: Đọc những điều cơ bản, tôi nhận ra rằng các tệp được ánh xạ trên bộ nhớ có thể chậm hơn I/O thông thường để truy cập tuần tự.

Các bạn đã thử một cái gì đó như thế này:

var stream = new FileStream("data", 
    FileMode.Open, 
    FileAccess.Read, 
    FileShare.Read, 
    16 * 1024, 
    FileOptions.SequentialScan) 

var reader = new BinaryReader(stream); 

Nếu dữ liệu của bạn nằm trong một file và bạn có thể sử dụng .NET 4.0 xem xét sử dụng MemoryMappedFile.

Sau đó, bạn có thể sử dụng MemoryMappedViewStream để nhận luồng hoặc sử dụng MemoryMappedViewAccessor để nhận giao diện giống như BinaryReader.

Answer 2

Đối với các luồng quá lớn, bạn không nên thử đổ nó trong MemoryStream - sử dụng những thứ như FileStream thay vào đó và nói trực tiếp vào đĩa. Bộ đệm sẵn có thường đủ, hoặc bạn có thể tinh chỉnh điều này với những thứ như BufferedStream (nhưng tôi hiếm khi cần đến - nhưng sau đó, tôi có xu hướng bao gồm bộ đệm xử lý dữ liệu của riêng mình).

Bạn cũng có thể xem xét những thứ như nén hoặc dữ liệu dày đặc, và serializers thiết kế để hoạt động bằng cách luồng hồ sơ thay vì tạo ra toàn bộ một đồ thị cùng một lúc (mặc dù kể từ khi bạn đề cập đến BinaryReader, bạn có thể đã được làm điều này cao tay, vì vậy đây có thể không phải là một vấn đề).