Làm cách nào để phân tích cú pháp tệp 7GB bằng Data.ByteString?

Question

tôi phải phân tích một tập tin, và thực sự là một phải đọc nó lần đầu tiên, đây là chương trình của tôi:

import qualified Data.ByteString.Char8 as B 
import System.Environment  

main = do 
args  <- getArgs 
let path = args !! 0 
content <- B.readFile path 
let lines = B.lines content 
foobar lines 

foobar :: [B.ByteString] -> IO() 
foobar _ = return() 

nhưng, sau khi biên soạn

> ghc --make -O2 tmp.hs 

thực hiện đi qua các lỗi sau khi được gọi với một tập tin 7Gigabyte.

> ./tmp big_big_file.dat 
> tmp: {handle: big_big_file.dat}: hGet: illegal ByteString size (-1501792951): illegal operation 

cảm ơn bạn đã trả lời!

Answer 1

Nghiêm ngặt ByteString s chỉ hỗ trợ tối đa 2 GiB bộ nhớ. Bạn cần sử dụng lazy ByteStrings để thiết bị hoạt động.

Answer 2

Độ dài ByteString s là Int. Nếu Int là 32 bit, tệp 7 GB sẽ vượt quá phạm vi Int và yêu cầu bộ đệm sẽ có kích thước sai và có thể dễ dàng yêu cầu kích thước âm.

Mã cho readFile chuyển đổi kích thước tập tin để Int cho yêu cầu đệm

readFile :: FilePath -> IO ByteString 
readFile f = bracket (openBinaryFile f ReadMode) hClose 
    (\h -> hFileSize h >>= hGet h . fromIntegral) 

và nếu điều đó tràn, một lỗi "kích thước ByteString bất hợp pháp" hoặc một lỗi segmentation là kết quả khả thi nhất.

Nếu có thể, hãy sử dụng số ByteString s để xử lý các tệp lớn. Trong trường hợp của bạn, bạn khá nhiều phải làm cho nó có thể, vì với 32 bit Int s, một 7GB ByteString là không thể tạo ra.

Nếu bạn cần các dòng để nghiêm khắc ByteString s cho việc xử lý, và không có dòng là cực kỳ dài, bạn có thể đi qua lười biếng ByteString s để đạt được điều đó

import qualified Data.ByteString.Lazy.Char8 as LC 
import qualified Data.ByteString.Char8 as C 

main = do 
    ... 
    content <- LC.readFile path 
    let llns = LC.lines content 
     slns = map (C.concat . LC.toChunks) llns 
    foobar slns 

nhưng nếu bạn có thể sửa đổi xử lý của bạn để đối phó với lười biếng ByteString s, có thể sẽ tốt hơn tổng thể.