Lưu trữ ma trận lớn nhưng cấp thấp hiệu quả

Question

Tôi biết có các gói trong R để lưu trữ ma trận thưa thớt một cách hiệu quả. Có cách nào để lưu trữ ma trận hạng thấp hiệu quả không? Ví dụ:

A <- matrix(rnorm(1e6), nrow=1e5, ncol=1e1) 
B <- A %*% t(A) 

Hiện tại, B quá lớn để lưu trữ trong bộ nhớ nhưng có xếp hạng thấp. Có cách nào để xây dựng và lưu trữ B một cách hiệu quả, chẳng hạn như một số phương pháp đọc cơ bản (rowSums, colSums, v.v.) được thực hiện khi đang chạy, để giao dịch cho CPU hoặc bộ nhớ?

Answer 1

Dưới đây là cách tiếp cận khác, mặc dù tôi bỏ lỡ những kinh nghiệm để biết hiệu quả thế nào điều này sẽ cho ma trận lớn:

Nếu cấp bậc thấp, nó có nghĩa là ma trận chứa nhiều đường không thích hợp, mà là sự kết hợp tuyến tính của người khác. Nếu ma trận đại diện cho một hệ phương trình tuyến tính của phương trình, người ta có thể thiết kế một thuật toán, loại bỏ liên tiếp những dòng đó.

Để kiểm tra xem một dòng có liên quan hay không, hãy kiểm tra xem thứ hạng của ma trận không có dòng đó vẫn không thay đổi. Để tính toán xếp hạng ma trận, hãy xem câu hỏi this và that.

Answer 2

Câu hỏi của bạn đã là câu trả lời: Để lưu trữ ma trận hạng thấp như vậy một cách hiệu quả, bạn tạo cấu trúc dữ liệu chứa cả hai yếu tố. Nếu yêu cầu nhân ma trận-vector, thì có thể thực hiện từ phải sang trái bằng các sản phẩm vectơ-vector của các yếu tố.

Một ứng dụng của chiến lược và cấu trúc dữ liệu này có thể được tìm thấy trong việc triển khai các phương pháp hạn chế về bộ nhớ Broyden hoặc BFGS.