Là một phần công việc của tôi, chúng tôi nhận được tệp nhật ký trị giá khoảng 25TB mỗi năm, hiện được lưu trên hệ thống tệp dựa trên NFS. Một số được lưu trữ như trong nén/tar.gz trong khi những người khác cư trú ở định dạng văn bản thuần túy.Lưu trữ hàng triệu tệp nhật ký - Khoảng 25 TB mỗi năm
Tôi đang tìm các giải pháp thay thế bằng cách sử dụng hệ thống dựa trên NFS. Tôi nhìn MongoDB, CouchDB. Thực tế là chúng là cơ sở dữ liệu định hướng tài liệu dường như làm cho nó phù hợp. Tuy nhiên, nội dung tệp nhật ký cần được thay đổi thành JSON để được lưu trữ trong DB. Một cái gì đó tôi không sẵn sàng để làm. Tôi cần giữ lại nội dung tệp nhật ký.
Về cách sử dụng, chúng tôi dự định đặt một API REST nhỏ và cho phép mọi người lấy danh sách tệp, tệp mới nhất và khả năng tải tệp. Các giải pháp/ý tưởng được đề xuất cần phải là một dạng cơ sở dữ liệu hoặc hệ thống tệp được phân tán ở cấp ứng dụng, nơi có thể lưu trữ tệp nhật ký và có thể mở rộng theo chiều ngang hiệu quả bằng cách thêm nhiều máy hơn.
Ankur
Chỉ cần thực hiện phép toán: đó là 500GB/tuần hoặc 100GB mỗi ngày làm việc. – egrunin
Bạn đang khai thác gỗ gì? – ChaosPandion
@egrunin Cảm ơn môn toán. Chúng tôi đã có một số liệu đáng giá. @chaosNhững tệp nhật ký này đến từ các mảng lưu trữ được cài đặt trên toàn cầu. –