Có bất kỳ hệ thống lưu trữ tệp nguồn mở có thể mở rộng nào không?

Question

Điều thú vị là phần mềm nào đang sử dụng các công ty như dropbox, rapidshare, hotfile và các phần mềm khác để quản lý số lượng tệp khổng lồ? Có bất kỳ hệ thống nguồn mở nào không. Tôi đã xem xét về gridFS được xây dựng trên mongo-db. Có vẻ như đây không phải là lựa chọn tốt nhất vì tốc độ (so với nginx). Hoặc là tôi sai?

Tôi muốn hệ thống có thể mở rộng vô hạn. Bằng cách cắm máy chủ vào hệ thống. Có danh sách 100 TB.

Answer 1

Thanh toán MogileFS - http://danga.com/mogilefs/ - hệ thống tệp nguồn mở được phát triển bởi Danga Interactive để sử dụng với dịch vụ LiveJournal.com của họ.

Nếu bạn không muốn/không thể sử dụng các dịch vụ đám mây như S3 của Amazon và chạy máy chủ của riêng bạn, thì MogileFS có thể là lựa chọn đúng đắn. MogileFS là đáng tin cậy, quản lý và mở rộng quy mô rất dễ dàng và rẻ tiền.

Thật không may, tôi không thể cung cấp bất kỳ so sánh hiệu suất hoặc điểm chuẩn nào cho các hệ thống tệp khác. Nhưng bạn không nên mong đợi MogileFS cho vị trí số 1, vì nó làm việc trên cấp độ ứng dụng, mà cũng có thể là một lợi thế.

cũng Xem trang Google Code để biết thêm infos: http://code.google.com/p/mogilefs/

Answer 2

Dropbox được xây dựng trên S3 Dropbox - Where are my files stored của Amazon.

Bạn có thể tìm thấy một số tùy chọn mã nguồn mở ở đây: Alternatives to Amazon S3

Answer 3

Đối với googler ra có những người tìm thấy câu hỏi này:

FB có rất nhiều tác phẩm mà họ đã phải viết hệ thống tập tin của riêng mình; nhiều tập tin về cơ bản được lưu trữ thành 1 tệp khổng lồ với các điểm đánh dấu giữa chúng. Điều này được thực hiện để giảm số lượng tệp trong hệ thống.

Những gì bạn cần có vẻ như Google File System

Answer 4

Ý anh là gì bởi gridFS giới hạn dung lượng có Big Bảng không? Bạn có thể vui lòng cụ thể hơn hoặc chỉ vào một số tài liệu mà bạn đọc vì tôi không biết về bất kỳ giới hạn dung lượng nào với gridFS.

Answer 5

Hadoop của HDFS là một hệ thống tập tin mở rộng. Một tùy chọn khác là GlusterFS

Answer 6

GlusterFs là hệ thống tệp được phân phối nguồn mở. Không giống như HDFS, nó không có siêu dữ liệu tập trung. Điều này có nghĩa là GlusterFS không có điểm lỗi nào.