Bạn sẽ thiết kế kho dữ liệu AppEngine cho một trang xã hội như Twitter như thế nào?

Question

Tôi tự hỏi điều gì sẽ là cách tốt nhất để thiết kế một ứng dụng xã hội nơi các thành viên thực hiện các hoạt động và theo dõi các hoạt động của thành viên khác bằng cách sử dụng Google AppEngine.

Để có nhiều cụ cho phép giả sử chúng ta có các thực thể:

• Người dùng người có bạn bè
• hoạt động mà đại diện cho hành động thực hiện bởi người dùng (cho phép nói mỗi người đều có một thông điệp chuỗi và một ReferenceProperty cho người dùng chủ sở hữu hoặc có thể sử dụng liên kết gốc thông qua khóa của appengine)

Phần khó khăn là theo dõi hoạt động của bạn bè, có nghĩa là tổng hợp các hoạt động mới nhất từ ​​tất cả bạn bè của bạn. Thông thường, đó sẽ là sự kết hợp giữa bảng Hoạt động và danh sách bạn bè của bạn nhưng đó không phải là thiết kế khả thi trên appengine vì không có tham gia mô phỏng nó sẽ yêu cầu kích hoạt N truy vấn (trong đó N là số bạn bè) và sau đó hợp nhất trong bộ nhớ - rất tốn kém và có thể sẽ vượt quá thời hạn yêu cầu ...)

Tôi hiện đang nghĩ đến việc triển khai điều này bằng cách sử dụng hàng đợi trong hộp thư đến nơi tạo Hoạt động mới sẽ kích hoạt quy trình nền sẽ đặt khóa của hoạt động mới vào "hộp thư đến "của mỗi người dùng sau:

• Bắt 'Tất cả những người dùng theo dõi X' là một truy vấn appengine thể
• Không phải là một đầu vào hàng loạt rất tốn kém vào một thực thể "Hộp thư đến" mới về cơ bản lưu trữ các bộ (User, Activity Key).

tôi sẽ được hạnh phúc để suy nghĩ nghe trên thiết kế này hoặc gợi ý thay thế, vv

Answer 1

Hãy xem Building Scalable, Complex Apps on App Engine (pdf), một cuộc nói chuyện thú vị được tại Google I/O của Brett Slatkin. Ông giải quyết vấn đề xây dựng một dịch vụ nhắn tin có thể mở rộng như Twitter.

Đây là giải pháp mình sử dụng một tài sản danh sách:

class Message(db.Model): 
    sender = db.StringProperty() 
    body = db.TextProperty() 

class MessageIndex(db.Model): 
    #parent = a message 
    receivers = db.StringListProperty() 

indexes = MessageIndex.all(keys_only = True).filter('receivers = ', user_id) 
keys = [k.parent() for k in indexes) 
messages = db.get(keys) 

chỉ truy vấn quan trọng này thấy các chỉ số thông điệp với một máy thu bằng với bạn đã chỉ định mà không deserializing và serializing danh sách các người nhận. Sau đó, bạn sử dụng các chỉ mục này để chỉ lấy các tin nhắn mà bạn muốn.

Dưới đây là một cách sai lầm để làm điều đó:

class Message(db.Model): 
    sender = db.StringProperty() 
    receivers = db.StringListProperty() 
    body = db.TextProperty() 

messages = Message.all().filter('receivers =', user_id) 

này là không hiệu quả vì các truy vấn phải unpackage tất cả các kết quả trả về bởi truy vấn của bạn. Vì vậy, nếu bạn trả lại 100 tin nhắn với 1.000 người dùng trong mỗi danh sách người nhận, bạn sẽ phải loại bỏ các giá trị thuộc tính danh sách 100.000 (100 x 1000) danh sách. Cách quá đắt trong datastore độ trễ và cpu.

Lúc đầu tôi khá bối rối, vì vậy tôi đã viết một số short tutorial about using the list property.Thưởng thức :)

Answer 2

Tôi không biết liệu nó là tốt nhất thiết kế cho một ứng dụng xã hội, nhưng jaiku là ported to App Engine bởi đó là tác giả ban đầu khi công ty được mua lại bởi Google, vì vậy nó phải hợp lý.

Xem phần Diễn viên và Hổ và gấu, Ôi! trong design_funument.txt. Các thực thể được xác định trong common/models.py và các truy vấn có trong common/api.py.

Answer 3

Tôi nghĩ rằng điều này bây giờ có thể được giải quyết bằng Truy vấn dự đoán mới trong NDB.

class Message(ndb.Model): 
    sender = ndb.StringProperty() 
    receivers = ndb.StringProperty(repeated=True) 
    body = ndb.TextProperty() 

messages = Message.query(Message.receivers == user_id).fetch(projection=[Message.body]) 

Bây giờ bạn không phải đối phó với chi phí đắt tiền để deserializing danh sách tài sản.

Answer 4

Robert, về giải pháp đề xuất của bạn:

messages = Message.query(Message.receivers == user_id).fetch(projection=[Message.body]) 

Tôi nghĩ rằng "cơ thể" ndb.TextProperty không thể được sử dụng với các dự vì không được lập chỉ mục. Phép chiếu chỉ hỗ trợ các thuộc tính được lập chỉ mục. Giải pháp hợp lệ sẽ là duy trì 2 bảng: Message và MessageIndex.