Đếm người dùng duy nhất bằng Mapreduce cho Java Appengine

Question

Tôi đang cố gắng đếm số lượng người dùng duy nhất mỗi ngày trên ứng dụng appengine java của mình. Tôi đã quyết định sử dụng framework mapreduce (mapreduce.appspot.com) cho appengine java để thực hiện phép tính này ngoại tuyến. Tôi đã quản lý để tạo ra một bản đồ giảm công việc mà đi qua tất cả các thực thể của tôi đại diện cho một sự kiện phiên người dùng duy nhất. Tôi cũng có thể sử dụng một bộ đếm đơn giản. Tuy nhiên, tôi có một số câu hỏi:

1) Làm thế nào để tôi chỉ tăng số lượt truy cập một lần cho mỗi id người dùng? Tôi hiện đang lập bản đồ đối với các thực thể có chứa thuộc tính id người dùng nhưng nhiều thực thể trong số này có thể chứa cùng một id người dùng, vậy làm thế nào để tôi chỉ đếm nó một lần?

2) Khi tôi có các kết quả này của công việc được lưu trữ trong các bộ đếm này - làm cách nào tôi có thể lưu giữ chúng vào kho dữ liệu? Tôi thấy kết quả của các quầy trên trang trạng thái của mapreduce nhưng tôi muốn các kết quả này tự động tồn tại trong kho dữ liệu.

Ý tưởng?

Answer 1

Tôi chưa thực sự sử dụng chức năng MapReduce, nhưng hiểu biết lý thuyết của tôi là bạn có thể viết mọi thứ vào kho dữ liệu từ bên trong trình ánh xạ của bạn. Bạn có thể tạo một loại thực thể gọi là một cái gì đó như UniqueCount, và chèn một thực thể mỗi khi người lập bản đồ của bạn nhìn thấy một ID mà nó chưa từng thấy trước đó. sau đó bạn có thể đếm số lượng ID duy nhất của bạn. Trên thực tế, bạn chỉ có thể cập nhật bộ đếm mỗi khi bạn tìm thấy một thực thể duy nhất mới. Bạn có thể muốn google "truy cập sharded" cho các gợi ý về việc tạo ra một bộ đếm trong kho dữ liệu có thể xử lý thông lượng cao.

Cuối cùng, khi họ hoàn thành chức năng Giảm, tôi hình dung toàn bộ nhiệm vụ này sẽ trở nên khá tầm thường.