Django A/B Split Kiểm tra gói (Không tôi đã tìm thấy là cũng như các tài liệu và cập nhật mới nhất.)

Question

Có hai trường phái chính tư tưởng để làm A/B Testing (Split):

• Các giải pháp dựa trên Javascript như Optimizely, Thử nghiệm nội dung Google Analytics.
• Các giải pháp phía máy chủ như Django-AB, Splango và django-lean. (Ngoài ra, hãy viết cho riêng bạn.)

Hiểu biết của tôi là các giải pháp dựa trên Javascript là tuyệt vời cho "nút màu chuyển đổi tốt hơn", nhưng không tuyệt vời để chuyển toàn bộ bố cục trang và hoàn toàn không hoạt động để thử các thay đổi chức năng lớn như chuỗi các trang trong kênh.

Điều đó dẫn tôi đến một giải pháp phía máy chủ. Tôi không điên về mã hóa của riêng tôi, và sẽ làm như vậy chỉ khi không có lựa chọn khác. Tôi đang cố gắng tăng thêm giá trị bằng cách cải thiện chức năng cốt lõi của trang web của mình, chứ không phải bằng cách tạo khung phân tách thử nghiệm tốt hơn.

Các ứng dụng Django tôi đã tìm thấy để kiểm tra tách là hỗn hợp khác nhau của unmaintained, không có giấy tờ, tài liệu không chính xác, và không tương thích với Django 1.5. Điều này làm tôi ngạc nhiên, bởi vì cộng đồng Django và Python dường như tập trung mạnh vào tài liệu tốt. Tôi cũng rất ngạc nhiên rằng không ai trong số các khuôn khổ thử nghiệm tôi đã thử đã được tương thích với Django 1.5 - là thử nghiệm không phải là cốt lõi một phần của triết lý trong thế giới Django/Python vì nó là trong Rails?

Đây là những gì tôi đã tìm thấy:

• Splango https://github.com/shimon/Splango - Không tương thích với Django 1.5 (mặc dù hầu hết các lỗi tương thích tôi thấy là tầm thường để sửa chữa). Hầu như không được xúc động kể từ tháng 10 năm 2010, ngoại trừ một bản sửa lỗi tháng 8 năm 2012 tuyên bố chắc chắn rằng các mẫu được đưa vào bản cài đặt. Kể từ khi các mẫu không được bao gồm trong cài đặt khi Splango được cài đặt thông qua PyPI, hoặc sửa chữa đã không hoạt động hoặc không được gửi đến PyPI. Tài liệu phần lớn là chính xác, nhưng không hoàn toàn bao gồm cách thiết lập kiểm tra và nhận báo cáo. Nó cho bạn biết cách cấu hình mẫu để thu thập dữ liệu, nhưng có vẻ như các bước bổ sung được yêu cầu trong giao diện quản trị hoàn toàn không có giấy tờ và tôi không chắc chắn tôi đã thực hiện chúng đúng cách chưa.

• Django-lean. Bản gốc tại https://bitbucket.org/akoha/django-lean chưa được cập nhật kể từ tháng 7 năm 2010. Có một ngã ba "may mắn" rõ ràng tại https://github.com/anandhenry2002/django-lean chưa được thay đổi kể từ tháng 5 năm 2012, khi nó được sao chép từ bản gốc. Tài liệu gốc không chính xác theo những cách không thể thực hiện được. (Mặc dù bạn có thể có thể lộn xộn theo cách của bạn thông qua, như tôi đã làm.) Tài liệu phiên bản mới có vấn đề định dạng mà làm cho nó khó đọc trên github. (Điều này có vẻ là do tài liệu không thay đổi từ dự án cũ và cú pháp BitBucket không hoạt động trên Github.) Nhóm Google django-lean chưa có thông báo từ tháng 7 năm 2012.

• django-mini- lean https://github.com/DanAncona/django-mini-lean - Được cập nhật gần đây nhất là tháng 2 năm 2013 nhưng không được đăng ký tài liệu.

• Leaner - https://bitbucket.org/brianjinwright/leaner - Cập nhật lần cuối tháng 7 năm 2012 và không có tài liệu.

• Django-AB - Cập nhật lần cuối tháng 5 năm 2009. Không phải là gói và không thể cài đặt qua PIP hoặc PyPI. Sau khi đặt thanh toán trong thư mục ứng dụng django của tôi (và đổi tên thư mục thành ab) và làm theo hướng dẫn cài đặt, tôi gặp lỗi khi tải trình tải mẫu mà tôi chưa theo dõi sâu hơn.

Cho đến nay Splango dường như là người chiến thắng, như tôi đã thực sự có thể nhận được nó nhiều hơn hoặc ít hơn làm việc (bằng cách cài đặt các bản mẫu, và sau đó chỉnh sửa chúng để sửa chữa Django 1.5 không tương thích).

Có ai có thể chỉ cho tôi bất cứ điều gì tôi đã bỏ lỡ không?

Answer 1

Bạn đã bỏ lỡ ứng dụng này: https://github.com/mixcloud/django-experiments + https://github.com/disqus/gargoyle/

Answer 2

Và sau đó có bánh quế: http://waffle.readthedocs.org/

Nó đơn giản, cập nhật, duy trì, nhưng không phải là rất tính năng phong phú, nó không có bất kỳ phân tích/báo cáo thứ được tích hợp. Nhưng sau đó một lần nữa, google phân tích hoặc loại mixpanel của dịch vụ là tốt hơn cho việc này.

Answer 3

Lần đầu tiên tôi nhìn vào Django-AB và đó là hầu như những gì tôi muốn, nhưng tôi không thể làm cho nó hoạt động. Sau khi nhìn vào các thí nghiệm django và quyết định tôi không muốn gây rối xung quanh với redis, tôi quyết định cuộn của riêng tôi. Tôi đã cố gắng để gói nó lên độc đáo và làm cho nó dễ sử dụng cho người mới bắt đầu. Nó siêu cơ bản.

https://github.com/crobertsbmw/RobertsAB

Answer 4

Bạn có thể trao đổi trên bố cục trang hoàn toàn khác với Thử nghiệm Google Analytics (thiết lập thử nghiệm mặc định của họ sẽ chuyển hướng người dùng đến một URL khác nhau cho mỗi biến bạn có), mặc dù nói chung của nó dễ dàng hơn để giải thích lý do tại sao một cái gì đó thành công hơn nếu bạn thử nghiệm những thứ nhỏ hơn với nhau.

Bạn có quyền kiểm tra các kênh và luồng người dùng khác nhau với nhau bằng cách sử dụng Google Analytics sẽ yêu cầu lô thiết lập thủ công; mặc dù về mặt lý thuyết bạn có thể làm điều đó bằng cách trao đổi các liên kết khác nhau và theo dõi người dùng của bạn bằng các chiến dịch UTM.

Đối với thử nghiệm A/B nhỏ hơn trong cùng một trang, tôi đã sử dụng Thử nghiệm Google Analytics và viết plugin Django CMS tùy chỉnh để thêm một vài tùy chọn biến thể vào mẫu, truy vấn API Google Analytics và hiển thị biến thể chính xác sử dụng Javascript.