Chuyển đổi Django QuerySet để gấu trúc DataFrame

Question

Tôi sẽ chuyển đổi một Django QuerySet để một gấu trúc DataFrame như sau:

qs = SomeModel.objects.select_related().filter(date__year=2012) 
q = qs.values('date', 'OtherField') 
df = pd.DataFrame.from_records(q) 

Nó hoạt động, nhưng là có một cách hiệu quả hơn?

Answer 1

Từ góc độ Django (Tôi không quen với pandas) điều này là tốt. Mối quan tâm duy nhất của tôi là nếu bạn có số lượng bản ghi rất lớn, bạn có thể gặp phải vấn đề về bộ nhớ. Nếu trường hợp này xảy ra, điều gì đó dọc theo các dòng của memory efficient queryset iterator này là cần thiết. (Đoạn mã được viết có thể yêu cầu viết lại để cho phép sử dụng thông minh .values()) của bạn.

Answer 2

import pandas as pd 
import datetime 
from myapp.models import BlogPost 

df = pd.DataFrame(list(BlogPost.objects.all().values())) 
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values())) 

# limit which fields 
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug'))) 

Ở trên là cách tôi làm điều tương tự. Việc bổ sung hữu ích nhất là xác định các trường mà bạn quan tâm. Nếu nó chỉ là một tập hợp con của các trường có sẵn mà bạn quan tâm, thì điều này sẽ làm tăng hiệu năng tôi tưởng tượng.

Answer 3

Bạn có thể có thể sử dụng model_to_dict

import datetime 
from django.forms import model_to_dict 
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs) 
df.head() 

Answer 4

Django Pandas giải quyết này khá gọn gàng: https://github.com/chrisdev/django-pandas/

Từ README:

class MyModel(models.Model): 
    full_name = models.CharField(max_length=25) 
    age = models.IntegerField() 
    department = models.CharField(max_length=3) 
    wage = models.FloatField() 

from django_pandas.io import read_frame 
qs = MyModel.objects.all() 
df = read_frame(qs)