Tạo lại Postgres COPY trực tiếp bằng Python?

Question

Tôi có một khối dữ liệu, hiện tại là danh sách các phần tử nhưng định dạng khá linh hoạt, tôi muốn nối thêm vào bảng Postgres - trong trường hợp này, mỗi n-tuple tương ứng với một hàng trong DB.

Những gì tôi đã làm cho đến thời điểm này là viết tất cả các tệp CSV và sau đó sử dụng COPY của postgres để tải hàng loạt tất cả điều này vào cơ sở dữ liệu. Điều này làm việc, nhưng là suboptimal, tôi muốn có thể làm điều này tất cả trực tiếp từ python. Có một phương pháp từ bên trong python để nhân rộng tải loại lớn COPY trong Postgres?

Answer 1

Nếu bạn đang sử dụng trình điều khiển psycopg2, con trỏ cung cấp một copy_to và copy_from chức năng mà có thể đọc từ bất kỳ đối tượng tập tin giống như (bao gồm một bộ đệm StringIO).

Có các ví dụ trong các tệp examples/copy_from.py và examples/copy_to.py đi kèm với psycopg2 source distribution.

đoạn trích này là từ ví dụ copy_from.py:

conn = psycopg2.connect(DSN) 
curs = conn.cursor() 
curs.execute("CREATE TABLE test_copy (fld1 text, fld2 text, fld3 int4)") 

# anything can be used as a file if it has .read() and .readline() methods 
data = StringIO.StringIO() 
data.write('\n'.join(['Tom\tJenkins\t37', 
        'Madonna\t\N\t45', 
        'Federico\tDi Gregorio\t\N'])) 
data.seek(0) 

curs.copy_from(data, 'test_copy')