Làm hài lòng một mẫu cơ sở dữ liệu của bạn - Postgresql

Question

chúng tôi có một cơ sở dữ liệu bán lớn mất nhiều thời gian để nhập cục bộ trên các máy tính cá nhân của chúng tôi. Tôi đã tự hỏi nếu có bất kỳ công cụ nào có thể kết nối với một cơ sở dữ liệu, hãy phân tích một chút và lấy một mẫu của cơ sở dữ liệu trong khi vẫn giữ tất cả các mối quan hệ thông qua một tham số được truyền vào. Một cái gì đó như pg_sample --rough_size 1000 --dbhost mydbhost --dbuname uname --dbpword pword điều này tạo ra một bãi chứa mà tôi có thể nhập vào cơ sở dữ liệu của tôi để thử nghiệm và phát triển. Nhưng sẽ không mất 45 phút để làm điều đó.

Cảm ơn

Answer 1

Tôi đề nghị bạn điều tra pg_dump --format=custom và pg_restore -j 12. Định dạng custom cho phép khôi phục song song (và có thể được chuyển sang SQL thô nếu muốn, vì vậy bạn không mất bất kỳ chức năng nào ở đây). Thông số -j thành pg_restore khiến cho nó chạy song song khôi phục. Điều này có thể cung cấp một tốc độ đáng kể. Đặc biệt là nếu bạn đã sửa chữa maintenance_work_mem của bạn lên tốt đẹp và lớn.

Nó sẽ không giải quyết được vấn đề bạn đã hỏi trực tiếp vì những lý do được nêu bởi Erwin ở trên, và bởi vì nó đòi hỏi một mức độ kiến ​​thức về những gì là quan trọng để đại diện và điều đó không đơn giản là không có trong lược đồ . Đó là một cái gì đó mà chiếm thời gian phát triển và thường nên được thực hiện cùng một lúc lược đồ đang được xây dựng ở nơi đầu tiên.

Answer 2

Tôi đã viết một công cụ như vậy: https://github.com/mla/pg_sample

Từ README:

pg_sample là một tiện ích cho xuất khẩu một nhỏ, mẫu số liệu từ một cơ sở dữ liệu lớn hơn PostgreSQL. Các tùy chọn đầu ra và dòng lệnh gần giống với tiện ích sao lưu pg_dump (mặc dù chỉ hỗ trợ định dạng thuần văn bản ).

Cơ sở dữ liệu mẫu được tạo bao gồm tất cả các bảng từ bản gốc, duy trì tính toàn vẹn tham chiếu và hỗ trợ phụ thuộc vòng tròn.