Hiệu suất giải mã JSON JSON

Question

Tôi đang sử dụng mô-đun json trong Python 2.6 để tải và giải mã các tệp JSON. Tuy nhiên tôi hiện đang nhận được chậm hơn so với hiệu suất dự kiến. Tôi đang sử dụng một trường hợp thử nghiệm có kích thước 6MB và json.loads() mất 20 giây.

Tôi nghĩ mô-đun json có một số mã gốc để tăng tốc độ giải mã?

Làm cách nào để kiểm tra xem điều này có đang được sử dụng không?

Để so sánh, tôi đã tải xuống và cài đặt mô-đun python-cjson và cjson.decode() mất 1 giây cho cùng một trường hợp thử nghiệm.

Tôi muốn sử dụng mô-đun JSON được cung cấp với Python 2.6 để người dùng mã của tôi không bắt buộc phải cài đặt các mô-đun bổ sung.

(Tôi đang phát triển trên Mac OS X, nhưng tôi nhận được một kết quả tương tự trên Windows XP.)

Answer 1

Nó có thể thay đổi theo nền tảng, nhưng mô-đun json dựng sẵn dựa trên simplejson, không bao gồm tăng tốc C. Tôi đã tìm thấy simplejson để được nhanh như python-cjson anyway, vì vậy tôi thích nó vì nó rõ ràng có giao diện tương tự như nội trang.

try: 
    import simplejson as json 
except ImportError: 
    import json 

Dường như với tôi đó là thành ngữ tốt nhất trong một thời gian, mang lại hiệu suất khi có sẵn trong khi tương thích về phía trước.

Answer 2

Nhìn trong cài đặt của tôi về Python 2.6.1 trên cửa sổ, gói json nạp module _json, mà được xây dựng trong thời gian chạy. C nguồn cho mô-đun json speedups là here.

>>> import _json 
>>> _json 
<module '_json' (built-in)> 
>>> print _json.__doc__ 
json speedups 
>>> dir(_json) 
['__doc__', '__name__', '__package__', 'encode_basestring_ascii', 'scanstring'] 
>>> 

Answer 3

Mặc dù _json khả dụng, tôi đã nhận thấy giải mã json rất chậm trên CPython 2.6.6. Tôi đã không so sánh với các triển khai khác, nhưng tôi đã chuyển sang thao tác chuỗi khi bên trong các vòng lặp hiệu suất quan trọng.

Answer 4

Yajl - Yet Another JSON Library mới rất nhanh.

yajl  serialize: 0.180 deserialize: 0.182 total: 0.362 
simplejson serialize: 0.840 deserialize: 0.490 total: 1.331 
stdlib json serialize: 2.812 deserialize: 8.725 total: 11.537 

Bạn có thể compare the libraries yourself.

Cập nhật:UltraJSON thậm chí còn nhanh hơn.

Answer 5

Tôi đã phân tích cú pháp cùng một tệp 10x. Kích thước tệp là 1,856,944 byte.

Python 2.6:

yajl  serialize: 0.294 deserialize: 0.334 total: 0.627 
cjson  serialize: 0.494 deserialize: 0.276 total: 0.769 
simplejson serialize: 0.554 deserialize: 0.268 total: 0.823 
stdlib json serialize: 3.917 deserialize: 17.508 total: 21.425 

Python 2.7:

yajl  serialize: 0.289 deserialize: 0.312 total: 0.601 
cjson  serialize: 0.232 deserialize: 0.254 total: 0.486 
simplejson serialize: 0.288 deserialize: 0.253 total: 0.540 
stdlib json serialize: 0.273 deserialize: 0.256 total: 0.528 

Không chắc lý do tại sao con số này là không cân xứng từ kết quả của bạn. Tôi đoán, các thư viện mới hơn?

Answer 6

hãy xem UltraJSON https://github.com/esnme/ultrajson

đây thử nghiệm của tôi (mã từ: https://gist.github.com/lightcatcher/1136415)

nền tảng: OS X 10.8.3 MBP 2.2 GHz Intel Core i7

JSON:

simplejson == 3.1.0

python-cjson == 1.0.5

jsonlib == 1.6.1

ujson == 1.30

yajl == 0.3.5

JSON Benchmark 
2.7.2 (default, Oct 11 2012, 20:14:37) 
[GCC 4.2.1 Compatible Apple Clang 4.0 (tags/Apple/clang-418.0.60)] 
----------------------------- 
ENCODING 
simplejson: 0.293394s 
cjson: 0.461517s 
ujson: 0.222278s 
jsonlib: 0.428641s 
json: 0.759091s 
yajl: 0.388836s 

DECODING 
simplejson: 0.556367s 
cjson: 0.42649s 
ujson: 0.212396s 
jsonlib: 0.265861s 
json: 0.365553s 
yajl: 0.361718s 

Answer 7

Đối với những người đang phân tích đầu ra từ một yêu cầu sử dụng các gói yêu cầu, ví dụ:

res = requests.request(...) 

text = json.loads(res.text) 

Điều này có thể rất chậm đối với nội dung phản hồi lớn hơn, nói ~ 45 giây cho 6 MB trên MacBook 2017 của tôi. Nó không được gây ra bởi một trình phân tích cú pháp json chậm, mà thay vào đó là do xác định tập hợp ký tự chậm bằng cuộc gọi res.text.

Bạn có thể giải quyết việc này bằng cách thiết lập các ký tự đặt trước bạn đang gọi res.text, và sử dụng các gói cchardet (xem thêm here):

if res.encoding is None: 
    res.encoding = cchardet.detect(res.content)['encoding'] 

Điều này làm cho json văn bản phản ứng phân tích gần như ngay lập tức !