quick numpy addnan

Question

Tôi muốn thêm hàng ngàn phần tử mảng 4D một cách khôn ngoan và tính toán cho các phần mềm. Một ví dụ đơn giản sử dụng mảng 1D sẽ là:

X = array([4,7,89,nan,89,65, nan]) 
Y = array([0,5,4, 9, 8, 100,nan]) 
z = X+Y 
print z = array([4,12,93,9,97,165,nan]) 

Tôi đã viết một đơn giản cho vòng xung quanh này, nhưng nó sẽ mãi mãi - không phải là một giải pháp thông minh. Một giải pháp khác có thể là tạo ra một mảng lớn hơn và sử dụng nút cổ chai nansum nhưng điều này sẽ mất quá nhiều bộ nhớ cho máy tính xách tay của tôi. Tôi cần một số tiền chạy trên 11.000 trường hợp.

Có ai có cách thông minh và nhanh chóng để thực hiện việc này không?

Answer 1

Đây là một khả năng:

>>> x = np.array([1, 2, np.nan, 3, np.nan, 4]) 
... y = np.array([1, np.nan, 2, 5, np.nan, 8]) 
>>> x = np.ma.masked_array(np.nan_to_num(x), mask=np.isnan(x) & np.isnan(y)) 
>>> y = np.ma.masked_array(np.nan_to_num(y), mask=x.mask) 
>>> (x+y).filled(np.nan) 
array([ 2., 2., 2., 8., nan, 12.]) 

Khó khăn thực sự là bạn dường như muốn nan để được hiểu là không trừ khi tất cả các giá trị tại một vị trí cụ thể là nan. Điều này có nghĩa là bạn phải nhìn vào cả x và y để xác định những cái nào cần thay thế. Nếu bạn đồng ý với việc thay thế tất cả các giá trị nan, thì bạn có thể chỉ cần thực hiện np.nan_to_num(x) + np.nan_to_num(y).

Answer 2

Không chắc chắn cách này sẽ thực hiện, nhưng nó có giá trị một shot :)

def nan_to_zero(array): 
    new_arr = array.copy() 
    new_arr[np.isnan(array)] = 0. 
    return new_arr 

sum(nan_to_zero(arr) for arr in array_generator) 

này không dẫn đến một NaN ở nơi cuối cùng của mảng của bạn mặc dù. Nó là kết quả trong một 0 ...

Answer 3

Bạn có thể làm một cái gì đó như:

arr1 = np.array([1.0, 1.0, np.nan, 1.0, 1.0, np.nan]) 
arr2 = np.array([1.0, 1.0, 1.0, 1.0, 1.0, np.nan]) 
flags = np.isnan(arr1) & np.isnan(arr2) 
copy1 = arr1.copy() 
copy2 = arr2.copy() 
copy1[np.isnan(copy1)] = 0.0 
copy2[np.isnan(copy2)] = 0.0 
out = copy1 + copy2 
out[flags] = np.NaN 
print out 
array([ 2., 2., 1., 2., 2., NaN]) 

để tìm các vị trí trong các mảng nơi cả hai đều có một NaN trong chỉ mục đó. Sau đó, về cơ bản những gì @mgilson đề xuất, như làm bản sao và thay thế các NaN s với 0.0, thêm hai mảng lại với nhau, và sau đó thay thế các chỉ mục được gắn cờ ở trên bằng np.NaN.

Answer 4

tôi thấy một số giải pháp đơn giản hơn:

• (EDITED) Sử dụng np.ma

  mX = np.ma.masked_array(X, mask=np.isnan(X)) 
  mY = np.ma.masked_array(Y, mask=np.isnan(Y)) 
  mZ = np.ma.masked_array(mX.filled(0) + mY.filled(0), 
           mask=mX.mask * mY.mask) 
  Z = mZ.filled(np.nan) 
  

• (EDITED) Không được sử dụng np.ma

  mx = np.isnan(x) 
  my = np.isnan(y) 
  z = np.where(mx,0,x) + np.where(my,0,y) 
  z[mx&my] = np.nan 
  

Answer 5

import numpy as np 
z=np.nansum([X,Y],axis=0)