Utilizzo della memoria Python di array numpy

| | | |

Sto usando Python per analizzare alcuni file di grandi dimensioni e sto riscontrando problemi di memoria, quindi ho usato sys.getsizeof() per provare a tenere traccia dell'utilizzo, ma è un comportamento con array numpy è bizzarro. Ecco un esempio relativo a una mappa di albedos che devo aprire:

>>> importa numpy come np >>> struttura di importazione >>> da sys import getsizeof >>> f = open("Albedo_map.assoc", "rb") >>> getsizeof(f) 144 >>> albedo = struct.unpack("%df" % (7200*3600), f.read(7200*3600*4)) >>> getsizeof(albedo) 207360056 >>> albedo = np.array(albedo).reshape(3600,7200) >>> getsizeof(albedo) 80 

Beh, i dati sono ancora lì, ma la dimensione dell'oggetto, una mappa di 3600x7200 pixel, è passata da ~200 Mb a 80 byte. Mi piacerebbe sperare che i miei problemi di memoria siano risolti e converto tutto in array numpy, ma sento che questo comportamento, se vero, violerebbe in qualche modo alcune leggi della teoria dell'informazione o della termodinamica, o qualcosa del genere, quindi sono propenso a crederlo getsizeof() non funziona con array numpy. Qualche idea?

Shop

Learn programming in R: courses

$

Best Python online courses for 2022

$

Best laptop for Fortnite

$

Best laptop for Excel

$

Best laptop for Solidworks

$

Best laptop for Roblox

$

Best computer for crypto mining

$

Best laptop for Sims 4

$

Latest questions

NUMPYNUMPY

psycopg2: insert multiple rows with one query

12 answers

NUMPYNUMPY

How to convert Nonetype to int or string?

12 answers

NUMPYNUMPY

How to specify multiple return types using type-hints

12 answers

NUMPYNUMPY

Javascript Error: IPython is not defined in JupyterLab

12 answers

News


Wiki

Python OpenCV | cv2.putText () method

numpy.arctan2 () in Python

Python | os.path.realpath () method

Python OpenCV | cv2.circle () method

Python OpenCV cv2.cvtColor () method

Python - Move item to the end of the list

time.perf_counter () function in Python

Check if one list is a subset of another in Python

Python os.path.join () method