Использование памяти Python для массивов numpy

| | | |

Я использую python для анализа некоторых больших файлов, и у меня возникают проблемы с памятью, поэтому я использовал sys.getsizeof(), чтобы попытаться отслеживать использование, но это поведение с пустыми массивами странно. Вот пример с картой альбедо, которую мне нужно открыть:

>>> импортировать numpy как np >>> импортировать структуру >>> из sys import getsizeof >>> f = open("Albedo_map.assoc", "rb") >>> getsizeof(f) 144 >>> albedo = struct.unpack("%df" % (7200*3600), f.read(7200*3600*4)) >>> getsizeof(альбедо) 207360056 >>> albedo = np.array(albedo).reshape(3600,7200) >>> getsizeof(albedo) 80 

Ну, данные все еще там, но размер объекта, карты 3600x7200 пикселей, увеличился с ~ 200 МБ до 80 байт. надеяться, что мои проблемы с памятью закончились и я просто преобразую все в пустые массивы, но я чувствую, что такое поведение, если оно верно, каким-то образом нарушит какой-то закон теории информации или термодинамики, или что-то в этом роде, поэтому я склонен полагать, что getsizeof() не работает с массивами numpy. Есть идеи?

Shop

Learn programming in R: courses

$

Best Python online courses for 2022

$

Best laptop for Fortnite

$

Best laptop for Excel

$

Best laptop for Solidworks

$

Best laptop for Roblox

$

Best computer for crypto mining

$

Best laptop for Sims 4

$

Latest questions

NUMPYNUMPY

psycopg2: insert multiple rows with one query

12 answers

NUMPYNUMPY

How to convert Nonetype to int or string?

12 answers

NUMPYNUMPY

How to specify multiple return types using type-hints

12 answers

NUMPYNUMPY

Javascript Error: IPython is not defined in JupyterLab

12 answers

News


Wiki

Python OpenCV | cv2.putText () method

numpy.arctan2 () in Python

Python | os.path.realpath () method

Python OpenCV | cv2.circle () method

Python OpenCV cv2.cvtColor () method

Python - Move item to the end of the list

time.perf_counter () function in Python

Check if one list is a subset of another in Python

Python os.path.join () method