¿Tiene pandas iterrows problemas de rendimiento?

| | | | | | | |

He notado un rendimiento muy bajo al usar iterrows de pandas.

¿Es esto algo que otros experimentan? ¿Es específico para iterrows y debería evitarse esta función para datos de cierto tamaño (estoy trabajando con 2-3 millones de filas)?

Esta discusión en GitHub me hizo creer que se produce al mezclar dtypes en el marco de datos, sin embargo, el ejemplo simple a continuación muestra que está ahí incluso cuando se usa un dtype (float64). Esto toma 36 segundos en mi máquina:

import pandas as pd import numpy as np import time s1 = np.random.randn(2000000) s2 = np.random.randn(2000000) dfa = pd .DataFrame({"s1": s1, "s2": s2}) start = time.time() i=0 for rowindex, fila en dfa.iterrows(): i+=1 end = time.time() print end - start 

¿Por qué las operaciones vectorizadas como la aplicación son mucho más rápidas? Me imagino que debe haber alguna iteración fila por fila también.

No puedo entender cómo para no usar iterrows en mi caso (esto lo guardaré para una futura pregunta). Por lo tanto, agradecería escuchar si ha podido evitar esta iteración de manera constante. Estoy haciendo cálculos basados en datos en marcos de datos separados. ¡Gracias!

---Editar: la versión simplificada de lo que quiero ejecutar se ha agregado a continuación---

< código>importar pandas como pd importar numpy como np #%% Crear las tablas originales t1 = {"letra":["a","b"], "número1":[50,-10]} t2 = {"letra ":["a","a","b","b"], "number2":[0.2,0.5,0.1,0.4]} table1 = pd.DataFrame(t1) table2 = pd.DataFrame(t2) #%% Crear el cuerpo de la nueva tabla table3 = pd.DataFrame(np.nan, column=["letter","number2"], index=[0]) #%% Iterar filtrando datos relevantes, optimizando, devolviendo información para índice_fila, fila en tabla1.iterrows(): t2info = tabla2[tabla2.letra == fila["letra"]].reset_index() tabla3.ix[índice_fila,] = optimizar(t2info,fila["número1"] ) #%% Definir optimización def optimizar(t2info, t1info): cálculo = [] para índice, r en t2info.iterrows(): cálculo.append(r["número2"]*t1info) maxrow = cálculo.index(max( cálculo)) devuelve t2info.ix[maxrow] 

Shop

Learn programming in R: courses

$

Best Python online courses for 2022

$

Best laptop for Fortnite

$

Best laptop for Excel

$

Best laptop for Solidworks

$

Best laptop for Roblox

$

Best computer for crypto mining

$

Best laptop for Sims 4

$

Latest questions

NUMPYNUMPY

psycopg2: insert multiple rows with one query

12 answers

NUMPYNUMPY

How to convert Nonetype to int or string?

12 answers

NUMPYNUMPY

How to specify multiple return types using type-hints

12 answers

NUMPYNUMPY

Javascript Error: IPython is not defined in JupyterLab

12 answers

News


Wiki

Python OpenCV | cv2.putText () method

numpy.arctan2 () in Python

Python | os.path.realpath () method

Python OpenCV | cv2.circle () method

Python OpenCV cv2.cvtColor () method

Python - Move item to the end of the list

time.perf_counter () function in Python

Check if one list is a subset of another in Python

Python os.path.join () method