Memory Efficient Dataframes from MASSIVE SQL Queries!!!

Publicado em: 27 Novembro 2022
no canal de: Data Science with Josh

3,963

122

Have you ever wondered how to create memory-efficient pandas dataframes with python? In this short I demonstrate just how easy it is by using panda's chunksize argument.

Here is the source code:

Libraries
import pandas as pd
import sqlalchemy
from sqlalchemy import create_engine

Creating SQL Alchemy engine object
engine = create_engine('postgresql://postgres:youtube@localhost:5432/eSports.val')

Initiailizing connection to database
conn = engine.connect()

SQL query as a string to pass into pd.read_sql function
sql = "SELECT * FROM players"

Demonstrating individual chunks
for chunk in pd.read_sql_query(sql, conn, chunksize=1000):
print(chunk)

Function to query in chunks and concat results into a final dataframe
def chunkDF(sql, conn, chunksize):
df = pd.read_sql_query(sql, conn, chunksize = chunksize)
final_df = pd.concat(df)
final_df.reset_index(drop=True, inplace=True)
return final_df

Passing the results of the function to a dataframe
df = chunkDF(sql, conn, 100)

Nesta página do site você pode assistir ao vídeo on-line Memory Efficient Dataframes from MASSIVE SQL Queries!!! duração hora minuto segundo em boa qualidade , que foi baixado pelo usuário Data Science with Josh 27 Novembro 2022, compartilhe o link com seus amigos e conhecidos, no youtube este vídeo já foi visto 3,963 vezes e gostou 122 espectadores. Boa visualização!

984