Memory Efficient Dataframes from MASSIVE SQL Queries!!!
Have you ever wondered how to create memory-efficient pandas dataframes with python? In this short I demonstrate just how easy it is by using panda's chunksize argument.
Here is the source code:
Libraries
import pandas as pd
import sqlalchemy
from sqlalchemy import create_engine
Creating SQL Alchemy engine object
engine = create_engine('postgresql://postgres:youtube@localhost:5432/eSports.val')
Initiailizing connection to database
conn = engine.connect()
SQL query as a string to pass into pd.read_sql function
sql = "SELECT * FROM players"
Demonstrating individual chunks
for chunk in pd.read_sql_query(sql, conn, chunksize=1000):
print(chunk)
Function to query in chunks and concat results into a final dataframe
def chunkDF(sql, conn, chunksize):
df = pd.read_sql_query(sql, conn, chunksize = chunksize)
final_df = pd.concat(df)
final_df.reset_index(drop=True, inplace=True)
return final_df
Passing the results of the function to a dataframe
df = chunkDF(sql, conn, 100)
Sur cette page du site, vous pouvez voir la vidéo en ligne Memory Efficient Dataframes from MASSIVE SQL Queries!!! durée heure minute seconde en bonne qualité , qui a été Téléchargé par l'utilisateur Data Science with Josh 27 novembre 2022, Partagez le lien avec vos amis et connaissances, sur youtube cette vidéo a déjà été regardée 3,963 fois et il a aimé 122 téléspectateurs. Bon visionnage!
