Memory Efficient Dataframes from MASSIVE SQL Queries!!!
Have you ever wondered how to create memory-efficient pandas dataframes with python? In this short I demonstrate just how easy it is by using panda's chunksize argument.
Here is the source code:
Libraries
import pandas as pd
import sqlalchemy
from sqlalchemy import create_engine
Creating SQL Alchemy engine object
engine = create_engine('postgresql://postgres:youtube@localhost:5432/eSports.val')
Initiailizing connection to database
conn = engine.connect()
SQL query as a string to pass into pd.read_sql function
sql = "SELECT * FROM players"
Demonstrating individual chunks
for chunk in pd.read_sql_query(sql, conn, chunksize=1000):
print(chunk)
Function to query in chunks and concat results into a final dataframe
def chunkDF(sql, conn, chunksize):
df = pd.read_sql_query(sql, conn, chunksize = chunksize)
final_df = pd.concat(df)
final_df.reset_index(drop=True, inplace=True)
return final_df
Passing the results of the function to a dataframe
df = chunkDF(sql, conn, 100)
In questa pagina del sito puoi guardare il video online Memory Efficient Dataframes from MASSIVE SQL Queries!!! della durata di ore minuti seconda in buona qualità , che l'utente ha caricato Data Science with Josh 27 novembre 2022, condividi il link con amici e conoscenti, su youtube questo video è già stato visto 3,963 volte e gli è piaciuto 122 spettatori. Buona visione!
