15 Python Libraries Every Data Engineer Needs!

Pubblicato il: 22 settembre 2024
sul canale di: mehdio debugs

4,893

117

Python is a continually evolving ecosystem, and it can sometimes be challenging to find what's essential for data engineering—so I've selected my top 15 Python libraries!

Follow me there for written content:
➡️Blog : https://mehdio.com/blog
➡️LinkedIn : / mehd-io
➡️X/Twitter : https://x.com/mehd_io

0:00 Intro
0:33 Requests // Data ingestion
1:15 BeautifulSoup // Data ingestion
2:03 dlt // Data ingestion
2:45 DuckDB // Data transformation
4:28 Polars // Data transformation
5:23 PySpark // Data transformation
6:17 Loguru // Developer tools
7:17 Typer // Developer tools
8:36 Fire // Developer tools
9:39 Ruff // Developer tools
10:31 Pytest // Developer tools
11:19 Python-dotenv // Developer tools
12:29 Pydantic // Data validation
13:28 Pandera // Data validation
14:38 Pyarrow // Data serialization

#dataengineering #python

In questa pagina del sito puoi guardare il video online 15 Python Libraries Every Data Engineer Needs! della durata di ore minuti seconda in buona qualità , che l'utente ha caricato mehdio debugs 22 settembre 2024, condividi il link con amici e conoscenti, su youtube questo video è già stato visto 4,893 volte e gli è piaciuto 117 spettatori. Buona visione!

54,509