15 Python Libraries Every Data Engineer Needs!

Publicado em: 22 Setembro 2024
no canal de: mehdio debugs

4,893

117

Python is a continually evolving ecosystem, and it can sometimes be challenging to find what's essential for data engineering—so I've selected my top 15 Python libraries!

Follow me there for written content:
➡️Blog : https://mehdio.com/blog
➡️LinkedIn : / mehd-io
➡️X/Twitter : https://x.com/mehd_io

0:00 Intro
0:33 Requests // Data ingestion
1:15 BeautifulSoup // Data ingestion
2:03 dlt // Data ingestion
2:45 DuckDB // Data transformation
4:28 Polars // Data transformation
5:23 PySpark // Data transformation
6:17 Loguru // Developer tools
7:17 Typer // Developer tools
8:36 Fire // Developer tools
9:39 Ruff // Developer tools
10:31 Pytest // Developer tools
11:19 Python-dotenv // Developer tools
12:29 Pydantic // Data validation
13:28 Pandera // Data validation
14:38 Pyarrow // Data serialization

#dataengineering #python

Nesta página do site você pode assistir ao vídeo on-line 15 Python Libraries Every Data Engineer Needs! duração hora minuto segundo em boa qualidade , que foi baixado pelo usuário mehdio debugs 22 Setembro 2024, compartilhe o link com seus amigos e conhecidos, no youtube este vídeo já foi visto 4,893 vezes e gostou 117 espectadores. Boa visualização!

1,283