15 Python Libraries Every Data Engineer Needs!
Python is a continually evolving ecosystem, and it can sometimes be challenging to find what's essential for data engineering—so I've selected my top 15 Python libraries!
Follow me there for written content:
➡️Blog : https://mehdio.com/blog
➡️LinkedIn : / mehd-io
➡️X/Twitter : https://x.com/mehd_io
0:00 Intro
0:33 Requests // Data ingestion
1:15 BeautifulSoup // Data ingestion
2:03 dlt // Data ingestion
2:45 DuckDB // Data transformation
4:28 Polars // Data transformation
5:23 PySpark // Data transformation
6:17 Loguru // Developer tools
7:17 Typer // Developer tools
8:36 Fire // Developer tools
9:39 Ruff // Developer tools
10:31 Pytest // Developer tools
11:19 Python-dotenv // Developer tools
12:29 Pydantic // Data validation
13:28 Pandera // Data validation
14:38 Pyarrow // Data serialization
#dataengineering #python
En esta página del sitio puede ver el video en línea 15 Python Libraries Every Data Engineer Needs! de Duración hora minuto segunda en buena calidad , que subió el usuario mehdio debugs 22 septiembre 2024, comparta el enlace con amigos y conocidos, en youtube este video ya ha sido visto 4,893 veces y le gustó 117 a los espectadores. Disfruta viendo!
