15 Python Libraries Every Data Engineer Needs!

Veröffentlicht am: 22 September 2024
auf dem Kanal: mehdio debugs

4,893

117

Python is a continually evolving ecosystem, and it can sometimes be challenging to find what's essential for data engineering—so I've selected my top 15 Python libraries!

Follow me there for written content:
➡️Blog : https://mehdio.com/blog
➡️LinkedIn : / mehd-io
➡️X/Twitter : https://x.com/mehd_io

0:00 Intro
0:33 Requests // Data ingestion
1:15 BeautifulSoup // Data ingestion
2:03 dlt // Data ingestion
2:45 DuckDB // Data transformation
4:28 Polars // Data transformation
5:23 PySpark // Data transformation
6:17 Loguru // Developer tools
7:17 Typer // Developer tools
8:36 Fire // Developer tools
9:39 Ruff // Developer tools
10:31 Pytest // Developer tools
11:19 Python-dotenv // Developer tools
12:29 Pydantic // Data validation
13:28 Pandera // Data validation
14:38 Pyarrow // Data serialization

#dataengineering #python

Auf dieser Seite können Sie das Online-Video 15 Python Libraries Every Data Engineer Needs! mit der Dauer stunde minuten sekunde in guter Qualität ansehen, das der Benutzer mehdio debugs 22 September 2024 hochgeladen hat, den Link mit Freunden und Bekannten teilen, dieses Video wurde auf Youtube bereits 4,893 Mal angesehen und es wurde von 117 den Zuschauern gefallen. Viel Spaß beim Betrachtenden Zuschauern gefallen!