15 Python Libraries Every Data Engineer Needs!

Опубликовано: 22 Сентябрь 2024
на канале: mehdio debugs

4,893

117

Python is a continually evolving ecosystem, and it can sometimes be challenging to find what's essential for data engineering—so I've selected my top 15 Python libraries!

Follow me there for written content:
➡️Blog : https://mehdio.com/blog
➡️LinkedIn : / mehd-io
➡️X/Twitter : https://x.com/mehd_io

0:00 Intro
0:33 Requests // Data ingestion
1:15 BeautifulSoup // Data ingestion
2:03 dlt // Data ingestion
2:45 DuckDB // Data transformation
4:28 Polars // Data transformation
5:23 PySpark // Data transformation
6:17 Loguru // Developer tools
7:17 Typer // Developer tools
8:36 Fire // Developer tools
9:39 Ruff // Developer tools
10:31 Pytest // Developer tools
11:19 Python-dotenv // Developer tools
12:29 Pydantic // Data validation
13:28 Pandera // Data validation
14:38 Pyarrow // Data serialization

#dataengineering #python

На этой странице сайта вы можете посмотреть видео онлайн 15 Python Libraries Every Data Engineer Needs! длительностью часов минут секунд в хорошем качестве, которое загрузил пользователь mehdio debugs 22 Сентябрь 2024, поделитесь ссылкой с друзьями и знакомыми, на youtube это видео уже посмотрели 4,893 раз и оно понравилось 117 зрителям. Приятного просмотра!

1,283