Automating Data Pipelines with Python & GitHub Actions [Code Walkthrough]

Veröffentlicht am: 30 Mai 2024
auf dem Kanal: Shaw Talebi
19,568
629

🤝 Work with me: https://aibuilder.academy/yt/wJ794jLP2Tw
🚀 Ship AI apps in weeks, not months: https://aibuilder.academy/courses/yt/...

This is the 6th video in a series on Full Stack Data Science. Here, I use Python and GitHub actions to automate a data pipeline for FREE!

More Resources:
💻 Example Code: https://github.com/ShawhinT/data-pipe...
📰 Read more: https://medium.com/towards-data-scien...

🛠️ Data Engineering:    • Text Embeddings, Classification, and Seman...  
👨🏻‍💻 ML app repo: https://github.com/ShawhinT/yt-search
🔍 ML app UI: https://huggingface.co/spaces/shawhin...

--
Homepage: https://www.shawhintalebi.com/

Intro - 0:00
Motivation - 0:32
2 Ways to Automate - 1:28
Way 1: Orchestration Tool - 2:00
Way 2: Python + Triggers - 3:38
GitHub Actions - 5:56
Example Code: Automating ETL Pipeline - 7:42
1) Create ETL Python Script - 8:33
2) Create GitHub Repo - 12:21
3) Create Workflow .yml File - 13:22
4) Add Repo Secrets - 23:50
5) Commit and Push - 25:59
Final ML App - 28:45


Auf dieser Seite können Sie das Online-Video Automating Data Pipelines with Python & GitHub Actions [Code Walkthrough] mit der Dauer stunde minuten sekunde in guter Qualität ansehen, das der Benutzer Shaw Talebi 30 Mai 2024 hochgeladen hat, den Link mit Freunden und Bekannten teilen, dieses Video wurde auf Youtube bereits 19,568 Mal angesehen und es wurde von 629 den Zuschauern gefallen. Viel Spaß beim Betrachtenden Zuschauern gefallen!