The ExternalPythonOperator: No more dependency conflicts in Apache Airflow

Publié le: 06 septembre 2023
sur la chaîne: Data with Marc

8,112

100

The ExternalPythonOperator: No more dependency conflicts in Apache Airflow

🏆 BECOME A PRO WITH AIRFLOW: https://www.udemy.com/course/the-comp...

Airflow has many options to avoid dependency conflicts.
If you have a Kubernetes cluster, you can use the KubernetesPodOperator to run a task in a Kubernetes Pod.
If you have Docker, then the DockerOperator helps to run a task in a Docker Container.
An easier, though, is the ExternalPythonOperator which requires a pre-created Python virtual environment.

Sur cette page du site, vous pouvez voir la vidéo en ligne The ExternalPythonOperator: No more dependency conflicts in Apache Airflow durée heure minute seconde en bonne qualité , qui a été Téléchargé par l'utilisateur Data with Marc 06 septembre 2023, Partagez le lien avec vos amis et connaissances, sur youtube cette vidéo a déjà été regardée 8,112 fois et il a aimé 100 téléspectateurs. Bon visionnage!

4,532,360

129K