Basic Data Pipeline Demonstration Using Apache Airflow (Python)

Publié le: 11 mars 2022
sur la chaîne: Pattarapon Buathong

Basic Data Pipeline Demonstration Using Apache Airflow (Python)
Convert rows in CSV file to JSON, every 5 minutes (scheduled in Airflow)
File paths are according to Docker Container path.

Check by
1. Login to the Airflow container with docker exec -it [ContainerName] /bin/bash (or type it in cmd)
2. List the files in that directory with ls /opt/airflow/data/
In this case, I put my data.csv file in /opt/airflow/dags folder so I won't have to edit the yaml file.

Sur cette page du site, vous pouvez voir la vidéo en ligne Basic Data Pipeline Demonstration Using Apache Airflow (Python) durée heure minute seconde en bonne qualité , qui a été Téléchargé par l'utilisateur Pattarapon Buathong 11 mars 2022, Partagez le lien avec vos amis et connaissances, sur youtube cette vidéo a déjà été regardée 70 fois et il a aimé 0 téléspectateurs. Bon visionnage!

12,553