আমার নীচের মতো একটি দৃশ্য আছে:
- ট্রিগার একটি
Task 1এবংTask 2শুধুমাত্র যখন নতুন তথ্য উৎস সারণী (গ্রীক পুরাণের দেবী) তাদের জন্য avialable হয়। একদিনে নতুন ডেটা পার্টিশন করার সময় টাস্ক 1 এবং টাস্ক 2 এর জন্য ট্রিগারটি হওয়া উচিত। - ট্রিগার
Task 3শুধুমাত্র সম্পন্ন উপরTask 1এবংTask 2 - ট্রিগারটি
Task 4কেবলমাত্র সম্পন্ন করেTask 3
আমার কোড
from airflow import DAG
from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor
from datetime import datetime, timedelta
from airflow.operators.postgres_operator import PostgresOperator
from utils import FAILURE_EMAILS
yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time())
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': yesterday,
'email': FAILURE_EMAILS,
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5)
}
dag = DAG('Trigger_Job', default_args=default_args, schedule_interval='@daily')
Athena_Trigger_for_Task1 = AwsGlueCatalogPartitionSensor(
task_id='athena_wait_for_Task1_partition_exists',
database_name='DB',
table_name='Table1',
expression='load_date={{ ds_nodash }}',
timeout=60,
dag=dag)
Athena_Trigger_for_Task2 = AwsGlueCatalogPartitionSensor(
task_id='athena_wait_for_Task2_partition_exists',
database_name='DB',
table_name='Table2',
expression='load_date={{ ds_nodash }}',
timeout=60,
dag=dag)
execute_Task1 = PostgresOperator(
task_id='Task1',
postgres_conn_id='REDSHIFT_CONN',
sql="/sql/flow/Task1.sql",
params={'limit': '50'},
trigger_rule='all_success',
dag=dag
)
execute_Task2 = PostgresOperator(
task_id='Task2',
postgres_conn_id='REDSHIFT_CONN',
sql="/sql/flow/Task2.sql",
params={'limit': '50'},
trigger_rule='all_success',
dag=dag
)
execute_Task3 = PostgresOperator(
task_id='Task3',
postgres_conn_id='REDSHIFT_CONN',
sql="/sql/flow/Task3.sql",
params={'limit': '50'},
trigger_rule='all_success',
dag=dag
)
execute_Task4 = PostgresOperator(
task_id='Task4',
postgres_conn_id='REDSHIFT_CONN',
sql="/sql/flow/Task4",
params={'limit': '50'},
dag=dag
)
execute_Task1.set_upstream(Athena_Trigger_for_Task1)
execute_Task2.set_upstream(Athena_Trigger_for_Task2)
execute_Task3.set_upstream(execute_Task1)
execute_Task3.set_upstream(execute_Task2)
execute_Task4.set_upstream(execute_Task3)এটি অর্জনের সর্বোত্তম সর্বোত্তম উপায় কী?
এই সমাধান নিয়ে আপনার কোন সমস্যা হচ্ছে?
—
বার্নার্ডো
@ বার্নার্ডোস্টের্নস্রেইজন, কখনও কখনও
—
পঙ্কজ
Task1এবং Task2লুপে যান। আমার জন্য ডেথগুলি এথেনার উত্স টেবিল 10 এএম সিইটিতে লোড করা হবে।
আপনি বলতে চাইছেন যে লুপটি চলছে, এয়ারফ্লোটি টাস্ক 1 এবং টাস্ক 2 বহুবার পুনরায় চেষ্টা করবে যতক্ষণ না এটি সফল না হয়?
—
বার্নার্ডো
@ বার্নার্ডোস্টের্নস্রেইজন, হুবহু
—
পঙ্কজ
@ বার্নার্ডোস্টের্নস্রেইসেন, আমি কীভাবে এই
—
অনুগ্রহটি