Luigi

Luigi

Tujuan Luigi adalah untuk menangani semua paip yang biasanya dikaitkan dengan proses batch yang lama.Anda mahu mengawal banyak tugas, mengautomasikan mereka, dan kegagalan akan berlaku.Tugas-tugas ini boleh menjadi apa-apa, tetapi biasanya berjalan lama seperti pekerjaan Hadoop, membuang data ke / dari pangkalan data, menjalankan algoritma pembelajaran mesin, atau apa-apa lagi.Terdapat pakej perisian lain yang memberi tumpuan kepada aspek tahap pemprosesan data yang lebih rendah, seperti Hive, Pig, atau Cascading.Luigi bukan kerangka untuk menggantikan ini.Sebaliknya ia membantu anda menjahit banyak tugas bersama-sama, di mana setiap tugas boleh menjadi pertanyaan Hive, pekerjaan Hadoop di Jawa, pekerjaan Spark dalam Scala atau Python sebuah coretan Python, membuang jadual dari pangkalan data atau apa-apa lagi.Mudah untuk membina saluran paip yang panjang yang mengandungi ribuan tugas dan mengambil masa beberapa hari atau minggu untuk disiapkan.Luigi menjaga banyak pengurusan aliran kerja supaya anda boleh memberi tumpuan kepada tugas-tugas itu sendiri dan kebergantungan mereka .... Anda boleh membina banyak tugas yang anda inginkan, tetapi Luigi juga dilengkapi dengan kotak alat beberapa templat tugas biasa yang andagunakan.Ia termasuk sokongan untuk menjalankan tugas Python untuk memprediksi pekerjaan di Hadoop, serta Hive, dan Pig, pekerjaan.Ia juga dilengkapi dengan abstraksi sistem fail untuk HDFS, dan fail tempatan yang memastikan semua operasi sistem fail adalah atom.Ini penting kerana ini bermakna talian paip data anda tidak akan mengalami kemalangan dalam keadaan yang mengandungi data separa.
luigi

Kategori

Alternatif untuk Luigi untuk semua platform dengan sebarang lesen

Zenaton

Zenaton

Pembangun Alur Kerja untuk Pemaju.Bina proses yang didorong oleh peristiwa dalam hari berbanding bulan.
StackStorm

StackStorm

StackStorm adalah platform automasi sumber terbuka yang kuat yang menggabungkan semua aplikasi, perkhidmatan dan aliran kerja anda.Ia boleh dipanjangkan, fleksibel, dan dibina dengan cinta untuk DevOps dan ChatOps.
ProActive Workflows & Scheduling

ProActive Workflows & Scheduling

Aliran Kerja & Penjadualan Kerja ProActive membolehkan anda dengan mudah melaksanakan semua pekerjaan syarikat dan aplikasi perniagaan anda, mengawasi aktiviti dan mengakses hasil kerja dengan cepat.
Apache Airflow

Apache Airflow

Airflow adalah platform untuk penulis pengaturcaraan, jadual dan memantau saluran data.