Luigi

Luigi

Tujuan Luigi adalah untuk menangani semua paip yang biasanya dikaitkan dengan proses batch yang lama.Anda mahu mengawal banyak tugas, mengautomasikan mereka, dan kegagalan akan berlaku.Tugas-tugas ini boleh menjadi apa-apa, tetapi biasanya berjalan lama seperti pekerjaan Hadoop, membuang data ke / dari pangkalan data, menjalankan algoritma pembelajaran mesin, atau apa-apa lagi.Terdapat pakej perisian lain yang memberi tumpuan kepada aspek tahap pemprosesan data yang lebih rendah, seperti Hive, Pig, atau Cascading.Luigi bukan kerangka untuk menggantikan ini.Sebaliknya ia membantu anda menjahit banyak tugas bersama-sama, di mana setiap tugas boleh menjadi pertanyaan Hive, pekerjaan Hadoop di Jawa, pekerjaan Spark dalam Scala atau Python sebuah coretan Python, membuang jadual dari pangkalan data atau apa-apa lagi.Mudah untuk membina saluran paip yang panjang yang mengandungi ribuan tugas dan mengambil masa beberapa hari atau minggu untuk disiapkan.Luigi menjaga banyak pengurusan aliran kerja supaya anda boleh memberi tumpuan kepada tugas-tugas itu sendiri dan kebergantungan mereka .... Anda boleh membina banyak tugas yang anda inginkan, tetapi Luigi juga dilengkapi dengan kotak alat beberapa templat tugas biasa yang andagunakan.Ia termasuk sokongan untuk menjalankan tugas Python untuk memprediksi pekerjaan di Hadoop, serta Hive, dan Pig, pekerjaan.Ia juga dilengkapi dengan abstraksi sistem fail untuk HDFS, dan fail tempatan yang memastikan semua operasi sistem fail adalah atom.Ini penting kerana ini bermakna talian paip data anda tidak akan mengalami kemalangan dalam keadaan yang mengandungi data separa.
luigi

Kategori

Alternatif untuk Luigi untuk Self-Hosted dengan lesen percuma