🔸 دیتابریکس در کنفرانس سالانه Data + AI، فریمورک اصلی ساخت و مدیریت پایپلاینهای داده خود را با نام «Apache Spark Declarative Pipelines» اوپنسورس کرد.
🔸 این ابزار که قبلا بخشی از محصول Databricks بود، به مهندسان داده اجازه میدهد بهجای نوشتن مراحل پیچیده، فقط نتیجه موردنظرشان را با SQL یا پایتون مشخص کنند.
🔸 این فریمورک، فرآیند پیچیده مهندسی داده را ساده میکند و امکان مدیریت دادههای دستهای و جریانی (مثل دادههای موردنیاز سیستمهای هوش مصنوعی) را در یک سیستم واحد فراهم میآورد.
#دیتابریکس #آپاجی_اسپارک #اوپن_سورس