وظائف بلس — مهندس أول لجودة البيانات (عقد لمدة 4 أشهر) في الموقع في الإمارات العربية المتحدة - Octopus by RTG
وظيفة منشورة على وظائف بلس، مع تفاصيل المتطلبات والمزايا ورابط التقديم المباشر.
مهندس أول لجودة البيانات (عقد لمدة 4 أشهر) في الموقع في الإمارات العربية المتحدة - Octopus by RTG
تتقدّم باسم
زيارة موقع الشركةالإعلان الأصلي للوظيفة
Senior Data Quality Engineer (4 Months Contract ) Onsite in UAE - Octopus by RTG Robusta
مقارنة الرواتب
AED 20k – AED 35kثقة متوسطة · AED 20,000/شهرياً – AED 35,000/شهرياً
الرواتب المعروضة تقديرية ومبنية على بيانات السوق المتاحة، وقد لا تعكس الراتب الفعلي للوظيفة.
الوصف
عن الدور نحن نبحث عن مهندس أول لجودة البيانات في Databricks ذو خبرة لقيادة تصميم وتنفيذ وأتمتة أطر عمل جودة البيانات على مستوى المؤسسة ضمن بيئة Databricks. سيلعب المرشح الناجح دورًا رئيسيًا في إنشاء ضوابط جودة البيانات، وأطر عمل التوصيف، وعمليات المعالجة، ومراقبة الجودة بمساعدة الذكاء الاصطناعي عبر منصة بيانات واسعة النطاق تتكون من أكثر من 170 مجموعة بيانات وأكثر من 1300 عنصر بيانات حرج (CDEs). يتطلب هذا الدور خبرة قوية في Databricks و PySpark و Delta Lake و MLflow وممارسات إدارة جودة البيانات الحديثة. المسؤوليات الرئيسية منصة البيانات وتكوين Databricks - تكوين وإدارة مساحات عمل Databricks، ومجموعات الحوسبة، ودفاتر ملاحظات PySpark، وبنية Delta Lake، وتكاملات Unity Catalog. - تصميم أطر عمل معالجة جودة البيانات القابلة للتطوير عبر أكثر من 170 مجموعة بيانات و 1346 عنصر بيانات حرج (CDEs) ذات أولوية. توصيف البيانات وتقييم الجودة - تطوير دفاتر ملاحظات توصيف بمساعدة الذكاء الاصطناعي باستخدام PySpark لإنشاء درجات جودة البيانات الأساسية. - تقييم جودة البيانات عبر ستة أبعاد رئيسية بما في ذلك: - الاكتمال - التفرد - الصلاحية - الاتساق - الدقة - التوقيت - تحليل معدلات القيم الفارغة، والسجلات المكررة، والقيم غير الصالحة، وانتهاكات التنسيق، والقيم الشاذة، وانحراف المخطط. إطار عمل قواعد جودة البيانات - تصميم وبناء مصنع قواعد جودة البيانات قابل للتطوير باستخدام وظائف PySpark المعلمة. - تمكين النشر الآلي لأكثر من 6700 قاعدة جودة بيانات دون تطوير يدوي لكل قاعدة على حدة. - إنشاء قوالب قواعد قابلة لإعادة الاستخدام عبر مجموعات البيانات وأبعاد جودة البيانات. تطبيق جودة خط الأنابيب - دمج ضوابط جودة البيانات ضمن طبقات Bronze و Silver و Gold Delta Lake. - تنفيذ بوابات الجودة التي تمنع تقدم البيانات ما لم يتم استيفاء العتبات المحددة مسبقًا. - تطوير وظائف Databricks قابلة لإعادة الاستخدام للتحقق والمراقبة الآلية. تنظيف البيانات والمعالجة المدفوعة بالذكاء الاصطناعي - بناء خطوط أنابيب تنظيف البيانات الآلية من أجل: - التوحيد القياسي - إزالة التكرار - تنسيق المخطط - نشر نماذج التعلم الآلي المدارة بواسطة MLflow من أجل: - اكتشاف الشذوذ - اكتشاف التكرارات الغامضة - تحديد التكرارات الدقيقة - ضمان قابلية تفسير مخرجات النموذج ودعم عمليات التحقق التي تتضمن العنصر البشري. إدارة الاستثناءات - تصميم أطر عمل معالجة السجلات الفاشلة وجداول Delta للحجر الصحي. - التقاط أسباب الفشل، وعناصر البيانات الحرجة المتأثرة، ومراجع القواعد، والطوابع الزمنية. - تطوير آليات إعادة المعالجة الآلية للسجلات المصححة. مراقبة جودة البيانات وإعداد التقارير - بناء جداول تجميع Delta Lake لمقاييس جودة البيانات. - تقديم مؤشرات الأداء الرئيسية لجودة البيانات إلى لوحات معلومات Power BI بما في ذلك: - درجات مستوى الأبعاد - معدلات نجاح/فشل القواعد - مقاييس الالتزام باتفاقية مستوى الخدمة (SLA) - تكوين التنبيهات الآلية باستخدام تنبيهات Databricks SQL و Azure Monitor. تحليلات جودة البيانات التنبؤية - تطوير نماذج تنبؤية لتحديد مجموعات البيانات المعرضة لخطر تدهور الجودة. - دعم تحليل السبب الجذري (RCA) بمساعدة الذكاء الاصطناعي باستخدام مخرجات التوصيف وتقنيات التعلم الآلي. - تصدير وإعداد مجموعات بيانات المعالجة لتحديد الأولويات وإعداد تقارير الحوكمة. - درجة البكالوريوس في علوم الكمبيوتر أو هندسة البيانات أو نظم المعلومات أو مجال ذي صلة. - 5+ سنوات من الخبرة في هندسة البيانات أو هندسة جودة البيانات. - 3+ سنوات من الخبرة العملية مع Databricks و PySpark. - خبرة قوية في بنية Delta Lake وتطوير خطوط أنابيب البيانات. - خبرة في تنفيذ وحوكمة Unity Catalog. - خبرة عملية مع MLflow ونشر التعلم الآلي. - مهارات SQL قوية وخبرة في نمذجة البيانات. - خبرة في بناء أطر عمل جودة البيانات على مستوى المؤسسة. - خبرة في دمج Databricks مع Power BI وخدمات Azure. - فهم قوي لحوكمة البيانات وإدارة البيانات الوصفية وأبعاد جودة البيانات. المؤهلات المفضلة - شهادات Microsoft Azure. - مهندس بيانات معتمد من Databricks (مشارك أو محترف). - خبرة في برامج حوكمة البيانات على مستوى المؤسسة. - خبرة في تنفيذ حلول جودة البيانات والمعالجة بمساعدة الذكاء الاصطناعي. - معرفة بمبادئ إدارة البيانات الرئيسية (MDM).
ما ستقوم به
- • - قيادة تصميم وأتمتة أطر عمل جودة البيانات على مستوى المؤسسة والمراقبة بمساعدة الذكاء الاصطناعي ضمن بيئة Databricks. تنفيذ بوابات الجودة عبر طبقات Delta Lake وتطوير خطوط أنابيب تنظيف آلية لمجموعات البيانات الكبيرة.
المتطلبات
يتطلب درجة البكالوريوس وأكثر من 5 سنوات من الخبرة في هندسة البيانات، مع 3 سنوات على الأقل باستخدام Databricks و PySpark على وجه التحديد. الخبرة في بنية Delta Lake و MLflow وحوكمة البيانات ضرورية.
التعليم المطلوب
- - درجة البكالوريوس
- - شهادة مهنية
نسبة التوافق14%
نصائح المقابلة
استعد لمناقشة خبرتك العملية مع Databricks و PySpark، مع التركيز على كيفية استخدامك لهذه الأدوات في مشاريع جودة البيانات.
كن مستعدًا لشرح منهجيتك في تصميم وتنفيذ أطر عمل جودة البيانات على مستوى المؤسسة، بما في ذلك كيفية دمج الذكاء الاصطناعي في المراقبة والمعالجة.
سلط الضوء على معرفتك بـ Delta Lake و Unity Catalog و MLflow، وكيف تساهم هذه التقنيات في حلول جودة البيانات الشاملة.
استعرض قدرتك على تحليل البيانات، وتحديد المشكلات المتعلقة بالجودة، وتطوير حلول قابلة للتطوير لمعالجتها.
اقتراح آلي للمسار الوظيفي، وليس توصية رسمية من صاحب العمل.
المسار الوظيفي
مهندس بيانات رئيسي
مهندس أول لجودة البيانات (عقد لمدة 4 أشهر) في الموقع في الإمارات العربية المتحدة - Octopus by RTG
مهندس حلول بيانات
مدير جودة البيانات
الأسئلة الشائعة
ما هو الدور الوظيفي المعلن عنه؟
الدور المعلن عنه هو مهندس أول لجودة البيانات (عقد لمدة 4 أشهر) في الموقع في الإمارات العربية المتحدة.
ما هي الخبرة المطلوبة لهذا الدور؟
يتطلب الدور 5+ سنوات من الخبرة في هندسة البيانات أو هندسة جودة البيانات، و 3+ سنوات من الخبرة العملية مع Databricks و PySpark.
ما هي التقنيات الأساسية المطلوبة؟
التقنيات الأساسية المطلوبة تشمل Databricks و PySpark و Delta Lake و MLflow و Unity Catalog.
ما هي المؤهلات التعليمية المطلوبة؟
المؤهلات التعليمية المطلوبة هي درجة البكالوريوس في علوم الكمبيوتر أو هندسة البيانات أو نظم المعلومات أو مجال ذي صلة.
العمل في أبو ظبي
تُعد أبوظبي، عاصمة دولة الإمارات العربية المتحدة، مركزًا اقتصاديًا حيويًا يجذب المواهب من جميع أنحاء العالم. تتميز المدينة بسوق عمل مزدهر مدعوم بقطاعات رئيسية تشمل الطاقة، التمويل، التكنولوجيا، الرعاية الصحية، والسياحة. تعكس ثقافة العمل في أبوظبي مزيجًا من الاحترافية الحديثة والقيم التقليدية، مع التركيز على الابتكار والتعاون. يوفر نمط الحياة في أبوظبي توازنًا فريدًا بين الفرص المهنية المثيرة والمرافق الترفيهية الفاخرة، مما يجعلها وجهة جذابة للمهنيين الطموحين. تشتهر المدينة ببيئة عمل ديناميكية تتسم بالتنوع الثقافي، حيث تتعايش الكفاءات المحلية والدولية في تناغم لتعزيز النمو الاقتصادي والتطور المستمر.
موقع تجميع وظائف من جهات خارجية. الحقول المنظَّمة (المهام، المتطلبات، المزايا، التعليم، الراتب، الأسئلة) مُستنبَطة آلياً من الإعلان الأصلي وقد تكون غير دقيقة. يُرجى التحقّق عبر الموقع الرسمي لصاحب العمل قبل التقديم.