התפקיד כולל מומחיות בטכנולוגיות דאטה מתקדמות או לחלופין התמקצעות עמוקה בתפיסת DevOps.
תחומי אחריות מרכזיים:
פיתוח ותחזוקה של תהליכי ETL מורכבים ב-Apache NiFi ו-Apache Spark
פיתוח תהליכי Real-Time data Processing ב-Apache Flink
ניהול וטיוב נתונים בעזרת ElasticSearch
כתיבת שאילתות מתקדמות וייעול ביצועים על בסיסי נתונים רלציוניים ולא רלציוניים
פיתוח פתרונות דאטה וקוד ב- Python
עבודה בשיתוף פעולה עם צוותי data Science, BI ופיתוח מערכות מידע
ניסיון של 5+ שנים בתחום הפיתוח הרלוונטי
לפחות 3+ שנים כמהנדס דאטה ( data Engineer) עם התמחות באחד או יותר מהכלים:
Apache Spark
Apache NiFi
Apache Flink
ניסיון משמעותי בפיתוח ב- Python לבניית data Flows
הבנה מעמיקה בארכיטקטורת דאטה ובתשתיות Big Data
ניסיון בעבודה עם ElasticSearch כולל כתיבת שאילתות, אופטימיזציה וניהול אינדקסים
ניסיון בכתיבת Aggregation Pipelines ב-MongoDB
כתיבת שאילתות SQL מורכבות ואופטימיזציה
ניסיון בסביבת Cloudera CDP, עבודה עם Kafka
שילוב מודולי AI בפתרונות דאטה
ניסיון בפיתוח מיקרו-שירותים (Microservices) ובעבודה עם OpenShift
ניסיון עם כלי ניהול תצורה
היכרות עם כלי BI כמו:
SSAS
DataStage
דרישות השכלה:
תואר ראשון במדעי המחשב / הנדסת מחשבים או
תואר ראשון אחר + קורסים בהיקף של 300+ שעות בתחום מערכות מידע או
תואר הנדסי הכולל 200+ שעות לימוד בתוכנה או הנדסאי בוגר מגמת מחשבים/טכנולוגיה המשרה מיועדת לנשים ולגברים כאחד.
