Σύντομη απάντηση: Η Τεχνητή Νοημοσύνη δεν θα αντικαταστήσει εντελώς τους μηχανικούς δεδομένων. Θα αυτοματοποιήσει επαναλαμβανόμενες εργασίες, όπως η σύνταξη SQL, η δημιουργία αγωγών, οι δοκιμές και η τεκμηρίωση. Εάν ο ρόλος σας είναι ως επί το πλείστον εργασία με χαμηλή ευθύνη και ticket driven, είναι πιο εκτεθειμένος. Εάν έχετε στην κατοχή σας την αξιοπιστία, τους ορισμούς, τη διακυβέρνηση και την αντιμετώπιση περιστατικών, η Τεχνητή Νοημοσύνη σας κάνει κυρίως πιο γρήγορους.
Βασικά συμπεράσματα:
Ιδιοκτησία : Δώστε προτεραιότητα στην λογοδοσία για τα αποτελέσματα, όχι μόνο στην ταχεία παραγωγή κώδικα.
Ποιότητα : Δημιουργήστε δοκιμές, παρατηρησιμότητα και συμβάσεις, ώστε οι αγωγοί να παραμείνουν αξιόπιστοι.
Διακυβέρνηση : Διατήρηση της ιδιωτικότητας, του ελέγχου πρόσβασης, της διατήρησης και των ιχνών ελέγχου σε ανθρώπινη ιδιοκτησία.
Αντίσταση στην κακή χρήση : Αντιμετωπίστε τα αποτελέσματα της Τεχνητής Νοημοσύνης ως προσχέδια. Ελέγξτε τα για να αποφύγετε τυχόν σφάλματα.
Αλλαγή ρόλων : Αφιερώστε λιγότερο χρόνο στην πληκτρολόγηση τυποποιημένων κειμένων και περισσότερο χρόνο στο σχεδιασμό ανθεκτικών συστημάτων.
Αν έχετε αφιερώσει περισσότερα από πέντε λεπτά σε ομάδες δεδομένων, θα έχετε ακούσει το ρεφρέν - άλλοτε ψιθυριστό, άλλοτε παρουσιασμένο κατά τη διάρκεια μιας σύσκεψης σαν ανατροπή: Θα αντικαταστήσει η Τεχνητή Νοημοσύνη τους Μηχανικούς Δεδομένων;
Και... το καταλαβαίνω. Η Τεχνητή Νοημοσύνη μπορεί να δημιουργήσει SQL, να κατασκευάσει αγωγούς, να εξηγήσει ιχνηλατήσεις στοίβας, να σχεδιάσει μοντέλα dbt, ακόμη και να προτείνει σχήματα αποθήκης με ανησυχητική σιγουριά. GitHub Copilot για SQL Σχετικά με τα μοντέλα dbt GitHub Copilot
Νιώθεις σαν να παρακολουθείς ένα περονοφόρο ανυψωτικό να μαθαίνει να κάνει ζογκλερικά. Εντυπωσιακό, ελαφρώς ανησυχητικό, και δεν είσαι απόλυτα σίγουρος τι σημαίνει για την εργασία σου 😅
Αλλά η αλήθεια είναι λιγότερο εύστοχη από τον τίτλο. Η Τεχνητή Νοημοσύνη αλλάζει ριζικά τη μηχανική δεδομένων. Αυτοματοποιεί τα βαρετά, επαναλήψιμα κομμάτια. Επιταχύνει τις στιγμές του τύπου «Ξέρω τι θέλω αλλά δεν μπορώ να θυμηθώ τη σύνταξη». Επίσης, δημιουργεί ολοκαίνουργια είδη χάους.
Ας το εκθέσουμε λοιπόν σωστά, χωρίς υπερβολική αισιοδοξία ή πανικό για το doom-scrolling.
Άρθρα που ίσως σας ενδιαφέρουν μετά από αυτό:
🔗 Θα αντικαταστήσει η Τεχνητή Νοημοσύνη τους ακτινολόγους;
Πώς η Τεχνητή Νοημοσύνη απεικόνισης αλλάζει τη ροή εργασίας, την ακρίβεια και τους μελλοντικούς ρόλους.
🔗 Θα αντικαταστήσει η Τεχνητή Νοημοσύνη τους λογιστές;
Δείτε ποιες λογιστικές εργασίες αυτοματοποιεί η Τεχνητή Νοημοσύνη και ποιες παραμένουν ανθρώπινες.
🔗 Θα αντικαταστήσει η Τεχνητή Νοημοσύνη τους επενδυτικούς τραπεζίτες;
Κατανοήστε τον αντίκτυπο της Τεχνητής Νοημοσύνης στις συμφωνίες, την έρευνα και τις σχέσεις με τους πελάτες.
🔗 Θα αντικαταστήσει η Τεχνητή Νοημοσύνη τους ασφαλιστικούς πράκτορες;
Μάθετε πώς η Τεχνητή Νοημοσύνη μεταμορφώνει την αξιολόγηση κινδύνων, τις πωλήσεις και την υποστήριξη πελατών.
Γιατί το ερώτημα «Η Τεχνητή Νοημοσύνη αντικαθιστά τους Μηχανικούς Δεδομένων» επανέρχεται συνεχώς 😬
Ο φόβος προέρχεται από ένα πολύ συγκεκριμένο σημείο: η μηχανική δεδομένων έχει πολλή επαναλήψιμη δουλειά .
-
Συγγραφή και αναδιαμόρφωση SQL
-
Δημιουργία σεναρίων πρόσληψης
-
Αντιστοίχιση πεδίων από ένα σχήμα σε ένα άλλο
-
Δημιουργία δοκιμών και βασικής τεκμηρίωσης
-
Εντοπισμός σφαλμάτων σε αγωγούς που είναι… κάπως προβλέψιμες
Η τεχνητή νοημοσύνη είναι ασυνήθιστα καλή σε επαναλήψιμα μοτίβα. Και ένα κομμάτι της μηχανικής δεδομένων είναι ακριβώς αυτό - μοτίβα που στοιβάζονται πάνω σε μοτίβα. Προτάσεις κώδικα GitHub Copilot
Επίσης, το οικοσύστημα εργαλείων ήδη «κρύβει» την πολυπλοκότητα:
-
Έγγραφα Fivetran για διαχειριζόμενους συνδέσμους ELT
-
Υπολογισμός χωρίς διακομιστή AWS Lambda (υπολογισμός χωρίς διακομιστή)
-
Προμήθεια αποθήκης με ένα κλικ
-
Αυτόματη κλιμάκωση ενορχήστρωσης Έγγραφα Apache Airflow
-
Δηλωτικά πλαίσια μετασχηματισμού Τι είναι το dbt;
Έτσι, όταν εμφανίζεται η Τεχνητή Νοημοσύνη, μπορεί να μοιάζει με το τελευταίο κομμάτι. Αν η στοίβα έχει ήδη αφαιρεθεί και η Τεχνητή Νοημοσύνη μπορεί να γράψει τον κώδικα κόλλησης... τι μένει; 🤷
Αλλά να κάτι που παραβλέπουν οι άνθρωποι: η μηχανική δεδομένων δεν είναι κυρίως η πληκτρολόγηση . Η πληκτρολόγηση είναι το εύκολο κομμάτι. Το δύσκολο είναι να κάνεις τη θολή, πολιτική, μεταβαλλόμενη επιχειρηματική πραγματικότητα να συμπεριφέρεται σαν ένα αξιόπιστο σύστημα.
Και η Τεχνητή Νοημοσύνη εξακολουθεί να παλεύει με αυτό το σκοτάδι. Οι άνθρωποι επίσης δυσκολεύονται - απλώς αυτοσχεδιάζουν καλύτερα.
Τι κάνουν στην πραγματικότητα οι μηχανικοί δεδομένων όλη μέρα (η άχαρη αλήθεια) 🧱
Ας είμαστε ειλικρινείς - ο τίτλος της θέσης εργασίας «Μηχανικός Δεδομένων» ακούγεται σαν να κατασκευάζετε πυραυλοκινητήρες από καθαρά μαθηματικά. Στην πράξη, χτίζετε εμπιστοσύνη .
Μια τυπική μέρα είναι λιγότερο «εφεύρεση νέων αλγορίθμων» και περισσότερο:
-
Διαπραγμάτευση με ομάδες upstream σχετικά με τους ορισμούς δεδομένων (επώδυνη αλλά απαραίτητη)
-
Διερεύνηση του γιατί άλλαξε μια μέτρηση (και αν είναι πραγματική)
-
Χειρισμός της μετατόπισης σχήματος και των εκπλήξεων τύπου "κάποιος πρόσθεσε μια στήλη τα μεσάνυχτα"
-
Διασφάλιση ότι οι αγωγοί είναι ταυτοποιήσιμοι, ανακτήσιμοι και παρατηρήσιμοι
-
Δημιουργία προστατευτικών κιγκλιδωμάτων, ώστε οι αναλυτές κατάντη να μην δημιουργούν κατά λάθος άχρηστους πίνακες ελέγχου
-
Διαχείριση κόστους, ώστε η αποθήκη σας να μην μετατραπεί σε πυρκαγιά χρημάτων 🔥
-
Πολιτικές ασφάλειας πρόσβασης, ελέγχου, συμμόρφωσης, διατήρησης Αρχές GDPR (Ευρωπαϊκή Επιτροπή) Περιορισμός αποθήκευσης (ICO)
-
Δημιουργία προϊόντων δεδομένων που οι άνθρωποι μπορούν πραγματικά να χρησιμοποιήσουν χωρίς να σας στείλουν μήνυμα - 20 ερωτήσεις
Ένα μεγάλο μέρος της εργασίας είναι κοινωνικό και επιχειρησιακό:
-
«Ποιος είναι ο ιδιοκτήτης αυτού του τραπεζιού;»
-
«Εξακολουθεί να ισχύει αυτός ο ορισμός;»
-
«Γιατί το CRM εξάγει διπλότυπα;»
-
«Μπορούμε να στείλουμε αυτήν τη μέτρηση στους διευθυντές χωρίς αμηχανία;» 😭
Η τεχνητή νοημοσύνη μπορεί να βοηθήσει σε ορισμένα σημεία, σίγουρα. Αλλά η πλήρης αντικατάστασή της είναι... υπερβολική.
Τι καθιστά μια ισχυρή εκδοχή ενός ρόλου μηχανικού δεδομένων; ✅
Αυτή η ενότητα έχει σημασία, επειδή η συζήτηση περί αντικατάστασης συνήθως υποθέτει ότι οι μηχανικοί δεδομένων είναι κυρίως «κατασκευαστές αγωγών». Αυτό είναι σαν να υποθέτουμε ότι οι σεφ «κόβουν κυρίως λαχανικά». Είναι μέρος της δουλειάς, αλλά δεν είναι η ίδια η δουλειά.
Μια ισχυρή εκδοχή ενός μηχανικού δεδομένων συνήθως σημαίνει ότι μπορεί να κάνει τα περισσότερα από αυτά:
-
Σχεδιασμός για αλλαγή
Τα δεδομένα αλλάζουν. Οι ομάδες αλλάζουν. Τα εργαλεία αλλάζουν. Ένας καλός μηχανικός κατασκευάζει συστήματα που δεν καταρρέουν κάθε φορά που η πραγματικότητα φτερνίζεται 🤧 -
Ορισμός συμβάσεων και προσδοκιών
Τι σημαίνει «πελάτης»; Τι σημαίνει «ενεργός»; Τι συμβαίνει όταν μια σειρά φτάνει αργά; Τα συμβόλαια αποτρέπουν το χάος περισσότερο από τον περίτεχνο κώδικα. Πρότυπο Συμβάσεων Ανοικτών Δεδομένων (ODCS) ODCS (GitHub) -
Ενσωματώστε την παρατηρησιμότητα σε όλα.
Όχι μόνο «εκτέλεσε» αλλά «εκτέλεσε σωστά». Φρεσκάδα, ανωμαλίες όγκου, μηδενικές εκρήξεις, μετατοπίσεις κατανομής. Παρατηρησιμότητα δεδομένων (Dynatrace) Τι είναι η παρατηρησιμότητα δεδομένων; -
Κάντε συμβιβασμούς όπως ένας ενήλικας:
Ταχύτητα έναντι ορθότητας, κόστος έναντι καθυστέρησης, ευελιξία έναντι απλότητας. Δεν υπάρχει τέλειος αγωγός, μόνο αγωγοί με τους οποίους μπορείτε να ζήσετε. -
Μεταφράστε τις επιχειρηματικές ανάγκες σε ανθεκτικά συστήματα.
Οι άνθρωποι ζητούν μετρήσεις, αλλά αυτό που χρειάζονται είναι ένα προϊόν δεδομένων. Η τεχνητή νοημοσύνη μπορεί να συντάξει τον κώδικα, αλλά δεν μπορεί να γνωρίζει μαγικά τις επιχειρηματικές ναρκοθετήσεις. -
Κρατήστε τα δεδομένα μυστικά.
Το μεγαλύτερο κομπλιμέντο για μια πλατφόρμα δεδομένων είναι ότι κανείς δεν μιλάει γι' αυτά. Τα δεδομένα που δεν έχουν κανένα πρόβλημα είναι καλά δεδομένα. Όπως οι υδραυλικές εγκαταστάσεις. Τα παρατηρείς μόνο όταν χαλάει 🚽
Αν κάνετε αυτά τα πράγματα, η ερώτηση «Θα αντικαταστήσει η Τεχνητή Νοημοσύνη τους Μηχανικούς Δεδομένων;» αρχίζει να ακούγεται... λίγο παράξενη. Η Τεχνητή Νοημοσύνη μπορεί να αντικαταστήσει τις εργασίες , όχι την ιδιοκτησία .
Όπου η Τεχνητή Νοημοσύνη βοηθάει ήδη τους μηχανικούς δεδομένων (και είναι πραγματικά υπέροχο) 🤖✨
Η Τεχνητή Νοημοσύνη δεν είναι απλώς μάρκετινγκ. Όταν χρησιμοποιείται σωστά, είναι ένας νόμιμος πολλαπλασιαστής ισχύος.
1) Ταχύτερη εργασία SQL και μετασχηματισμού
-
Σχεδίαση σύνθετων συνδέσεων
-
Συγγραφή συναρτήσεων παραθύρου που προτιμάτε να μην σκέφτεστε
-
Μετατροπή λογικής απλής γλώσσας σε σκελετούς ερωτημάτων
-
Αναδιάταξη άσχημων ερωτημάτων σε αναγνώσιμα CTE GitHub Copilot για SQL
Αυτό είναι πολύ σημαντικό επειδή μειώνει το φαινόμενο της «κενής σελίδας». Πρέπει ακόμα να κάνετε επικύρωση, αλλά ξεκινάτε από το 70% αντί για το 0%.
2) Εντοπισμός σφαλμάτων και τριμμένης φρυγανιάς (breadcrumbs) της ρίζας της αιτίας
Η Τεχνητή Νοημοσύνη είναι αξιοπρεπής σε:
-
Εξήγηση μηνυμάτων σφάλματος
-
Προτείνοντας πού να κοιτάξετε
-
Συνιστώμενα βήματα τύπου "έλεγχος αναντιστοιχίας σχήματος" GitHub Copilot
Είναι σαν να έχεις έναν ακούραστο νεαρό μηχανικό που δεν κοιμάται ποτέ και μερικές φορές λέει με σιγουριά ψέματα 😅
3) Τεκμηρίωση και εμπλουτισμός καταλόγου δεδομένων
Αυτόματα δημιουργημένο:
-
Περιγραφές στηλών
-
Περιλήψεις μοντέλων
-
Εξηγήσεις γενεαλογίας
-
«Σε τι χρησιμεύει αυτός ο πίνακας;» συντάσσει την τεκμηρίωση dbt
Δεν είναι τέλειο, αλλά σπάει την κατάρα των μη καταγεγραμμένων αγωγών.
4) Δοκιμή σκαλωσιάς και έλεγχοι
Η Τεχνητή Νοημοσύνη μπορεί να προτείνει:
-
Βασικές μηδενικές δοκιμές
-
Έλεγχοι μοναδικότητας
-
Ιδέες για την ακεραιότητα αναφορών
-
Δηλώσεις τύπου «Αυτή η μέτρηση δεν πρέπει ποτέ να μειωθεί» Δοκιμές δεδομένων dbt Μεγάλες Προσδοκίες: Προσδοκίες
Και πάλι - εσείς εξακολουθείτε να αποφασίζετε τι έχει σημασία, αλλά αυτό επιταχύνει τα συνηθισμένα στάδια.
5) Κωδικός «κόλλας» αγωγού
Πρότυπα διαμόρφωσης, σκαλωσιές YAML, προσχέδια DAG ενορχήστρωσης. Αυτά τα πράγματα είναι επαναλαμβανόμενα και η τεχνητή νοημοσύνη τρώει επαναλαμβανόμενα για πρωινό 🥣 Apache Airflow DAGs
Όπου η Τεχνητή Νοημοσύνη εξακολουθεί να δυσκολεύεται (και αυτός είναι ο πυρήνας της) 🧠🧩
Αυτό είναι το μέρος που έχει τη μεγαλύτερη σημασία, επειδή απαντά στο ερώτημα της αντικατάστασης με πραγματική υφή.
1) Ασάφεια και μεταβαλλόμενοι ορισμοί
Η επιχειρηματική λογική σπάνια είναι σαφής. Οι άνθρωποι αλλάζουν γνώμη στη μέση της πρότασης. Το «Ενεργός χρήστης» γίνεται «ενεργός χρήστης που πληρώνει» γίνεται «ενεργός χρήστης που πληρώνει εξαιρουμένων των επιστροφών χρημάτων εκτός από μερικές φορές»... ξέρετε πώς είναι.
Η Τεχνητή Νοημοσύνη δεν μπορεί να ανεχτεί αυτή την ασάφεια. Μπορεί μόνο να μαντέψει.
2) Λογοδοσία και κίνδυνος
Όταν ένας αγωγός σπάσει και ο πίνακας ελέγχου του exec εμφανίζει ανοησίες, κάποιος πρέπει να:
-
διαλογή
-
επικοινωνία αντίκτυπου
-
φτιάξε το
-
πρόληψη υποτροπής
-
γράψτε την νεκροψία
-
να αποφασίσει εάν η επιχείρηση μπορεί ακόμα να εμπιστευτεί τα στοιχεία της περασμένης εβδομάδας
Η Τεχνητή Νοημοσύνη μπορεί να βοηθήσει, αλλά δεν μπορεί να λογοδοτήσει με ουσιαστικό τρόπο. Οι οργανισμοί δεν λειτουργούν με βάση την αύρα - λειτουργούν με βάση την υπευθυνότητα.
3) Συστημική σκέψη
Οι πλατφόρμες δεδομένων είναι οικοσυστήματα: απορρόφηση, αποθήκευση, μετασχηματισμοί, ενορχήστρωση, διακυβέρνηση, έλεγχος κόστους, SLA. Μια αλλαγή σε ένα επίπεδο έχει διακυμάνσεις. Έννοιες Apache Airflow
Η Τεχνητή Νοημοσύνη μπορεί να προτείνει τοπικές βελτιστοποιήσεις που δημιουργούν παγκόσμιο πρόβλημα. Είναι σαν να φτιάχνεις μια πόρτα που τρίζει αφαιρώντας την 😬
4) Ασφάλεια, ιδιωτικότητα, συμμόρφωση
Εδώ είναι που οι φαντασιώσεις αντικατάστασης πεθαίνουν.
-
Έλεγχοι πρόσβασης
-
Ασφάλεια σε επίπεδο γραμμής Πολιτικές πρόσβασης σε γραμμές Snowflake Ασφάλεια σε επίπεδο γραμμής BigQuery
-
Διαχείριση PII NIST Privacy Framework
-
Κανόνες διατήρησης Περιορισμός αποθήκευσης (ICO) Οδηγίες της ΕΕ σχετικά με τη διατήρηση
-
Διαδρομές ελέγχου NIST SP 800-92 (διαχείριση αρχείων καταγραφής) CIS Control 8 (Διαχείριση αρχείων καταγραφής ελέγχου)
-
Περιορισμοί παραμονής δεδομένων
Η Τεχνητή Νοημοσύνη μπορεί να καταρτίζει πολιτικές, αλλά η ασφαλής εφαρμογή τους είναι πραγματική μηχανική.
5) Τα «άγνωστα άγνωστα»
Τα περιστατικά δεδομένων είναι συχνά απρόβλεπτα:
-
Ένα API προμηθευτή αλλάζει σιωπηλά τη σημασιολογία
-
Μια υπόθεση ζώνης ώρας αλλάζει
-
Ένα backfill αντιγράφει ένα partition
-
Ένας μηχανισμός επανάληψης προκαλεί διπλές εγγραφές
-
Μια νέα λειτουργία προϊόντος εισάγει νέα μοτίβα συμβάντων
Η Τεχνητή Νοημοσύνη είναι πιο αδύναμη όταν η κατάσταση δεν είναι ένα γνωστό μοτίβο.
Συγκριτικός Πίνακας: τι μειώνει τι, στην πράξη 🧾🤔
Παρακάτω ακολουθεί μια πρακτική άποψη. Όχι «εργαλεία που αντικαθιστούν τους ανθρώπους», αλλά εργαλεία και προσεγγίσεις που συρρικνώνουν ορισμένες εργασίες.
| Εργαλείο / προσέγγιση | Ακροατήριο | Ατμόσφαιρα τιμής | Γιατί λειτουργεί |
|---|---|---|---|
| Συν-πιλότοι κώδικα τεχνητής νοημοσύνης (βοηθοί SQL + Python) Συν-πιλότος GitHub | Μηχανικοί που γράφουν πολύ κώδικα | Από δωρεάν έως επί πληρωμή | Εξαιρετικός σε scaffolding, refactors, σύνταξη… μερικές φορές αυτάρεσκος με έναν πολύ συγκεκριμένο τρόπο |
| Διαχειριζόμενοι σύνδεσμοι ELT Fivetran | Οι ομάδες έχουν κουραστεί να δημιουργούν καταπόσεις | Συνδρομή-y | Αφαιρεί τον πόνο κατά την κατάποση, αλλά διακόπτει με νέους διασκεδαστικούς τρόπους |
| Πλατφόρμες παρατηρησιμότητας δεδομένων Παρατηρησιμότητα δεδομένων (Dynatrace) | Όποιος κατέχει SLAs (Συμφωνίες Παροχής Υπηρεσιών Στάθμευσης) | Μεσαίες έως μεγάλες επιχειρήσεις | Εντοπίζει ανωμαλίες νωρίς - όπως ανιχνευτές καπνού για αγωγούς 🔔 |
| Πλαίσια μετασχηματισμού (δηλωτική μοντελοποίηση) dbt | Υβριδικά Analytics + DE | Συνήθως εργαλείο + υπολογισμός | Κάνει τη λογική αρθρωτή και ελέγξιμη, λιγότερο σπαγγέτι |
| Κατάλογοι δεδομένων + σημασιολογικά επίπεδα dbt Σημασιολογικό Επίπεδο | Οργανισμοί με σύγχυση μετρήσεων | Εξαρτάται, στην πράξη | Ορίζει την «αλήθεια» μία φορά - μειώνει τις ατελείωτες μετρικές συζητήσεις |
| Ενορχήστρωση με πρότυπα Apache Airflow | Ομάδες με επίκεντρο την πλατφόρμα | Κόστος ανοιχτών λειτουργιών + λειτουργιών | Τυποποιεί τις ροές εργασίας· λιγότερα DAG με νιφάδες χιονιού |
| Δημιουργία εγγράφων dbt με υποβοήθηση τεκμηρίωσης με τεχνητή νοημοσύνη | Ομάδες που μισούν να γράφουν έγγραφα | Φθηνό έως μέτριο | Δημιουργεί «αρκετά καλά» έγγραφα, ώστε η γνώση να μην εξαφανίζεται |
| Πολιτικές αυτοματοποιημένης διακυβέρνησης Πλαίσιο απορρήτου NIST | Ρυθμιζόμενα περιβάλλοντα | Επιχειρηματική | Βοηθά στην επιβολή κανόνων - αλλά εξακολουθεί να χρειάζεται ανθρώπους για να σχεδιάσουν τους κανόνες |
Παρατηρήστε τι λείπει: μια γραμμή που λέει «πατήστε το κουμπί για να καταργήσετε τους μηχανικούς δεδομένων». Ναι... αυτή η γραμμή δεν υπάρχει 🙃
Λοιπόν… η Τεχνητή Νοημοσύνη θα αντικαταστήσει τους Μηχανικούς Δεδομένων ή απλώς θα αλλάξει τον ρόλο; 🛠️
Ιδού η μη δραματική απάντηση: Η Τεχνητή Νοημοσύνη θα αντικαταστήσει μέρη της ροής εργασίας, όχι το επάγγελμα.
Αλλά θα αναδιαμορφώσει τον ρόλο. Και αν το αγνοήσεις αυτό, θα νιώσεις την πίεση.
Τι αλλάζει:
-
Λιγότερος χρόνος για να γράψετε τυποποιημένα
-
Λιγότερος χρόνος αναζήτησης εγγράφων
-
Περισσότερος χρόνος για αναθεώρηση, επικύρωση, σχεδιασμό
-
Περισσότερος χρόνος για τον καθορισμό συμβάσεων και προσδοκιών ποιότητας στο Πρότυπο Συμβάσεων Ανοικτών Δεδομένων (ODCS)
-
Περισσότερος χρόνος συνεργασίας με προϊόντα, ασφάλεια, χρηματοοικονομικά
Αυτή είναι η ανεπαίσθητη μετατόπιση: η μηχανική δεδομένων γίνεται λιγότερο για την «οικοδόμηση αγωγών» και περισσότερο για την «οικοδόμηση ενός αξιόπιστου συστήματος προϊόντων δεδομένων»
Και σε μια ήσυχη παραλλαγή, αυτό έχει μεγαλύτερη αξία, όχι μικρότερη.
Επίσης - και θα το πω αυτό ακόμα κι αν ακούγεται δραματικό - η Τεχνητή Νοημοσύνη αυξάνει τον αριθμό των ανθρώπων που μπορούν να παράγουν δεδομένα , γεγονός που αυξάνει την ανάγκη για κάποιον που θα διατηρεί το όλο θέμα εύρυθμο. Περισσότερη παραγωγή σημαίνει μεγαλύτερη πιθανή σύγχυση. Συν-πιλότος GitHub
Είναι σαν να δίνεις σε όλους ένα τρυπάνι. Τέλεια! Τώρα κάποιος πρέπει να επιβάλει τον κανόνα «παρακαλώ μην τρυπάτε τον σωλήνα νερού» 🪠
Η νέα στοίβα δεξιοτήτων που παραμένει πολύτιμη (ακόμα και με Τεχνητή Νοημοσύνη παντού) 🧠⚙️
Αν θέλετε μια πρακτική λίστα ελέγχου που να ανταποκρίνεται στις μελλοντικές ανάγκες, μοιάζει με αυτό:
Νοοτροπία σχεδιασμού συστήματος
-
Μοντελοποίηση δεδομένων που επιβιώνει από την αλλαγή
-
Συμβιβασμοί μαζικής μετάδοσης έναντι ροής
-
Σκέψη για καθυστέρηση, κόστος, αξιοπιστία
Μηχανική ποιότητας δεδομένων
-
Συμβάσεις, επικυρώσεις, ανίχνευση ανωμαλιών Πρότυπο Συμβάσεων Ανοικτών Δεδομένων (ODCS) Παρατηρησιμότητα δεδομένων (Dynatrace)
-
SLA, SLO, συνήθειες αντιμετώπισης περιστατικών
-
Ανάλυση της βασικής αιτίας με πειθαρχία (όχι με επιθετικότητα)
Διακυβέρνηση και αρχιτεκτονική εμπιστοσύνης
-
Μοτίβα πρόσβασης
-
Ελεγξιμότητα NIST SP 800-92 (διαχείριση αρχείων καταγραφής)
-
Ιδιωτικότητα εκ σχεδιασμού Πλαίσιο απορρήτου NIST
-
Διαχείριση κύκλου ζωής δεδομένων Οδηγίες της ΕΕ σχετικά με τη διατήρηση
Πλατφορμική σκέψη
-
Επαναχρησιμοποιήσιμα πρότυπα, χρυσά μονοπάτια
-
Τυποποιημένα μοτίβα για πρόσληψη, μετασχηματισμούς, δοκιμές Δοκιμές δεδομένων Fivetran
-
Αυτοεξυπηρετούμενα εργαλεία που δεν λιώνουν
Επικοινωνία (ναι, πραγματικά)
-
Σύνταξη σαφών εγγράφων
-
Ευθυγράμμιση ορισμών
-
Λέγοντας «όχι» ευγενικά αλλά σταθερά
-
Εξηγώντας τους συμβιβασμούς χωρίς να ακούγομαι σαν ρομπότ 🤖
Αν μπορείτε να τα κάνετε αυτά, το ερώτημα «Θα αντικαταστήσει η Τεχνητή Νοημοσύνη τους Μηχανικούς Δεδομένων;» γίνεται λιγότερο απειλητικό. Η Τεχνητή Νοημοσύνη γίνεται ο εξωσκελετός σας, όχι ο αντικαταστάτης σας.
Ρεαλιστικά σενάρια όπου ορισμένοι ρόλοι μηχανικής δεδομένων συρρικνώνονται 📉
Εντάξει, μια γρήγορη ανασκόπηση της πραγματικότητας, γιατί δεν είναι όλα ηλιοφάνεια και κομφετί με emoji 🎉
Μερικοί ρόλοι είναι πιο εκτεθειμένοι:
-
Ρόλοι μόνο για κατάποση όπου όλα είναι τυπικές υποδοχές Υποδοχές Fivetran
-
Ομάδες που εκτελούν κυρίως επαναλαμβανόμενες αναφορές με ελάχιστη απόκλιση τομέα
-
Οργανισμοί όπου η μηχανική δεδομένων αντιμετωπίζεται ως «πίθηκοι SQL» (σκληρό, αλλά αληθινό)
-
Θέσεις με χαμηλή συμμετοχή, όπου η δουλειά είναι απλώς αιτήματα και αντιγραφή-επικόλληση
Η Τεχνητή Νοημοσύνη σε συνδυασμό με τα διαχειριζόμενα εργαλεία μπορούν να συρρικνώσουν αυτές τις ανάγκες.
Αλλά ακόμα και εκεί, η αντικατάσταση συνήθως μοιάζει με:
-
Λιγότεροι άνθρωποι κάνουν την ίδια επαναλαμβανόμενη εργασία
-
Μεγαλύτερη έμφαση στην ιδιοκτησία και την αξιοπιστία της πλατφόρμας
-
Μια στροφή προς την κατεύθυνση «ένα άτομο μπορεί να υποστηρίξει περισσότερους αγωγούς»
Ναι, λοιπόν - τα πρότυπα αριθμού εργαζομένων μπορούν να αλλάξουν. Οι ρόλοι εξελίσσονται. Οι τίτλοι αλλάζουν. Αυτό είναι πραγματικό.
Παρόλα αυτά, η εκδοχή του ρόλου με υψηλή ευθύνη και εμπιστοσύνη παραμένει.
Τελική σύνοψη 🧾✅
Θα αντικαταστήσει η Τεχνητή Νοημοσύνη τους Μηχανικούς Δεδομένων; Όχι με τον καθαρό, ολοκληρωμένο τρόπο που φαντάζονται οι άνθρωποι.
Η Τεχνητή Νοημοσύνη θα:
-
αυτοματοποιήστε επαναλαμβανόμενες εργασίες
-
επιτάχυνση κωδικοποίησης, εντοπισμού σφαλμάτων και τεκμηρίωσης GitHub Copilot για τεκμηρίωση SQL dbt
-
μείωση του κόστους παραγωγής αγωγών
Αλλά η μηχανική δεδομένων αφορά ουσιαστικά:
-
ευθύνη
-
σχεδιασμός συστήματος
-
εμπιστοσύνη, ποιότητα και διακυβέρνηση Πρότυπο Συμβάσεων Ανοικτών Δεδομένων (ODCS) Πλαίσιο Απορρήτου NIST
-
μεταφράζοντας την θολή επιχειρηματική πραγματικότητα σε αξιόπιστα προϊόντα δεδομένων
Η Τεχνητή Νοημοσύνη μπορεί να βοηθήσει με αυτό... αλλά δεν το «κατέχει».
Αν είστε μηχανικός δεδομένων, η κίνηση είναι απλή (όχι εύκολη, αλλά απλή):
εστιάστε στην ιδιοκτησία, την ποιότητα, την platform thinking και την επικοινωνία. Αφήστε την Τεχνητή Νοημοσύνη να χειριστεί τα στερεότυπα, ενώ εσείς χειρίζεστε τα μέρη που έχουν σημασία.
Και ναι - μερικές φορές αυτό σημαίνει να είσαι ο ενήλικας στο δωμάτιο. Όχι λαμπερό. Ήσυχα δυνατό όμως 😄
Θα αντικαταστήσει η Τεχνητή Νοημοσύνη τους Μηχανικούς Δεδομένων;
Θα αντικαταστήσει ορισμένες εργασίες, θα αναδιαμορφώσει την ιεραρχία και θα κάνει τους καλύτερους μηχανικούς δεδομένων ακόμη πιο πολύτιμους. Αυτή είναι η πραγματική ιστορία.
Συχνές ερωτήσεις
Θα αντικαταστήσει η Τεχνητή Νοημοσύνη εντελώς τους μηχανικούς δεδομένων;
Στους περισσότερους οργανισμούς, η Τεχνητή Νοημοσύνη είναι πιο πιθανό να αναλάβει συγκεκριμένες εργασίες παρά να διαγράψει εντελώς τον ρόλο. Μπορεί να επιταχύνει τη σύνταξη SQL, την κατασκευή αγωγών, τα πρώτα περάσματα τεκμηρίωσης και τη δημιουργία βασικών δοκιμών. Αλλά η μηχανική δεδομένων συνεπάγεται επίσης την ιδιοκτησία και την υπευθυνότητα, καθώς και το άκομψο έργο της δημιουργίας μιας ακατάστατης επιχειρηματικής πραγματικότητας που να συμπεριφέρεται σαν ένα αξιόπιστο σύστημα. Αυτά τα μέρη εξακολουθούν να χρειάζονται ανθρώπους για να αποφασίσουν πώς μοιάζει το «σωστό» και να αναλάβουν την ευθύνη όταν τα πράγματα χαλάνε.
Ποια μέρη της μηχανικής δεδομένων αυτοματοποιεί ήδη η Τεχνητή Νοημοσύνη;
Η Τεχνητή Νοημοσύνη αποδίδει καλύτερα σε επαναλήψιμες εργασίες: σύνταξη και αναδιαμόρφωση SQL, δημιουργία σκελετών μοντέλων dbt, εξήγηση συνηθισμένων σφαλμάτων και παραγωγή περιγραμμάτων τεκμηρίωσης. Μπορεί επίσης να δημιουργήσει δοκιμές όπως ελέγχους null ή μοναδικότητας και να δημιουργήσει κώδικα "κόλλας" προτύπου για εργαλεία ενορχήστρωσης. Η νίκη είναι η ορμή - ξεκινάτε πιο κοντά σε μια λειτουργική λύση - αλλά πρέπει να επικυρώσετε την ορθότητα και να διασφαλίσετε ότι ταιριάζει στο περιβάλλον σας.
Αν η Τεχνητή Νοημοσύνη μπορεί να γράψει SQL και αγωγούς, τι απομένει για τους μηχανικούς δεδομένων;
Πολλά: ο ορισμός συμβάσεων δεδομένων, η διαχείριση της απόκλισης σχημάτων και η διασφάλιση ότι οι αγωγοί είναι ταυτοποιήσιμοι, παρατηρήσιμοι και ανακτήσιμοι. Οι μηχανικοί δεδομένων αφιερώνουν χρόνο στη διερεύνηση αλλαγών σε μετρήσεις, στην κατασκευή προστατευτικών κιγκλιδωμάτων για τους μεταγενέστερους χρήστες και στη διαχείριση των συμβιβασμών κόστους και αξιοπιστίας. Η δουλειά συχνά καταλήγει στην οικοδόμηση εμπιστοσύνης και στη διατήρηση της «ήσυχης» πλατφόρμας δεδομένων, που σημαίνει ότι είναι αρκετά σταθερή ώστε κανείς να μην χρειάζεται να τη σκέφτεται καθημερινά.
Πώς αλλάζει η Τεχνητή Νοημοσύνη την καθημερινή εργασία ενός μηχανικού δεδομένων;
Συνήθως μειώνει τον τυπικό χρόνο και τον «χρόνο αναζήτησης», επομένως αφιερώνετε λιγότερο χρόνο στην πληκτρολόγηση και περισσότερο χρόνο στην αναθεώρηση, την επικύρωση και τον σχεδιασμό. Αυτή η μετατόπιση ωθεί τον ρόλο προς τον καθορισμό των προσδοκιών, των προτύπων ποιότητας και των επαναχρησιμοποιήσιμων μοτίβων αντί να κωδικοποιείτε τα πάντα με το χέρι. Στην πράξη, πιθανότατα θα κάνετε περισσότερη συνεργασία με το προϊόν, την ασφάλεια και τα οικονομικά - επειδή το τεχνικό αποτέλεσμα γίνεται ευκολότερο στη δημιουργία, αλλά πιο δύσκολο στη διαχείριση.
Γιατί η Τεχνητή Νοημοσύνη δυσκολεύεται με ασαφείς επιχειρηματικούς ορισμούς όπως ο «ενεργός χρήστης»;
Επειδή η επιχειρηματική λογική δεν είναι στατική ή ακριβής - αλλάζει στη μέση του έργου και ποικίλλει ανάλογα με τα ενδιαφερόμενα μέρη. Η Τεχνητή Νοημοσύνη μπορεί να συντάξει μια ερμηνεία, αλλά δεν μπορεί να αναλάβει την ευθύνη της απόφασης όταν οι ορισμοί εξελίσσονται ή προκύπτουν συγκρούσεις. Η μηχανική δεδομένων συχνά απαιτεί διαπραγμάτευση, τεκμηρίωση υποθέσεων και μετατροπή ασαφών απαιτήσεων σε διαρκείς συμβάσεις. Αυτή η εργασία «ανθρώπινης ευθυγράμμισης» είναι ένας βασικός λόγος για τον οποίο ο ρόλος δεν εξαφανίζεται ακόμη και καθώς βελτιώνονται τα εργαλεία.
Μπορεί η Τεχνητή Νοημοσύνη να χειριστεί με ασφάλεια τη διακυβέρνηση δεδομένων, το απόρρητο και τις εργασίες συμμόρφωσης;
Η Τεχνητή Νοημοσύνη μπορεί να βοηθήσει στη σύνταξη πολιτικών ή στην πρόταση προσεγγίσεων, αλλά η ασφαλής εφαρμογή απαιτεί πραγματική μηχανική και προσεκτική εποπτεία. Η διακυβέρνηση περιλαμβάνει ελέγχους πρόσβασης, διαχείριση προσωπικών δεδομένων, κανόνες διατήρησης, διαδρομές ελέγχου και μερικές φορές περιορισμούς διαμονής. Πρόκειται για τομείς υψηλού κινδύνου όπου η φράση «σχεδόν σωστή» δεν είναι αποδεκτή. Οι άνθρωποι πρέπει να σχεδιάζουν τους κανόνες, να επαληθεύουν την εφαρμογή τους και να παραμένουν υπόλογοι για τα αποτελέσματα συμμόρφωσης.
Ποιες δεξιότητες παραμένουν πολύτιμες για τους μηχανικούς δεδομένων καθώς βελτιώνεται η Τεχνητή Νοημοσύνη;
Δεξιότητες που καθιστούν τα συστήματα ανθεκτικά: σκέψη σχεδιασμού συστημάτων, μηχανική ποιότητας δεδομένων και τυποποίηση με γνώμονα την πλατφόρμα. Οι συμβάσεις, η παρατηρησιμότητα, οι συνήθειες απόκρισης σε περιστατικά και η πειθαρχημένη ανάλυση των βαθύτερων αιτιών αποκτούν ακόμη μεγαλύτερη σημασία όταν περισσότεροι άνθρωποι μπορούν να δημιουργούν γρήγορα αντικείμενα δεδομένων. Η επικοινωνία γίνεται επίσης παράγοντας διαφοροποίησης - η ευθυγράμμιση των ορισμών, η σύνταξη σαφών εγγράφων και η εξήγηση των συμβιβασμών χωρίς δραματοποίηση είναι ένα μεγάλο μέρος της διατήρησης της αξιοπιστίας των δεδομένων.
Ποιοι ρόλοι μηχανικής δεδομένων διατρέχουν τον μεγαλύτερο κίνδυνο από την Τεχνητή Νοημοσύνη και τα διαχειριζόμενα εργαλεία;
Οι ρόλοι που επικεντρώνονται στενά στην επαναλαμβανόμενη πρόσληψη ή σε τυπικές αγωγούς αναφοράς είναι πιο εκτεθειμένοι, ειδικά όταν οι διαχειριζόμενοι σύνδεσμοι ELT καλύπτουν τις περισσότερες πηγές. Η εργασία με χαμηλή ανάληψη ευθύνης και ticket-driven μπορεί να συρρικνωθεί, επειδή η Τεχνητή Νοημοσύνη και η αφαίρεση μειώνουν την προσπάθεια ανά αγωγό. Αλλά αυτό συνήθως μοιάζει με λιγότερους ανθρώπους που εκτελούν επαναλαμβανόμενες εργασίες, όχι με «καθόλου μηχανικούς δεδομένων». Οι ρόλοι με υψηλή ανάληψη ευθύνης που επικεντρώνονται στην αξιοπιστία, την ποιότητα και την εμπιστοσύνη παραμένουν ανθεκτικοί.
Πώς μπορώ να χρησιμοποιήσω εργαλεία όπως το GitHub Copilot ή το dbt με τεχνητή νοημοσύνη χωρίς να δημιουργήσω χάος;
Αντιμετωπίστε την έξοδο της Τεχνητής Νοημοσύνης ως προσχέδιο, όχι ως απόφαση. Χρησιμοποιήστε την για να δημιουργήσετε σκελετούς ερωτημάτων, να βελτιώσετε την αναγνωσιμότητα ή να υποστηρίζετε δοκιμές και έγγραφα dbt και, στη συνέχεια, να την επικυρώνετε με πραγματικά δεδομένα και ακραίες περιπτώσεις. Συνδυάστε την με ισχυρές συμβάσεις: συμβόλαια, πρότυπα ονοματοδοσίας, ελέγχους παρατηρησιμότητας και πρακτικές αναθεώρησης. Ο στόχος είναι η ταχύτερη παράδοση χωρίς να θυσιάζεται η αξιοπιστία, ο έλεγχος κόστους ή η διακυβέρνηση.
Αναφορές
-
Ευρωπαϊκή Επιτροπή - Επεξήγηση της προστασίας δεδομένων: Αρχές του ΓΚΠΔ - commission.europa.eu
-
Γραφείο Επιτρόπου Πληροφοριών (ICO) - Περιορισμός αποθήκευσης - ico.org.uk
-
Ευρωπαϊκή Επιτροπή - Για πόσο χρονικό διάστημα μπορούν να διατηρούνται τα δεδομένα και είναι απαραίτητη η ενημέρωσή τους; - commission.europa.eu
-
Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας (NIST) - Πλαίσιο Απορρήτου - nist.gov
-
Κέντρο Πόρων Ασφάλειας Υπολογιστών NIST (CSRC) - SP 800-92: Οδηγός για τη Διαχείριση Αρχείων Καταγραφής Ασφάλειας Υπολογιστών - csrc.nist.gov
-
Κέντρο για την Ασφάλεια στο Διαδίκτυο (CIS) - Διαχείριση Αρχείων Καταγραφής Ελέγχου (Έλεγχοι CIS) - cisecurity.org
-
Τεκμηρίωση Snowflake - Πολιτικές πρόσβασης σε γραμμές - docs.snowflake.com
-
Τεκμηρίωση Google Cloud - Ασφάλεια σε επίπεδο γραμμής BigQuery - docs.cloud.google.com
-
BITOL - Πρότυπο Συμβάσεων Ανοικτών Δεδομένων (ODCS) v3.1.0 - bitol-io.github.io
-
BITOL (GitHub) - Πρότυπο Συμβολαίων Ανοικτών Δεδομένων - github.com
-
Apache Airflow - Τεκμηρίωση (σταθερή) - airflow.apache.org
-
Apache Airflow - DAG (βασικές έννοιες) - airflow.apache.org
-
Τεκμηρίωση Εργαστηρίων dbt - Τι είναι το dbt; - docs.getdbt.com
-
Τεκμηρίωση dbt Labs - Σχετικά με τα μοντέλα dbt - docs.getdbt.com
-
Τεκμηρίωση Εργαστηρίων dbt - Τεκμηρίωση - docs.getdbt.com
-
Τεκμηρίωση Εργαστηρίων dbt - Δοκιμές δεδομένων - docs.getdbt.com
-
Τεκμηρίωση dbt Labs - Σημασιολογικό Επίπεδο dbt - docs.getdbt.com
-
Τεκμηρίωση Fivetran - Ξεκινώντας - fivetran.com
-
Fivetran - Συνδέσεις - fivetran.com
-
Τεκμηρίωση AWS - Οδηγός προγραμματιστή AWS Lambda - docs.aws.amazon.com
-
GitHub - Συγπιλότος GitHub - github.com
-
Έγγραφα GitHub - Λήψη προτάσεων κώδικα στο IDE σας με το GitHub Copilot - docs.github.com
-
Microsoft Learn - GitHub Copilot για SQL (επέκταση VS Code) - learn.microsoft.com
-
Τεκμηρίωση Dynatrace - Παρατηρησιμότητα δεδομένων - docs.dynatrace.com
-
DataGalaxy - Τι είναι η παρατηρησιμότητα δεδομένων; - datagalaxy.com
-
Τεκμηρίωση για τις Μεγάλες Προσδοκίες - Επισκόπηση Προσδοκιών - docs.greatexpectations.io