Πώς λειτουργεί η αναβάθμιση με τεχνητή νοημοσύνη; [Βίντεο και κουίζ]

Σύντομη απάντηση: Η αναβάθμιση με τεχνητή νοημοσύνη λειτουργεί εκπαιδεύοντας ένα μοντέλο σε ζεύγη εικόνων χαμηλής και υψηλής ανάλυσης και στη συνέχεια χρησιμοποιώντας τες για να προβλέψει πιστευτά επιπλέον pixel κατά την αναβάθμιση. Εάν το μοντέλο έχει δει παρόμοιες υφές ή πρόσωπα στην εκπαίδευση, μπορεί να προσθέσει πειστικές λεπτομέρειες. Εάν όχι, μπορεί να «παραισθησιάσει» αντικείμενα όπως φωτοστέφανα, κηρώδες δέρμα ή τρεμόπαιγμα στο βίντεο. 

Βασικά συμπεράσματα:

Πρόβλεψη: Το μοντέλο παράγει εύλογες λεπτομέρειες, όχι μια εγγυημένη ανακατασκευή της πραγματικότητας.

Επιλογή μοντέλου: Τα CNN τείνουν να είναι πιο σταθερά. Τα GAN μπορούν να φαίνονται πιο ευκρινή, αλλά υπάρχει ο κίνδυνος να εφεύρουν χαρακτηριστικά.

Έλεγχοι τεχνουργημάτων: Προσέξτε για φωτοστέφανα, επαναλαμβανόμενες υφές, «σχεδόν γράμματα» και πλαστικά πρόσωπα.

Σταθερότητα βίντεο: Χρησιμοποιήστε χρονικές μεθόδους, διαφορετικά θα δείτε λαμπυρίσματα και μετατόπιση από καρέ σε καρέ.

Χρήση υψηλού διακυβεύματος: Εάν η ακρίβεια έχει σημασία, αποκαλύψτε την επεξεργασία και αντιμετωπίστε τα αποτελέσματα ως ενδεικτικά.

Πιθανότατα το έχετε δει: μια μικροσκοπική, τραγανή εικόνα μετατρέπεται σε κάτι αρκετά καθαρό για να το εκτυπώσετε, να το μεταδώσετε μέσω streaming ή να το βάλετε σε μια παρουσίαση χωρίς να ανησυχείτε. Μοιάζει με απάτη. Και - με τον καλύτερο τρόπο - κάπως έτσι είναι 😅

Έτσι, ο τρόπος λειτουργίας της αναβάθμισης με τεχνητή νοημοσύνη καταλήγει σε κάτι πιο συγκεκριμένο από το «ο υπολογιστής βελτιώνει τις λεπτομέρειες» (χειρόγραφο) και πιο κοντά στο «ένα μοντέλο προβλέπει μια εύλογη δομή υψηλής ανάλυσης με βάση μοτίβα που έμαθε από πολλά παραδείγματα» (Deep Learning for Image Super-resolution: A Survey). Αυτό το βήμα πρόβλεψης είναι όλο το παιχνίδι - και αυτός είναι ο λόγος για τον οποίο η αναβάθμιση με τεχνητή νοημοσύνη μπορεί να φαίνεται εκπληκτική... ή λίγο πλαστική... ή σαν η γάτα σας να μεγάλωσε με επιπλέον μουστάκια.

Άρθρα που ίσως σας ενδιαφέρουν μετά από αυτό:

🔗 Πώς λειτουργεί η Τεχνητή Νοημοσύνη
Μάθετε τα βασικά των μοντέλων, των δεδομένων και της συμπερασματολογίας στην Τεχνητή Νοημοσύνη.

🔗 Πώς μαθαίνει η Τεχνητή Νοημοσύνη
Δείτε πώς τα δεδομένα εκπαίδευσης και η ανατροφοδότηση βελτιώνουν την απόδοση του μοντέλου με την πάροδο του χρόνου.

🔗 Πώς η Τεχνητή Νοημοσύνη ανιχνεύει ανωμαλίες
Κατανοήστε τις βασικές γραμμές μοτίβων και πώς η Τεχνητή Νοημοσύνη επισημαίνει γρήγορα ασυνήθιστη συμπεριφορά.

🔗 Πώς η Τεχνητή Νοημοσύνη προβλέπει τις τάσεις
Εξερευνήστε μεθόδους πρόβλεψης που εντοπίζουν σήματα και προβλέπουν τη μελλοντική ζήτηση.

Πώς λειτουργεί η αναβάθμιση τεχνητής νοημοσύνης: η βασική ιδέα, με απλά λόγια 🧩

Αναβάθμιση σημαίνει αύξηση της ανάλυσης: περισσότερα pixel, μεγαλύτερη εικόνα. Η παραδοσιακή αναβάθμιση (όπως η δικυβική) ουσιαστικά τεντώνει τα pixel και εξομαλύνει τις μεταβάσεις (δικυβική παρεμβολή). Είναι μια χαρά, αλλά δεν μπορεί να εφεύρει νέες λεπτομέρειες - απλώς παρεμβάλλει.

Η αναβάθμιση της τεχνητής νοημοσύνης δοκιμάζει κάτι πιο τολμηρό (γνωστό και ως «υπερ-ανάλυση» στον κόσμο της έρευνας) (Deep Learning for Image Super-resolution: A Survey):

• Εξετάζει την είσοδο χαμηλής ανάλυσης

• Αναγνωρίζει μοτίβα (άκρες, υφές, χαρακτηριστικά προσώπου, πινελιές κειμένου, ύφανση υφάσματος…)

• Προβλέπει πώς θα πρέπει να μοιάζει μια έκδοση υψηλότερης ανάλυσης

• Δημιουργεί επιπλέον δεδομένα pixel που ταιριάζουν σε αυτά τα μοτίβα

Όχι «αποκατάσταση της πραγματικότητας τέλεια», μάλλον «κάνε μια εξαιρετικά πιστευτή εικασία» (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)). Αν αυτό ακούγεται λίγο ύποπτο, δεν κάνεις λάθος - αλλά αυτός είναι και ο λόγος που λειτουργεί τόσο καλά 😄

Και ναι, αυτό σημαίνει ότι η αναβάθμιση μέσω τεχνητής νοημοσύνης είναι ουσιαστικά ελεγχόμενη παραίσθηση... αλλά με έναν παραγωγικό τρόπο που σέβεται τα pixel.

Τι κάνει μια αναβάθμιση τεχνητής νοημοσύνης (AI) καλή; ✅🛠️

Αν κρίνετε ένα upscaler AI (ή μια προεπιλογή ρύθμισης), να τι έχει τη μεγαλύτερη σημασία:

• Ανάκτηση λεπτομερειών χωρίς υπερβολικό ψήσιμο.
  Η καλή αναβάθμιση προσθέτει τραγανότητα και δομή, όχι τραγανό θόρυβο ή ψεύτικους πόρους.

• Πειθαρχία στις άκρες.
  Οι καθαρές γραμμές παραμένουν καθαρές. Τα κακά μοντέλα κάνουν τις άκρες να ταλαντεύονται ή να βγάζουν φωτοστέφανα.

• Ρεαλισμός υφής.
  Τα μαλλιά δεν πρέπει να γίνονται πινελιές. Το τούβλο δεν πρέπει να γίνεται σφραγίδα με επαναλαμβανόμενο μοτίβο.

• Χειρισμός θορύβου και συμπίεσης
  Πολλές καθημερινές εικόνες υποβάλλονται σε πλήρη επεξεργασία σε μορφή JPEG. Ένα καλό upscaler δεν ενισχύει αυτή τη ζημιά (Real-ESRGAN).

• Επίγνωση προσώπου και κειμένου
  Τα πρόσωπα και το κείμενο είναι τα πιο εύκολα σημεία για να εντοπίσετε λάθη. Τα καλά μοντέλα τα αντιμετωπίζουν με προσοχή (ή έχουν εξειδικευμένες λειτουργίες).

• Συνέπεια σε όλα τα καρέ (για βίντεο)
  Αν η λεπτομέρεια τρεμοπαίζει από καρέ σε καρέ, τα μάτια σας θα ουρλιάζουν. Η αναβάθμιση βίντεο ζει ή πεθαίνει από τη χρονική σταθερότητα (BasicVSR (CVPR 2021)).

• Στοιχεία ελέγχου που έχουν νόημα.
  Θέλετε ρυθμιστικά που αντιστοιχούν σε πραγματικά αποτελέσματα: αποθορυβοποίηση, αφαίρεση θολώματος, αφαίρεση τεχνουργημάτων, διατήρηση κόκκων, ακόνισμα... τα πρακτικά πράγματα.

Ένας ήρεμος κανόνας που ισχύει: η «καλύτερη» αναβάθμιση είναι συχνά αυτή που μόλις και μετά βίας προσέχεις. Απλώς φαίνεται ότι είχες μια καλύτερη κάμερα εξαρχής 📷✨

Πίνακας σύγκρισης: δημοφιλείς επιλογές αναβάθμισης AI (και σε τι χρησιμεύουν) 📊🙂

Παρακάτω ακολουθεί μια πρακτική σύγκριση. Οι τιμές είναι σκόπιμα ασαφείς, επειδή τα εργαλεία ποικίλλουν ανάλογα με την άδεια χρήσης, τα πακέτα, το κόστος υπολογισμού και όλα αυτά τα διασκεδαστικά πράγματα.

Ομολογία περίεργης μορφοποίησης: Το "Paid-ish" κάνει πολλή δουλειά σε αυτόν τον πίνακα. Αλλά καταλαβαίνετε τι εννοώ 😅

Το μεγάλο μυστικό: τα μοντέλα μαθαίνουν μια αντιστοίχιση από χαμηλή σε υψηλή ανάλυση 🧠➡️🖼️

Στην καρδιά των περισσότερων αναβαθμίσεων τεχνητής νοημοσύνης βρίσκεται μια εποπτευόμενη ρύθμιση μάθησης (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)):

1. Ξεκινήστε με εικόνες υψηλής ανάλυσης (η «αλήθεια»)

2. Υποδειγματοληψία σε εκδόσεις χαμηλής ανάλυσης (η «είσοδος»)

3. Εκπαιδεύστε ένα μοντέλο για να ανακατασκευάσει την αρχική υψηλή ανάλυση από τη χαμηλή ανάλυση

Με την πάροδο του χρόνου, το μοντέλο μαθαίνει συσχετίσεις όπως:

• «Αυτό το είδος θολώματος γύρω από ένα μάτι συνήθως οφείλεται στις βλεφαρίδες»

• «Αυτό το σύμπλεγμα pixel συχνά υποδεικνύει κείμενο serif»

• «Αυτή η κλίση των άκρων μοιάζει με γραμμή στέγης, όχι με τυχαίο θόρυβο»

Δεν είναι απομνημόνευση συγκεκριμένων εικόνων (με την απλή έννοια), είναι εκμάθηση στατιστικής δομής (Deep Learning for Image Super-resolution: A Survey). Σκεφτείτε το σαν να μαθαίνετε τη γραμματική των υφών και των ακμών. Όχι γραμματική ποίησης, μάλλον σαν... γραμματική εγχειριδίου IKEA 🪑📦 (αδέξια μεταφορά, αλλά αρκετά κοντά).

Τα βασικά: τι συμβαίνει κατά την εξαγωγή συμπερασμάτων (όταν αναβαθμίζετε) ⚙️✨

Όταν τροφοδοτείτε μια εικόνα σε ένα πρόγραμμα αναβάθμισης AI, υπάρχει συνήθως μια διαδικασία όπως αυτή:

• Προεπεξεργασία

  • Μετατροπή χρωματικού χώρου (μερικές φορές)

  • Κανονικοποίηση τιμών pixel

  • Χωρίστε την εικόνα σε κομμάτια αν είναι μεγάλη (έλεγχος πραγματικότητας VRAM 😭) (Αποθετήριο Real-ESRGAN (επιλογές πλακιδίων))

• Εξαγωγή χαρακτηριστικών

  • Τα πρώιμα επίπεδα ανιχνεύουν άκρες, γωνίες, κλίσεις

  • Βαθύτερα στρώματα ανιχνεύουν μοτίβα: υφές, σχήματα, στοιχεία του προσώπου

• Ανοικοδόμηση

  • Το μοντέλο δημιουργεί έναν χάρτη χαρακτηριστικών υψηλότερης ανάλυσης

  • Στη συνέχεια, το μετατρέπει σε πραγματική έξοδο pixel

• Μετα-επεξεργασία

  • Προαιρετικό ακόνισμα

  • Προαιρετική αποθόρυξη

  • Προαιρετική καταστολή τεχνουργημάτων (κουδούνισμα, φωτοστέφανα, μπλοκάρισμα)

Μια ανεπαίσθητη λεπτομέρεια: πολλά εργαλεία αναβαθμίζουν τα πλακίδια και στη συνέχεια αναμειγνύουν τις ραφές. Τα εξαιρετικά εργαλεία κρύβουν τα όρια των πλακιδίων. Τα εργαλεία Me αφήνουν αχνά σημάδια πλέγματος αν μισοκλείσετε τα μάτια σας. Και ναι, θα μισοκλείσετε τα μάτια σας, επειδή οι άνθρωποι λατρεύουν να εξετάζουν μικροσκοπικές ατέλειες με ζουμ 300% σαν μικρά γκρέμλιν 🧌

Οι κύριες οικογένειες μοντέλων που χρησιμοποιούνται για αναβάθμιση τεχνητής νοημοσύνης (και γιατί φαίνονται διαφορετικές) 🤖📚

1) Υπερανάλυση βασισμένη στο CNN (το κλασικό εργαλείο)

Τα συνελικτικά νευρωνικά δίκτυα είναι εξαιρετικά σε τοπικά μοτίβα: ακμές, υφές, μικρές δομές (Υπερανάλυση εικόνας χρησιμοποιώντας βαθιά συνελικτικά δίκτυα (SRCNN)).

• Πλεονεκτήματα: γρήγορο, σταθερό, λιγότερες εκπλήξεις

• Μειονεκτήματα: μπορεί να φαίνεται λίγο «επεξεργασμένο» αν πιεστεί πολύ

2) Αναβάθμιση βασισμένη σε GAN (τύπου ESRGAN) 🎭

Τα GAN (Generative Adversarial Networks - Γενετικά Αντιφατικά Δίκτυα) εκπαιδεύουν μια γεννήτρια να παράγει εικόνες υψηλής ανάλυσης που ένας διακριτής δεν μπορεί να διακρίνει από τις πραγματικές (Γενετικά Αντιφατικά Δίκτυα).

• Πλεονεκτήματα: έντονη λεπτομέρεια, εντυπωσιακή υφή

• Μειονεκτήματα: μπορεί να εφεύρει λεπτομέρειες που δεν υπήρχαν - μερικές φορές λανθασμένες, μερικές φορές παράξενες (SRGAN, ESRGAN)

Ένα GAN μπορεί να σας δώσει αυτή την ευκρίνεια που σας κόβει την ανάσα. Μπορεί επίσης να δώσει στο θέμα του πορτρέτου σας ένα επιπλέον φρύδι. Οπότε... επιλέξτε τις μάχες σας 😬

3) Αναβάθμιση βασισμένη στη διάχυση (το δημιουργικό wildcard) 🌫️➡️🖼️

Τα μοντέλα διάχυσης αποθορυβοποιούνται βήμα προς βήμα και μπορούν να καθοδηγηθούν για την παραγωγή λεπτομερειών υψηλής ανάλυσης (SR3).

• Πλεονεκτήματα: μπορεί να είναι εξαιρετικά καλός στις εύλογες λεπτομέρειες, ειδικά για δημιουργική εργασία

• Μειονεκτήματα: μπορεί να απομακρυνθεί από την αρχική ταυτότητα/δομή εάν οι ρυθμίσεις είναι επιθετικές (SR3)

Εδώ είναι που η «αναβάθμιση» αρχίζει να συνδυάζεται με την «επαναπροσδιορισμό». Μερικές φορές αυτό ακριβώς θέλετε. Άλλες φορές όχι.

4) Αναβάθμιση βίντεο με χρονική συνέπεια 🎞️

Η αναβάθμιση βίντεο συχνά προσθέτει λογική με επίγνωση κίνησης:

• Χρησιμοποιεί γειτονικά καρέ για σταθεροποίηση λεπτομερειών (BasicVSR (CVPR 2021))

• Προσπαθεί να αποφύγει το τρεμόπαιγμα και τα αντικείμενα που σέρνονται

• Συχνά συνδυάζει την υπερ-ανάλυση με την αποθόρυβη λειτουργία και την αποπλεξη (Topaz Video)

Αν η αναβάθμιση εικόνας είναι σαν την αποκατάσταση ενός πίνακα, η αναβάθμιση βίντεο είναι σαν την αποκατάσταση ενός flipbook χωρίς να αλλάζει σχήμα η μύτη του χαρακτήρα σε κάθε σελίδα. Το οποίο είναι... πιο δύσκολο από ό,τι ακούγεται.

Γιατί η αναβάθμιση μέσω τεχνητής νοημοσύνης μερικές φορές φαίνεται ψεύτικη (και πώς να την εντοπίσετε) 👀🚩

Η αναβάθμιση μέσω τεχνητής νοημοσύνης αποτυγχάνει με αναγνωρίσιμους τρόπους. Μόλις μάθετε τα μοτίβα, θα τα βλέπετε παντού, όπως όταν αγοράζετε ένα καινούργιο αυτοκίνητο και ξαφνικά παρατηρείτε αυτό το μοντέλο σε κάθε δρόμο 😵💫

Το κοινό λέει:

• Αποτρίχωση με κερί σε πρόσωπα (υπερβολική αποθορυβοποίηση + λείανση)

• Υπερβολικά ακονισμένα φωτοστέφανα γύρω από τις άκρες (κλασική περιοχή «υπερβολής») (Δικυβική παρεμβολή)

• Επαναλαμβανόμενες υφές (οι τοίχοι από τούβλα γίνονται μοτίβα αντιγραφής-επικόλλησης)

• Τραγανά μικρο-αντίθεση που φωνάζει «αλγόριθμος»

• Παραμόρφωση κειμένου όπου τα γράμματα γίνονται σχεδόν γράμματα (το χειρότερο είδος)

• Μετατόπιση λεπτομερειών όπου μικρά χαρακτηριστικά αλλάζουν ανεπαίσθητα, ειδικά στις ροές εργασίας διάχυσης (SR3)

Το δύσκολο κομμάτι: μερικές φορές αυτά τα αντικείμενα φαίνονται «καλύτερα» με την πρώτη ματιά. Ο εγκέφαλός σας αγαπά την ευκρίνεια. Αλλά μετά από λίγο, νιώθει... περίεργα.

Μια καλή τακτική είναι να κάνετε σμίκρυνση και να ελέγξετε αν φαίνεται φυσικό σε κανονική απόσταση θέασης. Αν φαίνεται καλό μόνο με ζουμ 400%, αυτό δεν είναι νίκη, είναι χόμπι 😅

Πώς λειτουργεί η αναβάθμιση τεχνητής νοημοσύνης: η πλευρά της εκπαίδευσης, χωρίς τον πονοκέφαλο των μαθηματικών 📉🙂

Η εκπαίδευση μοντέλων υπερανάλυσης συνήθως περιλαμβάνει:

• Ζευγαρωμένα σύνολα δεδομένων (είσοδος χαμηλής ανάλυσης, στόχος υψηλής ανάλυσης) (Εικόνα Υπερ-Ανάλυσης Χρησιμοποιώντας Βαθιά Συνελικτικά Δίκτυα (SRCNN))

• Συναρτήσεις απώλειας που τιμωρούν λανθασμένες ανακατασκευές (SRGAN)

Τυπικοί τύποι απωλειών:

• Απώλεια pixel (L1/L2)
  Ενθαρρύνει την ακρίβεια. Μπορεί να παράγει ελαφρώς αδύναμα αποτελέσματα.

• Η αντιληπτική απώλεια
  συγκρίνει βαθύτερα χαρακτηριστικά (όπως «μήπως μοιάζει ») αντί για ακριβή εικονοστοιχεία (Αντιληπτικές Απώλειες (Johnson et al., 2016)).

• Η αντιφατική απώλεια (GAN)
  ενθαρρύνει τον ρεαλισμό, μερικές φορές εις βάρος της κυριολεκτικής ακρίβειας (SRGAN, Γενετικά Αντιφατικά Δίκτυα).

Υπάρχει μια συνεχής διελκυστίνδα:

• Κάντε το πιστό στο πρωτότυπο
  vs.

• Κάντε το οπτικά ευχάριστο

Διαφορετικά εργαλεία καταλήγουν σε διαφορετικά σημεία σε αυτό το φάσμα. Και μπορεί να προτιμάτε ένα ανάλογα με το αν αποκαθιστάτε οικογενειακές φωτογραφίες ή προετοιμάζετε μια αφίσα όπου η «όμορφη εμφάνιση» έχει μεγαλύτερη σημασία από την εγκληματολογική ακρίβεια.

Πρακτικές ροές εργασίας: φωτογραφίες, παλιές σαρώσεις, anime και βίντεο 📸🧾🎥

Φωτογραφίες (πορτρέτα, τοπία, φωτογραφίες προϊόντων)

Η βέλτιστη πρακτική είναι συνήθως:

• Ήπια αποθορυβοποίηση πρώτα (εάν χρειάζεται)

• Αναβαθμισμένο με συντηρητικά περιβάλλοντα

• Προσθέστε ξανά κόκκους αν τα πράγματα φαίνονται πολύ λεία (ναι, πραγματικά)

Το σιτηρό είναι σαν το αλάτι. Η υπερβολική ποσότητα καταστρέφει το δείπνο, αλλά τίποτα απολύτως δεν μπορεί να έχει λίγο άγευστη γεύση 🍟

Παλιές σαρώσεις και εικόνες με μεγάλη συμπίεση

Αυτά είναι πιο δύσκολα επειδή το μοντέλο μπορεί να αντιμετωπίσει τα μπλοκ συμπίεσης ως «υφή».
Δοκιμάστε:

• Αφαίρεση ή απομπλοκάρισμα τεχνουργημάτων

• Στη συνέχεια, αναβαθμίστε

• Μετά, ελαφρύ ακόνισμα (όχι υπερβολικό... το ξέρω, όλοι το λένε αυτό, αλλά παρόλα αυτά)

Anime και γραμμική τέχνη

Τα γραμμικά σχέδια ωφελούνται από:

• Μοντέλα που διατηρούν καθαρές άκρες

• Μειωμένη παραίσθηση υφής.
  Η αναβάθμιση anime συχνά φαίνεται υπέροχη επειδή τα σχήματα είναι πιο απλά και ομοιόμορφα. (Τυχερό.)

Βίντεο

Το βίντεο προσθέτει επιπλέον βήματα:

• Αποθόρυξη

• Αποπλεξή (για ορισμένες πηγές)

• Πολυτελές

• Χρονική εξομάλυνση ή σταθεροποίηση (BasicVSR (CVPR 2021))

• Προαιρετική επανεισαγωγή κόκκων για συνοχή

Αν παραλείψετε τη χρονική συνέπεια, θα παρατηρήσετε αυτό το λαμπυρίζον τρεμόπαιγμα της λεπτομέρειας. Μόλις το προσέξετε, δεν μπορείτε να το ξεπεράσετε. Σαν μια τριζόμενη καρέκλα σε ένα ήσυχο δωμάτιο 😖

Επιλέγοντας ρυθμίσεις χωρίς να μαντεύετε υπερβολικά (ένα μικρό φύλλο με συμβουλές) 🎛️😵💫

Ιδού μια καλή αρχική νοοτροπία:

• Αν τα πρόσωπα φαίνονται πλαστικά
  , μειώστε τον θόρυβο, μειώστε την ευκρίνεια ή δοκιμάστε ένα μοντέλο ή λειτουργία διατήρησης προσώπου.

• Εάν οι υφές φαίνονται πολύ έντονες,
  χαμηλώστε τα ρυθμιστικά «βελτίωσης λεπτομέρειας» ή «ανάκτησης λεπτομέρειας» και προσθέστε διακριτικούς κόκκους μετά.

• Εάν οι άκρες λάμπουν,
  μειώστε την ακόνισμα και ελέγξτε τις επιλογές καταστολής της φωτοστέφανο.

• Αν η εικόνα φαίνεται υπερβολικά «τεχνητή νοημοσύνη»,
  κάντε μια πιο συντηρητική κίνηση. Μερικές φορές η καλύτερη κίνηση είναι απλώς… λιγότερη.

Επίσης: μην αναβαθμίζετε 8x μόνο και μόνο επειδή μπορείτε. Ένα καθαρό 2x ή 4x είναι συχνά το ιδανικό σημείο. Πέρα από αυτό, ζητάτε από το μοντέλο να γράψει fanfiction για τα pixel σας 📖😂

Ηθική, αυθεντικότητα και το αμήχανο ερώτημα της «αλήθειας» 🧭😬

Η αναβάθμιση με τεχνητή νοημοσύνη θολώνει τα όρια:

• Η αποκατάσταση συνεπάγεται την ανάκτηση όσων υπήρχαν

• Η βελτίωση συνεπάγεται την προσθήκη αυτού που δεν υπήρχε

Με τις προσωπικές φωτογραφίες, συνήθως είναι μια χαρά (και όμορφη). Με τη δημοσιογραφία, τα νομικά στοιχεία, την ιατρική απεικόνιση ή οτιδήποτε έχει σημασία η πιστότητα... πρέπει να είστε προσεκτικοί (OSAC/NIST: Πρότυπος Οδηγός για τη Διαχείριση Ψηφιακών Εικόνων Εγκληματολογικής, Οδηγίες SWGDE για την Ανάλυση Εικόνων Εγκληματολογικής Έρευνας).

Ένας απλός κανόνας:

• Εάν τα διακυβεύματα είναι υψηλά, αντιμετωπίστε την αναβάθμιση της τεχνητής νοημοσύνης ως ενδεικτικήκαι όχι ως οριστική.

Επίσης, η αποκάλυψη έχει σημασία σε επαγγελματικά πλαίσια. Όχι επειδή η Τεχνητή Νοημοσύνη είναι κακή, αλλά επειδή το κοινό αξίζει να γνωρίζει εάν οι λεπτομέρειες ανακατασκευάστηκαν ή καταγράφηκαν. Αυτό είναι απλώς... σεβαστό.

Τελικές σημειώσεις και μια γρήγορη ανακεφαλαίωση 🧡✅

Λοιπόν, ο τρόπος λειτουργίας της αναβάθμισης με τεχνητή νοημοσύνη είναι ο εξής: τα μοντέλα μαθαίνουν πώς οι λεπτομέρειες υψηλής ανάλυσης τείνουν να σχετίζονται με μοτίβα χαμηλής ανάλυσης και στη συνέχεια προβλέπουν πιστευτά επιπλέον pixel κατά την αναβάθμιση (Deep Learning for Image Super-resolution: A Survey). Ανάλογα με την οικογένεια μοντέλων (CNN, GAN, diffusion, video-temporal), αυτή η πρόβλεψη μπορεί να είναι συντηρητική και πιστή... ή τολμηρή και κατά καιρούς ασυνάρτητη 😅

Γρήγορη ανακεφαλαίωση

• Η παραδοσιακή αναβάθμιση τεντώνει τα pixel (Δικυβική παρεμβολή)

• Η αναβάθμιση της τεχνητής νοημοσύνης προβλέπει τις λεπτομέρειες που λείπουν χρησιμοποιώντας μοτίβα που έχουν μαθευτεί (Υπερανάλυση εικόνας χρησιμοποιώντας βαθιά συνελικτικά δίκτυα (SRCNN))

• Τα εξαιρετικά αποτελέσματα προέρχονται από το σωστό μοντέλο + συγκράτηση

• Παρακολουθήστε για φωτοστέφανα, κηρώδη πρόσωπα, επαναλαμβανόμενες υφές και τρεμόπαιγμα στο βίντεο (BasicVSR (CVPR 2021))

• Η αναβάθμιση είναι συχνά «εύλογη ανακατασκευή» και όχι η τέλεια αλήθεια (SRGAN, ESRGAN)

Αν θέλεις, πες μου τι αναβαθμίζεις (πρόσωπα, παλιές φωτογραφίες, βίντεο, anime, σαρώσεις κειμένου) και θα σου προτείνω μια στρατηγική ρυθμίσεων που τείνει να αποφεύγει τις συνηθισμένες παγίδες της «εμφάνισης τεχνητής νοημοσύνης» 🎯🙂

Παράδειγμα από τον πραγματικό κόσμο: Αναβάθμιση φωτογραφιών προϊόντων από παλιές αγορές 📸

Σενάριο

Ένα μικρό κατάστημα με μεταχειρισμένες φωτογραφικές μηχανές έχει εξαγάγει 40 φωτογραφίες προϊόντων από έναν παλιό ιστότοπο σε πλάτος 800px. Ο ιδιοκτήτης θέλει να τις επαναχρησιμοποιήσει σε μια νέα σελίδα ηλεκτρονικού εμπορίου, όπου το συνιστώμενο μέγεθος εικόνας είναι πλάτος 1.600px.

Το πρόβλημα: η κανονική αλλαγή μεγέθους κάνει τις κάμερες να φαίνονται απαλές, ενώ η επιθετική αναβάθμιση με τεχνητή νοημοσύνη μπορεί να κάνει τις λαστιχένιες λαβές, τους σειριακούς αριθμούς και τις σημάνσεις των φακών να φαίνονται ύποπτα ψεύτικες. Αυτό έχει σημασία επειδή οι αγοραστές βασίζονται σε αυτές τις λεπτομέρειες πριν από την αγορά.

Ο στόχος δεν είναι η τέλεια «αποκατάσταση» των πληροφοριών που λείπουν. Είναι η δημιουργία καθαρότερων εικόνων καταχώρισης διατηρώντας παράλληλα τα αρχικά αρχεία διαθέσιμα, επειδή η αναβάθμιση της τεχνητής νοημοσύνης προβλέπει εύλογες λεπτομέρειες αντί για εγγυημένη αλήθεια.

Τι χρειάζεται η ροή εργασίας

Πρωτότυπες φωτογραφίες προϊόντων, ιδανικά οι λιγότερο συμπιεσμένες διαθέσιμες εκδόσεις

Ένα μέγεθος εξόδου-στόχου, όπως μια αναβάθμιση 2× από 800px σε πλάτος 1.600px

Ένα εργαλείο ή μοντέλο με ξεχωριστά χειριστήρια για αποθορυβοποίηση, ακόνισμα και αφαίρεση τεχνουργημάτων

Μια απλή λίστα ελέγχου αξιολόγησης για κείμενο, άκρες, λογότυπα, βίδες, κουμπιά, νερά δέρματος και αντανακλάσεις

Ένας φάκελος για τα πρωτότυπα και ένας ξεχωριστός φάκελος για τις επεξεργασμένες εξαγωγές, ώστε να μην αντικαθίσταται τίποτα

Παράδειγμα οδηγιών

Χρησιμοποιήστε αυτό το είδος οδηγιών κατά τη δοκιμή ενός upscaler AI:

Αναβαθμίστε αυτήν τη φωτογραφία προϊόντος κατά 2× για μια καταχώριση ηλεκτρονικού εμπορίου. Διατηρήστε το σχήμα του αντικειμένου, την τοποθέτηση του λογότυπου, τα σημάδια του φακού, τις άκρες των κουμπιών και την υφή της επιφάνειας όσο το δυνατόν πιο κοντά στο πρωτότυπο. Χρησιμοποιήστε ήπια συμπίεση καθαρισμού, χαμηλή ευκρίνεια και αποφύγετε την επινόηση επιπλέον κειμένου, γρατσουνιών, ετικετών, σειριακών αριθμών ή διακοσμητικών λεπτομερειών. Η τελική εικόνα θα πρέπει να φαίνεται φυσική στο κανονικό μέγεθος σελίδας προϊόντος, όχι τεχνητά ευκρινής σε ζουμ 400%.

Πώς να το δοκιμάσετε

Ξεκινήστε με πέντε μικτές εικόνες πριν επεξεργαστείτε ολόκληρη την παρτίδα:

Μία καθαρή φωτογραφία προϊόντος με καλό φωτισμό

Μία εικόνα συμπιεσμένη σε JPEG με μπλοκάρισμα

Μία φωτογραφία με μικροσκοπικό τυπωμένο κείμενο ή σημάδια φακού

Μία σκοτεινή εικόνα με θόρυβο στις σκιές

Μία εικόνα με ανακλαστικό μέταλλο ή γυαλί

Μετά την αναβάθμιση, συγκρίνετε κάθε αποτέλεσμα με το πρωτότυπο σε ποσοστό 100% και 200%. Ελέγξτε αν τα ονόματα των επωνυμιών, οι επιλογείς, οι βίδες, οι θύρες και τα μοτίβα υφής εξακολουθούν να ταιριάζουν. Εάν το μοντέλο δημιουργεί "σχεδόν γράμματα" ή ψεύτικα σημάδια στην επιφάνεια, χαμηλώστε τη ρύθμιση ευκρίνειας ή ανάκτησης λεπτομερειών.

Αποτέλεσμα

Ενδεικτικό αποτέλεσμα: βασίζεται στον χρονισμό μιας δοκιμής πέντε εικόνων πριν και μετά τη χρήση αυτής της ροής εργασίας.

Ο χειροκίνητος καθαρισμός και η αλλαγή μεγέθους χρειάστηκαν περίπου 9 λεπτά ανά εικόνα ή 45 λεπτά για πέντε εικόνες.

Η ροή εργασίας με τη βοήθεια τεχνητής νοημοσύνης διαρκούσε περίπου 3 λεπτά ανά εικόνα ή 15 λεπτά για πέντε εικόνες.

Αυτό αντιστοιχεί σε περίπου 30 λεπτά εξοικονόμησης σε πέντε εικόνες ή σε περίπου 4 ώρες εξοικονόμησης σε μια παρτίδα 40 εικόνων.

Αποτέλεσμα ελέγχου ποιότητας: 4 από τις 5 εικόνες πέρασαν τον πρώτο έλεγχο. Μία εικόνα απέτυχε επειδή το upscaler παραμόρφωσε το μικρό κείμενο του φακού, επομένως υποβλήθηκε σε επανεπεξεργασία με χαμηλότερη ευκρίνεια και χωρίς βελτίωση κειμένου.

Η πολύτιμη μέτρηση εδώ δεν είναι απλώς το «φαίνεται πιο ευκρινές». Είναι: πόσες εικόνες περνούν από μια παράλληλη αξιολόγηση χωρίς επινοημένες λεπτομέρειες;

Τι μπορεί να πάει στραβά

Το μοντέλο μπορεί να μετατρέψει σκόνη, μπλοκ JPEG ή γρατσουνιές σε «πραγματική» υφή.

Ένα μικροσκοπικό κείμενο μπορεί να γίνει ψεύτικο κείμενο που φαίνεται πιστευτό μέχρι να κάνετε ζουμ.

Η υπερβολική αποθορυβοποίηση μπορεί να κάνει το καουτσούκ, το δέρμα ή το βουρτσισμένο μέταλλο να φαίνονται κηρώδη.

Το δυνατό ακόνισμα μπορεί να δημιουργήσει φωτοστέφανα γύρω από τις άκρες του προϊόντος.

Η μαζική επεξεργασία μπορεί να αποκρύψει λάθη, επομένως ελέγξτε ένα δείγμα πριν από την εξαγωγή όλων των στοιχείων.

Για το ηλεκτρονικό εμπόριο, ο ασφαλέστερος κανόνας είναι απλός: ποτέ μην χρησιμοποιείτε αναβάθμιση μέσω τεχνητής νοημοσύνης για να κρύψετε ζημιές, να αλλάξετε την κατάσταση ή να κάνετε ένα προϊόν να φαίνεται νεότερο από ό,τι είναι.

Πρακτικό πακέτο

Η αναβάθμιση με τεχνητή νοημοσύνη λειτουργεί καλύτερα όταν την αντιμετωπίζετε ως ένα ελεγχόμενο βήμα ολοκλήρωσης και όχι ως ένα μαγικό κουμπί επιδιόρθωσης. Χρησιμοποιήστε συντηρητικές ρυθμίσεις 2×, ελέγξτε τις λεπτομέρειες που ενδιαφέρουν τους αγοραστές και διατηρήστε την αρχική εικόνα, ώστε η επεξεργασμένη έκδοση να παραμείνει αξιόπιστη.

Παράδειγμα από τον πραγματικό κόσμο: Αναβάθμιση ενός παλιού βίντεο εκπαίδευσης χωρίς να το κάνετε να λαμπυρίζει

Σενάριο

Μια μικρή εταιρεία εκπαίδευσης έχει ένα βίντεο επίδειξης ασφαλείας διάρκειας 7 λεπτών που έχει ηχογραφηθεί το 2014 σε ανάλυση 720p. Το περιεχόμενο εξακολουθεί να έχει αξία, αλλά το υλικό φαίνεται απαλό στη νέα ιστοσελίδα της εταιρείας, ειδικά σε μεγαλύτερες οθόνες φορητών υπολογιστών.

Η ομάδα θέλει να εξάγει μια πιο καθαρή έκδοση 1080p χωρίς επαναλήψεις. Ο κίνδυνος είναι ότι η επιθετική αναβάθμιση με τεχνητή νοημοσύνη θα μπορούσε να κάνει τα πρόσωπα να φαίνονται κηρώδη, να μετατρέψει το κείμενο στις πινακίδες σε «σχεδόν λέξεις» ή να δημιουργήσει τρεμοπαίζει υφή από καρέ σε καρέ.

Ο στόχος δεν είναι να κάνουμε το βίντεο να φαίνεται ολοκαίνουργιο. Είναι να το κάνουμε πιο καθαρό, πιο σταθερό και λιγότερο συμπιεσμένο, διατηρώντας παράλληλα το πρόσωπο του εκπαιδευτή, τις προειδοποιητικές ετικέτες, τις κινήσεις των χεριών και τις λεπτομέρειες του εξοπλισμού πιστά στο πρωτότυπο.

Τι χρειάζεται η ροή εργασίας

Πρωτότυπο αρχείο βίντεο, όχι συμπιεσμένο αρχείο λήψης από μέσα κοινωνικής δικτύωσης, εάν είναι δυνατόν

Στοχευμένο μέγεθος εξαγωγής, όπως από 720p σε 1080p αντί να μεταβείτε απευθείας σε 4K

Ένα πρόγραμμα αναβάθμισης βίντεο με επιλογές αποθορυβοποίησης, ευκρίνειας, επιδιόρθωσης συμπίεσης και χρονικής συνέπειας

Ένα σύντομο δοκιμαστικό κλιπ με πρόσωπα, κίνηση, κείμενο και λεπτομερείς επιφάνειες

Μια λίστα ελέγχου αξιολόγησης για τρεμόπαιγμα, φωτοστέφανα, παραμορφωμένο κείμενο, υφή προσώπου και κινούμενες άκρες

Ένα αποθηκευμένο αντίγραφο του αρχικού βίντεο για σύγκριση και αποκάλυψη, εάν χρειάζεται

Παράδειγμα οδηγιών

Χρησιμοποιήστε αυτό το είδος οδηγιών πριν από την επεξεργασία ολόκληρου του βίντεο:

Αναβαθμίστε αυτό το εκπαιδευτικό βίντεο 720p σε 1080p. Δώστε προτεραιότητα στη φυσική κίνηση, τις σταθερές άκρες, το ευανάγνωστο υπάρχον κείμενο και την ρεαλιστική υφή του δέρματος. Χρησιμοποιήστε ήπια επιδιόρθωση συμπίεσης και χαμηλή ευκρίνεια. Μην επινοείτε κείμενο που λείπει, λογότυπα, ετικέτες, γρατσουνιές, λεπτομέρειες προσώπου ή σημάνσεις εξοπλισμού. Αποφύγετε τη λάμψη από καρέ σε καρέ. Το τελικό αποτέλεσμα θα πρέπει να φαίνεται πιο καθαρό σε κανονικό μέγεθος προβολής, όχι τεχνητά ευκρινές όταν γίνεται παύση και μεγέθυνση.

Πώς να το δοκιμάσετε

Πριν από την επεξεργασία ολόκληρου του αρχείου 7 λεπτών, εξαγάγετε ένα δείγμα 20 δευτερολέπτων που περιλαμβάνει:

Το πρόσωπο του εκπαιδευτή ενώ μιλάει

Ένα χέρι που κινείται κατά μήκος του πλαισίου

Μια προειδοποιητική ετικέτα ή ένα μικρό τυπωμένο κείμενο

Μια ανάγλυφη επιφάνεια, όπως ύφασμα, σκυρόδεμα, βουρτσισμένο μέταλλο ή πλαστικό

Ένα πανοραμικό πλάνο κάμερας ή οποιαδήποτε ασταθής κίνηση

Παρακολουθήστε το δείγμα δύο φορές: μία φορά σε κανονική ταχύτητα και μία φορά σε παύση καρέ-καρέ. Σε κανονική ταχύτητα, αναζητήστε τρεμόπαιγμα, υφή που σέρνεται ή αφύσικη κίνηση γύρω από τις άκρες. Όταν γίνει παύση, συγκρίνετε την αρχική και την αναβαθμισμένη έκδοση για να ελέγξετε αν το κείμενο, τα κουμπιά, τα εργαλεία και τα χαρακτηριστικά του προσώπου εξακολουθούν να ταιριάζουν.

Αποτέλεσμα

Ενδεικτικό αποτέλεσμα: βασισμένο στον χρονισμό ενός δοκιμαστικού κλιπ 20 δευτερολέπτων και στη συνέχεια στην εφαρμογή των ίδιων ρυθμίσεων σε ένα βίντεο 7 λεπτών.

Μια χειροκίνητη ροή εργασίας «αλλαγής μεγέθους και ευκρίνειας» χρειάστηκε περίπου 35 λεπτά, συμπεριλαμβανομένης της εξαγωγής και της αναθεώρησης, αλλά το αποτέλεσμα έδειξε ορατή λάμψη στα μαλλιά του εκπαιδευτή και φωτοστέφανα γύρω από τις πινακίδες ασφαλείας.

Η ροή εργασίας με τη βοήθεια της τεχνητής νοημοσύνης διήρκεσε περίπου 55 λεπτά, συμπεριλαμβανομένων των δοκιμαστικών εξαγωγών, αλλά μείωσε τα προβλήματα αναθεώρησης από 8 ορατά προβλήματα στην πρώτη εξαγωγή σε 2 μικρά προβλήματα στην τελική εξαγωγή.

Η τελική έκδοση πέρασε με επιτυχία 10 από τους 12 ελέγχους στη λίστα ελέγχου αξιολόγησης. Τα δύο εναπομείναντα προβλήματα ήταν μια μικρή απαλότητα στο κείμενο φόντου και ένας ήπιος θόρυβος σε μια σκοτεινή γωνία. Και τα δύο έγιναν δεκτά επειδή ο εκπαιδευτής, ο εξοπλισμός και τα βήματα ασφαλείας παρέμειναν οπτικά συνεπή.

Η σημαντική μέτρηση εδώ δεν είναι η «επίτευξη 1080p». Είναι: πόσα δευτερόλεπτα του βίντεο εμφανίζουν ενοχλητικά αντικείμενα κατά την κανονική αναπαραγωγή;

Τι μπορεί να πάει στραβά

Το μοντέλο μπορεί να ακονίσει τα μπλοκ συμπίεσης και να τα κάνει να μοιάζουν με γνήσια υφή.

Το κείμενο με καλή ποιότητα μπορεί να φαίνεται πιο αξιόπιστο, αλλά λιγότερο ακριβές.

Οι όψεις μπορεί να γίνουν πολύ ομαλές εάν η αποθορυβοποίηση είναι πολύ υψηλή.

Οι κινούμενες άκρες μπορεί να λαμπυρίζουν εάν το εργαλείο χειρίζεται κάθε πλαίσιο πολύ ανεξάρτητα.

Μια εξαγωγή 4K μπορεί να φαίνεται χειρότερη από μια περιορισμένη εξαγωγή 1080p, επειδή το μοντέλο πρέπει να επινοήσει πάρα πολλές λεπτομέρειες.

Το μεγαλύτερο λάθος είναι να κρίνουμε μόνο ένα καρέ σε παύση. Η αναβάθμιση βίντεο πρέπει να φαίνεται φυσική στην κίνηση, όχι απλώς εντυπωσιακή ως στατική εικόνα.

Πρακτικό πακέτο

Για βίντεο, η αναβάθμιση με τεχνητή νοημοσύνη λειτουργεί καλύτερα όταν δοκιμάζετε πρώτα ένα μικρό τμήμα, διατηρείτε την αναβάθμιση μέτρια και κρίνετε την κίνηση πριν από την ευκρίνεια. Ένα ελαφρώς πιο απαλό αλλά σταθερό αποτέλεσμα είναι συνήθως καλύτερο από μια καθαρή έκδοση που τρεμοπαίζει κάθε φορά που κάποιος κινείται.

Συχνές ερωτήσεις

Αναβάθμιση Τεχνητής Νοημοσύνης και πώς λειτουργεί

Η αναβάθμιση με τεχνητή νοημοσύνη (συχνά αποκαλούμενη «υπερ-ανάλυση») αυξάνει την ανάλυση μιας εικόνας προβλέποντας τις λεπτομέρειες υψηλής ανάλυσης που λείπουν από τα μοτίβα που έχουν αποκτηθεί κατά την εκπαίδευση. Αντί να απλώς τεντώνει τα pixel όπως η δικυβική παρεμβολή, ένα μοντέλο μελετά τις άκρες, τις υφές, τα πρόσωπα και τις πινελιές που μοιάζουν με κείμενο και στη συνέχεια δημιουργεί νέα δεδομένα pixel που συνάδουν με αυτά τα μοτίβα που έχουν μαθευτεί. Είναι λιγότερο «αποκατάσταση της πραγματικότητας» και περισσότερο «κάνω μια πιστευτή εικασία» που εκλαμβάνεται ως φυσική.

Αναβάθμιση με τεχνητή νοημοσύνη έναντι δικυβικής ή παραδοσιακής αλλαγής μεγέθους

Οι παραδοσιακές μέθοδοι αναβάθμισης (όπως η bicubic) παρεμβάλλουν κυρίως μεταξύ υπαρχόντων pixel, εξομαλύνοντας τις μεταβάσεις χωρίς να δημιουργούν πραγματικά νέες λεπτομέρειες. Η αναβάθμιση με τεχνητή νοημοσύνη στοχεύει στην ανακατασκευή εύλογης δομής αναγνωρίζοντας οπτικά σημάδια και προβλέποντας πώς τείνουν να μοιάζουν οι εκδόσεις υψηλής ανάλυσης αυτών των σημείων. Αυτός είναι ο λόγος για τον οποίο τα αποτελέσματα της τεχνητής νοημοσύνης μπορούν να φαίνονται δραματικά πιο ευκρινή και επίσης γιατί μπορούν να εισάγουν αντικείμενα ή να «εφευρίσκουν» λεπτομέρειες που δεν υπήρχαν στην πηγή.

Γιατί τα πρόσωπα μπορεί να φαίνονται κηρώδη ή υπερβολικά λεία

Οι κηρώδεις επιφάνειες συνήθως προέρχονται από επιθετική αποθορυβοποίηση και εξομάλυνση σε συνδυασμό με ακόνισμα που αφαιρεί τη φυσική υφή του δέρματος. Πολλά εργαλεία αντιμετωπίζουν τον θόρυβο και τη λεπτή υφή με παρόμοιο τρόπο, επομένως ο «καθαρισμός» μιας εικόνας μπορεί να σβήσει τους πόρους και τις ανεπαίσθητες λεπτομέρειες. Μια συνηθισμένη προσέγγιση είναι η μείωση της αποθορυβοποίησης και της ακόνισμα, η χρήση μιας λειτουργίας διατήρησης προσώπου, εάν είναι διαθέσιμη, και στη συνέχεια η επαναφορά μιας πινελιάς κόκκων, ώστε το αποτέλεσμα να φαίνεται λιγότερο πλαστικό και πιο φωτογραφικό.

Συνηθισμένα αντικείμενα αναβάθμισης τεχνητής νοημοσύνης που πρέπει να προσέξετε

Τυπικές ενδείξεις περιλαμβάνουν φωτοστέφανα γύρω από τις άκρες, επαναλαμβανόμενα μοτίβα υφής (όπως τούβλα αντιγραφής-επικόλλησης), τραγανή μικροαντίθεση και κείμενο που μετατρέπεται σε "σχεδόν γράμματα". Σε ροές εργασίας που βασίζονται στη διάχυση, μπορείτε επίσης να δείτε μετατόπιση λεπτομερειών όπου μικρά χαρακτηριστικά αλλάζουν ανεπαίσθητα. Για βίντεο, το τρεμόπαιγμα και η ανίχνευση λεπτομερειών στα καρέ είναι μεγάλα προειδοποιητικά σημάδια. Αν φαίνεται καλό μόνο σε ακραίο ζουμ, οι ρυθμίσεις είναι πιθανώς πολύ επιθετικές.

Πώς οι εταιρείες αναβάθμισης GAN, CNN και διάχυσης τείνουν να διαφέρουν στα αποτελέσματα

Η υπερ-ανάλυση που βασίζεται στο CNN τείνει να είναι πιο σταθερή και πιο προβλέψιμη, αλλά μπορεί να φαίνεται «επεξεργασμένη» αν πιεστεί έντονα. Οι επιλογές που βασίζονται στο GAN (τύπου ESRGAN) συχνά παράγουν πιο έντονη υφή και αντιληπτή ευκρίνεια, αλλά μπορούν να παραισθησιάσουν λανθασμένες λεπτομέρειες, ειδικά σε πρόσωπα. Η αναβάθμιση που βασίζεται στη διάχυση μπορεί να δημιουργήσει όμορφη, εύλογη λεπτομέρεια, ωστόσο μπορεί να αποκλίνει από την αρχική δομή εάν οι ρυθμίσεις καθοδήγησης ή έντασης είναι πολύ ισχυρές.

Μια πρακτική στρατηγική ρυθμίσεων για την αποφυγή μιας εμφάνισης «υπερβολικά τεχνητής νοημοσύνης»

Ξεκινήστε συντηρητικά: αναβαθμίστε την κλίμακα 2× ή 4× πριν επικεντρωθείτε σε ακραίους παράγοντες. Εάν τα πρόσωπα φαίνονται πλαστικά, μειώστε την αποθορυβοποίηση και την ευκρίνεια και δοκιμάστε μια λειτουργία με επίγνωση προσώπου. Εάν οι υφές γίνουν πολύ έντονες, μειώστε την ενίσχυση των λεπτομερειών και σκεφτείτε να προσθέσετε διακριτικούς κόκκους αργότερα. Εάν οι άκρες λάμπουν, μειώστε την ευκρίνεια και ελέγξτε την καταστολή του φωτοστέφανου ή των τεχνουργημάτων. Σε πολλά pipeline, το "λιγότερο" κερδίζει επειδή διατηρεί τον πιστευτό ρεαλισμό.

Χειρισμός παλιών σαρώσεων ή εικόνων με υψηλή συμπίεση JPEG πριν από την αναβάθμιση

Οι συμπιεσμένες εικόνες είναι δύσκολες, επειδή τα μοντέλα μπορούν να αντιμετωπίσουν τα τεχνουργήματα μπλοκ ως πραγματική υφή και να τα ενισχύσουν. Μια συνηθισμένη ροή εργασίας είναι πρώτα η αφαίρεση ή η απομπλοκάρισμα τεχνουργημάτων, στη συνέχεια η αναβάθμιση και στη συνέχεια η ελαφριά όξυνση μόνο εάν χρειάζεται. Για τις σαρώσεις, ο απαλός καθαρισμός μπορεί να βοηθήσει το μοντέλο να εστιάσει στην πραγματική δομή και όχι στη ζημιά. Ο στόχος είναι να μειωθούν τα "ψεύτικα σημάδια υφής", ώστε ο αναβαθμιστής να μην αναγκάζεται να κάνει σίγουρες εικασίες από θορυβώδεις εισόδους.

Γιατί η αναβάθμιση βίντεο είναι πιο δύσκολη από την αναβάθμιση φωτογραφιών

Η αναβάθμιση βίντεο πρέπει να είναι συνεπής σε όλα τα καρέ, όχι μόνο σε μία στατική εικόνα. Εάν οι λεπτομέρειες τρεμοπαίζουν από καρέ σε καρέ, το αποτέλεσμα γίνεται γρήγορα αποσπασματικό. Οι προσεγγίσεις που εστιάζουν στο βίντεο χρησιμοποιούν χρονικές πληροφορίες από γειτονικά καρέ για να σταθεροποιήσουν την ανακατασκευή και να αποφύγουν τα λαμπερά αντικείμενα. Πολλές ροές εργασίας περιλαμβάνουν επίσης αποθόρυβη λειτουργία, αποπλεξη για ορισμένες πηγές και προαιρετική επανεισαγωγή κόκκων, ώστε ολόκληρη η ακολουθία να δίνει την αίσθηση συνοχής και όχι τεχνητά ευκρίνειας.

Όταν η αναβάθμιση της τεχνητής νοημοσύνης δεν είναι κατάλληλη ή είναι επικίνδυνη η αξιόπιστη αξιοποίηση

Η αναβάθμιση μέσω τεχνητής νοημοσύνης αντιμετωπίζεται καλύτερα ως βελτίωση και όχι ως απόδειξη. Σε περιβάλλοντα υψηλού ρίσκου, όπως η δημοσιογραφία, τα νομικά στοιχεία, η ιατρική απεικόνιση ή η εγκληματολογική εργασία, η δημιουργία «πιστευτών» pixel μπορεί να παραπλανήσει, επειδή μπορεί να προσθέσει λεπτομέρειες που δεν καταγράφηκαν. Ένα ασφαλέστερο πλαίσιο είναι να το χρησιμοποιήσετε επεξηγηματικά και να αποκαλύψετε ότι μια διαδικασία τεχνητής νοημοσύνης ανακατασκεύασε λεπτομέρειες. Εάν η πιστότητα είναι κρίσιμη, διατηρήστε τα πρωτότυπα και καταγράψτε κάθε βήμα και ρύθμιση επεξεργασίας.

Αναφορές

1. arXiv - Βαθιά Μάθηση για Υπερ-ανάλυση Εικόνας: Μια Έρευνα - arxiv.org

2. arXiv - Υπερανάλυση εικόνας χρησιμοποιώντας βαθιά συνελικτικά δίκτυα (SRCNN) - arxiv.org

3. arXiv - Πραγματικό ESRGAN - arxiv.org

4. arXiv - ESRGAN - arxiv.org

5. arXiv - SR3 - arxiv.org

6. Προγραμματιστής NVIDIA - NVIDIA DLSS - developer.nvidia.com

7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

8. Ανοικτή Πρόσβαση του Ιδρύματος Υπολογιστικής Όρασης (CVF) - BasicVSR: Η Αναζήτηση Βασικών Στοιχείων σε Βίντεο Υπερ-Ανάλυσης (CVPR 2021) - openaccess.thecvf.com

9. arXiv - Δίκτυα Γενετικής Αντίπαλης - arxiv.org

10. arXiv - SRGAN - arxiv.org

11. arXiv - Αντιληπτικές Απώλειες (Johnson et al., 2016) - arxiv.org

12. GitHub - Αποθετήριο Real-ESRGAN (επιλογές πλακιδίων) - github.com

13. Wikipedia - Δικυβική παρεμβολή - wikipedia.org

14. Topaz Labs - Φωτογραφία Topaz - topazlabs.com

15. Topaz Labs - Βίντεο Topaz - topazlabs.com

16. Κέντρο βοήθειας Adobe - Adobe Enhance > Υπερανάλυση - helpx.adobe.com

17. NIST / OSAC - Πρότυπος Οδηγός για τη Διαχείριση Ψηφιακών Εικόνων για Εγκληματολογικούς Ερευνητές (Έκδοση 1.0) - nist.gov

18. SWGDE - Οδηγίες για την Ιατροδικαστική Ανάλυση Εικόνας - swgde.org

Βρείτε την τελευταία λέξη της Τεχνητής Νοημοσύνης στο επίσημο κατάστημα βοηθών τεχνητής νοημοσύνης

Σχετικά με εμάς