Newsmeldung von slashCAM:
Noch vor kurzem wäre die Idee, die Auflösung eines Bildes nachträglich zu erhöhen und so mehr Bilddetails sichtbar zu machen, als unmöglich abgetan worden. Dank DeepLearn...
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?
Antwort von Jott:
Viel interessanter wäre ein Vergleich in Sachen
Bewegtbild, was ja erheblich komplexer ist. Da gibt's ja inzwischen ein paar Kandidaten.
Beispiel: altes Interlaced-Archivmaterial (Beta/Beta SP/DV) in glaubhaftes progressives HD verwandeln - was geht real?
Wir haben gerade altes (gutes) HDV-Material in einem Projekt, da muss ich selber mal rumspielen, ob die Versprechen gehalten werden können. Bis jetzt habe ich zwar leichte Verbesserungen, aber nicht das versprochene Wunder aus den Demos gesehen. Wäre schon nett. Und muss gar nicht kostenlos sein.
Antwort von medienonkel:
Bei gutem HDV Material sollte es bzgl. deinterlacing schon sehr gute Ergebnisse in Davinci geben. Dort kann man auch eine KI rechnen lassen, bei Bedarf inkl. superresolution ( hängt ganz hinten in den Sequenz Einstellungen )
Ansonsten ist VEAI von topaz ganz gut beim skalieren. In der aktuellen 3.1 wird schnell gerechnet. Ich habe aber einen Bug: laut Log verabschiedet sich bei mir nach ein paar tausend frames die rtx3090 aus dem System. Black Screen, der Rest läuft weiter...
Die 3.0.12 läuft stabil, aber im Vergleich zur 3.1 deutlich langsamer.
Am deutlichsten sieht man den Detailgewinn bei DV und sonstigem SD Material.
Kompressionsartefakte lassen sich auch gut rausrechnen.
Farbinformationen werden auch "ergänzt". Kommen zwar keine echten 10bit raus, aber das Material wird stabiler beim keying/Grading.
Antwort von Totao:
Etwas irreführend, es werden keine zusätzlichen Details sichtbar gemacht sondern plausibel hinzugedichtet.
Antwort von Darth Schneider:
Wie denn sonst ?
Die KI ist immer noch etwas unberechenbar…;)))
Gruss Boris
Antwort von Axel:
medienonkel hat geschrieben:
Bei gutem HDV Material sollte es bzgl. deinterlacing schon sehr gute Ergebnisse in Davinci geben. Dort kann man auch eine KI rechnen lassen, bei Bedarf inkl. superresolution ( hängt ganz hinten in den Sequenz Einstellungen )
Cool, danke, kannte bloß die Clip Attributes.
zum Bild https://i.postimg.cc/Twysy3v8/056-A6240 ... 138-E5.jpg
Was nimmt man denn? Schärfer? Weicher? Bikubisch? Erfahrungen?
Antwort von klusterdegenerierung:
Axel hat geschrieben:
Was nimmt man denn? Schärfer? Weicher? Bikubisch? Erfahrungen?
Alex hat geschrieben:
Überzeuge dich selbst, ob es einen Unterschied gibt. Geht doch fix...
Antwort von tom:
Lorphos hat geschrieben:
Etwas irreführend, es werden keine zusätzlichen Details sichtbar gemacht sondern plausibel hinzugedichtet.
Steht doch im Text:
Super Resolution Verfahren nutzen für das "Mehr an Pixeln" und damit mehr an Bildinformationen nicht die alte und eher primitive Interpolation zwischen bekannten Pixeln, sondern erfinden Details schlüssig hinzu.
....
Man sollte allerdings im Hinterkopf behalten, daß die entstehenden hochskalierten Bilder nur sehr wahrscheinliche, zusätzliche Details enthalten und nicht die "wahren" Details aus der der ursprünglichen Aufnahmesituation des Bildes.
Thomas
Antwort von Vectorizer:
In Sachen Bewegtbild wird ja seit einiger Zeit Topaz AI breit beworben. Ich hab es mir vor kurzem tatsächlich gekauft, weil ich ein paar alte DV-Film für den Upload auf youtube aufwerten wollte und kann dazu folgendes sagen:
Was das Programm phantastisch kann: Deinterlacing. Der Wandel von 25i in 50p Material ist absolut tadellos, ohne die sonst oft auftretende Treppchenbildung durch Deinterlacing. Auch das Farbsubsampling wird glattgebügelt und die grobklotzigen Farbinformationen (auffällig grade bei rot) sind danach quasi komplett unauffällig.
Was mich sehr überrascht hat: Topaz AI kann die starke elektronische Nachschärfung von altem SD-Material quasi wegrechnen!! DAS ist für mich ein echtes Highlight, da ich bis dato immer dachte, elektronische Schärfe im Bild ist quasi nicht entfernbar im Nachhinein. Es gibt natürlich Szenen, wo es weniger gut funktioniert und zum Beispiel bei weichen Blenden tauchen die Artefakte dann wieder kurz auf, aber grundsätzlich für mich eines der besten features!
Der eigentliche USP der Software, also das Upscaling: Naja. Die "dazu erfundenen Details" sehen für mich einfach nicht gut aus. Bei klaren Linien schafft es die Software gut, diese nachzuzeichnen. Bei chaotischen Details, wie Haaren oder Blattwerk und Zweige, werden, soweit ich das beurteilen kann, weitere Linien parallel dazu erzeugt und die sehen dann aus die Echowellen oder Rasterdruck. Also für eine Verdopplung der Auflösung mag das noch gehen, aber das was beworben wird ist ja "Von SD auf 4K (oder 8K)" und das ist Quatsch, bzw. sieht einfach nur sch*** aus.
Ich denke mal, wenn in ein paar Jahren die KI versteht, was menschliche Haut ist und was Blattwerk, Haare, Asphalt, etc. dann kann das richtig geil werden. Zur Zeit steckt es noch sehr in den Kinderschuhen meiner Meinung nach.
TopazAIComp.jpg
Antwort von cantsin:
Bei Deinem vorletzten Bild (der Mann im beigen Jackett) werden für meinen Geschmack zuviele Bilddetails/Texturen glattgegebügelt...
Antwort von dienstag_01:
Was das Programm phantastisch kann: Deinterlacing. Der Wandel von 25i in 50p Material ist absolut tadellos, ohne die sonst oft auftretende Treppchenbildung durch Deinterlacing. Auch das Farbsubsampling wird glattgebügelt und die grobklotzigen Farbinformationen (auffällig grade bei rot) sind danach quasi komplett unauffällig.
Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.
Antwort von freezer:
dienstag_01 hat geschrieben:
Was das Programm phantastisch kann: Deinterlacing. Der Wandel von 25i in 50p Material ist absolut tadellos, ohne die sonst oft auftretende Treppchenbildung durch Deinterlacing. Auch das Farbsubsampling wird glattgebügelt und die grobklotzigen Farbinformationen (auffällig grade bei rot) sind danach quasi komplett unauffällig.
Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.
Treppchen können beim Deinterlacing immer dort auftreten, wo der Algorithmus versagt und die Halbbilder nicht korrekt ineinander verrechnen kann.
Da siehst Du schön beim DaVinci Deinterlacer in den Einstellungen "Normal" und "High", aber selbst bei der "Neural Engine" kommt es vor, wobei mir vorkommt, dass letztere mit Resolve 18 nochmals einen Qualitätssprung gegenüber DVR17 hatte.
Antwort von dienstag_01:
freezer hat geschrieben:
dienstag_01 hat geschrieben:
Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.
Treppchen können beim Deinterlacing immer dort auftreten, wo der Algorithmus versagt und die Halbbilder nicht korrekt ineinander verrechnen kann.
Da siehst Du schön beim DaVinci Deinterlacer in den Einstellungen "Normal" und "High", aber selbst bei der "Neural Engine" kommt es vor, wobei mir vorkommt, dass letztere mit Resolve 18 nochmals einen Qualitätssprung gegenüber DVR17 hatte.
Ah, ok, ist mir neu.
Ich hatte vor Jahren sehr viel deinterlaced, da ist mir sowas nie untergekommen, da ging es eher darum, dass es nicht zu weich/matchig wird.
Hat wahrscheinlich mit den neuen Methoden zu tun, muss ich mich wieder mal damit beschäftigen, danke.
Antwort von Vectorizer:
dienstag_01 hat geschrieben:
Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.
Wenn der Deinterlacer AUS ist, sieht man "Kämme" auf einem progressivem Display, keine Treppchen. Bei meinem Beispielbild ist das Ausgangsmaterial auch schon deinterlaced, so wie es Premiere standardmäßig macht. Aber ohne deinterlacing fand ich es schwerer mit dem Endergebnis zu vergleichen.
Antwort von dienstag_01:
Vectorizer hat geschrieben:
dienstag_01 hat geschrieben:
Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.
Wenn der Deinterlacer AUS ist, sieht man "Kämme" auf einem progressivem Display, keine Treppchen. Bei meinem Beispielbild ist das Ausgangsmaterial auch schon deinterlaced, so wie es Premiere standardmäßig macht. Aber ohne deinterlacing fand ich es schwerer mit dem Endergebnis zu vergleichen.
Ja, hatte sich ja schon geklärt, dass ich keine Ahnung hab ;)
Andere Frage: Was genau wird eigentlich in deinem Bild oben verglichen? Original mit Topaz? Originalgröße, skaliert...?
Antwort von Vectorizer:
dienstag_01 hat geschrieben:
Vectorizer hat geschrieben:
Wenn der Deinterlacer AUS ist, sieht man "Kämme" auf einem progressivem Display, keine Treppchen. Bei meinem Beispielbild ist das Ausgangsmaterial auch schon deinterlaced, so wie es Premiere standardmäßig macht. Aber ohne deinterlacing fand ich es schwerer mit dem Endergebnis zu vergleichen.
Ja, hatte sich ja schon geklärt, dass ich keine Ahnung hab ;)
Andere Frage: Was genau wird eigentlich in deinem Bild oben verglichen? Original mit Topaz? Originalgröße, skaliert...?
Oben ist das original, auf gleiche Größe skaliert mit den Einstellungen von Premiere. Unten ist mein Ergebnis mit zwei Durchgängen in Topaz AI: Erster Durchgang deinterlacing und "dehalo"ing - so nennt Topaz das Schärfe wegrechnen - zweiter Durchgang Upscaling durch den Proteus-algorithmus mit angepassten Einstellungen.
Antwort von dienstag_01:
Vectorizer hat geschrieben:
dienstag_01 hat geschrieben:
Ja, hatte sich ja schon geklärt, dass ich keine Ahnung hab ;)
Andere Frage: Was genau wird eigentlich in deinem Bild oben verglichen? Original mit Topaz? Originalgröße, skaliert...?
Oben ist das original, auf gleiche Größe skaliert mit den Einstellungen von Premiere. Unten ist mein Ergebnis mit zwei Durchgängen in Topaz AI: Erster Durchgang deinterlacing und "dehalo"ing - so nennt Topaz das Schärfe wegrechnen - zweiter Durchgang Upscaling durch den Proteus-algorithmus mit angepassten Einstellungen.
Ah, ok.
Finde es schon interessant, was gerade bei der künstlichen Nachschärfung damit geht.
(Verwenden werde ich es wahrscheinlich trotzdem eher nie, ich wüsste keinen Zweck, altes Material seines ursprünglichen Charakters zu berauben. Ist allerdings eine ästhetische Ansicht; und über die kann man ja bekanntlich streiten ;)
Antwort von medienonkel:
Axel hat geschrieben:
medienonkel hat geschrieben:
Bei gutem HDV Material sollte es bzgl. deinterlacing schon sehr gute Ergebnisse in Davinci geben. Dort kann man auch eine KI rechnen lassen, bei Bedarf inkl. superresolution ( hängt ganz hinten in den Sequenz Einstellungen )
Cool, danke, kannte bloß die Clip Attributes.
zum Bild https://i.postimg.cc/Twysy3v8/056-A6240 ... 138-E5.jpg
Was nimmt man denn? Schärfer? Weicher? Bikubisch? Erfahrungen?
Ich weiß ehrlich gesagt nicht, ob die superresolution in resolve wirklich was mit der superresolution zu tun hat, die slashcam meint. Also, ob da wirklich ein trainiertes Netz Details dazu erfindet.
Ich kenne den Begriff der superresolution eher im Sinne von spatialem oversampling. Würde auch zu den Auswahlmöglichkeiten passen: 2x,4x,...
Superresolution habe ich mal so verstanden, dass man die originale Auflösung z.b. vervierfacht (z.b. bikubisch) und dann mit einem anderen Filter wieder auf die Zielauflösung runter rechnet. So können z.b. aliasing Artefakte oder leichtes moiré verschönert werden. Und das skalierte Bild wirkt weniger matschig. Hinzu kommt quasi eine Suche nach Details in den umgebenden frames.
Ich weiß allerdings nicht, ob das wirklich was mit neuronalen Netzen zu tun hat.
Gab es auch schon vor Jahren so in avisynth, virtual dub usw.
http://www.infognition.com/articles/wha ... ution.html
Antwort von Axel:
Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.
Antwort von Frank Glencairn:
medienonkel hat geschrieben:
Ich weiß ehrlich gesagt nicht, ob die superresolution in resolve wirklich was mit der superresolution zu tun hat, die slashcam meint. Also, ob da wirklich ein trainiertes Netz Details dazu erfindet.
Ja, ich glaub auch nicht, daß SuperScale schon auf AI basiert.
"However, DaVinci Resolve provides advanced Super Scale image processing in the Clip Attributes of
every video and image clip, that make it possible to resize clips beyond their native resolution while
maintaining the perceptible sharpness of a clip that’s still within it’s native resolution. This is an illusion,
but it’s a convincing one."
Antwort von freezer:
Axel hat geschrieben:
Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.
Mühselig wählen?
Einen SmartBin anlegen der per Metadaten alle Clips der A7S-III beinhaltet. Kann man auch als Default für alle Projekte anlegen.
SmartBin auswählen um alle Clips der A7S-III im Media Pool zu selektieren und dann mit einer Clip-Farbe belegen.
In der Timeline dann aus dem Menü wählen "Select Clips with Clip Color" und der entsprechenden Farbe. Damit sind alle passenden Clips in der Timeline selektiert.
Dann Rechts-Klick und "Clip Attributes" und einmal SuperScale für alle auswählen. Fertig.
Ich hab so einen SmartBin für mein Olympus 12-100mm um alle Clips mit einer bestimmten Brennweite auszuwählen und eine Optikkorrektur anzuwenden.
Antwort von cantsin:
Klassische Superresolution-Algorithmen kombinieren Bilddetails benachbarter Frames, ohne irgendwelches machine learning/KI. Selbst Avisynth kann das. Hier ein guter Artikel zu dem Thema (der Autor arbeitet als Softwareentwickler für Adobe):
https://www.filmkorn.org/zwischen-den-z ... n/?lang=en
Antwort von Axel:
freezer hat geschrieben:
Axel hat geschrieben:
Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.
Mühselig wählen?
Einen SmartBin anlegen der per Metadaten alle Clips der A7S-III beinhaltet. Kann man auch als Default für alle Projekte anlegen.
SmartBin auswählen um alle Clips der A7S-III im Media Pool zu selektieren und dann mit einer Clip-Farbe belegen.
In der Timeline dann aus dem Menü wählen "Select Clips with Clip Color" und der entsprechenden Farbe. Damit sind alle passenden Clips in der Timeline selektiert.
Dann Rechts-Klick und "Clip Attributes" und einmal SuperScale für alle auswählen. Fertig.
:-)
Ich denke im Moment immer aus der Perspektive „Resolve auf iPad“, wo es keine Edit- oder Mediapage gibt (der Hack sorgt für Abstürze, deswegen ignoriere ich den hier mal). Sonst: klar, das meinte ich. „Mühselig“ ist sicherlich relativ, sagen wir mal die Markierungsmethode ist mühseliger als Auto.
Antwort von dienstag_01:
freezer hat geschrieben:
Axel hat geschrieben:
Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.
Mühselig wählen?
Einen SmartBin anlegen der per Metadaten alle Clips der A7S-III beinhaltet. Kann man auch als Default für alle Projekte anlegen.
SmartBin auswählen um alle Clips der A7S-III im Media Pool zu selektieren und dann mit einer Clip-Farbe belegen.
In der Timeline dann aus dem Menü wählen "Select Clips with Clip Color" und der entsprechenden Farbe. Damit sind alle passenden Clips in der Timeline selektiert.
Dann Rechts-Klick und "Clip Attributes" und einmal SuperScale für alle auswählen. Fertig.
Ich hab so einen SmartBin für mein Olympus 12-100mm um alle Clips mit einer bestimmten Brennweite auszuwählen und eine Optikkorrektur anzuwenden.
Frage. Nein, Behauptung: man kann doch Superresolution global aktivieren, muss nichts "mühselig" auswählen, da es sowieso nur auf Clips angewendet wird, die skaliert werden. Alle anderen bleiben unberührt.
Auswählen nur, wenn man unterschiedliche Skalierungen mit unterschiedlichen Einstellungen in einer Timeline verwendet.
Antwort von freezer:
dienstag_01 hat geschrieben:
Frage. Nein, Behauptung: man kann doch Superresolution global aktivieren, muss nichts "mühselig" auswählen, da es sowieso nur auf Clips angewendet wird, die skaliert werden. Alle anderen bleiben unberührt.
Auswählen nur, wenn man unterschiedliche Skalierungen mit unterschiedlichen Einstellungen in einer Timeline verwendet.
Ja, kannst Du machen wenn das auf Deinen Anwendungsfall zutrifft.
Ich will oft nur bestimmte Clips per SR behandeln lassen - nämlich quasi als leichte Nachschärfung und Kantenglättung ohne Änderung der Auflösung.
Die SmartBin Variante kommt bei mir eher für die schnelle Korrektur von Optikverzerrung zur Anwendung. Ich finde die sehr praktisch um mal schnell durch hunderte Clips nach bestimmten immer wiederkehrenden Kriterien zu filtern.
Antwort von dienstag_01:
freezer hat geschrieben:
dienstag_01 hat geschrieben:
Frage. Nein, Behauptung: man kann doch Superresolution global aktivieren, muss nichts "mühselig" auswählen, da es sowieso nur auf Clips angewendet wird, die skaliert werden. Alle anderen bleiben unberührt.
Auswählen nur, wenn man unterschiedliche Skalierungen mit unterschiedlichen Einstellungen in einer Timeline verwendet.
Ja, kannst Du machen wenn das auf Deinen Anwendungsfall zutrifft.
Ich will oft nur bestimmte Clips per SR behandeln lassen - nämlich quasi als leichte Nachschärfung und Kantenglättung ohne Änderung der Auflösung.
Die SmartBin Variante kommt bei mir eher für die schnelle Korrektur von Optikverzerrung zur Anwendung. Ich finde die sehr praktisch um mal schnell durch hunderte Clips nach bestimmten immer wiederkehrenden Kriterien zu filtern.
Wie ist das zu verstehen, "ohne Änderung der Auflösung"?
Antwort von freezer:
dienstag_01 hat geschrieben:
freezer hat geschrieben:
Ja, kannst Du machen wenn das auf Deinen Anwendungsfall zutrifft.
Ich will oft nur bestimmte Clips per SR behandeln lassen - nämlich quasi als leichte Nachschärfung und Kantenglättung ohne Änderung der Auflösung.
Die SmartBin Variante kommt bei mir eher für die schnelle Korrektur von Optikverzerrung zur Anwendung. Ich finde die sehr praktisch um mal schnell durch hunderte Clips nach bestimmten immer wiederkehrenden Kriterien zu filtern.
Wie ist das zu verstehen, "ohne Änderung der Auflösung"?
Ein HD Clip in einer HD Timeline. Aktiviert man SR dann wird der Clip per SR hochskaliert und wieder in die Timeline eingepasst. Ein Up+Downscaling sozusagen.
Antwort von Axel:
freezer hat geschrieben:
dienstag_01 hat geschrieben:
Wie ist das zu verstehen, "ohne Änderung der Auflösung"?
Ein HD Clip in einer HD Timeline. Aktiviert man SR dann wird der Clip per SR hochskaliert und wieder in die Timeline eingepasst. Ein Up+Downscaling sozusagen.
Interessant. Das funktioniert? Dann könnte man in die native Auflösung skalieren (ihr wisst schon, wie digital zoomen). Man müsste später nur den Clip 2 x oder 4 x superscalen. Muss ich mal probieren.
Antwort von dienstag_01:
Axel hat geschrieben:
freezer hat geschrieben:
Ein HD Clip in einer HD Timeline. Aktiviert man SR dann wird der Clip per SR hochskaliert und wieder in die Timeline eingepasst. Ein Up+Downscaling sozusagen.
Interessant. Das funktioniert? Dann könnte man in die native Auflösung skalieren (ihr wisst schon, wie digital zoomen). Man müsste später nur den Clip 2 x oder 4 x superscalen. Muss ich mal probieren.
Ja, funktioniert.
Probieren muss man trotzdem ;)
Antwort von Axel:
dienstag_01 hat geschrieben:
Axel hat geschrieben:
Interessant. Das funktioniert? Dann könnte man in die native Auflösung skalieren (ihr wisst schon, wie digital zoomen). Man müsste später nur den Clip 2 x oder 4 x superscalen. Muss ich mal probieren.
Ja, funktioniert.
Probieren muss man trotzdem ;)
Wie gut (unter anderem), dass es Render in Place gibt!
Antwort von dienstag_01:
Axel hat geschrieben:
dienstag_01 hat geschrieben:
Ja, funktioniert.
Probieren muss man trotzdem ;)
Wie gut (unter anderem), dass es Render in Place gibt!
Da kannst du ja mal Bescheid sagen, bei welchen Einstellungen du überhaupt was siehst (ich meine den 1:1 Workflow ohne wirkliches Scaling).
Ich hab jetzt 3 Tage gesucht und 1 Pixel gefunden ;)
Antwort von Totao:
tom hat geschrieben:
Lorphos hat geschrieben:
Etwas irreführend, es werden keine zusätzlichen Details sichtbar gemacht sondern plausibel hinzugedichtet.
Steht doch im Text:
Super Resolution Verfahren nutzen für das "Mehr an Pixeln" und damit mehr an Bildinformationen nicht die alte und eher primitive Interpolation zwischen bekannten Pixeln, sondern erfinden Details schlüssig hinzu.
....
Man sollte allerdings im Hinterkopf behalten, daß die entstehenden hochskalierten Bilder nur sehr wahrscheinliche, zusätzliche Details enthalten und nicht die "wahren" Details aus der der ursprünglichen Aufnahmesituation des Bildes.
Aber gleich die ersten zwei Sätze des Artikels suggerieren etwas anderes:
Noch vor kurzem wäre die Idee, die Auflösung eines Bildes nachträglich zu erhöhen und so mehr Bilddetails sichtbar zu machen, als unmöglich abgetan worden. Dank DeepLearning KI-Algorithmen ist aber genau das seit einigen Jahren möglich...
Antwort von tom:
Totao hat geschrieben:
tom hat geschrieben:
Steht doch im Text:
Aber gleich die ersten zwei Sätze des Artikels suggerieren etwas anderes:
Noch vor kurzem wäre die Idee, die Auflösung eines Bildes nachträglich zu erhöhen und so mehr Bilddetails sichtbar zu machen, als unmöglich abgetan worden. Dank DeepLearning KI-Algorithmen ist aber genau das seit einigen Jahren möglich...
Ja, stimmt. Eigentlich ist es ja noch komplexer - es werden zwar Details dazuerfunden, aber diese sind nicht beliebig, sondern sehr wahrscheinlich (weil aus vielen Beispielen realer Bilder gelernt), d.h. sie werden in den meisten Fällen sehr nahe an der Realität sein. Ich werde das bei der nächstes Superresolution-News besser erklären :-)
Thomas
slashCAM
Antwort von TheBubble:
tom hat geschrieben:
Eigentlich ist es ja noch komplexer - es werden zwar Details dazuerfunden, aber diese sind nicht beliebig, sondern sehr wahrscheinlich (weil aus vielen Beispielen realer Bilder gelernt), d.h. sie werden in den meisten Fällen sehr nahe an der Realität sein.
Bei solchen Verfahren für Fotos muss man sich zukünftig noch ein wenig mehr als bisher von der Vorstellung verabschieden, immer möglichst nah an einer für Vergleichszwecke hochauflösend gemessenen Wahrheit sein zu wollen.
Die erfundenen Details müssen der Realität eigentlich gar nicht besonders nahe kommen, es reicht völlig aus, wenn sie von der Wahrnehmung als plausible Möglichkeit akzeptiert werden. Wir werden nie erfahren, welchen Zahlenwert die hinzugefügten Pixel gehabt hätten, wenn sie tatsächlich erfasst worden wären.
Aus dem Raum aller möglichen hochauflösenden Varianten eines geringer auflösenden Fotos muss eine solche ausgewählt werden, die von der Wahrnehmung als möglichst real akzeptiert wird. Da die als Trainingsdaten verwendeten Fotos von der Wahrnehmung als echt akzeptiert werden (das ist hier eine der gemachten Festlegungen/Voraussetzungen), kann man mit ihrer Hilfe eine Berechnungsvorschrift entwerfen die, anschließend auf unbekannte Daten angewendet, eine Variante auswählt, die für die Wahrnehmung hoffentlich möglichst plausibel erscheint.
Antwort von Frank Glencairn:
Allerdings sind die Unterschiede zwischen AI Scaling (also hier z.B. Topaz) und Resolves Super Resolution jetzt auch nicht so riesig wie man meinen möchte, und oft genug lohnt sich der zusätzliche Zeit/Rechen Aufwand für AI dann auch nicht wirklich.
Antwort von TheBubble:
AI Scaler für Video sind IMO im Vergleich zum Foto-Einsatzbereich auch schwieriger. Das gibt bei den klassischen Skalierverfahren in anderer Form aber auch schon: Aliasing fällt z.B. beim Betrachtern von Videos viel schneller auf als Aliasing bei Fotos.
Bei Fotos ist es relativ egal welche plausible Variante von der AI aus allen Möglichkeiten als Ergebnis ausgewählt wird. Die konkrete Wahl kann beispielsweise durch Rauschen oder andere Pixelwerte in einzelnen Bereichen beeinflusst werden. Solange die Wahrnehmung die Ausgabe als hochauflösend akzeptiert, reicht es.
Wenn bei Videos allerdings ständig wechselnde Varianten ausgewählt werden, dann dürfte das sofort als eine neue Form temporaler Artefakte auffallen.
Die Verfahren für Video-Anwendungen müssen daher stabiler bzw. so angelegt sein, dass solche Probleme entlang der Zeitachse entweder nicht auftreten oder nicht auffallen.
Antwort von Frank Glencairn:
"Frank Glencairn" hat geschrieben:
Ja, ich glaub auch nicht, daß SuperScale schon auf AI basiert.
Das hat sich gerade geändert.
Seit heute ist das Superscaling auch AI basiert.
https://youtu.be/_Ed-zXtG8oQ?t=1068
