Newsmeldung von slashCAM:
Wer noch alte Videos mit niedriger Auflösung im Archiv hat, bekommt jetzt eine interessante neue Möglichkeit in die Hand, diese nicht nur auf aktuellere Auflösungen hochz...
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K
Antwort von mash_gh4:
mittlerweile ist das kja mirklich etwas derart selbstverständliches, dass es natürlich auch schon im freien ffmpeg unterstützt wird:
https://ffmpeg.org/ffmpeg-filters.html#sr
Antwort von iasi:
BUY NOW $199.99 statt $299.99
Antwort von tom:
iasi hat geschrieben:
BUY NOW $199.99 statt $299.99
Hi iasi,
Wo siehst Du das?
Antwort von tom:
mash_gh4 hat geschrieben:
mittlerweile ist das kja mirklich etwas derart selbstverständliches, dass es natürlich auch schon im freien ffmpeg unterstützt wird:
https://ffmpeg.org/ffmpeg-filters.html#sr
Danke für den Hinweis, wir schauen uns das genauer an!
Antwort von iasi:
tom hat geschrieben:
iasi hat geschrieben:
BUY NOW $199.99 statt $299.99
Hi iasi,
Wo siehst Du das?
hier:
https://topazlabs.com/video-enhance-ai/
Antwort von tom:
iasi hat geschrieben:
tom hat geschrieben:
Hi iasi,
Wo siehst Du das?
hier:
https://topazlabs.com/video-enhance-ai/
Danke - das ist neu! Zeit für ein Update der News :)
Antwort von marty_mc:
Sooo, hab mal eben altes DV Material für eine kurze Sequenz durchgejagt.
Ok, es ist schärfer im Gesamteindruck.
Rauschen ist angenehm weggefiltert, manche Kanten sehen recht sauber und scharf aus. Auf einem Feld sind ein paar Gräser nun zu erkennen.
ABER, die ganzen Fehler, die DV produziert, sind erstmal nicht weg. z.B. die Probleme die 4:2:0 macht: Da werden nach dem Rendern Doppellinien verstärkt. Auch Runde Linien bei roten Farben werden nicht sauber geglättet. usw.
Ich denke, bei unscharfen Filmmaterial sehen die Ergebnisse besser aus.
Die Frage ist für mich: WER sagt der KI nun, dass er die DV Probleme glätten kann?
Ich werde auf jeden Fall mal den Spielfilm "Der Teufel von Rudow" dort durchjagen und auch bei Amazon Video hochladen, wo er aktuell in der normalen DV Fassung, hochskaliert auf HD (mit neuem HD Abspann) zu sehen ist.
Antwort von Frank Glencairn:
So wie ich es verstanden habe, ist die KI aktuell auf hochwertiges Material trainiert.
Antwort von dosaris:
marty_mc hat geschrieben:
Ich werde auf jeden Fall mal den Spielfilm "Der Teufel von Rudow" dort durchjagen und auch bei Amazon Video hochladen
jagen?
naja, das könnte schon fast 2 Tage Rechenzeit kosten.
irgendwie ne hektische Jagd?
Antwort von dosaris:
marty_mc hat geschrieben:
Ich werde auf jeden Fall mal den Spielfilm "Der Teufel von Rudow" dort durchjagen ...,
jagen?
naja, das könnte schon fast 2 Tage Rechenzeit kosten.
das wird aber ne hektische Jagd?
Antwort von tom:
marty_mc hat geschrieben:
Rauschen ist angenehm weggefiltert, manche Kanten sehen recht sauber und scharf aus. Auf einem Feld sind ein paar Gräser nun zu erkennen.
ABER, die ganzen Fehler, die DV produziert, sind erstmal nicht weg. z.B. die Probleme die 4:2:0 macht: Da werden nach dem Rendern Doppellinien verstärkt. Auch Runde Linien bei roten Farben werden nicht sauber geglättet. usw.
Ich denke, bei unscharfen Filmmaterial sehen die Ergebnisse besser aus.
Die Frage ist für mich: WER sagt der KI nun, dass er die DV Probleme glätten kann?
Um DV-Material mitsamt seinen typischen Artefakten verbessern zu können, müsste ein neuronales Netz wohl speziell mithilfe von DV-Videos trainiert werden.
Antwort von marty_mc:
"Frank Glencairn" hat geschrieben:
So wie ich es verstanden habe, ist die KI aktuell auf hochwertiges Material trainiert.
Ja, aber es gibt auch eine Einstellung für SD Material. Da wird dann digitales Rauschen ein wenig weggebügelt.
Das sieht bei DV besser aus, als wenn man die Einstellung nimmt, die unscharfes Material anpackt, dass aber früher mal Hochauflösend war.
Antwort von marty_mc:
dosaris hat geschrieben:
marty_mc hat geschrieben:
Ich werde auf jeden Fall mal den Spielfilm "Der Teufel von Rudow" dort durchjagen ...,
jagen?
naja, das könnte schon fast 2 Tage Rechenzeit kosten.
das wird aber ne hektische Jagd?
Ich sags dir heute Abend. :D
Aber so wie es sich gerade verhält, tippe ich auf ca. 14 Stunden. Is ne GTX 1070 im Rechner. Also für AI rechnet mir das zu schnell...
Antwort von MK:
marty_mc hat geschrieben:
Also für AI rechnet mir das zu schnell...
Die AI besteht aus einem trainierten Datensatz bei welchem die Unterschiede zwischen vielen hoch aufgelösten Videos und den selben Video auf eine niedrige Auflösung heruntergerechnet erfasst wurden... an Hand dieser Datensätze wird dann mit eigenem Material analysiert was am ehesten passt, das kann dann schon hinkommen von der Zeit.
Antwort von MK:
tom hat geschrieben:
Danke - das ist neu! Zeit für ein Update der News :)
Ihr könnt auch gleich noch dazuschreiben dass es nach dem Kauf keinen Downloadlink in der Bestätigungsmail gibt und der auch im Account fehlt... scheint als ob da jemand schneller Geld brauchte als er seine Bestellabwicklung anpassen konnte.
Passt auch dazu dass das Produkt auf der Hauptseite noch garnicht gelistet wird. Mal schauen was sonst nicht funktioniert :D
Antwort von rkunstmann:
Könnte es nicht vielleicht helfen bei DV Material vorher ein Denoising mit Net Video oder ähnlichem zu machen?
Antwort von marcszeglat:
Ich habe es mit DV-Material ausprobiert: 8 Stunden Rechenzeit für 2 Minuten mit einem i5er. Leider soviele Artefakte drin, dass es unbrauchbar ist!
Antwort von eXp:
Warum lasst ihr nicht erstmal ne kleine Vorschau rendern statt gleich mit 8 Stunden voll loszulegen ? Ich hab es mal mit 640x480 Material von meinem damaligen Sony Handy probiert, das Ergebnis sieht überraschend gut aus. Dann FHD Material von meiner alten EOS550D, hier sieht man auf 4K hochgerechnet fast keinen Unterschied und Material von einer Hi-8 Kamera sah danach eher zu Digital und aufgesetzt aus dass man lieber das Original benutzt.
Antwort von marty_mc:
Bei mir haben die 82min nun ca. 37 Stunden gedauert. :-D
Antwort von Salcanon:
Das ist natürlich "Doof", denn das 4:2:0 Problem Betrift auch HDV; nach 11 Jahren Pause schneide ich einen Dokumentarfilm weiter,
den ich damals bei den Redaktionen "nicht los wurde". Glücklicherweise ist es ein Wendethema, es flossen keine Aktualitäten von 2009 ein,
sowenig wie jetzt von 2020. Das ungübte Auge erkennt es nur daran, dass hornbebrillte Rauschebärte und Smombies im Strassenbild fehlen.
Aber technisch ist das Material der XH-A1 der Horror. Teileise starke Unschärfen in den Gesichtern, Mosquito Noise, miese Farben.
Letztere habe ich einfach rausgedreht, was sogar inhaltlich hilft. Gesichter wirken portraithafter, vieles spielt auch in kontrastreichen Umgebungen.
Aber die knallrot geschminkten Lippen mancher Interviewpartnerin sind auch in S/W ein Quaderbrei...
Wobei FCP7 @home mit HDV in einer 4:22 HQ Timeline besser abschneidet als auf der Arbeit Premiere CC oder AVID MC per AMA-Link...
Also bleibt nur zu hoffen, dass sich bis Sommer was tut...
Was ist mit den erwähnten FFmpeg Filtern? Ich habe mich lange nicht mehr darum gekümmert und erinnere mich nur noch an JES Deinterlacer,
der meines Wisens auf FFmpeg aufbaut, aber lange nicht mehr weiterentwickelt wurde... Wäre er der "Host", die Filter anzuwenden?
Gibt es Bildbeispiele?
Grüße,
Salcanon
Antwort von marty_mc:
Salcanon hat geschrieben:
Das ist natürlich "Doof", denn das 4:2:0 Problem Betrift auch HDV; nach 11 Jahren Pause schneide ich einen Dokumentarfilm weiter,
den ich damals bei den Redaktionen "nicht los wurde". Glücklicherweise ist es ein Wendethema, es flossen keine Aktualitäten von 2009 ein,
sowenig wie jetzt von 2020. Das ungübte Auge erkennt es nur daran, dass hornbebrillte Rauschebärte und Smombies im Strassenbild fehlen.
Aber technisch ist das Material der XH-A1 der Horror. Teileise starke Unschärfen in den Gesichtern, Mosquito Noise, miese Farben.
Letztere habe ich einfach rausgedreht, was sogar inhaltlich hilft. Gesichter wirken portraithafter, vieles spielt auch in kontrastreichen Umgebungen.
Aber die knallrot geschminkten Lippen mancher Interviewpartnerin sind auch in S/W ein Quaderbrei...
Wobei FCP7 @home mit HDV in einer 4:22 HQ Timeline besser abschneidet als auf der Arbeit Premiere CC oder AVID MC per AMA-Link...
Also bleibt nur zu hoffen, dass sich bis Sommer was tut...
Probiere es doch einfach aus für ein paar Sekunden deines Materials. Vielleicht bringt es dir was in Puncto Schärfe.
Ja, die XH-A1 war leider nie knackig scharf und ich erinnere mich eher am chromatische Aberrationen der Linsen, die diese Kamera noch nicht wegrechnen konnte. Aber immerhin HDV. Das war gegenüber DV schon ein Quantensprung! Wenn auch mit miesen Farben...;-)
Gruß!!
Antwort von dosaris:
marty_mc hat geschrieben:
Bei mir haben die 82min nun ca. 37 Stunden gedauert. :-D
also etwa wie erwartet.
Geht auch OpenCL zur GPU?
Kannste mal irgendwohin ein kurzes sample legen?
Wie gut ist das anti-aliasing?
Antwort von marty_mc:
dosaris hat geschrieben:
marty_mc hat geschrieben:
Bei mir haben die 82min nun ca. 37 Stunden gedauert. :-D
also etwa wie erwartet.
Geht auch OpenCL zur GPU?
Kannste mal irgendwohin ein kurzes sample legen?
Wie gut ist das anti-aliasing?
Jip, du lagst mit der Vermutung wesentlich näher als ich. :-D
OpenCL, was ist das? Also man kann die Grafikkarte anwählen oder nur CPU oder so.
Ein Beispiel zeigen ist ne gute Idee. Eigentlich wollte ich nen ausführlicheren Youtube Clip draus bauen, aber vielleicht zeige ich einfach nur 2 bis 3 Vorhger nachher Szenen mit kurzer Erklärung. Bis Ende der Woche werd ichs schaffen.
Anti Aliasing, ist so lala. Die könnte tatsächlich wesentlich besser sein...also VIELES könnte sehr viel besser sein. Aber, tatsächlich besitzt das Bildmaterial jetzt eine Schärfe, die meiner MEinung nach die Zuschauer eher dran hält.
Ihr könnt ja mal bei A.Prime reinschauen beim "Teufel von Rudow". Definitiv sehr unscharfes Bild. Und Anti Alias Problem gibt es hier auch, keine Ahnung, ob ich beim hochskalieren auf HD nicht aufgepasst habe, aber ich denke, das Problem liegt eher in der SD Auflösung des Original Material.
Antwort von Bladerunner:
So, habe Topaz Video Enhance AI nun ein paar Tage sehr intensiv getestet. Zum Glück habe ich die geforderte Hardware schon länger im Einsatz.
Die Idee ist schon großartig, aber steckt offenbar noch in den Kinderschuhen.
Ich habe eine Vielzahl kleiner Szenen aus Videomaterial 640x480 (von damals :-) ) gerendet.
Es gibt 3 Modi's zur Auswahl (neben den verschiedenen oder frei bestimmbaren Videoauflösungen). Das in Kombination habe ich x-Mal ausgetestet.
Letztlich bekommt man sichtbare Verbesserungen nur mit dem Modus "Upsampling(HQ-CG)". Die beiden anderen Modi - insbesondere "Upscaling (LQ)" - kann man komplett vergessen.
Hier werden sogar teilweise Blöckchen dazu addiert und das Bild sieht noch unreiner als das Original aus.
Die Ergebnisse im Modus "Upsampling (HQ-CG) sind auf den ersten Blick sehr beeindruckend.
Das Bild wird geglättet, die Blöckchen werden so gut wie vollständig eliminiert und das Bild ist deutlich Schärfer. Sind z.B. Schriftzüge im Bild irgendwo platziert, kann man sie nun sehr gut lesen.
Allgemein wirken Kanten nun stabil und klar. Das deutlich reduzierte Bildrauschen ist sehr beachtlich! Großartig bis hier her.
Ich hätte nie gedacht, dass es mal' möglich sein könnte, aus meinen alten Video so eine Qualität herauszuholen. Großartig!
ABER: die Software ist leider noch nicht ausgereift und der "Spaß" vergeht schnell. DENN: Gesichter werden quasi "zerstört". Da ändert sich sogar die Mimik und Gesichter werden oft verzerrt.
Auch ändert sich die Textur von Haaren und ist auf einmal total pixelig. SCHADE!!!!!!
Somit ist die Software im jetzigem Stadium unbrauchbar und aktuell maximal für z.B. Landschaftsaufnahmen nutzbar (wahrscheinlich aber nur ohne "Meer"/"Wellen" im Bild).
Auf alle Fälle ein interessanter Start. Ich hoffe sehr stark, dass hier irgendwann eine "Face recognition" implementiert wird und AI fleißig weiterlernt, so dass Gesichter und z.B. Haare im Bild nicht leiden.
Im jetzigen Entwicklungsstadium sind mir 199€ (Angebotspreis) definitiv zu viel des Guten. Da warte ich mal', wie sich die Software auf der Zeitachse verbessert.
Leider ist Topaz aktuell wohl der einzige Anbieter, der AI Video Enhancement in der Form angeht. Keine Sorge :-) ...ich Google hier immer wieder fleißig. Es gibt natürlich Anbieter, die "behaupten", sie haben AI Video Enhancement..... :-) Ich habe neulich z.B. DVDFAB ebenfalls intensiv getestet. Die haben die MKV.AI und MP.AI Video Enlarger Funktion. Da passiert übrigens orignal gar nichts in punkto Bildverbesserung :-) Ich stehe hierzu noch mit dem DVDFAB-Support im Kontakt.
Antwort von Bladerunner:
rkunstmann hat geschrieben:
Könnte es nicht vielleicht helfen bei DV Material vorher ein Denoising mit Net Video oder ähnlichem zu machen?
Neat Video ist für mich seit vielen Jahren das Allergrößte und sorgt gerade auch bei altem Videomaterial für deutliche Verbesserungen.
Allerdings sind die Ergebnisse bei Topaz nochmal deutlich besser. Leider ist Topaz im Moment dennoch unbrauchbar, wenn Menschen im Bild sind.
Hier werden Gesichter quasi "zerstört" und Haare verlieren ihre Struktur. Die Software ist Stand Heute leider nicht ausgereift.
Antwort von mash_gh4:
Bladerunner hat geschrieben:
Leider ist Topaz aktuell wohl der einzige Anbieter, der AI Video Enhancement in der Form angeht.
geht, so ein blödsinn!
es ist geradezu unglaublich wie viel aktuellen forschungsoutput und praktischen beispielcode man gerade von allen herstellern im GPU umfeld zu diesen dingen in letzter zeit angeboten bekommt! dass boomt, wie kaum ein anderer bereich der softwareentwicklung.
was allerdings die probleme mit den den gesichtern, haaren etc. betrifft, triffts du natürlich einen wunden punkt dieser lösungen. aber auch dort, wo es um die vermeidung von stochatischem flicker geht, gibt es noch immer große qualitätsunterschiede und zu lösende herausforderungen für derartige software.
Antwort von Bladerunner:
mash_gh4 hat geschrieben:
Bladerunner hat geschrieben:
Leider ist Topaz aktuell wohl der einzige Anbieter, der AI Video Enhancement in der Form angeht.
geht, so ein blödsinn!
es ist geradezu unglaublich wie viel aktuellen forschungsoutput und praktischen beispielcode man gerade von allen herstellern im GPU umfeld zu diesen dingen in letzter zeit angeboten bekommt! dass boomt, wie kaum ein anderer bereich der softwareentwicklung.
was allerdings die probleme mit den den gesichtern, haaren etc. betrifft, triffts du natürlich einen wunden punkt dieser lösungen. aber auch dort, wo es um die vermeidung von stochatischem flicker geht, gibt es noch immer große qualitätsunterschiede und zu lösende herausforderungen für derartige software.
OK, welche Videobearbeitungssoftware gibt es denn aktuell sonst noch so am Markt, die ähnlich der hier diskutierten Topaz-Lösung arbeitet? (Online-Lösungen mal' außen vor).
Antwort von mash_gh4:
Bladerunner hat geschrieben:
OK, welche Videobearbeitungssoftware gibt es denn aktuell sonst noch so am Markt, die ähnlich der hier diskutierten Topaz-Lösung arbeitet? (Online-Lösungen mal' außen vor).
gib einfach einmal z.b. "video enhance" als suchbegriff auf arxiv.org ein, und du wirst bestätigt finden, wovon ich hier spreche:
https://arxiv.org/search/?query=video+e ... rce=header
ich versteh schon, dass viele von uns einfach nur irgendwas fertiges käuflich erwerben wollen, und sich über den stand der technik und die fachspezifischen fortschritte gar nicht erst lange schlau machen wollen, trotzdem wird das spätestens dann zu ärgernis, wenn wirklich nur mehr völlig verzerrter werbesprüche ausgebreitet werden...
Antwort von Bladerunner:
mash_gh4 hat geschrieben:
Bladerunner hat geschrieben:
OK, welche Videobearbeitungssoftware gibt es denn aktuell sonst noch so am Markt, die ähnlich der hier diskutierten Topaz-Lösung arbeitet? (Online-Lösungen mal' außen vor).
gib einfach einmal z.b. "video enhance" als suchbegriff auf arxiv.org ein, und du wirst bestätigt finden, wovon ich hier spreche:
https://arxiv.org/search/?query=video+e ... rce=header
ich versteh schon, dass viele von uns einfach nur irgendwas fertiges käuflich erwerben wollen, und sich über den stand der technik und die fachspezifischen fortschritte gar nicht erst lange schlau machen wollen, trotzdem wird das spätestens dann zu ärgernis, wenn wirklich nur mehr völlig verzerrter werbesprüche ausgebreitet werden...
Schönen Dank! Die Seite kannte ich nicht. Wenn man das Thema "Video Enhancement AI" allgemein googelt gibt es in der Tat eine Vielzahl an Researches/Forschungsbeiträgen. Einige davon habe ich schon gelesen oder meist überflogen. Sicher spannend; bin ja Technik-begeistert und "heavy user" :-)
Letztlich scheint es einfach doch noch etwas zu früh zu sein, um an eine brauchbare Consumer-Softwarelösung zu kommen, die nicht nur mit Werbebotschaften frönt :-)
Im Profi-Bereich bieten ja schon einige Firmen entsprechende Dienste an. Allerdings gehöre ich da weniger zur Zielgruppe, mein altes Videomaterial dort aufpeppen zu lassen; vom Investment ganz abgesehen. Also heißt es wohl: abwarten.
Antwort von marty_mc:
Ok, Leute, jetzt hab ich es endlich geschafft, ein wenig miniDV und DVCam Material durch diese Enhance Video AI Software zu schicken. Guckst euch an, es sind erstmal ein paar Testaufnahmen für euch.
Vorweg: Es ist nix zum staunen, aber interessant allemal. Das PRoblem ist eben die Kamera mit ihrer Kantenanhebung und auch DV mit der 4:2:0 Farbkodierung.
Die entstandenen Artefakte stören mich nicht so sehr. Eher finde ich die maue/akutell unscharfe Version des Films nicht so gut.
Das Material der DVCam Aufnahmen ist besser, da die Kamera (Sony DSR 500 WSP) dann doch schärfer aufgelöst hatte.
Viel Spaß beim reinschnuppern. Ich denke mal, in 4 bis 6 Wochen habe ich die etwas schärfere Version vom "Teufel von Rudow" auf Amazon Prime hochgeladen/ersetzen . Mal schauen.
Antwort von Dietrichmann:
Hallo Marty,
ich finde Deine Ergebnisse sehr bemerkenswert. Da ich auch mit dieser Software herumexperimentiere, würden mich Deine Einstellungen interessieren: Welches Feature verwendest Du für den Input? HQ HQ-CG oder LQ? In welchem Format gibst Du aus? MP4?
Herzliche Grüße Dietrich
Antwort von Lard:
Das beste Ergebnis mit meinem Video mit der Auflösung von 320x240 habe ich mit 200% ereicht, also 640x480.
Bei anderen Auflösungen, wie 768x576 oder 1280x960 wurde das Bild blasser und Details gingen verloren.
Könnte sein das dies auch andere Auflösungen über 200% betrifft, das habe ich nicht getestet.
Die einzig brauchbare Einstellung war HQ-CG.
Den Output habe ich in Bildern (png) ausgegeben, weil nur der Encoder H.263 unterstützt wird und garkeine Einstellungen angeboten werden.
Mit ffmpeg kann ich den Encoder und die Einstellungen für mein Video selber wählen.
Antwort von cantsin:
Ein Qualitätsvergleich zum "Super Resolution"-Upscaling in Resolve Studio würde mich mal interessieren...
Antwort von marty_mc:
Dietrichmann hat geschrieben:
Hallo Marty,
ich finde Deine Ergebnisse sehr bemerkenswert. Da ich auch mit dieser Software herumexperimentiere, würden mich Deine Einstellungen interessieren: Welches Feature verwendest Du für den Input? HQ HQ-CG oder LQ? In welchem Format gibst Du aus? MP4?
Herzliche Grüße Dietrich
Hallo Dietrich!!
Danke! Ich verwende die dritte Einstellung, also den LQ Modus und die UHD (3840x2160 Pioxel) Auflösung. Als Ausgabe habe ich MP4 gewählt. Die anderen Codecs habe ich nicht probiert, weil ich mir da keine große Verbesserung darstellen kann. :-)
Ja, schon ganz nett, oder? Aber da geht noch mehr. Mir ging der Gedanke, wenn die (oder eine andere Software) besser wird, ist das irgendwann so ne Art CGI Bild... :-D
Viel Erfolg! Was versuchst du aus der unscharfen Vergangenheit in die klare Zukunft zu rendern?
Antwort von Bladerunner1962:
Ich expermentiere/teste auch fleißig zwischendurch weiter.
Das ist eines der bemerkenswertesten Video-Tools seit langem, was auf den Markt gebracht wurde, auch wenn es längst noch nicht ausgereift ist.
Was man da aus manchen alten Videos rausholen kann, hätte ich nie gedacht. Deutlich beeindruckender als via Neat Video.
Allerdings, wie hier schon öfter erwähnt: Strukturen und Gesichter sehr schlecht verarbeitet.
Hier fehlt es definitiv an "Reglern" für entsprechende Feinjustierungen.
Antwort von Bladerunner:
Ergänzung zum Beitrag von gestern:
Auch bei mir ist der Modus "Upsampling HQ-CG" von Anfang an der einzig Brauchbare.
Der Modus "Upsampling HQ" ist selten hilfreich, da hier die Schärfe zwar etwas höher ist, aber erst Recht Strukturen und Gesichter nahezu "zerstört"
Der Modus "Upsamling LQ" erzeugt ein deutlich unreineres Bild mit zusätzlich erzeugten Artekfakten.
HIer sei noch bemerkt, dass ich mit Video-Material 480p und niedriger experimentiere.
Weitere Erfahrungen dem Tool:
- das Rendern geht verhältnismäßig schnell und gleich ungefähr dem Tempo, was ich bei Neat Video habe (RTX 2060, 8GB im Einsatz)
- das Deblocking ist sehr beeindruckend
- Kanten werden in der Regel beeindruckend geglättet ("stabilisiert")
- Bildrauschen wird meist vollständig beseitigt
- Die Bildschärfe wird gerade bei Kanten sichtbar erhöht (nicht übertrieben). Leider führt das bei Gesichtern zu z.B. Überschärfungen im Augenbereich.
- in einigen wird das gesamte Bild leider zu stark geglättet, dass das Bild unnatürlich wirkt. Hier braucht man definitiv manuelle Anpassungsmöglichkeiten
Antwort von Asjaman:
Ich habe die Demoversion von Topaz Video Enhance (1.2.0) installiert und musste gleich entsetzt feststellen, dass dort kein Deinterlacer integriert ist. Das heißt, man muss diesen Schritt vorher gehen und verliert damit durch die Neu-Encodierung bereits an Qualität.
Das Programm wäre für mich also nur interessant, wenn es die nativen Dateien mit allem Nötigen verarbeiten kann. Dieser ganze alte SD-Kram sowie auch HDV sind doch allermeistens interlaced, deshalb verstehe ich nicht, wieso Topaz das nicht gleich berücksichtigt und hochwertiges De-Interlacing integriert. Immerhin heißt es auf der Website: "We are working on a deinterlacer AI at this moment, stay tuned."
Antwort von Bladerunner:
Ich habe nun seit Wochen Video Enhance AI umfangreich im Einsatz; nach wie vor in der Testversion, die ich mir habe verlängern lassen.
Mittlerweile ist die Version 1.2.0 veröffentlich, die man downloaden kann.
Seit den letzten Updates wird nun auch Audio verarbeitet und bei Einsatz von GTX/RTX sieht man deutlich Performance-Verbesserungen.
Gesichter und Strukturen werden seit den letzten Versionen zum Glück nur noch in seltenen Fällen "zerstört".
Nur mit dem Modus CG erreiche ich deutliche Verbesserungen bei altem VHS/SVHS/Hi8-Material. Und die sind in der Regel sehr sehr beeindruckend. Bedenkt man, dass das Ausgangsmaterial wirklich sehr "dirty" ist (Bildrauschen auf höchstem Niveau, Blöckchenbildungen über das ganze Bild, ausgefranzte/undeutliche Kanten, Unschärfe sowieso), grenzt das fast schon an Zauberei, was Video Enhance AI, da teilweise leistet. Eigentlich hatte ich mal' gelernt "Garbage in/Garbage out" und verschlimmbessert solche Videos nur. Da habe ich in den letzten Wochen ganz andere und sehr positive Erfahrungen gemacht.
ALLERDINGS: die Schwäche des Tools liegt beim CG-Modus im Addieren von neuen Artefakten/Strukturen. Das passiert nicht bei jedem Clip. Meist werden die netzartigen/punktartigen Artefakte bei Landschaftsaufnahmen z.B. Pflanzen, Bäumen und Gras dazuaddiert; mal stärker/größer und mal weniger ausgeprägt. Offenbar ist die AI immer noch am lernen, wie mit Pflanzen, Gräsern usw. umzugehen ist. Ob das überhaupt jemals möglich sein wird, weiß ich nicht.
Ich habe aber längst einen Workflow herausgefunden, dies einigermaßen in den Griff zu bekommen. UND, die Ergebnisse sind teilweise unfassbar; gerade im vorher/nachher-Vergleich:
1. AVI-Material mit Tmpgenc Masterworks 6 oder 7 mit Deinterlace im Modus HIGH PRECISION deinterlacen und mit 1280x720, 25FPS, 30Mbit in MP4 rendern
2. Das neue v.g. MP4 mit Neat Video entrauschen....aber nur ganz "zart"...bis das Bildrauschen im Himmel fast verschwunden ist (nur fast!) (nutze es in Magix Video ProX)
3. Color Grading im Himmel vornehmen >>> bei VHS/S-VHS/HI8 war der Himmel damals meist lila..(nutze das Farbanpassungstool in Magix Video ProX...sehr schnell/einfach dafür)
4. Video Enhance im Modus CG und 200% rendern lassen
5. Color-Grading am besten in meinem Fall = ColorDirector von Cyberlink (funktioniert ähnlich wie z.B. Luminar...von daher einfach und schnell und hat Bewegungsverfolgung)
Das klingt natürlich nach viel Arbeit im Vorfeld und danach....stimmt! :-) Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte. Natürlich sieht das Endergebnis nicht wie 1080p/2K oder 4K aus.....
Antwort von cantsin:
Bladerunner hat geschrieben:
Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte.
Könntest Du vielleicht Beispielbilder oder -videos hochladen? Das wäre sehr interessant und hilfreich!
Antwort von Bladerunner:
cantsin hat geschrieben:
Bladerunner hat geschrieben:
Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte.
Könntest Du vielleicht Beispielbilder oder -videos hochladen? Das wäre sehr interessant und hilfreich!
Ja, wenn ich das eine Projekt abgeschlossen habe, kann ich das sicher mal auf Youtube oder Vimeo laden.
Antwort von Serge:
Interessant wäre ein Vergleich desselben mit dem (schon älteren und kostenlosen) "Neural network resizer NNEDI3", siehe auch:
https://forum.blackmagicdesign.com/view ... 59#p603885
marty_mc hat geschrieben:
Ok, Leute, jetzt hab ich es endlich geschafft, ein wenig miniDV und DVCam Material durch diese Enhance Video AI Software zu schicken. Guckst euch an, es sind erstmal ein paar Testaufnahmen für euch.
Vorweg: Es ist nix zum staunen, aber interessant allemal. Das PRoblem ist eben die Kamera mit ihrer Kantenanhebung und auch DV mit der 4:2:0 Farbkodierung.
Die entstandenen Artefakte stören mich nicht so sehr. Eher finde ich die maue/akutell unscharfe Version des Films nicht so gut.
Das Material der DVCam Aufnahmen ist besser, da die Kamera (Sony DSR 500 WSP) dann doch schärfer aufgelöst hatte.
Viel Spaß beim reinschnuppern. Ich denke mal, in 4 bis 6 Wochen habe ich die etwas schärfere Version vom "Teufel von Rudow" auf Amazon Prime hochgeladen/ersetzen . Mal schauen.
Antwort von Frank Glencairn:
Das ist doch schon ganz beachtlich.
Antwort von Serge:
Quintessenz nach einigen Tests mit "Video Enhance AI" und SD-Material:
Für gute Resultate braucht es als erstes einen sehr guten Deinterlacer.
Als weiteres hängt sehr viel von der Auflösung der verwendeten Kamera ab. Bilder meiner alten PD-170 ergeben ein sehr viel besseres Upscaling, als die meiner Ein-Chip TRV-10 (siehe Anhänge).
Je niedriger die Auflösung, desto unwirklicher werden die Resultate, bzw. selbst bei HQ SD-Material ist es fraglich, wie viele gesichtslose Phantome es auf einem 55“ TV im Hintergrund verträgt. Von dem her müssen Bildteile isoliert werden können, was mit einem Plug-In einfacher wäre als mit einer standalone Software.
Bei VHS oder noch geringerer Auflösung würde ich den schon älteren NNEDI3 Upscaler bevorzugen, da dieser viel subtiler arbeitet und auch (nach dem Deinterlacing übrig gebliebene) treppenstufige Kanten glättet. Dieser in Verbindung mit temporaler Rauschunterdrückung liefert vielleicht etwas weniger scharfe Bilder, doch sieht, was hinten rauskommt, weniger glattgebügelt und rekonstruiert aus (im Vergleich zu AI LQ. HQ ist für Low-Res / VHS meiner Meinung nach kaum brauchbar).
Antwort von marty_mc:
Hallo in die Runde!
Nun endlich hat Amazon die KI VERSION unseres alten SD - Trash Spielfilmes "Der Teufel von Rudow" freigegeben. Nice, nice, aber wie gesagt, das könnte irgendwann noch besser aussehen, wenn diese Art der Software sich noch mehr entwickelt.
Wir haben das Streaming abgestellt, sehts uns nach. Wer aber Interesse hat, sich den Film anzuschauen, der könnte als günstigstes die HD Version für 3,99 leihen.
Aber wie gesagt, es war ein Studenten Abschluss Projekt aus dem Jahr 2002, den wir mit der Canon XL-1 aufgenommen hatten, bitte kein Premium Film erwarten.;-)
https://amzn.to/37E83JG
Martin :-)
Schöne Ostern euch!°
Antwort von apevel:
Habe das Proggi gekauft und bin leicht der Verzweiflung nahe. Bei mir rendert das immer nur ein paar Sekunden. Ich habe es natürlich frei geschaltet. Ich gebe Start und Endframe ein und nach ein paar Sekunden ist schicht im Schacht. Kann mir da wer helfen?
Danke
Antwort von iasi:
Serge hat geschrieben:
Quintessenz nach einigen Tests mit "Video Enhance AI" und SD-Material:
Für gute Resultate braucht es als erstes einen sehr guten Deinterlacer.
Als weiteres hängt sehr viel von der Auflösung der verwendeten Kamera ab. Bilder meiner alten PD-170 ergeben ein sehr viel besseres Upscaling, als die meiner Ein-Chip TRV-10 (siehe Anhänge).
Je niedriger die Auflösung, desto unwirklicher werden die Resultate, bzw. selbst bei HQ SD-Material ist es fraglich, wie viele gesichtslose Phantome es auf einem 55“ TV im Hintergrund verträgt. Von dem her müssen Bildteile isoliert werden können, was mit einem Plug-In einfacher wäre als mit einer standalone Software.
Bei VHS oder noch geringerer Auflösung würde ich den schon älteren NNEDI3 Upscaler bevorzugen, da dieser viel subtiler arbeitet und auch (nach dem Deinterlacing übrig gebliebene) treppenstufige Kanten glättet. Dieser in Verbindung mit temporaler Rauschunterdrückung liefert vielleicht etwas weniger scharfe Bilder, doch sieht, was hinten rauskommt, weniger glattgebügelt und rekonstruiert aus (im Vergleich zu AI LQ. HQ ist für Low-Res / VHS meiner Meinung nach kaum brauchbar).
Interessant. Danke für das Teilen deiner Tests.
Braucht es bei Resolve eigentlich den separaten Deinterlacer?
