Newsmeldung von slashCAM:
Ein Forschungsteam von Netflix hat in einem Arxiv-Paper ein neues Greenscreen Verfahren vorgestellt, das mit herkömmlichen Kameras bessere Ergebnisse erzielen soll, als...
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Netflix - besseres Keying mit Magenta-Greenscreen?
Antwort von dienstag_01:
Man könnte ja wenigstens das Paper mal überfliegen, bevor man es hier vorstellt.
Echt jetzt.
Antwort von prime:
Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?
Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P
Antwort von dienstag_01:
prime hat geschrieben:
Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?
Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P
Du hast so recht. (Fast) keine Unterschiede ;)
margenta_green_screen.png
Antwort von prime:
Höhö...
Naja da nimmt dann eben Bluescreen. Der ganze Aufwand nur um ein grünes Kleid anzuziehen. Artefakte beim künstlichen Motion-blur bleiben.
Antwort von pillepalle:
Demnächst kommen dann Nexflix-Zertifizierte Greenscreens 🙃
VG
Antwort von TheGadgetFilms:
Warm WB auf das Grün, kälter auf die Person. Schon immer so gemacht. Verstehe die Frage nicht.
Antwort von dienstag_01:
prime hat geschrieben:
Höhö...
Naja da nimmt dann eben Bluescreen. Der ganze Aufwand nur um ein grünes Kleid anzuziehen. Artefakte beim künstlichen Motion-blur bleiben.
So wie ich das verstehe, geht es gerade darum, Optical Flow und künstliches Motion Blur NICHT verwenden zu müssen ;)
Antwort von dienstag_01:
TheGadgetFilms hat geschrieben:
Warm WB auf das Grün, kälter auf die Person. Schon immer so gemacht. Verstehe die Frage nicht.
Kannste dir sowieso nicht leisten, die Technik ;)
Antwort von macaw:
prime hat geschrieben:
Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?
Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P
Vor allem dürfte das ein Alptraum für die Leute vor und um die Kamera sein, wenn sie den ganzen Tag auf diese schrecklichen Farben starren müssen. Das ist ja bereits bei grün schlimm genug, aber jetzt noch Magenta?
Antwort von dienstag_01:
macaw hat geschrieben:
prime hat geschrieben:
Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?
Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P
Vor allem dürfte das ein Alptraum für die Leute vor und um die Kamera sein, wenn sie den ganzen Tag auf diese schrecklichen Farben starren müssen. Das ist ja bereits bei grün schlimm genug, aber jetzt noch Magenta?
Ja, deswegen wird das auch nicht gemacht.
Herrlich ;)
Antwort von iasi:
prime hat geschrieben:
Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?
Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P
Nicht gleich schreien: Es taugt nichts! :)
Der Ansatz ist nicht schlecht und falsch.
Was eine KI hier dann machen soll, ist mir aber nicht ganz klar.
Prinzipiell kann man ja alle Farben zusammenmixen.
"Marginal" ist wiederum relativ.
Haare können ja z.B. gruselig sein und man ist auch über marinale Verbesserungen froh.
Vielleicht sollte ich es mal versuchen und dann einfach mal die Color-Chart-Funktion von Resolve zur Farbkorrektur nutzen.
Antwort von pillepalle:
iasi hat geschrieben:
"Marginal" ist wiederum relativ.
Haare können ja z.B. gruselig sein und man ist auch über marinale Verbesserungen froh.
Du meintest sicher maritime...
VG
Antwort von iasi:
pillepalle hat geschrieben:
iasi hat geschrieben:
"Marginal" ist wiederum relativ.
Haare können ja z.B. gruselig sein und man ist auch über marinale Verbesserungen froh.
Du meintest sicher maritime...
VG
Eigentlich nicht ... aber wenn du denkst :)
Antwort von MK:
Solange es nicht urinale Verbesserungen sind...
Antwort von iasi:
MK hat geschrieben:
Solange es nicht urinale Verbesserungen sind...
Auf Ideen kommt ihr ... ;) :)
Antwort von prime:
iasi hat geschrieben:
Was eine KI hier dann machen soll, ist mir aber nicht ganz klar.
Die Farben wieder zurechtbiegen, die man während der Aufzeichnung verhunzt hat.
Antwort von macaw:
Insgesamt doch abenteuerlich. Schauspieler und Crew arbeiten wie schon gesagt in dieser fürchterlichen Farbumgebung. Dann kommt das Problem dazu, dass man bei der Beurteilung des Motivs/Darstellern/Lichts vor und während des Drehs nur auf den Monitor starren kann. Momentan oder generell sollten die Grenzen der Lichtsetzung auch recht minimal sein, denn ein sattes Magenta darf ja nie zu "hell" werden, sonst klappt die ganze Chose ja nicht mehr. Am Ende bleibt es dann, wie hier einige schon meinten, ein Glücksspiel, ob der Transfer der echten Farben sauber klappt. Also bei den ganzen wenns und abers greife ich lieber auf ein normales Key zurück oder es geht direkt in die Roto - was ich ohnehin überwiegend mache und machen muss.
Antwort von Frank Glencairn:
Ehrlich gesagt glaub ich nicht, daß wir davon in Zukunft viel hören werden.
Antwort von andieymi:
macaw hat geschrieben:
Also bei den ganzen wenns und abers greife ich lieber auf ein normales Key zurück
Was noch dazu heutzutage kein Hexenwerk zum QCen auch am Set ist. Inklusive Live-Compositing.
Antwort von dienstag_01:
Wie ich das Papier verstehe:
Komlimentärfarben zur Generierung eines Alphakanals, also beste Bedingungen.
Damit Schauspieler nicht in Margentalicht agieren müssen, wird es mit Grün gewechselt. Für das Auge neutralisieren sich die Farben, die Kamera nimmt Margenta auf (bei abgestimmter Frequenz).
Der resultierende Farbstich wird mit Machine Learning Algorythmen entfern. Dazu werden die Schauspieler vor neutralem Hintergrund gefilmt.
Vorteil: bestmöglicher Alphakanal, keine Bewegungsalgorythmen (Optical Flow) nötig, vollautomatisch
Nachteil: derzeit nicht live anwendbar, da das Training des Colorization Models zu lange dafür dauert.
Aber da haben die auch schon gute Idden ;)
Antwort von prime:
Optical flow wird verwendet für frame-alignment (wenn deren Time-Multiplex Triangulation Verfahren nicht funktioniert) und auch für künstliches Motion Blur. Aber wehe es bewegt sich jemand zu schnell. Da widersprechen die sich auch ein wenig.
While manual keying techniques could certainly succeed in keying this green screen shot, we are interested in an automated, reliable matting technique which makes no restrictions on what the actor wears or how they move.
In each case, the technique works well except when there is significant subject motion, and optical flow is relied upon to align the channels of the foreground element and/or the matte from neighboring frames recorded at 48fps.
The remaining drawback of time-multiplexing in this manner is that the shorter shutter angle reduces the amount of motion blur, which is considered desirable for cinema.
... we can address the problem in our Time-Multiplexed Magenta Green Screen technique by computing optical flow and using the flow not only to temporally align adjacent frames, but also to add simulated 180 degree motion blur to the images. We show an example of this in Figure 7 and in the accompanying video.
Antwort von macaw:
Und was passiert, wenn einer der Darsteller mittendrin ein anderes Oberteil trägt (ob absichtlich oder nicht, weswegen auch immer) - so, wie heutzutage gedreht wird, denkt keiner daran, das als cleanplate aufzunehmen. Ob der Style transfer dann noch flexibel genug ist?
Antwort von dienstag_01:
prime hat geschrieben:
Optical flow wird verwendet für frame-alignment (wenn deren Time-Multiplex Triangulation Verfahren nicht funktioniert) und auch für künstliches Motion Blur. Aber wehe es bewegt sich jemand zu schnell. Da widersprechen die sich auch ein wenig.
While manual keying techniques could certainly succeed in keying this green screen shot, we are interested in an automated, reliable matting technique which makes no restrictions on what the actor wears or how they move.
In each case, the technique works well except when there is significant subject motion, and optical flow is relied upon to align the channels of the foreground element and/or the matte from neighboring frames recorded at 48fps.
The remaining drawback of time-multiplexing in this manner is that the shorter shutter angle reduces the amount of motion blur, which is considered desirable for cinema.
... we can address the problem in our Time-Multiplexed Magenta Green Screen technique by computing optical flow and using the flow not only to temporally align adjacent frames, but also to add simulated 180 degree motion blur to the images. We show an example of this in Figure 7 and in the accompanying video.
Ich glaube nicht, dass sie sich widersprechen, sondern sie zeigen verschiedenen Wege auf. Oder Stadien des Prozesses.
The ML colorization technique to reconstruct the green channel of Time-Multiplexed Magenta Green Screen has the advantage that no optical flow is required to align channels, and it can be applied to Time-Multiplexed Magenta Green Screen footage just as it can be to non-Time-Multiplexed Magenta Green Screen footage.
(ich muss mich in englisch ganz schön strecken, dass zu verstehen)
Antwort von prime:
Der Teil den du zitiert hast bezieht sich glaub ich nur auf die "ML colorization". Für Szenen die mit 48fps und entsprechend kürzeren Belichtungszeiten gefilmt wurden nutzen sie optical flow um die Bewegungsunschärfe wieder dazuzurechnen.
Ob jetzt ein KI-Modell oder optical flow irgendwas wieder neurechnet, beides nicht berühmt für artefaktfreie Bilder.
Antwort von dienstag_01:
prime hat geschrieben:
Der Teil den du zitiert hast bezieht sich glaub ich nur auf die "ML colorization". Für Szenen die mit 48fps und entsprechend kürzeren Belichtungszeiten gefilmt wurden nutzen sie optical flow um die Bewegungsunschärfe wieder dazuzurechnen.
Ob jetzt ein KI-Modell oder optical flow irgendwas wieder neurechnet, beides nicht berühmt für artefaktfreie Bilder.
Glaub nicht. Bei den time based Verfahren wird grundsätzlich das Nachbarbild zur Generierung des (fehlenden) Grünkanals benutzt. Dafür braucht man dann Optical Flow. Hier wird EIN Bild jeweils zur Hälfte (1/48) Margenta und danach Grün belichtet. Damit kann man den Grünkanal Rekonstruieren und hat den Motion Blur aus dem 1/24-belichteten Gesamtbild.
So verstehe ich das (hoffentlich richtig).
Antwort von restlichtVerwerter:
MAGENTA_HAUTCREME von NETFLIX!
das wäre dann die Resterampe..
wenn ich unbedingt neues Keying mache sind das 4 kleine Punktwolken lidar-cams die
mit der UNREAL Engine 5-3 machen.
Und fertig. Da wird sicher ein ganzer Markt angekickt und sogar relativ leistbar.
Und nein, wir wollen das ab Herbst ohne Handy, weil und so weiter.. coppy Huston?
Jetzt ins 17 Grad kalte Wasser.. :)
Antwort von iasi:
prime hat geschrieben:
iasi hat geschrieben:
Was eine KI hier dann machen soll, ist mir aber nicht ganz klar.
Die Farben wieder zurechtbiegen, die man während der Aufzeichnung verhunzt hat.
Dazu braucht man doch keine KI.
Die Farbchart-Korrektur in Resolve schafft das doch auch.
Oder wird schon beim Dabayern angesetzt?
Antwort von iasi:
dienstag_01 hat geschrieben:
Wie ich das Papier verstehe:
Komlimentärfarben zur Generierung eines Alphakanals, also beste Bedingungen.
Damit Schauspieler nicht in Margentalicht agieren müssen, wird es mit Grün gewechselt. Für das Auge neutralisieren sich die Farben, die Kamera nimmt Margenta auf (bei abgestimmter Frequenz).
Der resultierende Farbstich wird mit Machine Learning Algorythmen entfern. Dazu werden die Schauspieler vor neutralem Hintergrund gefilmt.
Vorteil: bestmöglicher Alphakanal, keine Bewegungsalgorythmen (Optical Flow) nötig, vollautomatisch
Nachteil: derzeit nicht live anwendbar, da das Training des Colorization Models zu lange dafür dauert.
Aber da haben die auch schon gute Idden ;)
Ahh - das ist also der Ansatz.
Klingt eigentlich recht überzeugend.
Antwort von medienonkel:
Für Margenta schmiert man dann Margarine auf die Leuchten, oder wie? 😜
Jan Ulrich und Manfred Krug wissen:
Es heißt Magenta.
(Vielleicht klappt's ja mit der Telekom Variante dann auch beim Motion Blur...)
Erinnert irgendwie ein wenig ans Bipack-Verfahren.
Antwort von dienstag_01:
medienonkel hat geschrieben:
Für Margenta schmiert man dann Margarine auf die Leuchten, oder wie? 😜
Jan Ulrich und Manfred Krug wissen:
Es heißt Magenta.
(Vielleicht klappt's ja mit der Telekom Variante dann auch beim Motion Blur...)
Erinnert irgendwie ein wenig ans Bipack-Verfahren.
Margenta ist die gegenderte Variante.
Nicht gewusst, hm?!
Antwort von medienonkel:
Ich gendere sehr ausführlich und sehr gerne - hin und wieder sogar im Cats-Club - aber das ist sogar mir noch nicht untergekommen.
Vielen Dank für die Aufklärung!
Man muss dieses Forum für seine konstruktive Lebenshilfe und Fortbildungsmöglichkeiten einfach 5 von 5 Sternen und einen "Thumbs up!" geben.
Antwort von markusG:
dienstag_01 hat geschrieben:
Margenta ist die gegenderte Variante.
Nicht gewusst, hm?!
Es heißt gerendert, soviel Zeit muss sein :P
