slashCAM Forum

Ein Forschungsteam von Netflix hat in einem Arxiv-Paper ein neues Greenscreen Verfahren vorgestellt, das mit herkömmlichen Kameras bessere Ergebnisse erzielen soll, als...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Netflix - besseres Keying mit Magenta-Greenscreen?

Man könnte ja wenigstens das Paper mal überfliegen, bevor man es hier vorstellt.
Echt jetzt.

Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?

Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P

prime hat geschrieben: ↑Mi 12 Jul, 2023 12:28 Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?

Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P

Du hast so recht. (Fast) keine Unterschiede ;)

Höhö...
Naja da nimmt dann eben Bluescreen. Der ganze Aufwand nur um ein grünes Kleid anzuziehen. Artefakte beim künstlichen Motion-blur bleiben.

Demnächst kommen dann Nexflix-Zertifizierte Greenscreens 🙃

VG

Warm WB auf das Grün, kälter auf die Person. Schon immer so gemacht. Verstehe die Frage nicht.

prime hat geschrieben: ↑Mi 12 Jul, 2023 12:50 Höhö...
Naja da nimmt dann eben Bluescreen. Der ganze Aufwand nur um ein grünes Kleid anzuziehen. Artefakte beim künstlichen Motion-blur bleiben.

So wie ich das verstehe, geht es gerade darum, Optical Flow und künstliches Motion Blur NICHT verwenden zu müssen ;)

TheGadgetFilms hat geschrieben: ↑Mi 12 Jul, 2023 13:48 Warm WB auf das Grün, kälter auf die Person. Schon immer so gemacht. Verstehe die Frage nicht.

Kannste dir sowieso nicht leisten, die Technik ;)

prime hat geschrieben: ↑Mi 12 Jul, 2023 12:28 Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?

Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P

Vor allem dürfte das ein Alptraum für die Leute vor und um die Kamera sein, wenn sie den ganzen Tag auf diese schrecklichen Farben starren müssen. Das ist ja bereits bei grün schlimm genug, aber jetzt noch Magenta?

macaw hat geschrieben: ↑Mi 12 Jul, 2023 16:13

prime hat geschrieben: ↑Mi 12 Jul, 2023 12:28 Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?

Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P

Vor allem dürfte das ein Alptraum für die Leute vor und um die Kamera sein, wenn sie den ganzen Tag auf diese schrecklichen Farben starren müssen. Das ist ja bereits bei grün schlimm genug, aber jetzt noch Magenta?

Ja, deswegen wird das auch nicht gemacht.
Herrlich ;)

prime hat geschrieben: ↑Mi 12 Jul, 2023 12:28 Viel Aufwand und das Ergebnis ist nicht mal marginal besser als klassische Greenscreen Setups. Generell halte ich die Idee sich die Farben erstmal komplett zu vermurksen um sie dann per ML/KI Modelle wiederherzustellen als komplett daneben. Die Autoren behaupten zwar ihr "recoloring" wäre temporal stabil, aber was haben die getestet, ein oder zwei Sequenzen?

Von optical flow und motion blur sich wieder reinrechnen fange ich erst gar nicht an, beides berühmt berüchtigt für artefakt-freie Bilder, nicht wahr? ;-P

Nicht gleich schreien: Es taugt nichts! :)

Der Ansatz ist nicht schlecht und falsch.
Was eine KI hier dann machen soll, ist mir aber nicht ganz klar.

Prinzipiell kann man ja alle Farben zusammenmixen.

"Marginal" ist wiederum relativ.
Haare können ja z.B. gruselig sein und man ist auch über marinale Verbesserungen froh.

Vielleicht sollte ich es mal versuchen und dann einfach mal die Color-Chart-Funktion von Resolve zur Farbkorrektur nutzen.

iasi hat geschrieben: ↑Mi 12 Jul, 2023 20:11 "Marginal" ist wiederum relativ.
Haare können ja z.B. gruselig sein und man ist auch über marinale Verbesserungen froh.

Du meintest sicher maritime...

VG

pillepalle hat geschrieben: ↑Mi 12 Jul, 2023 20:13

iasi hat geschrieben: ↑Mi 12 Jul, 2023 20:11 "Marginal" ist wiederum relativ.
Haare können ja z.B. gruselig sein und man ist auch über marinale Verbesserungen froh.

Du meintest sicher maritime...

VG

Eigentlich nicht ... aber wenn du denkst :)

Solange es nicht urinale Verbesserungen sind...

MK hat geschrieben: ↑Mi 12 Jul, 2023 22:17 Solange es nicht urinale Verbesserungen sind...

Auf Ideen kommt ihr ... ;) :)

iasi hat geschrieben: ↑Mi 12 Jul, 2023 20:11Was eine KI hier dann machen soll, ist mir aber nicht ganz klar.

Die Farben wieder zurechtbiegen, die man während der Aufzeichnung verhunzt hat.

Insgesamt doch abenteuerlich. Schauspieler und Crew arbeiten wie schon gesagt in dieser fürchterlichen Farbumgebung. Dann kommt das Problem dazu, dass man bei der Beurteilung des Motivs/Darstellern/Lichts vor und während des Drehs nur auf den Monitor starren kann. Momentan oder generell sollten die Grenzen der Lichtsetzung auch recht minimal sein, denn ein sattes Magenta darf ja nie zu "hell" werden, sonst klappt die ganze Chose ja nicht mehr. Am Ende bleibt es dann, wie hier einige schon meinten, ein Glücksspiel, ob der Transfer der echten Farben sauber klappt. Also bei den ganzen wenns und abers greife ich lieber auf ein normales Key zurück oder es geht direkt in die Roto - was ich ohnehin überwiegend mache und machen muss.

Ehrlich gesagt glaub ich nicht, daß wir davon in Zukunft viel hören werden.

macaw hat geschrieben: ↑Do 13 Jul, 2023 09:38 Also bei den ganzen wenns und abers greife ich lieber auf ein normales Key zurück

Was noch dazu heutzutage kein Hexenwerk zum QCen auch am Set ist. Inklusive Live-Compositing.

Wie ich das Papier verstehe:
Komlimentärfarben zur Generierung eines Alphakanals, also beste Bedingungen.
Damit Schauspieler nicht in Margentalicht agieren müssen, wird es mit Grün gewechselt. Für das Auge neutralisieren sich die Farben, die Kamera nimmt Margenta auf (bei abgestimmter Frequenz).
Der resultierende Farbstich wird mit Machine Learning Algorythmen entfern. Dazu werden die Schauspieler vor neutralem Hintergrund gefilmt.

Vorteil: bestmöglicher Alphakanal, keine Bewegungsalgorythmen (Optical Flow) nötig, vollautomatisch

Nachteil: derzeit nicht live anwendbar, da das Training des Colorization Models zu lange dafür dauert.
Aber da haben die auch schon gute Idden ;)

Optical flow wird verwendet für frame-alignment (wenn deren Time-Multiplex Triangulation Verfahren nicht funktioniert) und auch für künstliches Motion Blur. Aber wehe es bewegt sich jemand zu schnell. Da widersprechen die sich auch ein wenig.

While manual keying techniques could certainly succeed in keying this green screen shot, we are interested in an automated, reliable matting technique which makes no restrictions on what the actor wears or how they move.

In each case, the technique [Time-Multiplexed Triangulation Matting] works well except when there is significant subject motion, and optical flow is relied upon to align the channels of the foreground element and/or the matte from neighboring frames recorded at 48fps.

The remaining drawback of time-multiplexing in this manner is that the shorter shutter angle reduces the amount of motion blur, which is considered desirable for cinema.
... we can address the problem in our Time-Multiplexed Magenta Green Screen technique by computing optical flow and using the flow not only to temporally align adjacent frames, but also to add simulated 180 degree motion blur to the images. We show an example of this in Figure 7 and in the accompanying video.

Und was passiert, wenn einer der Darsteller mittendrin ein anderes Oberteil trägt (ob absichtlich oder nicht, weswegen auch immer) - so, wie heutzutage gedreht wird, denkt keiner daran, das als cleanplate aufzunehmen. Ob der Style transfer dann noch flexibel genug ist?

prime hat geschrieben: ↑Do 13 Jul, 2023 12:43 Optical flow wird verwendet für frame-alignment (wenn deren Time-Multiplex Triangulation Verfahren nicht funktioniert) und auch für künstliches Motion Blur. Aber wehe es bewegt sich jemand zu schnell. Da widersprechen die sich auch ein wenig.

While manual keying techniques could certainly succeed in keying this green screen shot, we are interested in an automated, reliable matting technique which makes no restrictions on what the actor wears or how they move.

In each case, the technique [Time-Multiplexed Triangulation Matting] works well except when there is significant subject motion, and optical flow is relied upon to align the channels of the foreground element and/or the matte from neighboring frames recorded at 48fps.

The remaining drawback of time-multiplexing in this manner is that the shorter shutter angle reduces the amount of motion blur, which is considered desirable for cinema.
... we can address the problem in our Time-Multiplexed Magenta Green Screen technique by computing optical flow and using the flow not only to temporally align adjacent frames, but also to add simulated 180 degree motion blur to the images. We show an example of this in Figure 7 and in the accompanying video.

Ich glaube nicht, dass sie sich widersprechen, sondern sie zeigen verschiedenen Wege auf. Oder Stadien des Prozesses.

The ML colorization technique to reconstruct the green channel of Time-Multiplexed Magenta Green Screen has the advantage that no optical flow is required to align channels, and it can be applied to Time-Multiplexed Magenta Green Screen footage just as it can be to non-Time-Multiplexed Magenta Green Screen footage.

(ich muss mich in englisch ganz schön strecken, dass zu verstehen)

Der Teil den du zitiert hast bezieht sich glaub ich nur auf die "ML colorization". Für Szenen die mit 48fps und entsprechend kürzeren Belichtungszeiten gefilmt wurden nutzen sie optical flow um die Bewegungsunschärfe wieder dazuzurechnen.

Ob jetzt ein KI-Modell oder optical flow irgendwas wieder neurechnet, beides nicht berühmt für artefaktfreie Bilder.

prime hat geschrieben: ↑Do 13 Jul, 2023 13:13 Der Teil den du zitiert hast bezieht sich glaub ich nur auf die "ML colorization". Für Szenen die mit 48fps und entsprechend kürzeren Belichtungszeiten gefilmt wurden nutzen sie optical flow um die Bewegungsunschärfe wieder dazuzurechnen.

Ob jetzt ein KI-Modell oder optical flow irgendwas wieder neurechnet, beides nicht berühmt für artefaktfreie Bilder.

Glaub nicht. Bei den time based Verfahren wird grundsätzlich das Nachbarbild zur Generierung des (fehlenden) Grünkanals benutzt. Dafür braucht man dann Optical Flow. Hier wird EIN Bild jeweils zur Hälfte (1/48) Margenta und danach Grün belichtet. Damit kann man den Grünkanal Rekonstruieren und hat den Motion Blur aus dem 1/24-belichteten Gesamtbild.
So verstehe ich das (hoffentlich richtig).

MAGENTA_HAUTCREME von NETFLIX!

das wäre dann die Resterampe..

wenn ich unbedingt neues Keying mache sind das 4 kleine Punktwolken lidar-cams die
mit der UNREAL Engine 5-3 machen.
Und fertig. Da wird sicher ein ganzer Markt angekickt und sogar relativ leistbar.
Und nein, wir wollen das ab Herbst ohne Handy, weil und so weiter.. coppy Huston?

Jetzt ins 17 Grad kalte Wasser.. :)

prime hat geschrieben: ↑Do 13 Jul, 2023 06:35

iasi hat geschrieben: ↑Mi 12 Jul, 2023 20:11Was eine KI hier dann machen soll, ist mir aber nicht ganz klar.

Die Farben wieder zurechtbiegen, die man während der Aufzeichnung verhunzt hat.

Dazu braucht man doch keine KI.
Die Farbchart-Korrektur in Resolve schafft das doch auch.

Oder wird schon beim Dabayern angesetzt?

dienstag_01 hat geschrieben: ↑Do 13 Jul, 2023 11:09 Wie ich das Papier verstehe:
Komlimentärfarben zur Generierung eines Alphakanals, also beste Bedingungen.
Damit Schauspieler nicht in Margentalicht agieren müssen, wird es mit Grün gewechselt. Für das Auge neutralisieren sich die Farben, die Kamera nimmt Margenta auf (bei abgestimmter Frequenz).
Der resultierende Farbstich wird mit Machine Learning Algorythmen entfern. Dazu werden die Schauspieler vor neutralem Hintergrund gefilmt.

Vorteil: bestmöglicher Alphakanal, keine Bewegungsalgorythmen (Optical Flow) nötig, vollautomatisch

Nachteil: derzeit nicht live anwendbar, da das Training des Colorization Models zu lange dafür dauert.
Aber da haben die auch schon gute Idden ;)

Ahh - das ist also der Ansatz.
Klingt eigentlich recht überzeugend.

Für Margenta schmiert man dann Margarine auf die Leuchten, oder wie? 😜

Jan Ulrich und Manfred Krug wissen:
Es heißt Magenta.


(Vielleicht klappt's ja mit der Telekom Variante dann auch beim Motion Blur...)

Erinnert irgendwie ein wenig ans Bipack-Verfahren.

medienonkel hat geschrieben: ↑Do 13 Jul, 2023 22:15 Für Margenta schmiert man dann Margarine auf die Leuchten, oder wie? 😜

Jan Ulrich und Manfred Krug wissen:
Es heißt Magenta.


(Vielleicht klappt's ja mit der Telekom Variante dann auch beim Motion Blur...)

Erinnert irgendwie ein wenig ans Bipack-Verfahren.

Margenta ist die gegenderte Variante.
Nicht gewusst, hm?!

Ich gendere sehr ausführlich und sehr gerne - hin und wieder sogar im Cats-Club - aber das ist sogar mir noch nicht untergekommen.
Vielen Dank für die Aufklärung!

Man muss dieses Forum für seine konstruktive Lebenshilfe und Fortbildungsmöglichkeiten einfach 5 von 5 Sternen und einen "Thumbs up!" geben.

dienstag_01 hat geschrieben: ↑Do 13 Jul, 2023 22:51 Margenta ist die gegenderte Variante.
Nicht gewusst, hm?!

Es heißt gerendert, soviel Zeit muss sein :P