Frage von selrider:Hi Leute, evtl. könnt Ihr mir hier weiterhelfen.
Kann mir jemand einen Erfahrungsbericht oder einen einfachen Hinweis geben, wie man ohne ein Greenscreen den Hintergrund durch Video oder Bild ersetzen kann? Ich surfe seit Tagen schon umher, doch die meisten treffen beziehen sich auf Dinge von vor zwei Jahren. Ich suche nach einer aktuellen Lösung, per HW (Kamera) e.g. Distanz zum Objekt (3d) oder über SW (Bewegung) den Hintergrund unterscheidet und ersetzen kann.
Danke Euch für jeden Hinweis!
Antwort von Mediamind:
Eine Lösung per Software ginge. Entweder mit Masken (sehr umständlich) oder mit Tools (z.B. auf Mocca basieren, siehe u.a. Coremelt und die diversen Trackinglösungen). Auf Hardwarebasis wäre mir nichts bekannt.
Antwort von selrider:
Danke für die Auskunft, werde da mal weiter recherchieren. Die HW Lösung könnte eine von Intel sein (intelrealsense), die haben eine Kamera mit Laser-Abtastung für die Distanzabschätzung, aber ich traue dem raten nicht so ganz denn ich habe ein altes Beispiel Video von vor zwei Jahren gesehen und das sah recht unterirdisch aus. Komischerweise gibt es von den Nachfolger Kameras keine Beispiel-Videos im Web, was mich etwas stutzig macht.
Antwort von mash_gh4:
selrider hat geschrieben:
Ich suche nach einer aktuellen Lösung, per HW (Kamera) e.g. Distanz zum Objekt (3d) oder über SW (Bewegung) den Hintergrund unterscheidet und ersetzen kann.
es gibt jede menge computer vision techniken, um deratiges umzusetzten.
früher hat man dabei tatsächlich vorwiegend bewegungen bzw. differenzen im bild od. stereografische methoden genutzt. heute dagegen, treten zusehends ML basierenden segmentierungslösungen an ihre stelle. das wenigste davon ist allerdings tatsächlich als verlässlicher und ausreichend präziser ersatz für typische green screen aufgabenstellungen in der filmproduktion zu gebrauchen. für einzelne spezialaufgaben kann man diese techniken aber natürlich trotzdem heranziehen.
schau dich am besten einmal im
OpenCV umfeld um. dort gibt's jede menge tutorials und erklärungen zu den betreffenden ansätzen.
Antwort von CameraRick:
Solche Lösungen sind in der Regel auch einfach nicht sehr gut, weil sie es auch schwietig sein können. Denkt man an Haare, Bewegunsunschärfe, Dine die nicht komplett Opak sind; das klappt leider noch nicht so richtig. Gerade bei Kanten. Der Greenscreen hat noch seine Berechtigung, und die wird er auch noch lange haben. Gerade bei feinen Details wie Haaren.
Natürlich kann man mit Differenzkeys, Masken, Rotobrush und solchen Späßen viel erreichen, aber das kostet Zeit und wird u.U. auch nicht gut, je nach Source. Gibt auch Plugins wie
kognat.com, aber die Ergebnisse sind überschaubar. Wenn Du abenteuerliustig bist kannst aber auch Services wie
remove.bg mit Bildsequenzen füttern.
Ansonsten gibts natürlich diese alten Demos die Du schon gefunden hast, viel mehr ist auf dem Gebiet aber nicht passiert (wenn es kommerziell erhältlich sein soll, zumindest)
Antwort von Jott:
Ist das Kund schon in den Brunnen gefallen, oder was spricht gegen good old Green Screen?
Ansonsten: viiiiel Handarbeit von Praktikanten oder Leuten in Asien ... oder du selbst hast sonst gar nichts zu tun.
Antwort von betrix:
OBLIVION... räusper, aber das war end schweine teuer. Haben wir Geld? NEIN. noch nicht. später möglich??
Aber nun das aber, wie könnte man mit Umwegen über genaue Raumsteuerung drei
Scaner mit zb der Engine von Unreal syncen und Du hast zumindest HUmfrey Bogard
nur etwas besser. ich habe es in etwa so experimentiert.
Tip. Ich begann tatsächlich mit s/w-Back-screens und eine Heiden Arbeit um die Position des
Actors mit den drei 3mal 2meter Screens mal halbwegs so zu matchen, das dein Auge mir net
sofort einen Arschtritt gibt. Rechnen, testen, Focus; etz. Die Liste ist lang. Papiermodelle, Mathematik, echt.
Bei Zeiten und falls mal ein Tutorium, am Anfang sieht es scheiße aus, nach einigen Tagen schon
wie billiges Kino, dann... Hilft Dir das?
Und wenn du dann Green Screen dazu denkst, wird dir ein Licht aufgehen. Ist so.
Plötzlich sieht es inmersiver und net so bad aus. LG
Antwort von roki100:
Im DaVinci Resolve das Objekt maskieren und DaVinci tracking übernimmt das ganze automatisch. Und wenn es nicht perfekt ist, kann man die Keyframes zusätzlich noch manuell anpassen.
https://www.youtube.com/watch?v=Z1CulyVhbAI
Ein mächtiges Werkzeug finde ich.
Antwort von mash_gh4:
CameraRick hat geschrieben:
...viel mehr ist auf dem Gebiet aber nicht passiert (wenn es kommerziell erhältlich sein soll, zumindest)
das würde ich ziemlich nachdrücklich bestreiten!
es ist geradezu unglaublich, was sich da in den letzten jahren getan hat.
die ganzen brauchbaren ML basierenden lösungen sind in diesem zeitraum gerade erst neu dazugekommen und funktionieren derart überrangend gut, dass sie praktische alle traditionellen ansätze in den schatten stellen bzw. ablösen.
ich würde dir allerdings zustimmen, dass es noch recht wenige käufliche produkte gibt, die dieses potential befriedigend ausschöpfen. aber das ist ja weiter kein großes hindernis, wenn man in teams mit technikern kooperiert, die auch mit den weniger enduser orientierenten bereits verfügbaren implementationen und werkzeugen etwas anfangen können.
aus dieser perspektive klingt ein entsprechendes jammern über nicht vorhandene einfach zu nutzenden plugins fast so lächerlich, wie wenn man im farbumfeld alles in form von LUTs zum wahllosen draufklatschen fertig bereitgestellt bekommen will. das wissen um die zugrundeliegenden techniken und das entwickeln entsprechender in-house-lösungen ist in dieser hinsicht oft deutlich zielführender, wenn die ergebnisse nicht so aussehen sollen, wie es die aktuell verfügbaren werkzeuge und moden gerade nahelegen bzw. erzwingen.
Antwort von roki100:
mash_gh4 hat geschrieben:
schau dich am besten einmal im OpenCV umfeld um. dort gibt's jede menge tutorials und erklärungen zu den betreffenden ansätzen.
Hat zwar nichts mit dem Thema zu tun, dennoch. Ich habe vor OpenCV + Raspberry (+ Python), AF zu programmieren, womit dann eben Follow Focus gesteuert wird. Am besten wäre doch, wenn man HDMI-Input Modul für Raspberry dafür nutzt, dann braucht man ja keine extra Kamera sondern nutzt den HDMI Ausgang der Kamera dafür. Nun meine frage, hast du dich damit auseinander gesetzt und hast eventuell paar Tipps? Ich dachte den Follow Focus von Zhiyun Crane dafür zu verwenden, doch mir fehlen die USB Protokolle (die beim Gimbal+Rädchen drehen an Follow Focus gesendet werden) und mit libusb und Reading Data from usb bzw. die Protokolle auslesen, ist mir leider nicht gelungen. :/
Antwort von mash_gh4:
roki100 hat geschrieben:
Ich habe vor OpenCV + Raspberry (+ Python), AF zu programmieren, womit dann eben Follow Focus gesteuert wird. Am besten wäre doch, wenn man HDMI-Input Modul für Raspberry dafür nutzt, dann braucht man ja keine extra Kamera sondern nutzt den HDMI Ausgang der Kamera dafür.
dafür benutzt man gewöhnlich HDMI-to-CSI-bridge-lösungen, um die kameramodul-interface für ein HDMI-inputsignal zu nutzen.
derartiges gibt's ohnehin fertig zu erschwinglichen preisen (z.b.
https://auvidea.eu/b101-hdmi-to-csi-2-bridge-15-pin-fpc).
zum rumspielen ist das schon ganz brauchbar, aber für saubere umsetzungen würde ich zu leistungsfähigerer hardware greifen -- speziell:
nvidia jetson od. intel basierenden bastelboards.
roki100 hat geschrieben:
Nun meine frage, hast du dich damit auseinander gesetzt und hast eventuell paar Tipps? Ich dachte den Follow Focus von Zhiyun Crane dafür zu verwenden, doch mir fehlen die USB Protokolle.
für zhiyun kann ich dir auch nichts aus dem ärmel schütteln, aber alle neueren panasonic cameras kann ich in ähnlicher weise via WLAN direkt steuern wie man das z.t. auch von diversen gimbals aus kann. mit
libgphoto2 ist das auch via USB bei einigen kameras möglichen.
Antwort von selrider:
Ich wollte eigentlich eine einfache billige Lösung für gelegentliche Videopräsentationen und Meetings mit einem schönen Background, um ohne viel TamTam schnell meine Unordnung zu verbergen. Ich war nur der Ewartung dass sich da technisch schon viel getan hat, was aber nicht so ist, zumindest nicht im Consumer bereich.
Evtl. doch grünes Rollo mit zwei Strahlern an der Decke.
Antwort von roki100:
mash_gh4 hat geschrieben:
dafür benutzt man gewöhnlich HDMI-to-CSI-bridge-lösungen, um die kameramodul-anbindung für ein HDMI-inputsignal zu nutzen.
derartiges gibt's ohnehin fertig zu erschwinglichen preisen (z.b. https://auvidea.eu/b101-hdmi-to-csi-2-bridge-15-pin-fpc).
Genau das meinte ich ja. Muss ich mal testen.
libgphoto2 erkennt ja den Follow Focus nicht. Dass wäre natürlich optimal und die Entwicklung in ein paar Stunden erledigt. Ah wäre das so einfach!
Was mir fehlt sind wirklich nur die Zhiyun Protokolle. Die Idee wäre damit vollständig. Und wie oben erwähnt, per libusb kann ich die Protokolle auch nicht herauslesen... ich gebe aber nicht auf! Doch aus Erfahrung weiß ich, dass ich das ganze erst im Kopf verarbeiten muss, und wenn es klick macht, dann besorge ich alles und beginne mit dem Zusammenbasteln...
Antwort von mash_gh4:
roki100 hat geschrieben:
Was mir fehlt sind wirklich nur die Zhiyun Protokolle. Die Idee wäre damit vollständig. Und wie oben erwähnt, per libusb kann ich die Protokolle auch nicht herauslesen...
du brauchst nur irgendeine usbdump/usbmon werkzeug zuschauen, was da tatsächlich über die leitung geht. z.b. wireshark unterstützt das:
https://wiki.wireshark.org/CaptureSetup/USB
Antwort von roki100:
mash_gh4 hat geschrieben:
roki100 hat geschrieben:
Was mir fehlt sind wirklich nur die Zhiyun Protokolle. Die Idee wäre damit vollständig. Und wie oben erwähnt, per libusb kann ich die Protokolle auch nicht herauslesen...
du brauchst nur irgendeine usb dump werkzeug zuschauen, was da tatsächlich über die leitung geht. z.b. wireshark unterstützt das: https://wiki.wireshark.org/CaptureSetup/USB
Wie konnte ich das nur übersehen.... wird getestet!
danke! :)
Antwort von mash_gh4:
selrider hat geschrieben:
Ich wollte eigentlich eine einfache billige Lösung für gelegentliche Videopräsentationen und Meetings mit einem schönen Background, um ohne viel TamTam schnell meine Unordnung zu verbergen.
...
Evtl. doch grünes Rollo mit zwei Strahlern an der Decke.
in dem fall brauchst du doch nichteinmal einen grünen hintergrund od. irgendwelche komplizierte software, sondern wirklich nur irgendwas zum abdecken od. zuhängen... ;)
Antwort von selrider:
mash_gh4 hat geschrieben:
in dem fall brauchst du doch nichteinmal einen grünen hintergrund od. irgendwelche komplizierte software, sondern wirklich nur irgendwas zum abdecken od. zuhängen... ;)
Würde ungern mit grünem Stoff in der Tasche durch die Welt reisen ;-) wenn ich mal unterwegs bin und zuhause schon etwas schöneres, z.B. ein Aquarium im Hintergrund etc.
Antwort von Jott:
Mit grünem Rollo und zwei Deckenstrahlern wird‘s aber auch nichts mit Green Screen.
Pragmatisch: Bude aufräumen oder Meetings woanders abhalten! :-)
Antwort von selrider:
Jott hat geschrieben:
Mit grünem Rollo und zwei Deckenstrahlern wird‘s aber auch nichts mit Green Screen.
wieso nicht? OBS Studio habe ich inzwischen rausrecherchiert. Toll ist das nicht, ideal wäre da ne HW die das alles selber macht! Da scheint es aber nur minderwertiges zeug aktuell zu geben. Nichts brauchbares...
Antwort von Frank Glencairn:
Schau dir mal Rotobot an -
https://kognat.com
Antwort von selrider:
"Frank Glencairn" hat geschrieben:
Schau dir mal Rotobot an - https://kognat.com
Das ist offensichtlich eine alles könner App.
Viel zu viel für meine zwecke bzw. zu teuer. Ein jährliches Abo von fast 300 €, dabei wollte ich insgesamt (einmalig) nicht mehr ausgeben.
Antwort von mash_gh4:
selrider hat geschrieben:
Das ist offensichtlich eine alles könner App.
Viel zu viel für meine zwecke bzw. zu teuer. Ein jährliches Abo von fast 300 €, dabei wollte ich insgesamt (einmalig) nicht mehr ausgeben.
ich denke, dass die freien tools das in gleicher qualität hinbekommen dürften, da ohnehin alle die selben modelle nutzen -- lösungen, die ein paar monate zuvor jeweils die entsprechenden wettkämpfe unter den akademischen forschungsteams gewonnen haben...
Antwort von Jott:
Denkt ihr auch an den Kontext?
„Ich wollte eigentlich eine einfache billige Lösung für gelegentliche Videopräsentationen und Meetings mit einem schönen Background, um ohne viel TamTam schnell meine Unordnung zu verbergen.“
Ihr schlagt dafür ziemlich viel irreales TamTam vor! :-)
Wie wär‘s mit so einem mobilen faltbaren Messestand-Hintergrund? Mit Wunschmotiv bedrucken lassen und gut ist.
Antwort von CameraRick:
mash_gh4 hat geschrieben:
CameraRick hat geschrieben:
...viel mehr ist auf dem Gebiet aber nicht passiert (wenn es kommerziell erhältlich sein soll, zumindest)
das würde ich ziemlich nachdrücklich bestreiten!
es ist geradezu unglaublich, was sich da in den letzten jahren getan hat.
die ganzen brauchbaren ML basierenden lösungen sind in diesem zeitraum gerade erst neu dazugekommen und funktionieren derart überrangend gut, dass sie praktische alle traditionellen ansätze in den schatten stellen bzw. ablösen.
ich würde dir allerdings zustimmen, dass es noch recht wenige käufliche produkte gibt, die dieses potential befriedigend ausschöpfen. aber das ist ja weiter kein großes hindernis, wenn man in teams mit technikern kooperiert, die auch mit den weniger enduser orientierenten bereits verfügbaren implementationen und werkzeugen etwas anfangen können.
aus dieser perspektive klingt ein entsprechendes jammern über nicht vorhandene einfach zu nutzenden plugins fast so lächerlich, wie wenn man im farbumfeld alles in form von LUTs zum wahllosen draufklatschen fertig bereitgestellt bekommen will. das wissen um die zugrundeliegenden techniken und das entwickeln entsprechender in-house-lösungen ist in dieser hinsicht oft deutlich zielführender, wenn die ergebnisse nicht so aussehen sollen, wie es die aktuell verfügbaren werkzeuge und moden gerade nahelegen bzw. erzwingen.
Ich hatte ein wenig damit gerechnet, dass so ein Einwand von Dir kommt :)
Überzeuge mich gerne von was anderem, aber ich habe noch keine
brauchbare Lösung gesehen, und auch noch keine die keinen IT-Doktor voraussetzt. Genau so einfach wie das Jammern über die Verfüpgbarkeit ist es ja mit Inhouse-Lösungen von Techniker-Teams zu debattieren, aus meiner Sicht ein einfaches Strohmannargument. Denn wenn wir dem Ansatz folgen ist auch Dein "Gejammer" über die Pseudo-Offenheit des DaVinci fehl am Platz, mann kann ja inhouse sein eigenes Grading-Tool herstellen.
LUTs und Plugins sind halt auch zwei ganz andere paar Schuhe, aber das weißt Du sicher auch. Keiner fragt nach einer Patentlösung zum Draufklatschen, so einfach ists halt nie.
Dass die Ansätze besser geworden sind, besser werden will ich nicht bestreiten. Aber wenn das Ergebnis dennoch Mist ist, kann man damit nicht arbeiten, so einfach ist das leider :/
Antwort von selrider:
mash_gh4 hat geschrieben:
selrider hat geschrieben:
Das ist offensichtlich eine alles könner App.
Viel zu viel für meine zwecke bzw. zu teuer. Ein jährliches Abo von fast 300 €, dabei wollte ich insgesamt (einmalig) nicht mehr ausgeben.
ich denke, dass die freien tools das in gleicher qualität hinbekommen dürften, da ohnehin alle die selben modelle nutzen -- lösungen, die ein paar monate zuvor jeweils die entsprechenden wettkämpfe unter den akademischen forschungsteams gewonnen haben...
Anbei, das was ich für kostenlos hinkriege ;-)
Unterirdisch, aber funktioniert: Grünes Spannbetlaken und Freeware OBS Studio
https://www.youtube.com/watch?v=rRX4DCExoys
Antwort von mash_gh4:
wenn du es nicht unbedingt für live-übertragungen brauchst, solltest du dafür definitiv programme verwenden, die für solche sachen gemacht sind -- also: ordentliche compositing lösungen.
ganz frei gibt's das in form vom
natron u.
blender, und wenigstens kostenlos geht's auch mit nuke non-commercial od. fusion. mit jeder dieser genannten lösungen solltest du deutlich bessere chroma-keying resultate erhalten bzw. die nötigen eingriffsmöglichkeiten fürs fine tuning bei der hand haben.
Antwort von selrider:
mash_gh4 hat geschrieben:
ganz frei gibt's das in form vom natron u. blender, und wenigstens kostenlos geht's auch mit nuke non-commercial od. fusion. mit jeder dieser genannten lösungen solltest du deutlich bessere chroma-keying resultate erhalten bzw. die nötigen eingriffsmöglichkeiten fürs fine tuning bei der hand haben.
Danke für den Tip, werde das mal untersuchen.
