Video zu Splat

Video zu Splat ermöglicht es dir, einen Splat aus einem Video oder einer Reihe von Bildern zu erstellen. Diese Funktion wandelt visuelle Eingaben automatisch in eine punktbasierte 3D-Darstellung um, sodass es einfach ist, reale Szenen in Arrival.Space zu übertragen. Du kannst damit Objekte, Umgebungen oder kurze Clips aufnehmen und in 3D-Inhalte umwandeln, ohne komplexe 3D-Modellierung zu benötigen.

Oberfläche

Um den Video/Bild-zu-Splat-Prozess zu starten, verwende die Aktionsschaltfläche in der unteren rechten Ecke 1 und wähle Video zu Splat 2.

3 Dateien hochladen

Die Video-zu-Splat-Oberfläche öffnet sich und ermöglicht es dir zu wählen, ob du Bilder oder ein Video hochladen möchtest. Um deine Dateien auszuwählen, ziehe sie einfach per Drag & Drop in den Upload-Bereich oder klicke in das Feld, um den Datei-Manager deines Systems zu öffnen.

Nur Mobil

Du kannst ein Video direkt mit deinem Telefon aufnehmen und hochladen, ohne es lokal zu speichern. Nachdem das Training erfolgreich abgeschlossen ist, hast du die Möglichkeit, die hochgeladenen Dateien herunterzuladen.

4 Voreinstellungen

Voreinstellungen sind Vorlagen, die vordefinierte Konfigurationen automatisch zusätzlich zu den erweiterten Einstellungen anwenden. Wenn du die erweiterten Einstellungen nicht manuell änderst, werden nur die Voreinstellungswerte verwendet. Folgende Optionen stehen zur Verfügung:

Name	Max. Schritte	Bildauflösung	Anzahl der Frames	SH-Grad
Entwurf	4k	2k	300	Stufe 1
Normal	20k	2k	300	Stufe 2
Hoch	25k	4k	600	Stufe 3

5 Neuen Space erstellen

Wenn diese Einstellung deaktiviert ist, wird der generierte Splat in deinem aktuellen Space platziert. Wenn du dich nicht in deinem eigenen Space befindest, kannst du diese Einstellung nicht ändern.

6 Erweiterte Einstellungen

Die erweiterten Einstellungen ermöglichen es dir, die Vorlagenkonfigurationen zu ändern. Diese Einstellungen befinden sich derzeit in Entwicklung, daher ist ihre Funktionalität noch eingeschränkt.

Nachdem du die Einstellungen angepasst hast, klicke einfach auf die Zurück-Schaltfläche in der oberen linken Ecke neben dem Titel und drücke dann auf Absenden, um den Auftrag zu starten.

1 Max. Schritte (k) (Splat-Training)

Definiert die Anzahl der Trainingsschritte, die auf den Splat angewendet werden. Ein höherer Wert erhöht die Detailgenauigkeit, aber auch die Verarbeitungszeit.

2 Bildauflösung (Kamerarekonstruktion)

Gibt die Auflösung der entzerrten Bilder an, die für die Kamerarekonstruktion verwendet werden.

3 Anzahl der Frames (Frame-Auswahl)

Legt die maximale Anzahl der Frames fest, die zur Generierung des Splats verwendet werden.

4 SH-Grad (Splat-Training)

Steuert den Grad der sphärischen Harmonischen, der die Beleuchtungs- und Farbgenauigkeit beeinflusst.

5 Multi-Kamera-Unterstützung (Kamerarekonstruktion)

Aktiviere diese Option, wenn du mehrere Videos hochlädst oder wenn das Filmmaterial mit verschiedenen Kameras aufgenommen wurde.

Prozess

Sobald du auf Absenden klickst, werden die ausgewählten Dateien hochgeladen und du kannst nicht gehen, bis die Dateien hochgeladen sind. Wenn du eine schlechte Internetverbindung hast oder gehen musst -- keine Sorge. Du hast ca. 24 Stunden Zeit, die gleichen Dateien hochzuladen und den Upload fortzusetzen, aber dies funktioniert nur, wenn sie den gleichen Namen haben.

Die folgenden Bilder zeigen den Prozess während der Splat generiert wird. Es spielt keine Rolle, ob dies in einem neuen Space oder als Teil eines bestehenden Spaces geschieht. Der einzige Unterschied ist, dass du einen neuen Space mit dem Dateititel erhältst -- bei mehreren Dateien den ersten Dateinamen.

info

Derzeit kannst du nur einen Auftrag gleichzeitig absenden. Wenn du versuchst, einen neuen Auftrag zu senden, wirst du gefragt, ob du den alten abbrechen möchtest.

1 2 Fortschrittsbalken

Im Space, in dem der Splat platziert wird, findest du unten einen Fortschrittsbalken. Wenn du darauf klickst/tippst, öffnet sich die Space-Bearbeitungsoberfläche mit der Detailansicht des Video-zu-Splat-Fortschritts. Der Fortschritt selbst hat folgende Schritte:

1. Auftrag initialisieren
Das System prüft, ob der Dienst gerade in Benutzung ist. Wenn der Server bereits einen anderen Splat verarbeitet, wird dein Auftrag in die Warteschlange eingereiht.

2. Frames extrahieren (nur für Videos)
Eine große Menge an Bildern wird aus dem hochgeladenen Video extrahiert.

3. Schärfe berechnen (nur für Videos)
Das System bewertet alle extrahierten Frames und wählt die schärfsten für die weitere Verarbeitung aus.

4. Merkmalserkennung
Wichtige visuelle Merkmale wie Punkte, Kanten und Texturen werden für jedes ausgewählte Bild erkannt und gespeichert.

5. Merkmalsabgleich
Entsprechende Merkmale über mehrere Frames hinweg werden abgeglichen, um räumliche Beziehungen zwischen den Bildern herzustellen.

6. Bildentzerrung
Objektivverzerrungen werden mithilfe der Kameraparameter korrigiert, um eine genaue Geometrie für die 3D-Rekonstruktion sicherzustellen.

7. Splat-Training
Das 3D Gaussian Splatting-Modell wird mithilfe der verarbeiteten Bilddaten trainiert, um die Szene in hoher Qualität zu rekonstruieren.

3 Auftrag abbrechen

Wenn du den Auftrag abbrechen möchtest, klicke auf das Symbol.

4 Splat-Vorschau

Sobald das System mit dem Splat-Training beginnt, erscheint eine Vorschau innerhalb der Detailansicht.

5 Ausgangsmaterial

Du kannst deine Quelldateien über das Symbol herunterladen. Diese Option ist besonders nützlich bei direkter Aufnahme mit einem Smartphone, da sie es ermöglicht, dein aufgenommenes Material zu überprüfen und zu bewerten.

6 Parameter

Der Abschnitt Parameter zeigt alle angewendeten Einstellungen. Dies ist hilfreich, wenn du dasselbe Ausgangsmaterial wiederverwenden, aber bestimmte Einstellungen anpassen möchtest, um deine Ergebnisse zu verbessern.

Bewertete Praxis

Um ein hochwertiges 3D-Modell zu erstellen, gibt es einige wichtige Regeln, die du bei der Aufnahme deines Materials beachten solltest.

Empfohlene Aufnahmerichtlinien

1. Bewege die Kamera auf einem kreisförmigen Pfad um das Objekt herum, um es gleichmäßig von allen Seiten abzudecken.
2. Halte das Objekt in der Mitte deines Kamerabildes.
3. Ändere deinen Blickwinkel, aber schwenke, neige oder drehe deine Kamera nicht.
4. Nimm aus möglichst vielen verschiedenen Winkeln auf -- einschließlich höherer und niedrigerer Standpunkte.
5. Fixiere deine Brennweite, um ein einheitliches Sichtfeld über alle Frames hinweg beizubehalten.
6. Verwende eine feste ISO-Einstellung, um eine gleichmäßige Belichtung sicherzustellen und Helligkeitsschwankungen zu vermeiden.
7. Stelle den manuellen Fokus ein, damit du den Bereich oder das Objekt von Interesse präzise definieren kannst.
8. Verwende wenn möglich gleichmäßige, diffuse Beleuchtung (z.B. bewölktes Tageslicht oder weiches Raumlicht) für optimale Texturerfassung.

Bilder

Wenn du Bilder statt Videos aufnimmst, mache mindestens 50 Fotos, idealerweise bis zu 200, abhängig von Größe und Komplexität des Objekts.

Fotografiere das Objekt von verschiedenen Seiten und Winkeln, einschließlich Draufsicht und Ansicht von unten.

Verwende manuellen Fokus und feste ISO.

Videos

Wenn du ein Video für die 3D-Rekonstruktion aufnimmst, halte die Dauer zwischen 20 und 120 Sekunden.

Bewege die Kamera gleichmäßig auf einem kreisförmigen Pfad um das Objekt und nimm es aus mehreren Winkeln und Höhen auf.

Vermeide schnelle Bewegungen und starke Lichtkontraste.