3D-modellen van freestyle drone-opnamen - Ajarnpa

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:19

Drone-videografie is de afgelopen jaren echt geëxplodeerd en er zijn een groot aantal getalenteerde piloten die de meest acrobatische video's maken met hun quadcopters en first-person-view-headsets. Mijn broer Johnny FPV is een van deze piloten, dus ik wilde zien of het mogelijk was om de omgevingen waarin hij vliegt te reconstrueren op basis van zijn freestyle-opnames.

Stabiel, op een punt van belang vergrendelde drone-opnames kunnen zeker een high-fidelity 3D-model produceren, zoals hier besproken, maar wat gebeurt er als de beelden zo hectisch zijn als deze?

Stap 1: Bewerk uw video voor

Als je eenmaal wat luchtbeelden hebt, is enige voorbewerking vereist. Ik gebruik Adobe Media Encoder, maar bijna elke videobewerkingssoftware zou dit moeten kunnen regelen.

Ik selecteerde een korte clip (~ 11 seconden) en veranderde de framerate van 29,77 in 30 fps, en bewaarde de nieuwe video in de gewenste map.

Vervolgens gebruik ik FFMPEG om elk ander frame van de video als-j.webp

Een goede handleiding voor het installeren van FFMPEG is hier beschikbaar.

U wilt uw map wijzigen in de locatie van uw afbeeldingsbestand (cd) en vervolgens het volgende script gebruiken:

ffmpeg -i (naam van je videobestand) -vf fps = 15 exp%03d.jpg

Als u de fps wijzigt, verandert natuurlijk het aantal afbeeldingen dat per seconde video wordt geëxporteerd. Dit gaat terug op waarom ik de fps van de video heb gewijzigd van 29,97 in 30 - 15 beelden per seconde pakken nu eenvoudig elk ander frame uit de video. Als je elk zesde frame wilde, zou je het instellen op 5 fps … enz.

"exp%03d.jpg" zal ertoe leiden dat de afbeeldingen worden opgeslagen als exp000.jpg, waarbij de afbeeldingen opeenvolgend worden genummerd met drie cijfers - als u een langere videoclip hebt en meer dan 999 afbeeldingen wilt exporteren, zou het schrijven van %04d nummeren alle afbeeldingen met vier cijfers; je zou tot 9999 kunnen exporteren.

(opmerking: "ffmpeg -i (naam van je videobestand) -r (framerate) -f image2 exp%03d.jpg" werkt ook voor het extraheren van frames uit video, maar om welke reden dan ook krijg ik betere puntenwolken van afbeeldingen die zijn verwerkt in de vorige methode)

Stap 2: Foto's importeren en een puntenwolk bouwen

Zodra u een reeks afbeeldingen hebt, kunt u een normale fotogrammetrie-workflow starten. Ik gebruik Agisoft PhotoScanPro, maar andere programma's zoals Autodesk Remake zouden waarschijnlijk even (zo niet meer) succesvol zijn.

Na het importeren van mijn foto's heb ik de camerakalibratie ook ingesteld op Fisheye, aangezien dit beeldmateriaal oorspronkelijk van een GoPro kwam. Een paar minuten verwerking later, en er begint wat 3D-informatie te verschijnen! De puntenwolk ziet er misschien niet zo uit en bestaat maar uit een paar duizend punten, dus het is nog niet voldoende om een mesh te berekenen. Hieruit heb ik een dichte puntenwolk gebouwd en heb nu ongeveer 200k punten om mee te werken.

Stap 3: Bouw een netwerk

Nu we al deze punten hebben om mee te werken, kan een mesh worden berekend. Ik gebruik een relatief hoog aantal gezichten en schakel interpolatie in - dit maakt het gaas een beetje "vager", maar er zullen uiteindelijk veel minder ontbrekende oppervlakken en gaten in het gaas zijn. Na een paar minuten verwerking beginnen we een resultaat te krijgen dat lijkt op de architectuur waarin de drone rondvloog!

Stap 4: Textuur en eindresultaten

Met Photoscan kunt u ook een textuur voor uw mesh bouwen op basis van de invoerafbeeldingen, wat de laatste details voor het model geeft. Ik heb gemengde gevoelens over de resultaten van dit proces (er zijn veel betere manieren om een nauwkeurig model te produceren), maar over het algemeen vind ik het verbazingwekkend dat elk model uit zulke gekke beelden kan komen!

Verdere richtingen die ik voor dit project zou kunnen nemen, kunnen zijn om de oppervlakken te verdikken tot waterdichte modellen voor 3D-printen, of ze kunnen onderdeel worden van een surrealistisch VR-landschap.