Fotogrammetrie gebruiken om modellen te maken: 9 stappen

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:15

Wie ben ik?

Ik ben Samuel Conklin en ik ben een tweedejaarsstudent bij E. L. Meijers High School. Ik heb de afgelopen maanden geëxperimenteerd met fotogrammetrie en ik hoop je te kunnen helpen als je ervoor kiest om dit product opnieuw te maken. Ik ben geïnteresseerd om te zien hoe andere mensen deze nieuwe en steeds evoluerende technologie kunnen gebruiken.

Wat is Virtual Reality en SteamVR?

Virtual Reality is een nieuwe vorm van artistieke expressie en ervaring. Het is nog steeds een nieuwe grens van technologie, aangezien talloze bedrijven en mensen werken aan het verbeteren van het medium. Je bewijst jezelf een slechte dienst als je nog nooit VR hebt geprobeerd, omdat het het zicht en geluid van de gebruiker volledig omvat. Een van de belangrijkste platforms voor Virtual Reality is SteamVR van Valve. Met SteamVR kunnen gebruikers gratis omgevingen delen en stukken met elkaar bepalen. Het is meestal open-source en maakt een groot aantal headsets mogelijk. Deze omvatten, maar zijn niet beperkt tot, de HTC Vive-serie, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality, enz. SteamVR is het platform dat we gebruiken om onze omgeving te creëren.

Wat is fotogrammetrie en hoe kan het worden gebruikt?

Fotogrammetrie is het proces waarbij foto's of video's worden gemaakt en de afbeeldingen worden omgezet in een 3D-model. Het bekendste voorbeeld van het gebruik van deze technologie is Google Earth. Google gebruikt satellietbeelden en straatbeelden om landschappen en gebouwen te reconstrueren. Kijkend naar Google Earth, is het duidelijk dat ze weinig afbeeldingen hadden om mee te werken, dus sommige gebouwen zullen er misvormd uitzien. Bij correct gebruik is fotogrammetrie een uiterst overtuigende manier om 3D-modellen te maken. Dit project gebruikt deze technologie om historische monumenten te behouden. Erosie en blootstelling aan de elementen betekent dat historische monumenten uiteindelijk in verval raken en mensen ze zullen vergeten. Met fotogrammetrie kunnen we alles digitaal bewaren, zodat toekomstige generaties deze structuren kunnen ervaren en waarderen. Dit betekent ook dat meer mensen over de hele wereld andere culturen kunnen ervaren zonder de kosten of het risico van reizen.

Welke benodigdheden heb ik nodig?

Voor dit project heb ik Reality Capture, SteamVR en Krita gebruikt. Er zijn Autodesk-, Agisoft- en Zephyr-programma's die kunnen worden gebruikt in plaats van Reality Capture als u niet over de vereiste Nvidia GPU beschikt om het uit te voeren. Photoshop of andere fotobewerkingsprogramma's kunnen worden gebruikt in plaats van Krita, maar omdat het gratis en openbaar is om te gebruiken, heb ik ervoor gekozen om het voor dit project te gebruiken. U hebt ook een Desktop VR-headset nodig die rechtstreeks op uw computer kan worden aangesloten. Ten slotte is een camera van hoge kwaliteit nodig. Een mobiele camera is redelijk, maar ik heb een Nikon D7000 gebruikt omdat Reality Capture automatisch het diafragma van de camera kan detecteren, wat leidt tot modellen van hogere kwaliteit.

Stap 1: Foto's maken

Dit is het belangrijkste onderdeel van dit project, omdat je het in één keer goed moet krijgen. Als je dat niet doet, moet je teruggaan naar de locatie en alles opnieuw opnemen.

Eerst moet u een geschikte locatie en structuur vinden. De structuur moet groot en gemakkelijk herkenbaar zijn. Dit betekent dat de fotogrammetriesoftware de verschillen tussen de structuur en de achtergrond kan detecteren.

Meestal is het maken van foto's op een bewolkte dag de beste manier om te gaan. Dit komt omdat een zonnige dag de mogelijkheid heeft om sommige foto's te overbelichten en andere te onderbelichten. Het kan ook ongewenste schaduwen creëren. Een model met weinig tot geen schaduwen zal de verlichting gemakkelijker maken in de level development sectie. Bovendien heeft de software de kleurbalans nodig om bij elke foto hetzelfde te blijven, omdat het kleuren gebruikt om de grootte van het object te berekenen. Foto's maken op een bewolkte dag zal echter de kwaliteit van de structuur verbeteren. De wolken in de lucht zullen fungeren als een natuurlijke diffusor voor de camera. Het zal het licht gelijkmatiger verdelen en betekent dat het model nauwkeurig wordt tijdens het renderproces.

Het laatste advies is om zoveel mogelijk foto's te maken. De meeste programma's kiezen welke foto's het gaat gebruiken voor het eindproduct. Door meer foto's te maken, wordt alles preciezer en krijgt het programma wat ademruimte. Ik had ongeveer 150-300 foto's voor elk model.

Stap 2: Aan de slag met de fotogrammetriesoftware

Nu gaan we de foto's importeren in de software. Merk op dat Reality Capture een Nvidia grafische kaart vereist. U kunt niet voorbij het gedeelte Afbeeldingen uitlijnen komen zonder.

Als je een map hebt met alle afbeeldingen die je wilt gebruiken, kies dan de optie Map in de linkerbovenhoek. Dit brengt u naar Bestandsbeheer en u kunt de map kiezen. Met de invoer kunt u afzonderlijke foto's kiezen met Bestandsbeheer.

Vervolgens gaan we het proces van het bouwen van het model starten. Boven aan het scherm, onder Workflow, bevindt zich het gedeelte Proces. We willen op de grotere Start-knop drukken. Hiermee worden de afbeeldingen uitgelijnd. De vierde foto laat kort zien wat er tijdens dit proces gebeurt. Het herkent het linkeroog van het hert en vergelijkt de afstand met andere foto's. Het zal doorgaan met het vergelijken van verschillende foto's totdat het alle mogelijke combinaties heeft doorlopen. Deze stap is voltooid als u kleine puntjes ziet die op de structuur lijken.

Stap 3: Bereken en vereenvoudig

De volgende stap is het berekenen van het model. Hiervoor klikken we in de sectie Proces op het Bereken Model. Dit vertaalt alles wat het in de foto's vindt direct in 3D-vorm. De resultaten komen redelijk in de buurt van hoe we willen dat het model eruitziet, maar er zijn drie problemen met deze versie van het model. Ten eerste zijn er gaten in het model die niet in de echte structuur zitten. Ten tweede is het oppervlak veel te hobbelig. Aangezien het programma zijn berekeningen benadert, zal het sommige gladde oppervlakken onterecht hobbelig maken. Ten derde zijn er te veel driehoeken. Elk model in Reality Capture is gemaakt met kleine driehoekjes. Elke driehoek vertegenwoordigt een klein oppervlak van het model. We willen zo min mogelijk driehoeken om het model te optimaliseren. Als er te veel driehoeken zijn, kan dit prestatieproblemen veroorzaken.

Deze problemen kunnen worden opgelost met de tool Simplify. Alle modellen hebben 3.000.000 driehoeken na de fase Model berekenen, en we kunnen ervoor kiezen om dat aantal hoger of lager te maken. Voor alle modellen zoals die in dit project, heb ik het aantal driehoeken verlaagd tot 1.000, 000. Het resultaat is te vinden in de tweede afbeelding, waar alle hobbelige oppervlakken gladder zijn en er minder gaten zijn. Bovendien, met minder driehoeken om te renderen, zullen de prestaties beter zijn als we in VR komen.

Stap 4: Kleur en textuur

Nu heeft het model kleur en textuur nodig om het nog realistischer te maken. Deze twee delen zijn vergelijkbaar in wat ze bereiken, maar verschillen in de manier waarop ze werken. Met behulp van Kleur, dat te vinden is in de sectie Proces, kleurt het programma het model in. De tool neemt de foto's die het heeft gebruikt om het model te maken en wikkelt uw afbeeldingen rond de verschillende oppervlakken van uw model. Textuur daarentegen zal de vereenvoudigde delen van het model kleuren. Als je naar de eerste afbeelding kijkt, is het duidelijk zichtbaar hoe het programma de afbeeldingen om het model wikkelde, maar in de tweede afbeelding na het textuurproces zijn de scherpe kanten van de afbeeldingen nu gladgestreken.

Stap 5: Exporteren en SteamVR

In Reality Capture gaan we de modellen overzetten naar SteamVR. Selecteer bovenaan het scherm, onder Exporteren, Mesh, dat zich naast het gedeelte Proces bevindt. U zou deze pop-up moeten zien waarmee u de instellingen en parameters van het model kunt wijzigen. Het is het beste om alle instellingen op standaard te laten staan, behalve om het textuurformaat JPEG te wijzigen. Het programma exporteert nu een bestand in het OBJ-formaat, het mesh-bestand, en een JPEG, het textuurbestand voor het model. Voor referentiedoeleinden zou de JPEG eruit moeten zien als de tweede afbeelding in deze stap.

Nu moeten we onze modellen importeren in SteamVR. Open eerst SteamVR en navigeer vervolgens naar Create/Modify an Environment, dat zich onder het tabblad Workshop bevindt. De SteamVR Workshop Tools wordt nu geopend. Kies Lege add-on maken en klik op Hulpprogramma's starten.

De Asset Browser wordt nu geopend met verschillende materialen en modellen die al zijn meegeleverd. Linksboven staat een icoon met een Hammer symbool. Dit is de ingebouwde SteamVR Hammer-editor, waarmee je kaarten kunt maken. Kaarten zijn de omgeving waarin de VR-gebruiker zich tijdens het spelen zal bevinden.

Stap 6: Uw SteamVR-kaart maken

Met de Hammer-editor geopend in SteamVR, kunnen we nu een kubus maken. We willen een kubus maken om te beginnen met het bouwen van de omgeving. Met het programma kunt u de grootte van de kubus wijzigen voordat deze op zijn plaats wordt vastgezet. Op dit moment zijn alleen de buitenoppervlakken van de kubus zichtbaar. Door op CTRL+F te drukken, worden alle oppervlakken omgekeerd en verandert de kubus in een kamer. Bovendien moet je een object toevoegen met de naam info_player_start, dat Hammer zal vertellen waar de gebruiker moet spawnen bij het laden van het programma.

Om de ruimte realistischer te maken, moeten we ook texturen toevoegen. We kunnen enkele aangepaste afbeeldingen toevoegen via de materiaaleditor. Dit is het ronde pictogram rechts van de Hammer-knop in de Asset Browser. Als u de Materiaaleditor selecteert, gaat u naar een nieuw venster waarin u een afbeelding kunt importeren om in een textuur te maken. U kunt uw eigen afbeeldingen gebruiken of afbeeldingen krijgen van websites met standaardtextuur, zoals textures.com. Klik op de knop Bestand onder Kleurselectie om de afbeelding te selecteren die u wilt gebruiken. Nadat u uw afbeelding hebt geselecteerd, moet u deze opslaan door op het diskettepictogram linksboven in het venster Materiaaleditor te drukken. Sluit nu de Material Editor en navigeer terug naar de Asset Browser. Zoek hier naar het textuurbestand dat u wilt gebruiken en klik en sleep het vervolgens naar de Hammer Editor. In dit venster kunt u uw textuur toepassen op de verschillende vlakken van de kubus.

We moeten ook verlichting toevoegen aan de kamer. Om dit te doen, plaatsen we een light_omni of een light_spot op onze kaart, die te vinden is in de entiteitsectie links van de kaartweergave. Een light_omni zal een licht in alle richtingen schijnen, terwijl een light_spot licht in een specifieke richting schijnt. Voor dit project heb ik ten minste twee light_spots voor elk object en één light_omni gebruikt om de kamer te verlichten.

Stap 7: Onze objecten aan de kaart toevoegen

Nu is het tijd om onze objecten naar onze kaart te verplaatsen. In de Asset Browser, rechts van het Material Editor-pictogram bevindt zich de Model Editor die lijkt op een humanoid-pictogram. Bij het openen van de Model Editor krijgt u de optie om te bladeren of om een nieuwe VDML te maken, dit is de Hammer Editor-versie van een OBJ-bestand. Selecteer de optie om een nieuwe VDML te maken en u moet een map maken. In deze map wordt het VDML-bestand opgeslagen. Zorg ervoor dat het in de map Add-on staat en druk op doorgaan.

Dit brengt je naar een scherm met je model, dat een witte textuur heeft. Om de textuur voor dit model toe te voegen, selecteert u Materialen in de werkbalk aan de linkerkant. Dit brengt u naar de Materiaaleditor en u kunt de JPEG selecteren uit de Reality Capture-export. Zorg ervoor dat u de textuur en het model opslaat door op het pictogram van de diskette te klikken. Keer terug naar Hammer Editor.

In Hammer kunt u het model vanuit de Asset Browser naar de kaart slepen en neerzetten. Het model zal hoogstwaarschijnlijk klein zijn en u zult het formaat moeten wijzigen. Door op T op uw toetsenbord te drukken, kunt u de positie op de kaart wijzigen. Door op E te drukken, worden de verhoudingen van het model gewijzigd, terwijl R het zal draaien.

Stap 8: De objectlabels maken

De objectlabels naast elk oriëntatiepunt bieden context en geschiedenis om de gebruikerservaring te verbeteren. Voor mijn Objectlabels nam ik gewoon foto's van de informatieborden op elke locatie om gemakkelijk belangrijke informatie vast te leggen die ik later wilde gebruiken. Vervolgens gebruikte ik Krita, een gratis softwareprogramma voor het bewerken van foto's, om de objectlabels te maken, inclusief extra afbeeldingen en tekst.

Voor de Miner Park- en Anchor-kant van de kamer waren er geen problemen met het toevoegen van labels als texturen. Voeg ze eenvoudig toe aan uw Asset Browser via Material Editor en voeg de afbeelding toe aan een blok dat kan worden gemaakt in de Hammer Editor. Er ontstonden problemen toen ik planken maakte voor de andere kant van de kamer. Alle tekst en afbeeldingen waren achterstevoren en er was geen duidelijke manier om de texturen in de editor om te keren. Om dit op te lossen, ging ik terug naar Krita en draaide de planken om voor het hert en de beer en gelukkig loste dit het probleem op.

Daarnaast heb ik diverse afbeeldingen van Wilkes-Barre toegevoegd, omdat ik een kamer wilde creëren die de sfeer en ambiance van een boetiekmuseum had.

Stap 9: Conclusie

Kortom, zowel Virtual Reality als Fotogrammetrie hebben de kracht om talloze industrieën enorm te verbeteren, inclusief maar niet beperkt tot sport, onroerend goed en forensisch onderzoek. Vandaag heb ik fotogrammetrie gebruikt om enkele kleine maar belangrijke delen van de lokale geschiedenis van mijn geboorteplaats te bewaren. VR en fotogrammetrie zijn beide nog experimentele technologieën die je soms kunnen uitdagen. Ondanks enkele tekortkomingen is het aantal innovatieve toepassingen voor beide processen opwindend en grenzeloos. Ik dank u voor het lezen over dit project en ik hoop dat dit u heeft geïnspireerd om iets nieuws te proberen met Virtual Reality.

De downloadlink voor het project is hier te vinden.