Fotogrammetri för nybörjare

Sedan våren 2016 har vi experimenterat med att digitalisera föremål i 3D, närmare bestämt med tekniken fotogrammetri. Tekniken i sig är inte ny, men tillämpningen av den är inom museisektorn (i Sverige), vad vi vet, ganska oetablerad. Förenklat kan man säga att man med fotogrammetri framställer 3D-modeller av ett objekt via beräkningar utifrån ett visst antal tvådimensionella stillbilder. 

Bakgrund och samarbete med Riksutställningar

Det var under konferensen Digital Heritage (hösten 2015) som vi blev inspirerade av och nyfikna på fotogrammetri. Efter konferensen bestämde vi oss för att testa tekniken själva. Vi har tidigare laborerat med 3D-teknik, men då med laserskanning och med hjälp av extern expertis. Med fotogrammetri såg vi dock möjligheten att kunna nå bra resultat på egen hand.

Vårt huvudsakliga syfte med att testa fotogrammetri har varit att pröva nya former av tillgängliggörande utav föremålen i våra museisamlingar och vi ser nu flera potentiella användningsområden för tekniken. Arbetet med fotogrammetri har bedrivits som ett pilotprojekt där vi samarbetat med Riksutställningar. Under det gångna året har de följt vårt arbete vilket lett till två artiklar i Spana! teknik samt en kortare film om våra erfarenheter. Riksutställningar har även själva bedrivit liknande tester med tekniken för att se om det med ganska enkel utrustning går att få fram bra 3D-modeller. Under våren kommer vi tillsammans att delta i en konferens där vi avser att presentera vårt arbete närmare, samt hålla i en workshop kring själva tekniken (mer information om detta kommer framöver i bloggen). 

Användningsområden

Fotogrammetri kan användas i flera syften – både inom den interna verksamheten, men även inom den publika. I de fysiska utställningarna skulle man med en 3D-modell kunna visa vinklar och detaljer som man inte kan se med blotta ögat när föremålen befinner sig bakom ett monterglas. Vidare skulle en 3D-model kunna utgöra ett komplement till, eller t o m vara ett bättre alternativ, än stillbilder eller ett filmklipp för de användare som inte har möjlighet att besöka de fysiska museerna. 3D-modeller kan också vara en möjlighet att bättre tillgängliggöra alla de föremål som finns i magasin och som av olika anledningar inte kan ställas ut i utställningsmiljö. Fotogrammetri öppnar även upp för olika typer av interaktiva tillämpningar där användaren kan vrida och vända, zooma och interagera med föremålen i webbaserade- eller mobila applikationer. 

Inom den interna verksamheten finns det också stora möjligheter med fotogrammetri. Vi ser t ex möjligheter inom konserveringsverksamheten – både vad gäller dokumentation, men också vad gäller lånehantering. En 3D-representation av ett föremål kan utgöra ett värdefullt komplement till stillbilder och beskrivning i text vad gäller att skapa förståelse för ett föremåls kondition och eventuella skador. Som ett annat användningsområde kan man tänka sig föredrag och presentation av forskning – att kunna illustrera det man talar om med en tredimensionell bild kan utgöra ett pedagogiskt inslag som förenklar och exemplifierar på ett sätt som inte är möjligt med enbart tvådimensionella bilder. 

Tillvägagångssätt

Hur har vi då gått tillväga? Inledningsvis är det lika bra att nämna att vi som arbetat med detta var helt gröna på området när vi satte igång. Förkunskaperna bestod dock av en gedigen kunskap om stillbildsfotografi samt digital teknik. Det första vi gjorde var att göra det man så ofta gör nuförtiden. Vi googlade. Inte helt oväntat så finns det gott om tutorials, beginner's guides och FAQ:s om fotogrammetri därute. Vi läste in oss på de rent teoretiska bitarna kring själva fotograferingsmetoden, och började sedan fördjupa oss i de tekniska aspekterna när det gäller programvara och hårdvara för 3D-beräkningar. Efter en kortare inläsningsperiod blev det trial-and-error – helt enkelt att testa, utvärdera, förbättra och göra om. 

Nedan följer en beskrivning av hur vi har arbetat med detta, både vad gäller fotografering men också bearbetning i datorn. Jag vill betona att detta inte ska ses som något sorts facit på hur man ska göra, utan detta är helt enkelt en redogörelse för hur vi har arbetat. Vi tycker att vi har nått ett bra slutresultat, men vi är fullt medvetna om att det finns många andra lösningar och tillvägagångssätt.  Kortfattat behöver man dock följande för att framställa en 3D-modell med fotogrammetri: 

• Tillräckligt många bilder av föremålet från olika betraktningsvinklar (mer om detta längre ned) 
• En någorlunda kraftfull dator som kan göra de beräkningar som krävs (det finns även molnbaserade alternativ) 
• En mjukvara till sin dator som kan tolka och bearbeta bilderna till en tredimensionell representation 
• Tålamod...

Hur många bilder av ett föremål man egentligen behöver finns det inget glasklart svar på. Det som avgör här är hur pass noggrant och detaljrikt man vill att slutresultatet ska vara. Ytterligare en faktor är även hur pass komplex föremålets struktur och form är. Det viktiga är helt enkelt att täcka in föremålets alla olika ytor. 

Fotografering

För att få ett så pass bra resultat som möjligt är det viktigt att vara systematisk när det gäller fotograferingen. Föremålet bör fotograferas från flera olika höjdnivåer och inom varje höjdnivå ska föremålet (eller kameran) roteras runt med ett visst gradantal emellan varje bild, så att fotograferingen täcker in föremålets hela ytstruktur. 
 

Fotograf (samt biträdande enhetschef) Erik Lernestål i fotostudion. (Foto: Olof Segerberg)

I våra tester har vi använt en form av motorstyrd snurrplatta som föremålet placerats på. Detta tillbehör är inte nödvändigt, men underlättar avsevärt då man får en exakthet vad gäller gradantal. Kameran har varit monterad på stativ, där kameran endast behöver justeras i höjdled (fem olika höjdnivåer). Med hjälp av snurrplattan roterar föremålet tio grader mellan varje exponering vilket resulterar i totalt 180 bilder per föremål. Ljussättningen görs med ett stort och platt ljus där målsättningen är att ljuset ska vara så jämnt som möjligt, så att inte skuggor och kontraster påverkar beräkningen av föremålets struktur i ett senare skede av arbetet.

Bearbetning i datorn

Stillbilderna från fotograferingen utgör själva grundmaterialet, men fotogrammetri kräver också en hel del datorbearbetning. I projektet upptäckte vi snabbt att det finns en uppsjö av olika programvaror för fotogrammetri – både kommersiella produkter och gratisalternativ. Vidare finns det programvaror som täcker in alla moment i datorbearbetningen, men även lösningar där man använder flera olika program för datorbearbetningens olika moment. För att snabbt komma igång valde vi helt enkelt att testa de produkter som, i alla fall för ett år sedan, var de till synes mest populära programmen inom området. Vi började att laborera med programmet Autodesk Memento (som nu heter Autodesk Remake), men har senare gått över till Agisoft Photoscan samt Reality Capture. De tre programvarorna vi testat är kommersiella helhetslösningar som klarar av att utföra alla de beräkningsmoment som krävs för att få fram en färdig 3D-modell. Kortfattat rör sig bearbetningen runt fyra olika moment (beskrivna i engelska termer nedan): 

• Align photos – alla bilder justeras och anpassas så att gemensamma punkter, sett tredimensionellt, mellan närliggande bilder identifieras – i detta moment beräknas även kamerans placering i relation till bilderna
• Build dense cloud – nästa steg är att de identifierade pixlarna i momentet ovan förs samman i en X,Y och Z-placering i en tredimensionell rymd
• Build mesh – I detta steg knyts de olika punkterna ihop till en sammansatt massa av triangulära former (polygoner) 
• Build texture – I detta sista moment används de tvådimensionella bilderna för att skapa en fotografisk yta på själva modellen, d v s så att 3D-modellen får sin realistiska ytstruktur

Hur pass högupplösta bilder man utgår ifrån (och antalet bilder), samt hur pass komplicerat innehåll bilderna har, påverkar hur lång bearbetningstid varje delmoment kräver enligt ovan. Under arbetets gång har vi testat att göra 3D-modeller utifrån flera olika parametrar och på olika datorer – från en kraftfull laptop till en väldigt kraftfull stationär pc (med komponenter som motsvarar väldigt kraftfulla speldatorer). De olika beräkningsmomenten kräver i sin tur olika resurser ifrån datorn. Vår slutsats är att man behöver balansera datorn ifråga vad gäller grafikkort, minne, processor samt hårddisk. Alla komponenter behövs på olika sätt i de olika momenten, och det räcker inte med att ha t ex ett väldigt kraftfullt grafikkort om de andra komponenterna är långsamma eller otillräckliga.

Initialt gjorde vi de första testerna med en kraftfull laptop, detta visade sig dock vara helt ohållbart då beräkningen av den första 3D-modellen tog över tre dygn att slutföra… datorn ifråga hade då jobbat på 100% och laptopens kylning började sakta men säkert tröttna på våra experiment. Därefter testade vi med två ganska kraftfulla stationära pc-datorer, där vi testade även att låta datorerna arbeta tillsammans med beräkningen. Under dessa tester följde vi programvarornas loggfiler för att identifiera svagheter i de tekniska förutsättningarna. Sett till att de bilder vi testade med höll väldigt hög upplösning (varje bild är 50 megapixel), tog testerna väldigt lång tid även med kraftfullare datorer. Vårt önskemål var att hitta en datorlösning som klarade jobbet på max 8-10 timmar,  varpå vi investerade i en helt ny dator, där vi själva valde komponenter optimala för ändamålet. För våra fortsatta tester räckte denna lösning, men om man skulle ha en omfattande produktionskedja där många objekt fotograferas/renderas per dag så krävs en helt annan typ av datorkapacitet (motsvarande som finns i serverhallar). Ett av de program vi har testat (Autodesk Remake) erbjuder även en form av molnlösning där beräkningsarbetet görs via en molntjänst. Detta kan vara ett mycket bra alternativ om man inte har resurser att investera i egna datorer, men när vi testade dessa tjänster så var det ändå lång väntetid - ett par dagars väntan på sin färdiga 3D-modell.

Vår ambition har varit att få fram en väldigt högupplöst 3D-modell där föremålets ytor och små detaljer tydligt framgår även vid nära inzoomning. Vad gäller teknisk utrustning är det inte svårare än så att ju bättre kamera (samt optik) man använder, ju bättre slutresultat kan man uppnå. Frågan är helt enkelt vad som är tillräckligt sett till 3D-modellens användningsområde. Det är t ex fullt möjligt att med sin mobiltelefon fotografera ett föremål med ett antal bilder ur olika vinklar och sedan få fram en hyfsad 3D-modell med hjälp av en app eller ett datorprogram. Under våra tester har vi laborerat med föremål av olika materialtyper. Viktigt att betona är att fotogrammetri inte är tillämpbart på alla typer av material, t.ex. så går det inte alls använda fotogrammetri för att skapa 3D-modeller av föremål bestående av glas. 

Färdig 3D-modell och strategi för tillgängliggörande

Ett resultat som vi är väldigt nöjda med är 3D-modellen av Gustav Vasas hjälm med maskvisir. Hjälmens detaljrika dekor framträder mycket väl vid närmare inzoomning, och alla små nyanser i ytstrukturen återges tydligt i 3D.

Helmet with Grotesque Visor by The Royal Armoury (Livrustkammaren) on Sketchfab

Hjälmen i magasinsmiljö (foto: Olof Segerberg)

Vår strategi när det gäller tillgängliggörande av digitalt material är att vi i första hand väljer att använda befintliga och välanvända externa plattformar. När det gäller våra första 3D-modeller har vi valt att publicera dessa på Sketchfab. Här finns det massor med 3D-modeller av olika slag, och tjänsten innehåller flera användbara funktioner vad gäller ljussättning och kommentarer kring modellen. 3D-modeller gjorda med fotogrammetri är i sig ganska bleka och matta i sitt utseende sett till de bilder som ligger till grund för modellen – föremålet ser helt enkelt inte så ”levande” ut. Men med Sketchfabs inbyggda funktioner går det att återskapa olika typer av ljusförhållanden, vilket gör att t ex metallföremål kan återges med klarhet och lyster.

När det gäller hjälmen så valde vi utöver Sketchfab att göra en form av digital fördjupning, där vi kombinerar Sketchfabs funktioner med en fördjupning på vår egen webb. Utöver detta har vi även lagt upp upp en artikel på Wikipedia där mycket av allt underlag som låg till grund för webbfördjupningen återanvändes – ett omfattande inläsningsarbete kunde därmed komma till gagn i en väldigt detaljerad artikel. Att använda olika typer av externa plattformar i kombination ser vi som en potentiell fortsättning för hur man kan tillgängliggöra 3D-modeller på ett bra sätt. 

Fortsättning

Vi har nu bedrivit arbetet med fotogrammetri ungefär ett år, och vi upplever att vi har nått i mål vad gäller våra kvalitativa målsättningar. Just nu funderar vi på hur vi ska gå vidare rent strategiskt med fotogrammetri; om vi ska försöka implementera tekniken som en digitaliseringsmetod bland andra i vårt digitaliseringsflöde. Här kvarstår arbete med att identifiera metoder och standarder vad gäller arkivering och metadatasättning av de olika filformaten som 3D-modellerna består av. Även själva filformaten är en fråga som vi fortfarande utreder där vi  är måna om att hitta standarder som är öppna och är långvarigt bestående. Avslutningsvis är fotogrammetri helt enkelt en del i vårt fortsatta digitaliseringsarbete och vi hoppas att våra erfarenheter kan inspirera andra att pröva tekniken. 

Ni får gärna kontakta oss om ni har några frågor kring detta! 
 
// Fredrik - Digital samordnare