Wil jij na het zien van 'Trust me, I'm a journalist' ook aan de slag met open source intelligence? Met Tegenlicht's toolkit voor beginners ben jij binnen no time een burgerdetective.

'Osint', oftewel 'open source intelligence' is razend populair onder zowel beroepsjournalisten als slaapkamerhobbyisten. In Tegenlicht legt New York Times-journalist Christiaan Triebert uit hoe hij gebruik maakt van publiekelijk beschikbare foto's, video's en kaarten om gebeurtenissen te reconstrueren en daders op te sporen.

De methode werd bekend van het onderzoekscollectief Bellingcat. Veel van hun onderzoeken naar conflictgebieden maken gebruik van social-media beelden om te identificeren wat voor soort wapens en bommen er worden gebruikt. Zo ontdekte Bellingcat bijvoorbeeld dat de MH17 was geraakt door een Russische raket, en dat bij het bombardement op een Syrische moskee in 2017 bommen uit het Amerikaanse leger waren gebruikt.

Maar je kunt osint nog voor veel meer gebruiken, bijvoorbeeld om natuurschade in kaart te brengen. Onlangs publiceerden Forensic Architecture en de Climate Litigation Accelerator een uitgebreid onderzoek waarin ze met satellietbeelden hadden vastgesteld dat sinds het aantreden van Bolsonaro het aantal goudmijnen in het Braziliaanse Amazonewoud exponentieel is toegenomen. Hierbij worden lokale volkeren verdreven met geweld, zo bleek uit camerabeelden van een lokale bewoner. Bolsonaro ontkent het nog steeds.

Zulke onafhankelijke onderzoeksjournalistiek is van cruciaal belang om buiten de gebaande paden de waarheid te achterhalen en mensen of overheden tot verantwoording te roepen. En het leuke is: iedereen kan meedoen. Wil jij ook aan de slag, maar weet je niet waar te beginnen? Met deze kleine walkthrough helpen we je hopelijk een stukje op weg.

de opdracht:

De beste manier om meer te leren over osint is door het meteen te proberen. Daarvoor gebruiken we deze foto van een fietsende Christiaan Triebert.

Hoe kom je er aan de hand van deze ene foto achter waar hij aan het fietsen is?

een foto verifiëren

Iedereen kan tegenwoordig wel een beetje fotoshoppen, en het internet staat vol met misleidende content. Wie zegt dat de foto hierboven niet doctored is? Misschien is de fietser wel uit een andere afbeelding geknipt, of is er iets of iemand uit de afbeelding weggehaald. Hoe kun je weten of je met een waarheidsgetrouwe foto te maken hebt?

Een manier om dat te doen is met de browserextensie InVid. Deze plugin kun je toevoegen aan Chrome of Firefox en helpt je om foto's en video's op social media en websites te verifiëren en fake news te herkennen.

Het geeft niet direct een 'echt' of 'nep' antwoord. Door middel van verschillende analyses op basis van pixels, kleuren, en texturen moet je als kijker zelf de data interpreteren om erachter te komen of er gesleuteld is aan een afbeelding. In ons geval lijkt het er niet op.

reverse image search

Niet alleen kan deze plugin herkennen of beelden zijn bewerkt, maar ook of ze in de verkeerde context zijn geplaatst. Met de 'keyframes' optie kun je bijvoorbeeld losse frames uit een filmpje door een algoritme halen dat op zoek gaat naar soortgelijke beelden die over het web zwerven. Voor het juiste gebruik van reverse image search heeft Bellingcat ook nog een hele overzichtelijke handleiding gemaakt.

Je kunt ook de metadata van een afbeelding bekijken. Zo kun je uit een afbeelding lezen wanneer deze is aangemaakt, bewerkt, en met wat voor type camera een foto is gemaakt. Bij bestanden gemaakt in photoshop of illustrator valt dat gegeven vaak ook uit de metadata af te lezen.

objecten en plaatsen herkennen

Als er één tool is die iedere keer terugkomt in visual investigation, is het Google Lens. Deze functie binnen Google zoekt op basis van afbeeldingen, in plaats van woorden. Veel osinters starten hun onderzoek met deze technologie om te weten in welk land of welke plaats ze moeten beginnen met zoeken.

Ook in deze foto blijkt het nuttig: als we alleen de gebouwen in de achtergrond selecteren, krijgen we al snel een idee in welke stad, en misschien zelfs in welke straat we moeten zijn.

nummerborden en auto's

Vrijwel alle resultaten wijzen ons in de richting van de Verenigde Staten, en specifieker zelfs: New York.

Om dit te verifiëren, kunnen we bijvoorbeeld kijken naar de nummerplaat van de auto op de achtergrond. Wat vertellen de vorm en de kleur ons over deze locatie?

Via indexsites van hobbyisten (zoals bijvoorbeeld license plate mania, van een Belgische verzamelaar) kunnen we al snel achterhalen dat nummerborden van de staat New York sinds 2010 inderdaad geel zijn met een zwart boogje erboven.

In sommige gevallen wil je misschien ook het type auto herkennen. Daarvoor bestaat carnet.ai, dat met kunstmatige intelligentie auto's op merk, type, kleur en jaartal identificeert.

wegen en verkeersborden

Een andere manier waarop we erachter hadden kunnen komen in welk land we zijn, is te kijken naar de strepen op de weg. Midden op de weg loopt een doorlopende dubbele gele streep. Die komt eigenlijk vrijwel alleen in de Verenigde Staten voor. Dat is waarschijnlijk ook een van de visuele clues die Google Lens heeft gebruikt om het plaatje te lokaliseren. Strepen op wegen geven een heleboel informatie weg. Dat weten fans van het spel GeoGuessr maar al te goed. Fanatiekelingen stellen extreem uitgebreide gidsen samen met daarin overzichten van alle wegmarkeringen, type verkeersborden, soorten paaltjes langs de weg, soorten stoplichten (maar ook de richting waarin mensen hun satellietschotels zetten) die kunnen helpen een land of plaats te identificeren.

We weten inmiddels vrijwel zeker dat we in New York moeten zoeken naar de locatie van deze foto. Maar New York is groot. Dus hebben we nog wat meer concrete aanwijzingen nodig. Wat zijn bijvoorbeeld die rode gebieden aan weerszijden van de fietser? Zijn het fietspaden?

Een snelle zoektocht bezorgt ons het antwoord: dit zijn busbanen. We zoeken dus een straat met aan weerszijden busbanen. Hoe gaan we dat vinden?

Misschien van bovenaf?

satellieten en kaarten

Of het is om een locatie af te leiden uit een foto, om strafkampen in Noord-Korea op te sporen, of om (illegale) ontbossing te monitoren: satellietbeelden zijn onmisbaar in osint-onderzoek.

Afhankelijk van welke data je zoekt, heb je in sommige gevallen het meest aan Sentinel Hub's EO Browser. De Sentinel is een satelliet en EO staat voor 'Earth Observation'. Met deze tool kun je beelden en data van hoge kwaliteit uit het archief van een heleboel verschillende Copernicus Sentinel- en NASA Landsat-satellieten vergelijken. Van stikstofconcentraties op een bepaalde dag tot de hoeveelheid vegetatie, van droogte en overstromingen tot vulkaanactiviteit.

Met de EO Browser kun je ook heel makkelijk korte video's genereren van hoe een locatie over tijd is veranderd. Dit is een handige tool als je bijvoorbeeld wilt aantonen dat er ergens ontbossing plaatsvindt. Of, zoals Bellingcat in 2018 deed, om te volgen hoe in Myanmar in korte tijd een Rohinyadorp met de grond gelijk werd gemaakt. 

steden en infrastructuur

Maar voor een preciezere weergave van een stad en haar infrastructuur blijft de meest voor de hand liggende toch Google Earth. Met de Pro versie kun je heel makkelijk en snel gebieden doorzoeken, en allerlei 'lagen' aan- en uitzetten. Je kunt via overlays van andere systemen ook extra informatie van het internet aan je kaart toevoegen. Deze lagen tonen bijvoorbeeld de straatnamen, waar de bushaltes zijn en wat voor weer het is.

Toch krijgen we niet meteen alle antwoorden. Gaan we in New York op zoek naar straten met buslijnen aan weerszijden, dan levert dat al snel een heel scala aan mogelijkheden op. De gehele 5th Avenue kruist minstens zeven straten met aan weerszijden busbanen. En dat is alleen nog Manhattan.

Niet alleen zijn er meerdere straten met twee buslijnen, deze straten zijn ieder ook nog eens kilometers lang. Er is nog altijd een overdaad aan informatie. In het wilde weg door Google Earth scrollen blijft dus een beetje een schot hagel.

Bovendien veranderen steden de hele tijd. Dus is het met satellietbeelden ook belangrijk wanneer je zoekt. De default kaart in Earth is niet meteen de meest recente, maar is samengesteld uit de beelden met de hoogste resolutie. Met de tijdmachine-functie bovenin kun je meer recente of juist oudere beelden bekijken. Houd dus in de gaten dat je dus altijd via de tijdmachine checkt of je de meest recente of relevante kaart voor je hebt. In dit geval zien we dat inmiddels nog veel meer straten zijn geüpdate.

© Google Earth

Voordat we eindeloos door de kaart gaan browsen, is het dus verstandig om nog even terug te keren naar de foto. Wat voor informatie staat er nog meer op?

de details

Een belangrijk detail op de achtergrond zou ons kunnen helpen iets gerichter te zoeken: een gebouw met een uithangbord met daarop de laatste letters 'EL'. Is het een Hotel? En wat staat er op dat bordje eronder?

Het gaat niet op voor alles, maar veel specifieke objecten in de openbare ruimte worden gearchiveerd als zogeheten 'waymarks'. Op de website waymarking.com uploaden mensen van over de hele wereld spullen, gebouwen, voorzieningen en logo's in verschillende categorieën. Zo heeft de community al 6316 neonborden, 152 oplaadpalen voor elektrische fietsen, en 1212 vuurtorens verzameld. Minder populaire, maar niet oninteressante, categorieën zijn 'standbeelden van honden', 'gesloten drive-in bioscopen' en 'je-staat-hier kaarten'. 

Ons hotelbord staat er echter niet tussen. Maar misschien kunnen we met een simpel trucje in Photoshop (helaas niet helemaal open source) kunnen het beeld iets scherper maken. Wat er precies staat, is nog steeds niet te zien, is de eerste letter wellicht een C?

Wat kunnen we nog meer zeggen over dit (vermeende) hotel? Het heeft zwarte balkonnetjes, rode bakstenen, witte richels en een relatief groot uithangbord. Waarom googelen we die beschrijving niet gewoon? 

De eerste afbeelding die verschijnt, is deze: het Chelsea Hotel, op 204 W 23rd St. Inderdaad één van de straten die we via Google Earth hadden gevonden. En het gebouw lijkt ook nog eens erg op dat in de foto, behalve dat het uithangbordje een andere kleur heeft. Maar als we kijken op StreetView, zien we dat ook de omliggende gebouwen op de foto overeenkomen:

schaduwen berekenen

Nu weten we waar de foto is gemaakt! Op ongeveer 40°44'41.58"N en 73°59'51.06"W. Wie wil berekenen op welk tijdstip de foto is gemaakt, kan gebruik maken van Suncalc. Op deze site kun je aan de hand van coördinaten en schaduwen op een foto de stand van de zon en dus het tijdstip van de foto bepalen.

osint voor gevorderden

Maar eigenlijk was dit nog vrij makkelijk, met al die gebouwen en markeringen op de weg. Doorgewinterde geoguessers weten zelfs een willekeurig Oost-Europees weiland juist te lokaliseren. En er zijn nog veel meer tools om bijvoorbeeld mensen op te sporen aan de hand van gezichtsherkenning, social-mediaprofielen, IP-adressen, en noem maar op.

Een goede plek om verder te gaan is deze spreadsheet van Bellingcat, met daarop een enorm overzicht van tools en handleidingen voor degenen die door willen speuren. Of kijk eens op OSINTframework, een interactieve flowchart met een verzameling aan handige tools. De osint-community is levendig, en veel interessante mensen delen hun inzichten via kanalen als Twitter, Reddit en Discord. En kijk natuurlijk de aflevering van Tegenlicht, waarin Christiaan Triebert zelf uitlegt hoe hij te werk gaat.