Twitter als zwart gat

Twitter is in de ruim vijf jaar dat het nu bestaat uitgegroeid tot een veelgebruikt medium voor het uitwisselen van informatie, verwijzingen, meningen, foto’s en vele andere zaken die de gebruikers met elkaar en de wereld willen delen. De tijd dat het fenomeen werd weggezet als inhoudsloos geklets (of “verbale diarree”, zoals de presentator van een populair dagelijks TV-programma dikwijls placht te zeggen) ligt achter ons. Voor veel mensen is Twitter inmiddels de belangrijkste nieuwsbron, geen enkel ander medium lijkt zó de vinger op de tijdgeest te kunnen leggen. Je kunt je voorstellen dat het kunnen doorzoeken van tweets voor geschiedkundigen in de toekomst van onschatbare waarde zal zijn.

Er schuilt een zeker gevaar in de afhankelijkheid van Twitter voor het beschikbaar blijven van deze informatie. Twitter is één enkele partij, en in principe enig eigenaar van de informatie die gebruikers op het medium plaatsen. Het verdwijnen van Twitter betekent het verdwijnen van de informatie.

De kans dat dát gebeurt, lijkt vooralsnog verwaarloosbaar klein. Mocht het ooit zo ver komen dat Twitter het bijltje erbij neergooit, dan lijkt het me waarschijnlijk dat de 500 miljoen actieve gebruikers die het medium nu telt voor een dusdanig oproer zullen zorgen, dat het bedrijf de bestaande database van berichten beschikbaar stelt aan een nieuwe partij dan wel doneert aan de Internet-gemeenschap.

Mijn zorg zit dan niet in het verdwijnen van de tweets zelf maar in het bruikbaar blijven van de informatie die er wordt gedeeld, met name de weblinks.

Omdat de lengte van een tweet is beperkt tot 140 tekens, neemt een webadres (of “URL”) te veel kostbare ruimte in. Om dat te ondervangen wordt er vrijwel altijd gebruik gemaakt van een zogenaamde “URL-verkorter” of “URL shortener”.

Een URL-verkorter is een dienst op het web waar een gebruiker een (lange) URL kan invoeren, waarna er een korte URL wordt aangemaakt die naar de betreffende webpagina verwijst. De domeinnaam van de URL-verkorter zelf is ook kort, zodat hiermee geen kostbare ruimte verloren gaat. Bekende voorbeelden zijn bit.ly, goo.gl en tinyurl.

Hoewel de URL-verkorter voornamelijk wordt toegepast op Twitter, staan deze diensten volledig los van het medium, en worden ze ook door andere bedrijven aangeboden. Dat betekent dat deze partijen volledig verantwoordelijk zijn voor de vertaalslag die telkens gemaakt moet worden wanneer een gebruiker op zo’n korte URL klikt. De meeste gebruikers zijn vaak niet eens op de hoogte van het verkorten van de URL omdat  Twitter-programma’s de URL’s veelal automatisch verwerken. Ze tonen zelfs niet eens de korte versie maar alleen de oorspronkelijke bestemming.

Link rot De problemen ontstaan wanneer een dergelijke partij de dienstverlening staakt. Alle korte URL’s verwijzen dan naar een site die niet meer actief is en die dus de vertaalslag niet meer kan maken. De links lopen dood. Soms wordt dit “link rot” genoemd. De gevolgen hiervan kunnen desastreus zijn: de links in miljoenen tweets lopen het risico niet meer te functioneren. Iets dergelijks is in het verleden al eens voorgevallen bij de toentertijd populaire dienst tr.im. Korte URL’s die met deze service zijn gemaakt zijn niet meer bruikbaar.

Een ander probleem dat zich voor kan doen bij URL-verkorters is het gevolg van het feit dat, omwille van de korte en unieke URL, vaak gekozen wordt voor exotische “top level domeinen”, het gedeelte dat achter de punt in een domeinnaam staat. Voorbeelden zijn .tk, .ly en .nu. Het beheer van dergelijke TLD’s is vaak in handen van overheden, die er mogelijk hun eigen regels op na houden. Zo is bekend dat Libië formeel geen porno toestaat op hun TLD en in het verleden diverse sites heeft gesloten. Een dergelijke beslissing voor het populaire bit.ly zou grote gevolgen hebben.

Inmiddels wordt dit gevaar in bredere kring onderkend. De non-profit organisatie Internet Archive, die sinds 1996 archieven bijhoudt van websites zodat gebruikers verschillende versies van een site door de jaren heen kunnen bekijken, is een initiatief gestart om de risico’s van URL-verkorters te verkleinen. Onder de naam 301Works , genoemd naar de Internet-code voor het doorsturen naar een andere pagina, wordt gewerkt aan een archief van verkorte URL’s.

Aanbieders van URL-verkorters die willen deelnemen aan het project verplichten zichzelf om maandelijks een kopie van de database van alle URL’s aan de organisatie te sturen, en geven daarmee toestemming om deze te openbaren zodra de dienst langer dan een maand onbereikbaar is. Op die manier zijn alle URL’s naar hun bronbestemming te herleiden.

Het project werkt op vrijwillige basis, en tot dusver hebben de meeste grote partijen er zich (nog) niet bij aangesloten. Mogelijk uit concurrentie-overwegingen: het business-model van deze bedrijven berust vaak op het genereren en verkopen van bezoekersstatistieken, en daarmee zijn de databases van deze bedrijven kostbare handelswaar.

Digitale archieven Inmiddels is ook Twitter zelf gestart met een URL-verkortservice onder de naam t.co. Sinds 2010 wordt elke URL in een tweet verpakt in een t.co-URL, óók wanneer het al een verkorte URL van een andere aanbieder betreft. In dat geval wordt bovenstaand probleem dus niet ondervangen. Twitter-gebruikers die meer vertrouwen hebben in de levensduur van de Twitter-datacentra, het continueren van de Twitter-inkomstenstroom waardoor de dienst operationeel blijft en de grotere effecten van publiek ongenoegen mocht die onverhoopt toch dreigen te verdwijnen, doen er verstandig aan om de URL’s in hun tweets rechtstreeks te plaatsen op de Twitter-website of in een officiele Twitter-app.

Het aantal bedrijven dat zélf het heft in handen heeft genomen voor wat betreft het inkorten van URL’s neemt inmiddels toe. Steeds vaker verschijnen er korte URL’s waarvan uit de medeklinkers in de domeinnaam valt af te leiden waar ze naar verwijzen. Op zich een prima zaak, zolang deze bedrijven er zorg voor dragen dat deze korte URL’s blijven werken. Wanneer ze een vast onderdeel zijn van het beheersysteem (of “content management systeem”) waarin de sites worden gemaakt is er weinig risico: het is dan gewoon een alternatief adres en zolang de webservers operationeel blijven doen de korte URL’s dat ook. Wanneer er echter voor een, wellicht makkelijker te implementeren, afzonderlijk systeem wordt gekozen, dient zo’n bedrijf er zorg voor te dragen dat dit systeem blijft functioneren.

“Link rot” is van alle tijden en staat los van het URL-verkorterprobleem. Het kan altijd voorkomen dat een server, site of webpagina niet langer beschikbaar is en dat de gebruiker dus nul op het request krijgt als hij een pagina opzoekt. Maar wanneer de toegang tot een webpagina ook nog eens afhankelijk is van het correct werken van de URL-verkorter, nemen de risico’s evenredig toe. Iets waar digitale archivarissen het in de verre toekomst wellicht nog heel moeilijk mee gaan krijgen.