Folketinget ændrer somme tider deres hjemmeside, og det betyder somme tider at Folkets Tings scraper stopper med at virke. For det tilfælde at nogen skulle være interesseret i at bruge Folkest Ting i forbindelse med det forestående folketingsvalg, er scraperen nu opdateret så den virker med den seneste version af Folketingets hjemmeside.
Derudover er data-api’et flyttet fra data.folketsting.dk/service.svc/$metadata til folketsting.dk/data/service.svc/$metadata. Ændringen blev primært indført for at gøre det lettere at hoste Folkets Ting på AppHarbor.
Den sidste nyskabelse er at Udvalgsrejser nu fremgår af Folkets Ting og af folketingsmedlemmnernes profiler. Jeg scrapede rejseaktivitet mens jeg stadig arbejde på Ekstra Bladet, men jeg kan desværre ikke finde de ellers udemærkede artikler der kom ud af det.
Jeg er i gang med at flytte Folkets Ting fra servere på IT-Universitet til AppHarbor.com. Det kommer til at give nedetid på et par dage, jeg beklager meget.
For snart 14 dage siden fik Folkets Ting et API. Lanceringen var en smule hektisk fordi jeg skulle til bryllup i Italien. Da Mikkel fra Version2 ringede svarede jeg på hans spørgsmål fra lufthavnen. Interessant nok ringede Mikkel også til Folketinget for at høre hvad de mener om det hele.
Fordi jeg havde travlt er det eneste eksempel alt for kompliceret. Her er nogle mindre komplicerede eksempler (ADVARSEL, XML):
- Alle politikere: http://folketsting.dk/data/service.svc/Politician/?apikey=7mRWp6WmTzsbAkMwvHxy
- Alle politikere, kun fornavn og efternavn: http://folketsting.dk/data/Service.svc/Politician/?$select=Firstname,Lastname&apikey=7mRWp6WmTzsbAkMwvHxy (“select” betyder at man kun vil have nogle bestemte kolonner)
- Ida Auken: http://folketsting.dk/data/Service.svc/Politician(1198)/?apikey=7mRWp6WmTzsbAkMwvHxy (Ida’s ID i Folkets Tings database er 1198 — det kunne man se i det første resultat)
- Alle §20-spørgsmål: http://folketsting.dk/data/Service.svc/P20Question/?apikey=7mRWp6WmTzsbAkMwvHxy
- Alle Ida Aukens §20-spørgsmål: http://folketsting.dk/data/Service.svc/Politician(1198)/?$expand=P20Question&apikey=7mRWp6WmTzsbAkMwvHxy (“expand” betyder at man får lov at se vedhæftede entiteter)
Husk at skifte apikey ud med din egen key hvis du bruger eksemplerne. Du kan få en helt gratis her. Som udgangspunkt leverer API’et atomar odata-xml, men det kan også lave json ved at proppe en “format=json” parameter i url’en.
Eksemplet med udvalgsrejserne er faktisk et eksempel på data i API’et som ikke kan ses på folketsting.dk. Der er andre eksempler på sådan hemmelig data som vi scraper men ikke eksponerer via websitet. F.eks. er alle lovene kategoriseret efter Folketingets kategori-system, men af datamodeleringsårsager hænger kategorierne ikke ordentligt sammen med lovene.
- Alle kategorierne: http://folketsting.dk/data/Service.svc/Category/?apikey=7mRWp6WmTzsbAkMwvHxy
- Alting i kategori forsvar: http://folketsting.dk/data/Service.svc/Category(89)/ItemCategory/?&apikey=7mRWp6WmTzsbAkMwvHxy (“ItemId” refererer i dette tilfælde til love)
- En af lovene i forsvarskategorien: http://folketsting.dk/data/Service.svc/Law(484)/?&apikey=7mRWp6WmTzsbAkMwvHxy
Der er forskellige andre problemer med den måde API’et er lavet på. F.eks. ville jeg rigtig gerne proppe billed-url’er i politiker-resultaterne, men som man kan se af dette Stackoverflow-spørgsmål er det ikke rigtigt muligt (svaret virker ikke). Hvis man kigger i Ida Aukens data kan man se at hun har tilknyttet et billede med id 287. Folkets Ting kan rendere et billede med det id sådan her: http://folketsting.dk/filer/billeder/idaauken/287. Folkets Ting kan endda skalere billedet for dig: http://folketsting.dk/filer/billeder/skaleret/idaauken/287?width=25&height=25. “idaauken” delen af url’en styrer hvad filen kommer til at hedde hvis den downloades (script-kiddies der forsøger at injekte bras kommer over knæet).
Jeg kommer i øvrigt snarest til snarest at sætte en maximum pagesize på 100 for at undgå at generere for store resultater. Ønsker man flere resultater kan de fås ved at page sig videre.
God fornøjelse med API’et og skriv endelig til friism+ftapi@gmail.com hvis der opstår problemer.
Sommer-2009 versionen af Folkets Ting inkludere information om §20 spørgsmål, de spørgsmål folketingsmedlemmer kan stille til regeringens ministre. Den feature blev vi desværre nød til at sløjfe da Folketinget fik ny hjemmeside. Den nye hjemmeside indeholder nemlig ikke svar på spørgsmål i klar-tekst, men som pdf’er eller Word dokumenter. Det er vigtigt for mig at understrege det er genialt at det offentlige frigiver dokumenter af alle slags, også pdf’er. Når det er sagt, så er pdf- og word-formaterne enhver screen-scrapers værste fjende, meget værre end login-systemer eller skramlet html faktisk.
Svarerne martrede mig længe, og jeg prøvede faktisk at lave en parser der kunne skille dokumenterne ad. Desværre bruger hvert ministerium deres egen dokumenttemplate når de skal skrive svar for deres minister, så jeg skulle stort set skrive en parser for hvert ministerium. Til opdateringen af Folkets Ting strakte jeg derfor våben og lod Scribd stå for svar-dokumenterne. Resultatet kan f.eks. ses på spørgsmål Om sikkerheden ved brug af NemID.dk. Løsningen er ikke særlig perfekt: Scribd har somme tider problemer med at behandle dokumenter fra Folketinget (skriv gerne hvis du finder spørgsmål med problemer), vores søgning kan ikke søge i svarerne (dette kunne nok løses med mere arbejde) og det er heller ikke rigtigt muligt at kommentere dem.
De relevante informationer er tilgængelige via API’et således at svardokumenter også kan benyttes af API-brugere.
Med opdateringen har politiker-profiler også fået word clouds. F.eks. kan det ses på Ida Aukens profil at hun for nyligt har talt meget om “partikler”, “miljøklagenævnet”, “grænseværdier” og “filtre”. Det hænger meget godt sammen med at Ida er miljøordfører for Socialistisk Folkeparti. Skyerne genereres ved at tage en klump af politikerens seneste taler, strippe fyldord ud (f.eks. “og”) og tælle forekomsten af hver ord. Google Visualization Toolkit har en dims der kan rendere en word cloud baseret på denne data.
Sidste efterår slog Folketinget en stilling som CMS-udvikler og data-integrator op. Stillingsopslaget findes stadig. Jeg passede profilen udemærket og besluttede mig — for sjov — at søge stillingen. De sidste to afsnit i min ansøgning lød som følger:
Jeg har personligt udtænkt og implementeret folketsting.dk, der hugger parlamentarisk data fra Folketingets hjemmeside og bruger det til at lave en bedre side. På Folkets Ting kan vælgere effektivt overvåge politikerne (bl.a. via aktivitetsgrafer) og tale igen hvis de har noget på hjerte. Jeg har brugt data til at skrive om f.eks. rejseudgifter, verdens længste §20 spørgsmål og hvem der talte mest i folketingssalen (se bloggen: folketsting.wordpress.com). Jeg har præsenteret Folkets Ting på Reboot 11 og er inviteret til at holde foredrag på New Media Days til november. Mit arbejde med Folkets Ting har givet mig stor indsigt i Folketingets arbejdsgange og hjemmesidestruktur samt i hvilke udfordringer man står overfor i forhold til legacysystemer og webstandarder.
Jeg søger stillingen i Folketingets IT-afdeling for at få adgang til kodebasen til folketinget.dk og til Folketingets driftsservere. Denne adgang vil jeg bruge til om aftenen — når de øvrige ansatte er gået hjem — at rette de fejl der for nuværende hindrer tilfredsstillende screen-scraping af data fra hjemmesiden. Mest presserende er at §20 spørgsmål ikke længere vises med de emne-kategorier der findes i TingDok, at det ikke fremgår af et tale-referat om det er 1. udgave (kladde) eller 2. udgave (endelig) og at dokumenter som f.eks. høringssvar publiceres som fuldstændig uparselige PNG billeder. Jeg vil også arbejde på få alle sider på folketinget.dk til at validere pr. W3Cs standarder. Når jeg — i min fritid — har bragt disse ting i orden, vil jeg implementere et data-API, så alle danskere kan få glæde af de data Folketinget akkummulerer. Jeg vil bruge adgang til Folketingets produktionsmiljøer til at lancere API’et uden IT-afdelingens viden eller godkendelse.
Jeg modtog en høflig tak for ansøgningen, men blev af en eller anden årsag aldrig kaldt til samtale…
Den nye version af Folkets Ting inkluderer §20 spørgsmål hentet fra Folketingets hjemmeside. §20 er en paragraf i Folketingets forretningsorden, og den giver Folketingets medlemmer mulighed for at stille spørgsmål til regeringens ministre, som de er forpligtet til at svare på. Så vidt jeg kan gennemskue, må selve spørgsmålet ikke være længere en en enkelt sætning (det er dog tilladt at skrive uddybende tekst i “baggrunden” for spørgsmålet). Denne begrænsning giver somme tider anledning til absurd lange spørgsmål, proppet med bisætningerog uddybninger.
Rekorden for verdens længste §20 spørgsmål går til Karen Hækkerup fra Socialdemokratiet. Hun stillede i juni stakkels Brian Mikkelsen følgende spørgsmål:
“Vil ministeren svare på, hvordan han vil følge op på den konservative retsordførers ord i TV-avisen den 17. juni 2009 om, at indbrudstyve skal stilles for en dommer eller varetægtsfængsles med det samme, de pågribes, og dermed svare på, om det er regeringens politik at stille krav til domstolene om, at indbrudstyve skal hurtigere for en dommer, eller om regeringen påtænker lovændringer, der muliggør bedre forhold for varetægtsfængslinger af indbrudstyve og samtidig svare på, hvad konsekvenserne i form af yderligere sagsbehandlingstid vil være, og svare på, hvad en sådan ordning vil betyde for andre sager, der også skal for en dommer, herunder primært svare på, hvad det vil betyde for sager, der allerede er underlagt politiske krav om hurtig behandling, eksempelvis voldssager, når fakta er, at domstolene i disse sager langt fra kan leve op til målene, og at domstolene, med mindre der ikke følger yderligere ressourcer med det konservative forslag, må forventes at få en endnu længere sagsbehandlingstid, samt svare på, hvilke andre sager ministeren forestiller sig skubbet i baggrunden til fordel for indbrudssagerne, der ifølge det konservative forslag skal skubbes foran de andre?”
… jep, der er faktisk kun en sætning. Du kan se og kommentere Brian Mikkelsens svar (og spørgsmålet) på Folkets Ting.
Karen Hækkerups spørgsmål er næppe et eksempel til efterfølgelse så hvis du kan komme på bedre, kortere og mere præcise spørgsmål til regeringens ministre, så kan du foreslå dem på Folkets Ting.
Vil ministeren svare på, hvordan han vil følge op på den konservative retsordførers ord i TV-avisen den 17. juni 2009 om, at indbrudstyve skal stilles for en dommer eller varetægtsfængsles med det samme, de pågribes, og dermed svare på, om det er regeringens politik at stille krav til domstolene om, at indbrudstyve skal hurtigere for en dommer, eller om regeringen påtænker lovændringer, der muliggør bedre forhold for varetægtsfængslinger af indbrudstyve og samtidig svare på, hvad konsekvenserne i form af yderligere sagsbehandlingstid vil være, og svare på, hvad en sådan ordning vil betyde for andre sager, der også skal for en dommer, herunder primært svare på, hvad det vil betyde for sager, der allerede er underlagt politiske krav om hurtig behandling, eksempelvis voldssager, når fakta er, at domstolene i disse sager langt fra kan leve op til målene, og at domstolene, med mindre der ikke følger yderligere ressourcer med det konservative forslag, må forventes at få en endnu længere sagsbehandlingstid, samt svare på, hvilke andre sager ministeren forestiller sig skubbet i baggrunden til fordel for indbrudssagerne, der ifølge det konservative forslag skal skubbes foran de andre?
Jeg demoede Folkets Ting på demo dag for et par uger siden. Henrik Føhns var tilstede og interviewede mig kort om sitet. Du kan høre indslaget i podcasten fra i dag (d. 24/6), den kan downloades på Harddiskens hjemmeside. Jeg taler om Folkets Ting omkring minut 45.
Huskede du at høre P1 Morgen? Ellers kan indslages genhøres, det blev bragt i den første time og starter omkring 38. minut (og det er altså udsendelsen d. 25 Maj 2009). Udover at jeg satte rekord for “øh” og “li’ssom” frekvensen i en radioudsendelse gik det vist ok.
Dækningen startede tirsdag morgen med at Information twittede, Danmarks Radio dukkede op i min lejlighed ud på formiddagen og omtalen fortsatte på Twitter de næste par dage. Morten Gade (som har været med til at lave det mere-end-almindelig-seje mitkbh.dk) skrev også en blog post om sitet.
I morges (mandag) talte jeg med ComputerWorld, så mon ikke der snart kommer en artikel der. Jeg har også lige talt med en ansat i Beskæftigelsesministeriet der gerne ville skrive en historie til deres intranet.
Derudover håber jeg på at kunne diskutere Folkets Ting på Reboot, til Pecha Kucha og til Talk It til efteråret.
Har du set Folkets Ting nævnt andre steder på Internettet så skriv det i en kommentar herunder.