Stora data, små triumfer

Jag har visserligen jobbat med stora datamaterial förut, men då har det varit data som jag skapat, så jag har kunnat lagt dem snyggt i matriser och allt har gått ganska bra. Lite parallellprocessning behövde jag göra, men då i dess mest primitiva form (helt separata körningar på tre olika datorer, som råkade ha tre olika operativsystem...).

Stora RIKTIGA data är en helt annan fråga. Jag fick ett jättefint datamaterial i mina händer nyligen och hade lite problem med att läsa ihop (merga) olika deldataset med varandra i R. Lyckades efter lite snubblande med det jag ville. Hittade trevliga biblioteket sqldf, som är föredömligt dokumenterat. Det använde jag för att sortera data, sedan använde jag en vanlig merge utan sortering. I ett annat moment behövde jag göra en "reshape", men fick aldrig R att orka med. Troligen var det sortering som spökade även där. Det löste jag med en loop (jag vet, det är fult). Det gick inte snabbt, men det gick. Det man inte har i huvudet får man ha i benen.

Sisyfos och "kunden har alltid rätt"

Jag ägnade ungefär en arbetsdag den här veckan åt att ändra ett script för en automatgenererad graf (som en Kollega skrivit) till en mindre elegant lösning som Beställaren ville ha. Grafen byggde på en hel del smart kod som var svår att arbeta bort och jag började till slut om från början.

Har nu lika mycket dokumentation som kod i scriptet, och har lagt in möjligheter att ändra utan att slita koden i småbitar. Inte snyggt, men användbart. Bättre eller sämre än det var från början?

Fredag

Idag är sista dagen på kursen så ikväll bär det av till den kungliga huvudstaden igen!

Bifogar bild på kursboken som jag ger betyg @@@ av @@@@@

Mer info om boken

I´m back

Det långa bloggsommarlovet som jag tagit är nu över!


Denna vecka är jag på kurs, mkt intressant!!

Mer te

Har försökt koka en kopp te i en timme (har satt på vatten fyra gånger) men har lyckats distrahera mig själv med R-programmering, SMS och Pocket planes (den rafflande vidareutvecklingen av Tiny tower).

För att dricka så mycket te är jag väldigt dålig på att koka te.

Statistikern och det ologiska

Det (de) ologiska är statistikerns kryptonit. Tidigare har jag trott att oändligt tålamod var enda försvaret, men det är inte riktigt sant. Med noggrann versionshantering (Git eller allmän nit) kan man åtminstone spåra galenskapen. Det lättar upp humöret.

Vad är orsaken till kausala grafer?

Sitter och sliter mitt hår över en kausal graf. Eller inte över själva grafen då, utan över data. Som vanligt döljs hälften av vad jag skulle vilja se av ett udda urval. Udda urval ger mig huvudvärk, trots att jag disputerat på dem.

[Bilden har ingenting med data i texten att göra.]