As mentioned in the German post was mentioned that the raw data came from a simple tab-delimerted table with the Twittername, Homepage-URL and latitude and longitude information. A example for Berlin:

@berlin_de_news    http://www.berlin.de    52.51, 13.40

The full data can be accessed here. So we load the data into R and do some data-management. Latitude and longitude are comma-seperated and there are no variable names given.

data < - read.delim("verwaltungen.txt", header = F)
lat_lon <- as.numeric(do.call("rbind", str_split(data$V3, ", ")))
data2 <- cbind(data[, 1:2], lat_lon[1:68], lat_lon[69:136])
names(data2) <- c("tw_name", "url", "lat", "lon")

Using the great twitteR-package from Jeff Gentry we can get the total tweets ever send and the actual follower. A little for-loop does some automatation for us.

for (i in data2$tw_name) {
  temp < - statusesCount(getUser(i))
  temp2 <- followersCount(getUser(i))
  if (i == "@ahlen_de") {
    count_tweets <- temp
    follower <- temp2
  } else {
    count_tweets <- append(count_tweets, temp)
    follower <- append(follower, temp2)
  }
}
 
data2 <- cbind(data2, count_tweets, follower)

Having the data prepared we only need a little spatial data from the GADM database of Global Administrative Areas. One could download the data by hand or using the raster-package (as I will do).  Ggplot2's fortify will then prepare the borders for plotting.  If you get an Error from fortify try executing gpclibPermit().

de_map < - getData('GADM', country="DE", level=1)
de_map_2 <- fortify(de_map, region = "NAME_1")

Now it's time to start the show! The plotting should take some time: The spacial data consists about 100k points. You could reduce the size by for example just taking every 5th point but that can cause double borders instead of one in some mapparts.
Usually one would start plotting the points (geom_point()). In this case it would cause the borders to overlap the municipalities. Scale_area() is very helpful because there is a gap between Berlin and the other cities. I also adjusted the limits of the Follower count. The rest should speak for itself.

tw < - ggplot(data= data2) + geom_path(data = de_map_2, aes(x = long, y = lat, group = group), colour = "#8D8D8D", linetype = 2)
tw <- tw + geom_point(aes(x = lon, y = lat, colour = follower, size = count_tweets)) + scale_area("Tweet count")
tw <- tw + theme_bw() + labs(x = NULL, y = NULL) +  scale_colour_gradient(low = "#9D9D9D", high = "#242424", name = "Follower count", limits = c(0, 12000))
tw <- tw + scale_x_continuous(breaks = NA) + scale_y_continuous(breaks = NA)
tw <- tw + opts(title = "Municipalities using Twitter")
tw

An this is how it looks like:

]]> http://www.ahschulz.de/2011/08/12/plotting-german-municipalities-using-twitter/feed/ 0 http://www.ahschulz.de/2011/03/21/postleitzahlen-visualisiert-teil-2/ http://www.ahschulz.de/2011/03/21/postleitzahlen-visualisiert-teil-2/#comments Mon, 21 Mar 2011 20:43:17 +0000 Arne http://www.arnehendrikschulz.de/?p=153 Continue reading →]]> Im vorherigen Beitrag habe ich die deutschen Postleitzahlen visualisiert. Sort konnte man bereits sehr schön sehen, wie sich nur aus den Geo-Koordinaten die Deutschlandkarte abgebildet hat. Mit einer farblichen Unterleung fiel zudem auf, die Postleitzahlen sich nicht an den Längergrenzen orientieren. Um dies weiter zu verdeutlichen habe ich die Ländergrenzen mit eingezeichnet.

Dazu nehmen wir erneut die Daten aus dem vorherigen Beitrag (“plz”). Das raster-Package ist so nett und gibt uns Zugriff auf die GADM-Datenbank, in welcher alle Grenzen Deutschlands (und natürlich noch die vieler weiterer Staaten) hinterlegt sind.

library(raster)

de_map <- getData('GADM', country="DE", level=1)
de_map_2 <- fortify(de_map, region = "NAME_1")

Die Level-Angabe im ersten Befehl gibt an, wie detailliert die Daten sein sollen: Level 0 beinhaltet nur die Ländergrenzen, Level 1 auch die Grenzen der Ländergrenzen usw. Sollte fortify nicht sofort klappen, muss einmal der folgende Befehl ausgeführt werden:

gpclibPermit()

Danach kann die Map mittels des folgenden Befehls geplottet werden, natürlich wieder mit ggplot2:

p2 <- ggplot(data= plz) + geom_point(aes(x = lon, y = lat, colour = region), //
   alpha = 0.8, shape = 19, size = 2)
p2 <- p2 + geom_path(data = de_map_2, aes(x = long, y = lat, group = group), //
   colour = "grey20")
p2 <- p2 + theme_bw() + labs(x = NULL, y = NULL) + //
   scale_colour_brewer(palette = "RdYlGn", name = "PLZ")
p2 <- p2 + scale_x_continuous(breaks = NA) + scale_y_continuous(breaks = NA)
p2

Das Ergebnis sieht dann wie folgt aus:

Hier wird noch deutlicher, dass die Postleitzahlen nicht nach Ländern vergeben wurden.

Die Daten liegen sowohl tabulatorgestrennt als auch in reiner Datenbankform (sehr löblich) vor. Für unsere Zwecke reichen aber erstmal die Daten mit Postleitzahlen und Koordinaten: http://fa-technik.adfc.de/code/opengeodb/PLZ.tab

Mit der Datei machen wir uns dann ans Werk. Vorher laden wir noch das entsprechende zipcode-Package und das ggplot2-Package. Ersteres kommt mit der netten Funktion clean.zipcode(), die unter anderem dafür sorgt, dass Postleitzahlen, die mit “0″ beginnen, diese auch behalten. Ggplot2 verwenden wir, um die Daten zu visualisieren.

library(ggplot2)
library(zipcode)

# Daten laden
plz <- read.delim("Data/PLZ.tab")

# Postleitzahlen mit 0 erhalten
plz$plz_2 <- clean.zipcodes(plz$plz)

# Plotten
p <- ggplot(data= plz) + geom_point(aes(x = lon, y = lat))

Aussehen tut das Ganze dann wie folgt:

Hier lässt sich bereits die Kontur Deutschlands sehr gut erkennen. Auffällig ist zudem, dass es in Brandenburg und Mecklenburg-Vorpommern recht “wenig” Postleitzahlen gibt. Vor allem im Süden, Süedwesten, Ruhrgebiet und im Norden kommt es dagegen zu einer deutlichen Häufig in den Verteilungen.

Noch interessanter wird die Karte, wenn man sich die erste Ziffer der Postleitzahl mit anzeigen lässt. Zudem kann man die Grafik noch ein wenig aufhübschen.

# Erste PLZ-Stelle als neue Variable einfügen
plz$region <- (substr(plz$plz_2, 1, 1))

# Plotten
p <- ggplot(data= plz) + geom_point(aes(x = lon, y = lat, colour = region),//
   shape = 19, size = 2)
p <- p + theme_bw() + labs(x = NULL, y = NULL)
p <- p + scale_colour_brewer(palette = "RdYlGn", name = "PLZ")
p <- p + scale_x_continuous(breaks = NA) + scale_y_continuous(breaks = NA)
p

Die verschiedenen PLZ-Bereiche sind nicht an die Grenzen der Bundesländer gebunden. Vielleicht sollte ich noch die Ländergrenzen mit einzeichnen lassen. Aber dazu später mehr…

Neben einer kurzen Einführung wird es um GUIs, Pakete und und “R Scene” gehen, eher allgemeien Themen eben. Darüber hinaus wüird vor allem auch organisatorisches angesprochen werden.

Wer Interesse hat, ist herzlich willkommen: http://www.meetup.com/Kassel-useR-Group/

Aber R wäre nicht R, wenn sich das Problem nicht lösen ließe. Ich habe bereits früher einige verfügbare GUIs verglichen und damals StatET meinen Segen gegeben. Mitlerweile bin ich von der Entscheidung wieder etwas abgewichen (vielleicht bin ich einfach auch nur zu sprunghaft ). Mein aktueller Favorit ist aktuell ganz klar JGR – allerdings nur in Verbindung mit dem Deducer-Paket. JGR an sich ist ja bereits ganz nett, wird meiner Meinung nach aber erst mit Deducer wirklich herausragend. Im Grunde wird JGR nur um einige Befehle erweitert: So lassen sich einige statistische Tests durchführen (Deskriptive Analysen, Kreuztabellen, diverse Signifikanztests und Regressionsmodelle). Allerdings bringt das Paket auch einen wunderbaren “Data Viewer” mit. Dies bietet einen wunderbaren Überblick über die Daten. Zudem stehen einige Tools zur Datenmanipulation zur Verfügung. Das Aussehen und die Haptik ist dabei eng an SPSS angeleht.

Für mich im Moment die beste GUI und sehr empfehlenswert…

Bei R handelt es sich im Grunde um eine frei verfügbare Programmiersprache und den dazugehörigen Softwareaufbau. Das Programm kann dabei um viele Funktionen erweitert werden. Aktuell gibt es über 2200 weitere Pakete, die so ziemlich jede statistische Funktion abdecken (soweit ich das beurteilen kann).

Wer sich einen weiteren Einblick verschaffen möchte, was R alles kann und wofür R alles verwendet werden kann, sollte vielleicht hier vorbeischauen. Dort gibt es eine etwa 30minütige Einführung mit dazugehörigen Folien zum Herunterladen. Die Videos sind als Download und als Youtube-Video verfügbar.

Ich kann die Videos nur jedem ans Herz legen, der mal ein wenig in R hineinschnuppern will.