Arne Hendrik Schulz » Visualisierung

Plotting German municipalities using Twitter

Arne — Fri, 12 Aug 2011 10:03:29 +0000

More and more institutions do use social networks in Germany, including Twitter. This belongs to municipalities, too. Getting back to a idea of Claas Hanken (a ex-collegue of mine), wanted to visualize these ones. The result can be seen in German and in Englisch. The plot is completely done in R and I will show how it’s done.

As mentioned in the German post was mentioned that the raw data came from a simple tab-delimerted table with the Twittername, Homepage-URL and latitude and longitude information. A example for Berlin:

@berlin_de_news http://www.berlin.de 52.51, 13.40

The full data can be accessed here. So we load the data into R and do some data-management. Latitude and longitude are comma-seperated and there are no variable names given.

data < - read.delim("verwaltungen.txt", header = F)
lat_lon <- as.numeric(do.call("rbind", str_split(data$V3, ", ")))
data2 <- cbind(data[, 1:2], lat_lon[1:68], lat_lon[69:136])
names(data2) <- c("tw_name", "url", "lat", "lon")

Using the great twitteR-package from Jeff Gentry we can get the total tweets ever send and the actual follower. A little for-loop does some automatation for us.

for (i in data2$tw_name) {
  temp < - statusesCount(getUser(i))
  temp2 <- followersCount(getUser(i))
  if (i == "@ahlen_de") {
    count_tweets <- temp
    follower <- temp2
  } else {
    count_tweets <- append(count_tweets, temp)
    follower <- append(follower, temp2)
  }
}
 
data2 <- cbind(data2, count_tweets, follower)

Having the data prepared we only need a little spatial data from the GADM database of Global Administrative Areas. One could download the data by hand or using the raster-package (as I will do). Ggplot2's fortify will then prepare the borders for plotting. If you get an Error from fortify try executing gpclibPermit().

de_map < - getData('GADM', country="DE", level=1)
de_map_2 <- fortify(de_map, region = "NAME_1")

Now it's time to start the show! The plotting should take some time: The spacial data consists about 100k points. You could reduce the size by for example just taking every 5th point but that can cause double borders instead of one in some mapparts.
Usually one would start plotting the points (geom_point()). In this case it would cause the borders to overlap the municipalities. Scale_area() is very helpful because there is a gap between Berlin and the other cities. I also adjusted the limits of the Follower count. The rest should speak for itself.

tw < - ggplot(data= data2) + geom_path(data = de_map_2, aes(x = long, y = lat, group = group), colour = "#8D8D8D", linetype = 2)
tw <- tw + geom_point(aes(x = lon, y = lat, colour = follower, size = count_tweets)) + scale_area("Tweet count")
tw <- tw + theme_bw() + labs(x = NULL, y = NULL) +  scale_colour_gradient(low = "#9D9D9D", high = "#242424", name = "Follower count", limits = c(0, 12000))
tw <- tw + scale_x_continuous(breaks = NA) + scale_y_continuous(breaks = NA)
tw <- tw + opts(title = "Municipalities using Twitter")
tw

An this is how it looks like:

Postleitzahlen visualisiert, Teil 2

Arne — Mon, 21 Mar 2011 20:43:17 +0000

Im vorherigen Beitrag habe ich die deutschen Postleitzahlen visualisiert. Sort konnte man bereits sehr schön sehen, wie sich nur aus den Geo-Koordinaten die Deutschlandkarte abgebildet hat. Mit einer farblichen Unterleung fiel zudem auf, die Postleitzahlen sich nicht an den Längergrenzen orientieren. Um dies weiter zu verdeutlichen habe ich die Ländergrenzen mit eingezeichnet.

Dazu nehmen wir erneut die Daten aus dem vorherigen Beitrag (“plz”). Das raster-Package ist so nett und gibt uns Zugriff auf die GADM-Datenbank, in welcher alle Grenzen Deutschlands (und natürlich noch die vieler weiterer Staaten) hinterlegt sind.

library(raster)

de_map <- getData('GADM', country="DE", level=1)
de_map_2 <- fortify(de_map, region = "NAME_1")

Die Level-Angabe im ersten Befehl gibt an, wie detailliert die Daten sein sollen: Level 0 beinhaltet nur die Ländergrenzen, Level 1 auch die Grenzen der Ländergrenzen usw. Sollte fortify nicht sofort klappen, muss einmal der folgende Befehl ausgeführt werden:

gpclibPermit()

Danach kann die Map mittels des folgenden Befehls geplottet werden, natürlich wieder mit ggplot2:

p2 <- ggplot(data= plz) + geom_point(aes(x = lon, y = lat, colour = region), //
   alpha = 0.8, shape = 19, size = 2)
p2 <- p2 + geom_path(data = de_map_2, aes(x = long, y = lat, group = group), //
   colour = "grey20")
p2 <- p2 + theme_bw() + labs(x = NULL, y = NULL) + //
   scale_colour_brewer(palette = "RdYlGn", name = "PLZ")
p2 <- p2 + scale_x_continuous(breaks = NA) + scale_y_continuous(breaks = NA)
p2

Das Ergebnis sieht dann wie folgt aus:

Hier wird noch deutlicher, dass die Postleitzahlen nicht nach Ländern vergeben wurden.

Postleitzahlen visualisiert

Arne — Thu, 06 Jan 2011 18:16:32 +0000

Seit neuestem gibt es ein neues R-Package von Jeffrey Brenn in welchem sämtliche Postleitzahlen und Koordinaten der USA hinterlegt sind. Passend dazu findet sich in eine nette kleine Visualisierung. Sowas müsste sich doch auch für Deutschland realisieren lassen. Und siehe da: Es geht!
Die OpenGeoDB hat es sich zur Aufgabe gemacht, eine umfangreiche Datenbank mit GeoDaten und Postleitzahlen aufzubauen. Der große Unterschied hierzu ist, dass die Daten in den USA aus amtlichen Quellen stammen und daher auch mehr Informationen enthalten. Aber für meine Zwecke sind die deutschen Daten vollkommen ausreichend. Darüber hinaus bestehen Bestrebungen, die Datenbank stetig zu erweitern.

Die Daten liegen sowohl tabulatorgestrennt als auch in reiner Datenbankform (sehr löblich) vor. Für unsere Zwecke reichen aber erstmal die Daten mit Postleitzahlen und Koordinaten: http://fa-technik.adfc.de/code/opengeodb/PLZ.tab

Mit der Datei machen wir uns dann ans Werk. Vorher laden wir noch das entsprechende zipcode-Package und das ggplot2-Package. Ersteres kommt mit der netten Funktion clean.zipcode(), die unter anderem dafür sorgt, dass Postleitzahlen, die mit “0″ beginnen, diese auch behalten. Ggplot2 verwenden wir, um die Daten zu visualisieren.

library(ggplot2)
library(zipcode)

# Daten laden
plz <- read.delim("Data/PLZ.tab")

# Postleitzahlen mit 0 erhalten
plz$plz_2 <- clean.zipcodes(plz$plz)

# Plotten
p <- ggplot(data= plz) + geom_point(aes(x = lon, y = lat))

Aussehen tut das Ganze dann wie folgt:

Hier lässt sich bereits die Kontur Deutschlands sehr gut erkennen. Auffällig ist zudem, dass es in Brandenburg und Mecklenburg-Vorpommern recht “wenig” Postleitzahlen gibt. Vor allem im Süden, Süedwesten, Ruhrgebiet und im Norden kommt es dagegen zu einer deutlichen Häufig in den Verteilungen.

Noch interessanter wird die Karte, wenn man sich die erste Ziffer der Postleitzahl mit anzeigen lässt. Zudem kann man die Grafik noch ein wenig aufhübschen.

# Erste PLZ-Stelle als neue Variable einfügen
plz$region <- (substr(plz$plz_2, 1, 1))

# Plotten
p <- ggplot(data= plz) + geom_point(aes(x = lon, y = lat, colour = region),//
   shape = 19, size = 2)
p <- p + theme_bw() + labs(x = NULL, y = NULL)
p <- p + scale_colour_brewer(palette = "RdYlGn", name = "PLZ")
p <- p + scale_x_continuous(breaks = NA) + scale_y_continuous(breaks = NA)
p

Die verschiedenen PLZ-Bereiche sind nicht an die Grenzen der Bundesländer gebunden. Vielleicht sollte ich noch die Ländergrenzen mit einzeichnen lassen. Aber dazu später mehr…

Stadtistik

Arne — Thu, 04 Mar 2010 21:15:17 +0000

Einen interessanten Ansatz statistische Kennwerte verschiedener Städte darzustellen, hat Martin Oberhäuser in seiner Diplomarbeit entwickelt:

Das Projekt läuft unter dem Titel Stadtistik (Verbindung von Stadt und Statistik). Ich finde den vergleichenden Ansatz sehr ansehlich und innovativ. Zudem können mehrere Städte leicht verglichen werden, ohne ellenlange Tabellen zu lesen.