Yahoo Pipes ist ein großartiges Werkzeug, um Informationen von Websiten oder aus anderen Datenquellen abzugreifen, zusammenzuführen und automatisiert zu filtern. Es benötigt keine großartigen Programmierkenntnisse, sondern erlaubt logische Operationen über eine grafische Oberfläche. Die so gewonnen Informationen können dann in verschiedenen Formaten veröffentlich werden (Mashup). Eben ist das Werkzeug, für dessen Nutzung ein Yahoo-Account benötigt wird, in der zweiten Version erschienen. Das Update nach drei Jahren soll schneller arbeiten und demnächst neue Funktionen erlauben, heißt es im offiziellen Blog.
Hier wird im folgenden Beschrieben, wie aus dem RSS-Feed der Bundestagswebsite alle Drucksachen, die Anfragen an und Antworten der Bundesregierungen sind, herausgesiebt werden. Weiter wird gezeigt, wie sich die Links auf das pdf-Dokument automatisch auf Twitter (twitter.com/anfrage) veröffentlichen lassen.
Wofür ist das nützlich? Nur ein kleiner Teil der Drucksachen des Bundestages sind Anfragen der Opposition bzw. Antworten der Bundesregierung auf diese (ein anderes zu filterndes Thema wären bspw. die „Anträge). Die Anfragen selbst enthalten nicht selten interessante Informationen; die Antworten wiederrum verraten einiges über Regierungshandeln – nicht zuletzt durch die Verweigerung von Informationen. Insofern zeigt das im folgenden erklärte Verfahren ein Weg zur Arbeitserleichterung in der Recherche und dem Monitoring auf – an der alle teilhaben können, die ein RSS-Reader nutzen oder sich über Twitter mit Informationen versorgen.
Zuallererst braucht es den entsprechenden RSS-Feed. Die Website des Bundestags bietet sechs verschiedene an – einer davon ist der für Drucksachen: http://www.bundestag.de/dip21rss/bundestag_drucksachen.rss.
Jetzt muss eine neue leeren Arbeitsfläche bei Yahoo Pipes geöffnet werden – siehe folgende Abbildung. Links finden sich die diversen Modulen, die nach Funktionalität gruppiert sind. Unter „Sources“ finden sich diverse Importmöglickeiten für Daten; mit den „Operators“ lassen die sich bearbeiten. Unten links in der Seitenleise findet sich immer eine kurzer Hilfstext zu den einzelnen Modulen mit einen Link auf eine Beispiel-Pipe.
Unter Sources findet sich das Modul „Fetch Feed“ – das wird auf die Arbeitsfläche gezogen und besagter Bundestag-RSS-Feed eingefügt. Ein damit verknüpftes Modul „Filter“ lässt jeden Eintrag des Feeds durch, der in seiner „item.description“ den Begriff „anwort“ (Klein-/Großschreibung egal) enthält. Mit dem Modul „Create RSS“ ist es möglich, eine eigene Struktur für einen RSS-Feed zu definieren. In diesem Fall wird aus der „item.descritpion“ der Titel des Feeds , z.B. „Kleine Anfrage Ausmaß von staatlicher und privater Videoüberwachung“ (vorher stand im Titel die Nr. der Drucksache). Die Aneinanderreihung der Module sollte wie folgt aussehen:
Weiter wird das Datum der Veröffentlichung und der Link auf das pdf-Dokument in den Feed integriert. Zu guter letzt wird über den „Pipes Output“ der neue Feed erzeugt – der sieht bei Yahoo Pipes so aus (unten links kann die Pipe selbst angeschaut werden – dafür einloggen – durch Klick auf „View Source“ lässt sie sich clonen und weiterbearbeiten). Für das Stichwort „Anfrage“ wird die Pipe kopiert und ein zweiter Feed erzeugt der dann so ausschaut.
Die so gewonnenen RSS-Feeds für Anfragen und Antworten können nun weitergenutzt werden – etwa in einem RSS-Reader abonniert oder automatisiert getwittert werden. Für letztere Option bietet sich die Anwendung Twitterfeed an (damit lässt sich auch auf Facebook, identi.ca usw. automatisiert veröffentlichen – eine Anmeldung bei dem Dienst ist dafür erforderlich). Dafür wurde ein neuer Twitter-Account unter twitter.com/anfrage angelegt. Es lassen sich mit Twitterfeed selbstverständlich auch bestehende Accounts beschicken.
Die beiden RSS-Feeds werden mit dem Twitteraccount „anfrage“ verknüpft; in den „advanced settings“ wird festgelegt, in welchem Interval Twitterfeed die Feeds abfragt – für den Bundestagfeed dürfte einmal am Tag reichen. Die Tweets lassen sich für jeden Feed mit unterschiedlichen hashtags versehen: „#regierung #antwort“ bzw. „#bundestag #anfrage“ (es sind max. 20 Zeichen erlaubt). Weiter ist es ratsam einem Account bei einem URL-Kürzer zu nutzen, etwas bit.ly, um dann Twitterfeed zu ermöglichen, die Links zu den Drucksachen-pdf zu kürzen – ein Twittereintrag erlaubt insgesamt nur 140 Zeichen und wäre allein mit dem Link ohne Titel schon ausgefüllt.
Diese Differenzierung der hasttags war überhaupt der Grund für die Erzeugung von zwei RSS-Feeds. Ansonsten hätten im Filter sowohl nach „Anfrage“ als auch „Antwort“ gesiebt werden können – wichtig wäre dann die Einstellung „Permit items that match ANY of the following“ -siehe folgende Abbildung.
Übrigens erlaubt die Anwendung Twitterfeed selbst RSS-Feeds nach Keywords zu filtern. Die hier gezeigte Veröffentlichung auf Twitter wäre also auch ohne Hilfe von Yahoo Pipes zu bewältigen gewesen.
Doch Pipes gibt den Feed in diversen Formaten aus und es sollte hier auch gezeigt werden, wie mittels Pipes ein RSS-Feed umgestrickt werden kann. Als letzter Hinweis soll noch auf das „Union“-Modul von Pipes hingewiesen werden – eine Art Mehrfachsteckdose, die z.B. erlaubt mehrere RSS-Feed zusammenzuführen (oder andere Datenquellen), um sie dann alle durch diverse Filter zu jagen.
Generell lassen sich also mit Yahoo Piles schnell hilfreiche kleine Tools bauen. Mit mehr Aufwand sogar ganz Anwendungen. So oder sol, bietet sich so die Möglichkeiten, automatisiert eine gewisse Form von Recherche zu betreiben, an der andere teilhaben können.
Hallo,
ein spannender Beitrag! Ich glaube, die Palette der Möglichkeiten von Yahoo Pipes wird noch nicht einmal ansatzweise ausgeschöpft. Für den CAR-Bereich ist dort bestimmt noch einiges zu holen.
Danke, schönes Beispiel!!
Hallo,
vielen Dank für den Beitrag. Ich habe bereits versucht einen RSS-Feed nach diesem Bsp. zu bauen: http://twitter.hyveup.tv/2009/07/how-to-create-auto-retweet-twitter-bot.html
Sprich, ich möchte aus einer Twitter-Echtzeitsuchanfrage einen RSS-Feed erstellen. Das klappt auch, wenn ich das in der Pipe teste, sobald ich jedoch den Feed mit einem RSS-Reader abonniere, aktualsiert sich dieser nicht mehr. Haben Sie eventuell eine Idee, weshalb das so sein könnte? Danke und viele Grüße.
Hm, ich tippe darauf, dass es etwas mit der Twitter-API zu tun hat.
Danke für die Pipes!
Nur eine Anmerkung: Hinter dem Link auf „Antworten“ in dem Satz „Die so gewonnenen RSS-Feeds für Anfragen und Antworten können nun weitergenutzt werden“ liegt der RSS-Feed für die Anfragen, nicht die Antworten.
Und ich dachte die ganze Zeit, die Bundesregierung antwortet nie. 😉
In dem @anfrage-Twitterfeed fehlen aktuell viele Anfragen und Antworten, die im RSS-Feed von bundestag.de enthalten sind (z.B. die neuesten vier Anfragen vom 17. Dezember). In per Yahoo Pipes gebauten RSS-Feeds für Anfragen und Antworten, ist alles enthalten.
Möglicherweise wird der @anfrage-Feed ja gar nicht mehr von Yahoo Pipes bespeist, sondern direkt von twitterfeed.com. So oder so: Ist da vielleicht etwas dauerhaft defekt? Oder sind das nur gelegentliche Aussetzer?