Die Zeit Audio-Download automatisieren

Incazzato

Die Wochenzeitung "Die Zeit" bietet ein Abo für Inhalte als Audiodateien (MP3-Format), auch ein Archiv, das bis 2004 zurückreicht, ist dabei zugänglich. Insgesamt stehen ca. 280 zip-Archive (je eines pro Ausgabe) zur Verfügung. Nachdem man sich auf audio.zeit.de eingeloggt hat, gibt es eine dropdown-box, in der man die Ausgabe auswählt. Nach anschließendem Klick auf einen Link (mit einer javascript-Funktion als Ziel) startet der Download.
Die Downloadadresse ist offensichtlich an die session gebunden und außerdem nur für einige Minuten gültig. Beispiel:
http://955926665920926151968.horchen.zeit.de/media/09/13/Au…DIE_ZEIT_13.zip

Ich gehe davon aus, dass es für mich legal wäre, etwa über ein Skript alle Ausgaben ohne viel Herumgeklicke herunterzuladen, weil ich ja regulären Zugang zu den Inhalten selbst habe. Liege ich damit falsch?

Bliebe nur noch die Frage, wie sich das bewerkstelligen ließe. Ich habe wenig bis keine Erfahrung mit Webentwicklung, durchblicke aber ungefähr den Ablauf und bin mir sicher, dass es mit wenig Code möglich wäre, so etwas zu machen. Es würde mich aber sicher viele Stunden kosten, auf mich allein gestellt eine funktionierende Lösung zu finden. Ich bitte deshalb um einen Tipp von Leuten mit mehr Erfahrung in diesem Bereich, auf welchem Wege sich sowas am einfachsten machen ließe.

Ein Code-Ausschnitt mit den relevanten Elementen von der Seite:

Code

<div class="suchmaske">
  <form name="suchmaske" id="suchmaske" action="/cgi-bin/hoeren.pl" method="post">
  <input type="hidden" name="db_choose" value="zeit_audio">
  <input type="hidden" name="action" value="search">
  <table border="0" cellpadding="0" cellspacing="0"><tr><td valign="middle"><strong>W&auml;hlen Sie eine Ausgabe:</strong></td><td valign="middle">
    <select name="ausgaben_select" Onchange="javascript: submit_form('suchmaske');">
     <option style="margin-left: 2px;" value="283" >2009/28</option> <option value="282" >2009/27</option> <option value="281" >2009/26</option> ...weitere 280 options... </select></td></tr></table></div></form>

  <div><h1>Ausgabe: 2009/28</h1></div>


  <form method="get" name="zipdownload" action="https://premium.zeit.de/cgi-bin/_er_member/p4z.fpl">
  <input type="hidden" name="ER_Do" value="prepareBuyDocument">
  <input type="hidden" name="Abo_Document" value="/media/09/28/Audiofiles_DIE_ZEIT_28.zip">
  <input type="hidden" name="Abo_ServerName" value="horchen.zeit.de">
  <input type="hidden" type="text" name="Abo_Title" value="">
  <input type="hidden" type="text" name="Abo_FileSize" value="">
  <div><a href="javascript: submit_form('zipdownload');" onclick="wt_sendinfo('audio.diezeit.2009.28.audiofiles_diezeit_28.zip','click');"><strong>Alle Artikel der Ausgabe als Zip-Datei &raquo;</strong></a></div>
  </form>
 
function submit_form(form_name) {


var theform = eval("document." + form_name);


theform.submit();


}

Alles anzeigen

Plantschkuh!

Zitat von Incazzato

Beispiel:
http://955926665920926151968.horchen.zeit.de/media/09/13/Au…DIE_ZEIT_13.zip

Der String 955926665920926151968 scheint aber in dem von dir geposteten HTML-Fragment nicht aufzutauchen... Ansonsten gehts darum, mal die Seite zu kriegen, die Serveradresse und die 280 option-Tags rauszuparsen? Sollte mit wget/grep/sed recht einfach gehen. Die paar Befehle kann man mit einem bash-Skript zusammenpicken und gut is.

Edit: Das Schwierigste ist der sed-Befehl. Ich hab was getrunken, aber mir schwebt sowas vor:

Code

sed -e 's!<option[^>]*>\([0-9]+\)/\([0-9]+\)</option>!foo.zeit.de/media/\1/\2/Audiofiles_\2.zip!g'

Soll heißen: Übersetze jeden String der Form "<option...>jahr/nr</option>" in eine URL, wo Jahr und Nummer an den richtigen Stellen eingesetzt sind.

Wegen Gesetzen würde ich mir keine großen Gedanken machen. Wenn dir prinzipiell Zugang zu den Files gewährt wird, ist es zumindest moralisch nicht verwerflich, alle 280 auf einmal zu saugen. Find ich.

Incazzato

Vielen Dank für die Zur-Verfügung-Stellung von Hirnschmalz!

Zitat von Plantschkuh!

Der String 955926665920926151968 scheint aber in dem von dir geposteten HTML-Fragment nicht aufzutauchen..

Eben das scheint die zu knackende Nuss sein. Dieser String ist nicht nur für jedes File anders, er ändert sich auch, wenn ich das gleiche File zweimal hintereinander runterlade. Ich habe die URL auch nirgends im Code gefunden, sie wurde vom Downloadmanager (in diesem Fall ein Firefox-Plugin) als Quelle angezeigt.
Mit wget und mit sed bin ich auch einigermaßen vertraut (allerdings spreche ich diese Sprache nur in nüchternem Zustand, auch dann nur gebrochen...), aber so "einfach" scheint es in diesem Fall nicht zu gehen.
Ich tüftle gerade darüber, wie genau eigentlich HTML-form-Elemente funktionieren. Mir scheint, dass hier die Download-URL abhängig von einigen Parametern serverseitig erzeugt wird (ich vermute vom Perl-Skript "hoeren.pl", dieses scheint im DL-Manager auch als "Referrer-URL" auf) und nur für einige Minuten funktioniert.
Also müsste wohl auch ein Skript diesen Umweg nehmen.

Gibt es nicht eine Möglichkeit, irgendwie einen Browser so zu skripten, dass er der Reihe nach alle Elemente der Dropdown-Box auswählt und anschließend auf den Link "klickt"?

Hier noch ein bisschen relevanter javascript-Code, trägt aber nicht wirklich zur Erleuchtung bei:

Code

function wt_sendinfo(p, mode) {
    if ((typeof (time_start) != "number" && (wt_be != "" || p != ""))
            || document.layers)
        wt_send(p, mode);
};


function wt_send(p, mode) {
    if (mode == "link") {
        wt_linktrack_p = p;
        wt_ln = "manual";
        wt_registerEvent(
                window,
                (wt_browserNameIE && wt_typeof(window.onbeforeunload)) ? "beforeunload"
                        : "unload", wt_unload);
        return;
    }
    ;
    if (mode == "click") {
        wt_linktrack_p = p;
        wt_unload();
        return;
    }
    ;
    var wt_content = (p ? p : wt_be);
    if (!wt_content)
        wt_content = "no_content";
    var wt_c = wt_escape(wt_content) + ",1,";
    wt_c += wt_baseparams();
    wt_c += wt_encoding();
    var wt_la = "";
    if (typeof (navigator.language) == "string")
        wt_la = navigator.language;
    else if (typeof (navigator.userLanguage) == "string")
        wt_la = navigator.userLanguage;
    var wt_len = navigator.plugins.length, wt_np = "";
    if (wt_len > 0) {
        var wt_plugs = Array();
        var wt_np = '';
        for ( var i = 0; i < wt_len; i++) {
            if (navigator.plugins
                    && navigator.appName != 'Microsoft Internet Explorer') {
                if (navigator.plugins[i].name == "Shockwave Flash") {
                    wt_np = navigator.plugins[i].description;
                } else {
                    wt_np = navigator.plugins[i].name;
                }
                ;
                for ( var j in wt_plugs) {
                    if (wt_np == wt_plugs[j])
                        wt_np = "";
                }
                ;
                if (wt_np != "") {
                    wt_plugs.push(wt_np);
                }
            }
        }
        ;
        wt_np = wt_plugs.join("|");
    }
    ;
    if (wt_ov)
        wt_c += "&ov=" + wt_escape(wt_ov);
    if (wt_cr)
        wt_c += "&cr=" + wt_escape(wt_cr);
    if (wt_oi)
        wt_c += "&oi=" + wt_escape(wt_oi);
    if (wt_ba)
        wt_c += "&ba=" + wt_escape(wt_ba);
    if (wt_co)
        wt_c += "&co=" + wt_escape(wt_co);
    if (wt_qn)
        wt_c += "&qn=" + wt_escape(wt_qn);
    if (wt_ca)
        wt_c += "&ca=" + wt_escape(wt_ca);
    if (wt_pi)
        wt_c += "&pi=" + wt_escape(wt_pi);
    if (wt_st)
        wt_c += "&st=" + wt_escape(wt_st);
    if (wt_cd)
        wt_c += "&cd=" + wt_escape(wt_cd);
    if (wt_t1)
        wt_c += "&t1=" + wt_escape(wt_t1);
    if (wt_t2)
        wt_c += "&t2=" + wt_escape(wt_t2);
    if (wt_la)
        wt_c += "&la=" + wt_escape(wt_la);
    if (wt_cg)
        wt_c += "&cg=" + wt_escape(wt_cg);
    if (wt_mcvalue)
        wt_c += "&mcv=" + wt_escape(wt_mcvalue);
    if (wt_length(wt_mcvalue)) {
        wt_c += "&mc=" + wt_mc;
        wt_c += "&mcd=" + wt_location().hostname;
    }
    ;
    if (wt_pa)
        wt_c += "&pa=" + wt_escape(wt_maxlen(wt_pa, 255));
    if (wt_lp)
        wt_c += "&lp=" + wt_escape(wt_maxlen(wt_lp, 255));
    if (wt_kw)
        wt_c += "&kw=" + wt_escape(wt_maxlen(wt_kw, 255));
    if (wt_is)
        wt_c += "&is=" + wt_escape(wt_maxlen(wt_is, 255));
    if (wt_cookie == "1") {
        wt_c += "&sid=" + wt_cookie_sid + "&l_v=" + wt_cookie_l_v + "&eid="
                + wt_cookie_eid + "&one=" + (wt_cookie_one ? "1" : "0");
        if (wt_cookie_one)
            wt_c += "&np=" + wt_escape(wt_np);
    } else {
        wt_c += "&np=" + wt_escape(wt_np);
    }
    ;
    wt_quicksend(wt_c);
};

Alles anzeigen

sutupud

Zitat von Incazzato

Gibt es nicht eine Möglichkeit, irgendwie einen Browser so zu skripten, dass er der Reihe nach alle Elemente der Dropdown-Box auswählt und anschließend auf den Link "klickt"?

ich würds mit htmlunit probieren. sollte nicht all zu schwierig sein.

Jetzt mitmachen!