Ratgeber
Deutsche Seiten, bis zur letzten.
Ein Scraper, der den Weiter-Link am englischen Wort „Next“ erkennt, bleibt auf einer Seite mit „Nächste Seite“ oder „Mehr laden“ hängen. In Excel wird aus Müller schnell Müller, und aus 1.234 die Zahl eins Komma zwei drei vier. Was auf deutschsprachigen Seiten schiefgeht, und was Magic Scraper dagegen tut.
Seite 2, Seite 3, bis zum Ende
Große Seiten kennzeichnen ihre Blätter-Links meist so, dass die Sprache keine Rolle spielt: rel="next", ein Pfeil, ein aria-label, nummerierte Seiten. Magic Scraper liest all das, deshalb blättert es bei Kleinanzeigen und Chefkoch genauso wie in einem englischen Shop. Wo nur das Wort dasteht, liest es das Wort:
| Erkannte Beschriftung | |
|---|---|
| Nächste Seite | Weiter · Nächste · Nächste Seite† |
| Nachladen | Mehr laden† · Mehr anzeigen† · Weitere anzeigen† · Weitere Ergebnisse† |
| Zurück (nie für Weiter gehalten) | Zurück · Vorherige |
| Kein Blättern | Pfeile von Bildergalerien† · Fußnotennummern† |
† Ab dem nächsten Update, 2.0.2 nächstes Update. Alles andere steckt schon in der Version, die die Stores gerade ausliefern. Insgesamt erkennt es Blätter-Links in mehr als 80 Sprachen†.
Umlaute, die in Excel kaputtgehen
Excel rät die Kodierung einer CSV-Datei, und ohne Hinweis rät es falsch: aus Müller wird Müller, aus Straße Straße. Die CSV von Magic Scraper beginnt mit der Byte-Order-Mark, an der Excel UTF-8 erkennt; Umlaute und ß kommen an, wie sie auf der Seite stehen. Der Excel-Export (.xlsx) kennt das Problem gar nicht, und Google Tabellen liest beides.
Eine schon verdorbene CSV aus einem anderen Tool öffnen Sie über Daten → Aus Text/CSV mit dem Dateiursprung 65001: Unicode (UTF-8).
1.234 ist nicht 1,234
Im Deutschen trennt der Punkt die Tausender und das Komma die Dezimalstellen. Wer 1.234 als Dezimalzahl liest, macht aus eintausendzweihundertvierunddreißig eins Komma zwei drei vier, ohne jede Warnung.
Ab dem nächsten Update nächstes Update schaut der Excel-Export auf die ganze Spalte. Zeigt sie deutsche Schreibweise (83.200.000, 12,50, 1.234,56), wird jeder Wert so gelesen, und die Spalte lässt sich summieren. Eine Spalte nur aus Werten wie 1.234 könnte beides sein; sie bleibt Text: nie falsch, nur nicht summierbar. Die CSV behält jeden Wert genau so, wie die Seite ihn schreibt.
Spaltennamen
Hat eine Tabelle Überschriften, werden sie übernommen: Preis, Ort, Telefon. Ohne Überschriften benennt Magic Scraper die Spalten nach dem Seitenaufbau, und diese Namen sind englisch (Price, Link, Image). Ein Doppelklick auf die Überschrift im Popup, oder F2, benennt sie um; der Name wird für die Website gespeichert.
Die Oberfläche der Erweiterung ist englisch. Die Daten bleiben deutsch.
Ausprobiert
Bevor diese Seite entstand, lief die Erweiterung auf Kleinanzeigen, Chefkoch, dem Newsticker von heise online, Gelbe Seiten und der deutschen Wikipedia.
Fragt eine Seite, ob Sie ein Mensch sind, hält der Lauf an und gibt Ihnen den Tab; er versucht nie, die Prüfung zu umgehen. Ob eine Seite das Auslesen erlaubt, regeln ihre Nutzungsbedingungen, und bei personenbezogenen Daten gilt die DSGVO.
Andere Sprachen: 日本語 · Deutsch · Español · Français · English
Häufige Fragen
Warum hört mein Scraper auf deutschen Seiten nach Seite 1 auf?
Viele Scraper suchen die nächste Seite am englischen Wort Next. Magic Scraper liest außerdem rel="next", Pfeile, aria-labels und nummerierte Seiten, und Weiter, Nächste und, ab dem nächsten Update, Nächste Seite und Mehr laden.
Wie verhindere ich kaputte Umlaute in Excel?
Die CSV von Magic Scraper trägt die Byte-Order-Mark, an der Excel UTF-8 erkennt. Der Excel-Export (.xlsx) hat das Problem gar nicht.
Warum stimmen die Zahlen in Excel nicht?
Weil 1.234 als Dezimalzahl gelesen wurde. Ab dem nächsten Update liest der Excel-Export von Magic Scraper eine Spalte in deutscher Schreibweise auch so.
Ist das DSGVO-konform?
Magic Scraper schickt die Daten nirgendwohin: Erkennung, Blättern und Export laufen in Ihrem Browser, und es gibt keinen Server von uns. Ob Sie personenbezogene Daten erheben und verwenden dürfen, hängt davon ab, was Sie damit tun, und bleibt Ihre Verantwortung.
Gibt es Magic Scraper auf Deutsch?
Die Oberfläche ist englisch. Die gesammelten Daten bleiben in der Sprache der Seite.