NO Black Hat SEO - Geschichten von der dunklen Seite der Macht - robots.txt
Posted on 24. Feb, 2010 by mho in Online
Gruß ihr lieben Leser. Ich starte heute einfach mal eine eigene Artikel-Serie unter dem Oberthema “NO Black Hat SEO - Geschichten von der dunklen Seite der Macht”. Wozu soll das dienen? Einerseits um Neulinge davor zu bewahren sich dem Bösen Unerlaubten anzuschließen und andererseits Wissen an den Mann (und natürlich Frau) zu bringen: Don’t be evil.
Eigentlich könnte ich die Serie auch “NO White Hat SEO - Geschichten von der dunklen Seite der Macht” nennen, da dies beide Seiten im Titel reflektieren würde. Aber nein. Ich gehe den belehrenden Weg und packe die Warnung “Halt dich von schwarzer Magie fern” mit als optische Highlight hinein. Und nebenbei sagt mir das Google AdWords Keyword-Tool, dass die Leute 3x mehr nach “Black Hat Seo” suchen… Komisch
Black-Hat (engl: Schwarzer-Hut) läuft bei Wikipedia erstmal allgemein unter “böser Hacker”, der mit krimineller Energie beabsichtigt das Zielsystem zu beschädigen oder Daten zu stehlen. Mit sehr viel Fantasie kann man das auch auf “böser SEO (Suchmaschinenoptimierer)” ableiten, die Google und WebUser mit illegalen Tricks überlisten wollen. Sehr kurz und knapp wird man darüber auch bei Wikipedia im englischen fündig. Bessere Antworten zu “Was ist Blackhat?” findet man unter anderem hier und hier.
Teil 1 meiner Artikel-Serie habe ich “NO Black Hat SEO - Geschichten von der dunklen Seite der Macht - robots.txt” genannt um einen Ansatz vom Blackhat-Blogger (Webseite mittlerweile offline) mit technischen Hintergrundinfos zu vertiefen. Er verweißt in seinem Artikel auf eine URL-Liste mit jeweils hohem PageRank und gibt den Hinweis, dass man durch das Setzen eines Kommentars einen Backlink abstauben kann.
Grundsätzlich ist dies nicht illegal, nur Google und Co könnten es unschön finden, wenn ihr die gesamte Liste durchgeht und mit Kommentaren zuballert. Warum also nicht im eigenen Themenumfeld bleiben und eine eigene PageRank-Liste erstellen!?
Nehmen wir mal an ihr schreibt im Bereich Musik eure Online-Artikel (vielleicht mit Produktempfehlungen) und seit scharf auf passende Verlinkungen von anderen Seiten die sich auch mit Musik beschäftigen. Das liegt quasi auf der Hand, weil Google muss das einfach toll finden, wenn z.Bsp. ein Musik-Fan über seinen Musik-Star schreibt und diesen dann auch noch verlinkt.
Wie suche ich mir jetzt aus einer Vielzahl von Artikeln den von einer Musik-Webseite raus, der einen hohen PageRank hat (sofern das noch ein gültiger Maßstab ist - siehe Artikel im tagSeoBlog)? Eigentlich ganz einfach… Ihr ruft jede einzelnen Artikel im Browser auf, lest in der Google Toolbar den Wert des PageRank ab und tragt den mit Datum und Uhrzeit in eine Excel-Liste ein.
Kostenloser Download:
“SEO PageRank-Erfassungsformular für Excel 97-2003″
“SEO PageRank-Erfassungsformular für Excel 2007″
Wenn ihr dann alle Artikel erfasst habt, könnt ihr dann die Spalte “Wert des PageRank” absteigend sortieren und ihr habt eure eigene PageRank-Liste mit den besten Artikeln. Legt am besten für jede Webseite ein eigenes Excel-Dokument an, damit ihr die Projekte sauber getrennt verwalten könnt!
UPDATE Nach einem ersten eigenen und sehr umfangreichen Test habe ich festgestellt, dass diese Art der PR-Abfrage ziemlich bescheuert ist, da es für jeden Kram mittlerweile eine Software, Script oder Online-Tools gibt. Und ich bin ja auch Student des Informatik-Fernstudium gewesen, so dass mir das programmieren leicht fällt. Also wer das Excel wirklich pflegt ist selber Schuld 
Also… Spaß bei Seite und nu ma Budder bei de Fische… So gehts wirklich:
1. Checken ob es eine sitemap.xml gibt … einfach URL/sitemap.xml aufrufen
2. wenn nicht, dann checken was die robots.txt sagt… einfach URL/robots.txt aufrufen
3. Aus der robots.txt den Eintrag für sitemap.xml oder andere Datei mit .xml suchen
4. URL/sitemap.xml aufrufen… im Notfall kürzen, da Online-PR-Tool auf 500 URLs begrenzt
5. Checken was ein Online-PR-Tool (1) zur sitemap.xml sagt … Zack: Artikel-Liste mit PR
Wer eine ausführliche Anleitung für das Online-PR-Tool benötigt, der schaut mal hier beim seouxindianer nach.
An einem konkreten Beispiel aus der Liste vom Blackhat-Blogger genannt, sieht das dann so aus:
http://www.clashmusic.com >>> http://www.clashmusic.com/robots.txt aufrufen
# $Id: robots.txt,v 1.7.2.1 2007/03/23 18:57:07 drumm Exp $ # # robots.txt # # This file is to prevent the crawling and indexing of certain parts # of your site by web crawlers and spiders run by sites like Yahoo! # and Google. By telling these "robots" where not to go on your site, # you save bandwidth and server resources. .... viel bla bla sitemap: http://www.clashmusic.com/clashmusic.xml
Dann die sitemap.xml aufrufen und lokal speichern: http://www.clashmusic.com/clashmusic.xml
Weil sie ziemlich lang ist, muß man die sitemap.xml in 500er Blöcke unterteilen. Dann werden die neuen Dateien dann einfach auf x-beliebigen Webserver hochladen, damit die Files dann mal kurzzeitig in das russische PR-Tool geworfen werden können. Das Ergebnis sieht dann so aus:
Tada… Übrigens könnt ihr das auch für eigene Webseiten zum Checken des PR verwenden.
Freu mich auf Feedback. Vielleicht kennt einer noch weitere Online-PR-Tools!?
Gruß Micha
PS: Don’t be evil! NO Black Hat Seo
Bernold
Apr 21st, 2010
Hey echt schöne Seite, machst du Einnahmen damit ? Ich selbst habe bei meiner Webseite ewig nach Verdienstmöglichkeiten gesucht aber gar nichts gefunden. Jetzt bin ich auf Backlinkseller gestoßen, damit verdiene ich schon fast 70 Euro im Monat. Hast du vielleicht eine noch bessere Alternative für mich ? Währe echt nett.
Abro, Lucido Media
Mai 11th, 2010
Das Tool von slavssoft.ru war mir bereits bekannt, tatsächlich habe ich gerade nochmal geguckt und weiss warum es nicht in meiner Liste steht - abgesehn davon dass man ja in nächtelangem gekrame und gehacke eigene Klassen für so etwas erstellt hat: SlaveSoft liefert einfach absolut unvollständige Daten.
Wenn ich da für eine 4er-Startseite ein N/A bekomme ist das einfach absolut ungenügend. Ebenso verhält es sich mit den anderen Tools in dieser Richtung welche dort angeboten werden. Ist schon schade.
Na immerhin sind mir noch keine “falschen” Zahlen dort untergekommen, ist ja auch schon mal was. Denn ganz trivial ist die Sache nicht je nachdem welche Version des Hashs man für die URL berechnet. Die meisten dürften immernoch den doch recht alten Algo verwenden, der Hashes mit einer ‘6′ am Anfang ausspuckt. (So auch z.B. die FF Quirk SearchStatus Toolbar) Läuft mit Bitshifting und überlaufenden Wertebereichen, bin mir doch unschlüssig ob es das bei den Leuten noch tut die eine 64Bit Maschine fahren.
Meine Tipps:
- Immer nochmal prüfen, mit genügend Stichproben.
- Selber machen liefert die validesten Daten.
- directory.google.com hat da tolle Balken vor den Einträgen und ist sogar danach sortiert.
- Die SEO-Tool Anbieter in DE sehen eh schon zu dass ihre Daten stimmen.
Philips Satinelle
Sep 20th, 2010
Ja, mit einer robots.txt und der Sitemap kann man vieles anstellen. Dort sind dann nämlich wirklich alle Seiten die es auf einer Homepage gibt aufgelistet. Kann aber auch von Hackern verwendet werden um mögliche Schwachstellen auszunutzen.
Die Kommentarspalte rechts am Rand find ich doof. Ich habe mich grade dumm und dämlich gesucht warum ich die Kommentarfunktion nicht finde
Gertrud
Sep 26th, 2010
Echt hilfreich. Vielen Dank dafür!
Outsource Backlinks
Okt 8th, 2010
It is possible to rent links from other websites, but be careful: Google is starting to clamp down on individuals caught purchasing links. The red flag is frequently raised whenever you rent a backlink for a period, and then your backlink disappears whenever you stop renting it.
Matthias
Nov 18th, 2010
Bis man den richtigen Captcha bei SlaveSoft getroffen hat, kann man Nervenkrank werden.
Ansonsten ist das Tool ganz gut.
NO Black Hat SEO - Geschichten von der dunklen Seite der Macht - Facebook-SPAM | Privater Blog von Micha
Mrz 8th, 2011
[...] “NO Black Hat SEO - Geschichten von der dunklen Seite der Macht”. In Teil 1 ging es um Black Hat SEO mit der robots.txt. Dieses mal widme ich mich dem brandaktuellen Thema [...]