[PHP] Ein guter Crawler ???

Dieses Thema im Forum "Webentwicklung" wurde erstellt von rowie, 20. August 2010 .

Schlagworte:
Status des Themas:
Es sind keine weiteren Antworten möglich.
  1. 20. August 2010
    Ein guter Crawler ???

    OK - Backlinkchecker gibt es wie Sand am Meer...
    Die meisten machen nichts anderes als die Linkpopularität zu ermitteln oder geben an in welchen Webseiten mein Link enthalten ist.
    Um so einen Crawler zu starten muss man meist :

    • mein URL eingeben
    • den zu durchsuchenden URL angeben
    • und so einen (bescheu...) Code angeben

    Bis ich das eingegeben habe sind schon 3-5 Minuten vergangen...
    Man stelle sich nun vor man möchte alle Backlinks von der eigenen Seite checken. Das können manchmal so 10 - 50 URL's (auf meiner Backlinkhtml habe ich zur mitlerweile über 140) sein. Haa.... wie lange soll ich denn daran sitzen ????

    Der andere Fall; wenn ich die (alle) Backlinks wissen will (Linkpopularität und so) - egal wieviele Backlinkchecker ich auch nutze - jeder gibt mir ein anderes Ergebnis. Wenn ich dann bei Google, in diesem Webmaster - Tool, nach schaue komme ich echt ins Grübeln... Auch der gibt mir einen völlig anderen Wert an - was nun ??? Alles Käse ?
    Ich spreche aus Erfahrung. Ich habe mich sogar mal bei einem Backlinkservice angemeldet und ein haufen Geld (monatlich) Bezahlt, um meine Backlinks auf den Webseiten zu prüfen auf die meine eigene Webseite linkt. Der Eine war echt Klasse von ca. 140 Backlinks (siehe Backlinks zum Linktausch. Backlinkverwaltung mit Backlink checker hat der (gemietete) Crawler tasächlich 5 Backlinks gefunden. Bei allen anderen Webseiten ging die Suche nicht, kein Backlink vorhanden, etc. Und dafür auch noch Geld bezahlen ???? Neee liebe Leute !!!!

    Jetzt haben wir uns zusammengesetzt und einen eigenen Crawler 'gebaut' (natürlich in C alles andere, denke ich, wäre unsinnig).
    Hiermit kann ich in relativ kurzer Zeit eine ganze Liste von URL's nacheinander prüfen lassen.
    Mit dem Einsatz unserer Backlinkverwaltung brauche ich die URL-Liste noch nicht einmal manuell erfassen. Ich Übergebe einfach alle, in der Datenbank, gespeicherten URL's - bezogen auf eine meiner Webseiten und der erstellt mir dann die komplette URL-Liste auf Knopfdruck (Klick).
    Im Crawler gebe ich den URL meiner Webseite ein, lade die URL-Liste in den Crawler und klicke auf START. Je nach Umfang der URL-Liste lasse ich das 'Ding' die Nacht durchlaufen -kostet mich ja nix !
    Der erstellt mir eine Liste (CSV-Datei also auch in Excel importierbar) in der die Ergebnisse gespeichert sind. Diese Liste übergebe ich dann unserer Backlinkverwaltung, lassen den Import laufen. Dann hole ich mir am Bildschirm eine Liste der Webseiten wo der Backlinks nicht gefunden wurde.
    Wenn ich will, rufe ich den entsprechenden 'Patienten' in meinen Editier-Modus und lösche den entsprechenden URL aus meiner Datenbank (der ist dann auch in meiner Webseite verschwunden - ich brauche also nicht erst die Webseite großartig aufrufen,ändern, speichern und wieder hochladen).

    Ich kann mit dem Crawler auch einzelne Webseiten checken, ich muss also nicht jedesmal ne komplette Liste benutzen. Ein oder zwei Webseiten kann ich auch manuell erfassen und prüfen lassen.
    Das Wichtigste bei der Sache ist aber das der Crawler, laut unseren eigenen Testn, bis zu 98% echte Ergebnisse liefert. Das habe ich bis jetzt bei noch keinem Konkurenzprodukt (von denen die ich getestet habe) erlebt. Ob ich eine Topliste, einen Webkatalog, eine PageRank-Seite oder eben nur eine Linktauschseite prüfe, egal, er gibt mir immer die richtigen Ergebnisse. Ich muss nicht wissen in welcher Webseite einer bestimmten Domain sich der Backlink befindet. Der durchsucht die komplette Domain, angefangen bei der index.php bis zur letzten angegebenen Webseite.

    Wir, in unserer kleinen Programmiererbude, arbeiten nur noch mit dem 'Dingen'. Ich bin schon seit 10 Jahren Webmaster und bin echt begeistert (was bei mir nicht die Regel ist).
    Geplant ist jetzt noch ein Plugin um eine (halbwegs) vernünftige Linkpopularität zu ermitteln aber das ist garnicht so einfach. Schrott gibt es ja schon genug - Sorry wenn ich das so sagen muss.
    Wie gesagt, wir haben natürlich nicht ALLE vorhandene Programme testen lönnen aber es waren schon ne ganze Menge. Das Ergebnis war erschütternd.

    euer
    Rowie
     
  3. 20. August 2010
    AW: Ein guter Crawler ???

    und deine frage ist jetzt was genau?

    das hier ist ein forum und kein blog

    //Smokers: bitte stelle eine Frage ,.. sonst schließe ich hier erstmal
     
  4. Video Script

    Videos zum Themenbereich

    * gefundene Videos auf YouTube, anhand der Überschrift.