ddl suchmaschine

Dieses Thema im Forum "Szene News" wurde erstellt von Siggi84, 28. November 2006 .

Schlagworte:
Status des Themas:
Es sind keine weiteren Antworten möglich.
  1. 28. November 2006
    Wollte mal Nachfragen was ihr so für DDL Suchmaschinen nutzt, "woom" war meiner Meinung mal besser als in letzter Zeit !?.

    Danke für eure Antworten.
     
  3. 28. November 2006
    Zuletzt bearbeitet: 16. April 2017
    AW: DDL Suchmaschine

    Download Suchmaschin - RR:Suche
    findest die aktuellen einträge, ergebnisse werden nach datum sortiert

    oder RaidRush News - Dein Nachrichten Netzwerk
     
  4. 10. November 2008
    hallo leute,
    ich möchte gerne eine ddl suchmaschine ähnlich wie collectr.net oder ddl-search.biz

    was für scripts benutzen die? kann man irgendwo ein ähnliches script oder eine vorlage bekommen?
    habe nähmlich schon endlos im google gesucht und nichts gefunden....

    greetz
    sven
     
  5. 10. November 2008
    AW: ddl suchmaschine

    die scripte sind alle selbst gecoded die wirst du also nirgends finden...
     
  6. 10. November 2008
    AW: ddl suchmaschine

    Da kannste 'n Clone vom Collectr Script finden.

    FreeScripte kenn ich keine.
     
  7. 10. November 2008
    AW: ddl suchmaschine

    Naja, vielleicht hast du ja Lust dein raidrush.org Script zum Download bereit zu stellen
    :ironie:


    Ich hab bei torrent.to welche gefunden, weis aber nicht ob die clean sind und werde das auch nicht ausprobieren !

    greeZ kuhjunge
     
  8. 10. November 2008
    AW: ddl suchmaschine

    thx für die antworten...
    aber warscheinlich muss ich mir das selbst coden..

    na dann mal ans lernen ^^

    thx und cya..
     
  9. 10. November 2008
    AW: ddl suchmaschine

    Tja Script gibt es nicht wirklich, der Clone ist glaube ich nur ein HTML Clone ...

    Naja mit ein wenig PHP Kenntnissen oder Python oder sonstwas sollte man sowas wie immer auch selbst auf die Beine stellen können ...

    Und so am Rand, es fehlt eine Seite die die Seiten wirklich selbstständig like google durchsucht und nicht irgendwelche xml Files ausließt oder so ...
     
  10. 11. November 2008
    AW: ddl suchmaschine

    hey leute,
    also ich hab mich mal selbst ans coden gewagt und hab schon ein problem ^^

    hier mein code: index.php

    <?php include("header.php");?>
    <html>
    <head>
    <title>suchen</title>
    <link rel="stylesheet" type="text/css" href="style.css">
    </head>
    <body>
    <center><form action="results.php" method="post">
    suche:
    <input type="text" name="suche" size=50>
    <input type="submit" value="suchen"></center>
    <br><br><br><br>
    <span style='font-size: 11px;'><b>tags:</b></span>
    </form>
    </body>
    </html>

    und hier die results.php
    <?php
    include("header.php");

    $suche = $HTTP_POST_VARS["suche"];
    $host = "http://localhost/suchen="."$suche";
    $filestring = file_get_contents($host);
    $startpos = 0;
    while($pos = strpos($filestring, "<a href", $startpos))
    {
    $string = substr($filestring, $pos, strpos($filestring, "</a>", $pos + 1) - $pos);

    if(stristr($string, '?id=')) {
    echo $string."</br>";
    }
    $startpos = $pos + 1;
    }
    ?>

    in der results.php werden von der seite "http://localhost/suchen=" mit dem eingegebenen string im formular "$suche" die links gefiltert da ich nicht alle links ausgegeben haben will sondern nur die links mit ?id=

    das klappt alles wunderbar
    nur wenn ich noch eine seite hinzufügen will dann geht das nicht es erscheint nichts
    wie kann ich das machen dass ich mehrere seiten im script anspreche?
     
  11. 11. November 2008
    Zuletzt von einem Moderator bearbeitet: 13. April 2017
    AW: ddl suchmaschine

    Du bist hier im Szene & News Talk! Wenn du Hilfe beim Coden brauchst: >>> [url="https://raidrush.net/forums/52/ - RR:Board[/url]
     
  12. 5. Mai 2011
    Zuletzt von einem Moderator bearbeitet: 15. April 2017
    Projekt: DDL-Suchmaschine

    Hi,

    Nachdem ich also meine live DDL-Suche weitestgehend abgeschlossen habe, wollte ich nun mal versuchen eine Datenbank-basierende DDL-Suche zu schreiben.
    Ich weiß, Ihr denkt jetzt wahrscheinlich: "Davon gibt es doch schon genug, das braucht doch kein Mensch."
    Das kann sein, mir geht es dabei aber hauptsächlich um den Lerneffekt.

    Vor allem geht es mir dabei um die Datenstruktur, also wie man am besten sämtliche Seiten flexibel, dynamisch und Redundanzfrei verwalten kann, da ja jede Seite anders ist (abgesehen mal von den ganzen 0815 UGCMS-Seiten).

    Man könnte natürlich für jede Seite eine eigenständige Funktion schreiben, genau das will ich aber zwecks Codeverdoppelung/Redundanz vermeiden.

    Ich dachte da ungefähr an folgende Datenstruktur:

    PHP:
    $sites  = array
    (
           'warez-site.xyz'  => array
      (
             'new'  => array
        (
               'urls'  => array
          (
                 'apps'    =>  'http://warez-site.xyz/rss/apps' ,
                 'movies'  =>  'http://warez-site.xyz/rss/movies' ,
                 'music'   => array( 'http://warez-site.xyz/rss/music1' ,  'http://warez-site.xyz/rss/music2' ),
            ...
          ),
               'pattern'  =>  '@<item>.*?<title>(?<name>.+?)</title>.*?<link>(?<url>.+?)</link>.*?</item>@is'
             ),
             'all'  => array
        (
               'urls'  => array
          (
                 'apps'    =>  'http://warez-site.xyz/stuff/apps' ,
                 'movies'  =>  'http://warez-site.xyz/stuff/movies' ,
                 'music'   =>  'http://warez-site.xyz/stuff/music' ,
            ...
          ),
               'page_pattern'  =>  '@<a\s+href="(?<url>http://warez-site.xyz/stuff/.+?/\?start=\d+)">@i' ,
               'pattern'       =>  '@<a\s+href="(?<url>http://warez-site.xyz/\?id=\d+)">@i' ,
        )
      ),
      ...
    );
    Also für jede Seite gibt es unter "new" die Quellen für den neuesten Stuff, der dann stündlich oder so mit einem CronJob geholt wird und unter "all" stehen dann die benötigten Daten um die komplette Seite zu indexieren, das würde man dann einmal am Anfang oder z.B. auch nach einem Datenbankreset benötigen.

    In die MySQL-DB kommen dann einfach 6 Spalten: id, name, url, cat, site und date (name mit fulltext-Index und url mit unique-Index).

    Ich werde versuchen alle Seiten, die auch im UGSS eingetragen sind, hier auch mit aufzunehmen (atm 130).

    Falls dies so funktioniert wie ich mir das vorstelle, würde das komplette Indexieren der Seiten einige Tage dauern und die DB dann schon einige Millionen Einträge enthalten.
    Die Suche in dieser sollte dann auch so flexibel wie möglich sein, also mit AND/OR Verknüpfung, Negierung, Spaltenauswahl, heutige Einträge usw...


    Was haltet Ihr davon? Habe ich noch etwas Wichtiges vergessen?
    Oder habt Ihr sonst noch Ideen was man mit einbauen könnte/sollte?

    MfG
     
  13. 5. Mai 2011
    AW: Projekt: DDL-Suchmaschine

    Schau dir mal NoSQL Datenbanken wie MongoDB oder Redis* an, die eigenen sich (angeblich) besonders gut für das speichern großer und vor allem "schemalosen" Datenbeständen.

    Sphix oder Solr + MongoDB / Redis geht.

    Hoffe ich konnte helfen!

    Das tolle ist, rein theoretisch könntest du dein $sites Array jetzt so in die NoSQL DB packen!
     
  14. 5. Mai 2011
    AW: Projekt: DDL-Suchmaschine

    Sphinx und MongoDB kannte ich bisher noch nicht - sieht echt gut aus.
    Damit werde ich mich heute Nacht mal beschäftigen :]

    Danke dafür!
     
  15. Video Script

    Videos zum Themenbereich

    * gefundene Videos auf YouTube, anhand der Überschrift.