Script indexation [Résolu]

Bonjour à tous,
Je programme actuellement un moteur de recherche sur mon site (un moteur pour tout le web).
J'utilise blork engine qui va rechercher dans les dossier base1, base2... les mots-clés contenus dans des pages genre www.lecbna.org.htm .
Dans cette page web, il y a le code source de la page pour les mots clés, et une redirection qui redirige vers le vrai site.
Vu que tout faire à la main, c'est très ******, je pensait faire avec gm un logiciel qui le fasse tout seul, comme ça j'upload tous les fichiers créés au bout de quelques heures...
Donc pour récupérer le code source, je pensait utiliser netread dll, qui peut le récupérer. Je sais faire l'écriture dans un fichier, mais ce que j'aimerais, c'est que le programme que je coiçois puisse trouver dans la variables toutes les adresses web (genre http://*.*) et qu'il y aille, et qu'il indexe... Comme ça je le met sur un site et il va indexer tout en changeant de site depuis les liens qui y sont.
Mais comment faire cette détection d'adresses ? Et comment éviter qu'il ne me chope les .png, .jpg...
Une idée ? :pac_dr:

Personne ne peut m'aider ? J'ai commencé le logiciel mais je suis obligé de lui fournir une liste de sites

y'avait un poste ici, mais hélas il a disparu

oui, comme le mien
Raaahh, forumactif qui bug au mauvais moment :sarcastique:

enfin au passage, si son auteur pouvait le reposter, ce serait sympa

si je me souvient bien il disais qu'il serais préférable de le faire en C ou C++ car gm est pas assez étendu pour sa

Tu peux donc faire ça avec du php, puisque tu code en php ton moteur de recherche non?
Il te suffit de faire une expression régulière te permettant de rechercher les http (voici l'expression régulière en question: (http://[a-z0-9._/-]*)) et ensuite une autre qui te donne toute celle ayant un .jpg, .png etc. à la fin, voici un petit code écrit en 5 minute.

Code:

<?php
$contenu_de_la_page = "<b>http://lecbna.org/</b>, <i>http://www.google.fr/</i>, ceci est une image les amis! http://www.lecbna.org/images/Logo_CBNA.jpg lol!";
//Recherche toutes les occurences d'adresse web
preg_match_all('#(http://[a-z0-9._/-]*)#i',$contenu_de_la_page, $tableau);

//Affiche les résultats:
foreach ($tableau[0] as $value)
   {
   //Là on refait la même expression qui exclu donc les images .jpg, .png et .gif
   if (preg_match('#(http://[a-z0-9._/-]*)+(.jpg|.png|.gif)#i',$value, $t) == 0)
   echo $value."</br>";
   }
?>

Il me semble que tu es obligé de le faire en deux expressions, il ne me semble pas possible de dire dans une regex: une chaîne commençant par http:// et ne se finissant pas par (.jpg|.png|.gif). à moins que? Je ne sais plus comment en tous cas.

oulà !
J'ai pas tout trop compris
C'est pas un peu lent, comme truc ? Moi je voulais un gm parce que je m'y connais

C'était moi qui avait posté le message.

Je te conseillait en gros de te tourner vers des langages plus étendus dans le but de pouvoir utiliser les expressions régulières (REGEX) par exemple

moi je pensais que GM pouvait faire une commande en http://* ... enfin bon, dommage

Max. a écrit:

oulà !
J'ai pas tout trop compris
C'est pas un peu lent, comme truc ? Moi je voulais un gm parce que je m'y connais

C'est pas lent, t'as peut être un traitement en trop à cause des deux expression, mais j'ai pas vraiment le temps (moi) de me poser la question de comment transformer ça en une expression régulière. Plus rapide que ça avec une solution simple je vois pas. Mais franchement c'est pas le traitement de 15ko (environ la taille du source code html d'une page web) de texte qui va prendre du temps.

En même temps je ne sais pas ce que tu veux faire comme moteur de recherche, mais par exemple google lui fait tourner des milliers de serveurs en simultanés, partageant une mémoire centrale pour effecteur l'indexation des pages, et donner accès aux gens à ces pages. C'est une architecture massivement parallèle, qui n'est pas à la porter de toutes les bourses.

Mais sincèrement je pense que le script que je t'ai donné est suffisamment rapide, et avec du gml, tu devras faire un script beaucoup plus long pour la même chose et ce sera largement moins rapide, enfin c'est ce que j'en pense. GM est quand reservé pour les jeux vidéos, ça me paraît gaspiller des ressources de démarrer de grosse api comme DirectX et faire tourner tout un moteur de jeu alors qu'on peut utiliser tout le processeur juste pour six lignes de php.

Et pour l'explication c'est simple: $contenu_de_la_page c'est le texte html de ta page, que tu peux récupérer aussi en php avec: fopen en lui donnant l'adresse de la page web, et en récupérant tout le html avec fread + filesize. Moi je te donnai qu'une piste, tu peux l'automatiser, après tu laisse tourner.

Mais je me méfierai si j'étais toi, parce que tu vas vite remplir ton disque dur, si à chaque fois tu créés un fichier: www.machin.truc

Pour comprendre les expressions régulières, google est ton ami: http://www.commentcamarche.net/php/phpreg.php3 C'est très simple, ça paraît bizzare de premier abord, mais ya pas plus simple.

en fait, mon truc, c'est un moteur de recherche php sur un ftp qui va rechercher dans les dossiers du ftp les fichiers www.machin.truc.htm . Et les fichiers www.machin.truc.htm contient le code source de la page pour le moteur et une redirection vers www.machin.truc . Et ce que je voulais faire, c'est une appli gm qui va chercher le code source avec netread dll qui le met même dans un string, puis qui l'écrit dans un fichier du nom du site. après, je peut mettre ça sur le site par ftp le soir, quand il a fini. Mais ce que je voulais rajouter comme fonction, et c'est là le problème, c'est une foction qui recherche dans la variable qui contient le code source tout ce qui commence par http et qui finit par com, fr, eu... Pour que le logiciel aille les répertorier à leur tour.

Max a écrit:

en fait, mon truc, c'est un moteur de recherche php sur un ftp qui va rechercher dans les dossiers du ftp les fichiers www.machin.truc.htm . Et les fichiers www.machin.truc.htm contient le code source de la page pour le moteur et une redirection vers www.machin.truc . Et ce que je voulais faire, c'est une appli gm qui va chercher le code source avec netread dll qui le met même dans un string, puis qui l'écrit dans un fichier du nom du site. après, je peut mettre ça sur le site par ftp le soir, quand il a fini. Mais ce que je voulais rajouter comme fonction, et c'est là le problème, c'est une foction qui recherche dans la variable qui contient le code source tout ce qui commence par http et qui finit par com, fr, eu... Pour que le logiciel aille les répertorier à leur tour.

J'avais donc bien compris, c'est ce à quoi sert le code que je t'ai donné. Il n'est juste pas automatisé, mais la seule chose que tu as à faire pour cela, est de récupérer la source html d'un certain nombre de site dans une liste ou un tableau (qu'on appellera $sites par ex) avec fopen et fread que tous les sites qu'il trouve il les ajoute dans ce $sites et qu'il passe au site suivant présent dans ta liste $site.

Et effectivement pour n'utiliser qu'une expression, tu peux faire la recherche des .com, .eu etc. comme cela: (http://[a-z0-9._/-]*)+(.com|.eu|.fr|.org) Tu n'as donc plus besoin du preg_match qui triait les résultats.

Le C/C++ permet bien entendu également l'utilisation des regex, moi je t'ai donné la solution que je pensai la plus adapté pour un moteur de recherche codé en php, je voyais pas trop l'utilité de faire appel à un autre langage encore. Mais si ça se trouve tu peux trouver une dll permettant l'usage de regex dans gm, si jamais donne moi le lien. Mais comme dit tu peux aussi scanner les strings avec les fonctions gml, mais tu vas t'embêter pour rien. Et ce sera beaucoup plus lent.

daminetreg a écrit:

Max a écrit:

en fait, mon truc, c'est un moteur de recherche php sur un ftp qui va rechercher dans les dossiers du ftp les fichiers www.machin.truc.htm . Et les fichiers www.machin.truc.htm contient le code source de la page pour le moteur et une redirection vers www.machin.truc . Et ce que je voulais faire, c'est une appli gm qui va chercher le code source avec netread dll qui le met même dans un string, puis qui l'écrit dans un fichier du nom du site. après, je peut mettre ça sur le site par ftp le soir, quand il a fini. Mais ce que je voulais rajouter comme fonction, et c'est là le problème, c'est une foction qui recherche dans la variable qui contient le code source tout ce qui commence par http et qui finit par com, fr, eu... Pour que le logiciel aille les répertorier à leur tour.

J'avais donc bien compris, c'est ce à quoi sert le code que je t'ai donné. Il n'est juste pas automatisé, mais la seule chose que tu as à faire pour cela, est de récupérer la source html d'un certain nombre de site dans une liste ou un tableau (qu'on appellera $sites par ex) avec fopen et fread que tous les sites qu'il trouve il les ajoute dans ce $sites et qu'il passe au site suivant présent dans ta liste $site.

Et effectivement pour n'utiliser qu'une expression, tu peux faire la recherche des .com, .eu etc. comme cela: (http://[a-z0-9._/-]*)+(.com|.eu|.fr|.org) Tu n'as donc plus besoin du preg_match qui triait les résultats.

Le C/C++ permet bien entendu également l'utilisation des regex, moi je t'ai donné la solution que je pensai la plus adapté pour un moteur de recherche codé en php, je voyais pas trop l'utilité de faire appel à un autre langage encore. Mais si ça se trouve tu peux trouver une dll permettant l'usage de regex dans gm, si jamais donne moi le lien. Mais comme dit tu peux aussi scanner les strings avec les fonctions gml, mais tu vas t'embêter pour rien. Et ce sera beaucoup plus lent.

Ca c'est bien :gniah: C'est un peu ce que je veut
Et sinon, c'est pas possible de faire une interaction entre gm/php ?

Mais pourquoi tu veux absolument gm dans le lot? lol
Tu peux, tu peux même compiler des exe php, mais ça c'est plus bricolage. Voici le lien vers gmphp: http://www.lecbna.org/pages/download/DLL/gmphp.zip . C'est sur le site.

Par contre il te faut php.exe (interpreteur php), je sais pas s'il est fourni, auquel cas il ne l'est pas, il l'est dans easyphp. Il faut le mettre dans un repertoire de windows, mais je sais plus lequel, c'est écrit dans l'aide de gmphp. Cela fait des années qu'on a cette dll sur le site.

daminetreg a écrit:

Mais pourquoi tu veux absolument gm dans le lot? lol
Tu peux, tu peux même compiler des exe php, mais ça c'est plus bricolage. Voici le lien vers gmphp: http://www.lecbna.org/pages/download/DLL/gmphp.zip . C'est sur le site.

Par contre il te faut php.exe (interpreteur php), je sais pas s'il est fourni, auquel cas il ne l'est pas, il l'est dans easyphp. Il faut le mettre dans un repertoire de windows, mais je sais plus lequel, c'est écrit dans l'aide de gmphp. Cela fait des années qu'on a cette dll sur le site.

Oui, mais moi je veut GM parce que je m'y connais dans GM, et pas en php

Ok, moi je croyais que tu faisais ton moteur de recherche en php c'est pour ça. ^^

EDIT/ Attention je viens de télécharger gmphp pour voir et c'est du php4, je me rappelle pas si preg_match étaient déjà dans la version 4, je pense mais on ne sait jamais.

En fait le moteur de recherche est en php, mais c'est pas moi qui l'ai créé

Tu peut m'expliquer ta méthode pour scanner le string sous gm stp ?

Max a écrit:

En fait le moteur de recherche est en php, mais c'est pas moi qui l'ai créé

Tu peut m'expliquer ta méthode pour scanner le string sous gm stp ?

Pourquoi tu veux pas utiliser gmphp lol ^^

Pour trouver les http finissant par .com, fr etc. en gml, voici un petit script, qui devrait fonctionner, mais comme tu peux voir le php semblait bien plus indiqué.

Code GML a écrit:

content = "<b>http://lecbna.org/</b>, <i>http://www.google.fr/</i>, ceci est une image les amis! http://www.lecbna.org/images/Logo_CBNA.jpg lol!"

//Tableau des dns
tab_dns[0] = ".org";
tab_dns[1] = ".com";
tab_dns[2] = ".fr";

do
{
//Recherchons les positions de http://, puis celles de .org, .fr ou .com
pos_http = string_pos("http://",content);
pos_dns = string_length(content); //Initialisation pos_dns à la valeur la plus haute.

//Recherchons parmi les différents types de dns le .something le plus proche de notre premier http.
var i;
for (i=0;i<=2;i+=1)
{
if (pos_dns > string_pos(tab_dns,content) && string_pos(tab_dns[i],content) != 0)
{
pos_dns = string_pos(tab_dns[i],content);
dns = string_length(tab_dns[i]);//Stocker la longueur du dns trouvé.
}
}

//Sortir l'adresse trouvée...
website = string_copy(content,pos_http,pos_dns-pos_http+dns);
show_message(website);
//... puis recommencer, mais avant couper la chaîne à la position de pos_dns + longueur dns.
content = string_delete(content,1,pos_dns+dns-1);
show_message("Contenu .::. "+content);

} until (string_pos("http://",content) == 0)

EDIT/ Apparemment dans le code colorisé ya des trucs qui ont disparus, à cause des tab_dns[i], il prend le [i] comme la balise italique lol. heureusement que j'lai gardé dans un .txt lol

Code:

content = "<b>http://lecbna.org/</b>, <i>http://www.google.fr/</i>, ceci est une image les amis! http://www.lecbna.org/images/Logo_CBNA.jpg lol!"

//Tableau des dns
tab_dns[0] = ".org";
tab_dns[1] = ".com";
tab_dns[2] = ".fr";

do
{
//Recherchons les positions de http://, puis celles de .org, .fr ou .com
pos_http = string_pos("http://",content);
pos_dns = string_length(content); //Initialisation pos_dns à la valeur la plus haute.

//Recherchons parmi les différents types de dns le .something le plus proche de notre premier http.
var i;
for (i=0;i<=2;i+=1)
    {
    if (pos_dns > string_pos(tab_dns[i],content) && string_pos(tab_dns[i],content) != 0)
        {
        pos_dns = string_pos(tab_dns[i],content);
        dns = string_length(tab_dns[i]);//Stocker la longueur du dns trouvé.
        }
    }
   
//Sortir l'adresse trouvée...
website = string_copy(content,pos_http,pos_dns-pos_http+dns);
show_message(website);
//... puis recommencer, mais avant couper la chaîne à la position de pos_dns + longueur dns.
content = string_delete(content,1,pos_dns+dns-1);
show_message("Contenu .::. "+content);

} until (string_pos("http://",content) == 0)

Si j'ai bien compris, content c'est la variables qui contient le code source, les tableaux dns les extensions, et l'adresse ressort sous website... Merci dam !

Et je l'adapterais aussi pour la détection des balises méta pour les robots :oue:

Bon, j'ai un gros bug...
J'ai commencé une première version, sans le script...
Mais quand il éxécute ce script, ça marche pas :

Citation :

if (global.site != "")
{
global.codesource = read(global.site);

ini_open("nombre.ini");
numb = ini_read_real("nombre","numb","1");
numb+="1";
ini_write_real("nombre","numb",string(numb));
ini_close()

global.fichname = numb + ".htm";

redir1id = file_text_open_read("redir1.txt");
redir1 = file_text_read_string(redir1id);
file_text_close("redir1.txt");

redir2id = file_text_open_read("redir2.txt");
redir2 = file_text_read_string(redir2id);
file_text_close("redir2.txt");

redir3id = file_text_open_read("redir3.txt");
redir2 = file_text_read_string(redir3id);
file_text_close("redir3.txt");

fichier = file_text_open_write(string(global.fichname))
texte = redir1 + global.site + redir2 + global.site + redir3 + global.codesource ;
file_text_write_string(fichier,string(texte));
file_text_close(string(global.fichname));
}

les redirs machin sont des fichiers avec des bouts de redirection, pour éviter les bugs de ""...
Une idée ? GM se bloque totalement, je suis obligé de fermer le processus...

ah, et au passage, comment supprimmer les caractères genre / de mon string name ? Parce que j'ai fait string_replace(name,"/",""); mais ça marche pas, il veut pas pour cbna.forumactif.com/machin

(alala, max et son gml approximatif :sarcastique: )

Non, c'est juste que son code est bourré d'erreurs

déjà c'est quoi ce read() au début ?

ensuite on ne ferme pas un fichiers comme ca. quand tu ferme ton fichier tu dois utiliser la variable obtenue après son ouverture et pas un truc du genre file_text_close("blabla.txt");

ah, ok, merci !
read(machin) est un script, c'est celui qui ordone à la netreaddll d'aller chercher le code source... :nezrouge:

(pourquoi c'est toujours les mêmes qui m'aident ? :gniah: )
En fait, pour les fichiers, je savais po, c'était la première fois que j'en utilisait :pac_dr:

ah, et quelqu'un a une idée pour supprimmer les caractères / et autres du string ?

bon, j'ai refait le code avec un get_string pour le nom de fichier, parce que sinon windows accepte pas / & co... Mais ça marche pas.
Un gel... Par contre il crée le fichier, mais celui-ci est vide...

Citation :

if (global.site != "")
{
global.codesource = read(global.site);

/*
global.fichname = site + ".htm";
*/

global.fichname = get_string("nom du fichier","");
global.fichname = global.fichname + ".htm";

redir1id = file_text_open_read("redir1.txt");
redir1 = file_text_read_string(redir1id);
file_text_close(redir1id);

redir2id = file_text_open_read("redir2.txt");
redir2 = file_text_read_string(redir2id);
file_text_close(redir2id);

redir3id = file_text_open_read("redir3.txt");
redir2 = file_text_read_string(redir3id);
file_text_close(redir3id);

fichier = file_text_open_write(string(global.fichname))
texte = redir1 + global.site + redir2 + global.site + redir3 + global.codesource ;
file_text_write_string(fichier,string(texte));
file_text_close(fichier);
}

Une idée de pourquoi ça marche pas ?

Et au passage, l'adresse du site, si interessé : http://xamaxe.free.fr/search/

et si au passage on pouvait m'expliquer le fonctionnement des fichiers, parce que dans l'aide c'est pas super bien expliqué, avec les id et tout... Mon code semble correct, mais apparament pas

personne?

Spoiler:

Lol t'es champion du monde de double posts (devant moi, c'est fort )

:snif2: :snif2: :snif2:
moi qui pensait que c'était une réponse

rahhh !!!
puis c'est pas du double post, c'est du triple post :hehe:

sinon :

Spoiler:

edit :même pas : du cinxtuple post