AccueilAccueil  RechercherRechercher  S'enregistrerS'enregistrer  Connexion  
Le Deal du moment : -34%
Réduction -34% sur la caméra sport DJI ...
Voir le deal
249.99 €

 

 Infos statut du forum (Partie 4)

Aller en bas 
Aller à la page : Précédent  1 ... 10 ... 17, 18, 19, 20, 21, 22  Suivant
AuteurMessage
hyper
Utilisateur confirmé: Rang ****
hyper

Messages : 1437

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 21:12

En tout cas, le site c'est utile pour avoir des infos sur l'interruption du forum quand même Wink

_________________
côt.
Revenir en haut Aller en bas
Mass
*Excellent utilisateur*
Mass

Messages : 3338
Localisation : Dans une canonnière wookie.
Projet Actuel : Living the life
Infos statut du forum (Partie 4) - Page 18 Void

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 21:22

Oui mais moi je parle de la sauvegarde de son contenu ^^

_________________
Revenir en haut Aller en bas
http://madmass.mype.fr/CBNA/
Mobi
Utilisateur confirmé: Rang ****
Mobi

Messages : 1256
Localisation : Dijon

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 21:23

faut l'aspirer

_________________
Infos statut du forum (Partie 4) - Page 18 Penguin
Revenir en haut Aller en bas
hyper
Utilisateur confirmé: Rang ****
hyper

Messages : 1437

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 21:27

Il faut s'amuser à user les touches ctrl C et V à mettre chaque topique dans un document texte, chaque section dans un dossier et tout le forum sur un disque dur de quelques milliers d'exaoctets sad
Sans compter les membres ! kill

_________________
côt.


Dernière édition par HyperMario le Lun 20 Oct 2014 - 21:28, édité 1 fois
Revenir en haut Aller en bas
glcraft
Utilisateur confirmé: Rang *****
glcraft

Messages : 1698
Localisation : Entre l'Espagne, l'Italie, la Suisse, L'allemagne et le RU :P
Projet Actuel : Jeu de survie avancé
||--------

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 21:27

tant qu'on fait pas comme la gmz (d’ailleurs j'ai jamais su ce qu'il avait posté pour ca Oo), tout va bien XD
Revenir en haut Aller en bas
http://gameblog49.skyblog.com/
Mass
*Excellent utilisateur*
Mass

Messages : 3338
Localisation : Dans une canonnière wookie.
Projet Actuel : Living the life
Infos statut du forum (Partie 4) - Page 18 Void

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 21:33

Justement le soucis c'est "tant qu'on fait pas comme" + "on sait pas ce qu'ils ont fait" :/
Je pense qu'il faudrait programmer un petit bot pour indexer tout ça gnii

_________________
Revenir en haut Aller en bas
http://madmass.mype.fr/CBNA/
glcraft
Utilisateur confirmé: Rang *****
glcraft

Messages : 1698
Localisation : Entre l'Espagne, l'Italie, la Suisse, L'allemagne et le RU :P
Projet Actuel : Jeu de survie avancé
||--------

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 21:39

j'ai envie de dire que tant qu'on reste normal (pas de post extra"ca na rien a foutre ici" comme du pron ou autre) je pense pas que ce soit un probleme
Revenir en haut Aller en bas
http://gameblog49.skyblog.com/
onilink_
Modérateur
onilink_

Messages : 9141
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 22:18

Faudrait le crawler ouai, mais le soucis c'est qu'après faudrait pouvoir traiter les données pour les rendre exploitable par une bdd.
Je me demande si forumactif a pas une option pour obtenir la bdd (mais je suppose que c'est payant).

Pour le crawler, sekigo en avait fait un de souvenir.

_________________
Infos statut du forum (Partie 4) - Page 18 Runningpotato1Infos statut du forum (Partie 4) - Page 18 TvF6GED Infos statut du forum (Partie 4) - Page 18 MdetltS
Revenir en haut Aller en bas
Mass
*Excellent utilisateur*
Mass

Messages : 3338
Localisation : Dans une canonnière wookie.
Projet Actuel : Living the life
Infos statut du forum (Partie 4) - Page 18 Void

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 22:26

J'en ai fait un mais c'est orienté moteur de recherche pas sauvegarde Sad
Faudrait générer une version statique du CBNA qui servirait d'archives régulièrement mises à jour gnii

_________________
Revenir en haut Aller en bas
http://madmass.mype.fr/CBNA/
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyLun 20 Oct 2014 - 23:01

Que nenni, suffit de copier la base de données :p
Et si forumactif permet pas de le faire je bouffe un balai.

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMar 21 Oct 2014 - 8:19

Normalement y'a un manager de backup avec fofoactif

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
daminetreg
Administrateur
daminetreg

Messages : 16996
Localisation : Siege du CBNA!
Projet Actuel : Site Web du CBNA, version beta :

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMar 21 Oct 2014 - 21:33

C'est marrant, parce qu'on travaille justement sur le sujet depuis samedi dernier.
On souhaite importer le tout et on va développer un petit programme pour cela, afin d'avoir un backup à jour.

J'avais déjà un programme à un moment donné pour le nouveau site un module d'import mais il n'est pas assez performant. Et comme tous les mardis soir nous travaillons sur Le CBNA ou projets open source, nous sommes sur l'idée de l'importer en temps réel à partir de maintenant.

_________________
Mon CV : fr - de - en
Le CBNA Tous Ensemble! Réalisons!
Infos statut du forum (Partie 4) - Page 18 U3dfr2
Revenir en haut Aller en bas
http://lecbna.org/
onilink_
Modérateur
onilink_

Messages : 9141
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMer 22 Oct 2014 - 9:48

Nice, mais du coup y a pas d'outil forumactif pour faire ça facilement?

_________________
Infos statut du forum (Partie 4) - Page 18 Runningpotato1Infos statut du forum (Partie 4) - Page 18 TvF6GED Infos statut du forum (Partie 4) - Page 18 MdetltS
Revenir en haut Aller en bas
daminetreg
Administrateur
daminetreg

Messages : 16996
Localisation : Siege du CBNA!
Projet Actuel : Site Web du CBNA, version beta :

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMer 22 Oct 2014 - 19:03

Non non, on peut pas récupérer les dumps, ils veulent pas voir le monde partir de forumactif. Ils sont pas fou, même en leur demandant ils n'ont jamais voulu à l'époque.

_________________
Mon CV : fr - de - en
Le CBNA Tous Ensemble! Réalisons!
Infos statut du forum (Partie 4) - Page 18 U3dfr2
Revenir en haut Aller en bas
http://lecbna.org/
onilink_
Modérateur
onilink_

Messages : 9141
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMer 22 Oct 2014 - 19:41

Arf les saligows!

_________________
Infos statut du forum (Partie 4) - Page 18 Runningpotato1Infos statut du forum (Partie 4) - Page 18 TvF6GED Infos statut du forum (Partie 4) - Page 18 MdetltS
Revenir en haut Aller en bas
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMer 22 Oct 2014 - 19:46

Par contre je suis sûr qu'on peut importer une DB chez forumactif Razz

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
Invité
Invité



Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMer 22 Oct 2014 - 21:54

bah mis a part les tutos et les scripts, on peut s'en passer des discussions, non?
Revenir en haut Aller en bas
glcraft
Utilisateur confirmé: Rang *****
glcraft

Messages : 1698
Localisation : Entre l'Espagne, l'Italie, la Suisse, L'allemagne et le RU :P
Projet Actuel : Jeu de survie avancé
||--------

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMer 22 Oct 2014 - 22:28

c'est vrai que il y a facilement 50 a 60% du forum qui ne servent plus, qui ne sont que de simple discussion, parfois oublié
Revenir en haut Aller en bas
http://gameblog49.skyblog.com/
onilink_
Modérateur
onilink_

Messages : 9141
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMer 22 Oct 2014 - 22:30

C'est quand même cool a avoir sous la main, perso des fois je cherche un truc perdu au milieux de messages random et je suis content de pouvoir mettre la main dessus Razz

Puis parfois certaines discutions random on abouties sur des trucs sympas.

_________________
Infos statut du forum (Partie 4) - Page 18 Runningpotato1Infos statut du forum (Partie 4) - Page 18 TvF6GED Infos statut du forum (Partie 4) - Page 18 MdetltS
Revenir en haut Aller en bas
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMer 22 Oct 2014 - 22:33

Bah nan c'est nul, iaura plus rien autrement !
En plus franchement ca fait pas sérieux un forum complètement vide, pour la communauté francophone de GM...
Faire un aspirateur de site ca reste relativement simple, ils bossent dessus, ca me parait bien, puis si il faut aider moi je veux bien, mais tout supprimer franchement ce serait ******... Sad

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyMer 22 Oct 2014 - 23:14

Bah j'ai du temps à perdre en ce moment, je pourrais coder ça (En C++ si on me file une lib http simple et bien foutu et une lib pour structurer une bdd SQL et une petite documentation sur le fonctionnement des BDD avec PhpBB) voir même en GML (Si quelqu'un connait de bonnes dll encore) pour rester dans l'ambiance Surprised

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
daminetreg
Administrateur
daminetreg

Messages : 16996
Localisation : Siege du CBNA!
Projet Actuel : Site Web du CBNA, version beta :

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyJeu 23 Oct 2014 - 18:27

Pour ceux qui veulent aider, en fait je vous propose de faire une première version simple, pouvant se logger dans le forum, importer les section et les topic sans les messages et les utilisateurs et ensuite je peux vous inviter à nous aider sur http://git.lecbna.org.

Le truc c'est que j'aimerai en étape 2, et c'est là qu'on va avoir besoin d'aide, ne pas en faire un importateur one shot, mais un importateur live, qui fait du mirroring.

_________________
Mon CV : fr - de - en
Le CBNA Tous Ensemble! Réalisons!
Infos statut du forum (Partie 4) - Page 18 U3dfr2
Revenir en haut Aller en bas
http://lecbna.org/
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyJeu 23 Oct 2014 - 18:31

C'est à dire, qui importe au fur et à mesure?

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
daminetreg
Administrateur
daminetreg

Messages : 16996
Localisation : Siege du CBNA!
Projet Actuel : Site Web du CBNA, version beta :

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyJeu 23 Oct 2014 - 18:34

Oui en étape 2 ne pas en faire un importateur one shot, mais un importateur live, qui fait du mirroring, et qui est au courant ce qu'il a déjà importé (un petit hash à recalculer etc.) et ensuite on aura le problème qu'on risque de se faire bannir l'ip du serveur qui fera cela en permanence, du coup je pense qu'il sera nécessaire de faire un petit gui pour les membres de la communauté qui voudront donner leur aide, et qui fera quelques requêtes pour nous et les synchronisera dans la serveur de backup et de la beta du nouveau site.

Mais la première étape c'est un mini-importer qui fonctionne bêtement en one shot et ensuite on peut commencer à éxagerer. Voilà les requirements qu'on a déjà listés :

# cbna-forum-importer
This is a program which can mirror the forum into a database that can be used as
backup or as reimport.

## Requirements - Iteration 1

### Avoid ban of the forum importer
Use possibly masquerade method and user agent that will keep us from being
blocked (e.g. Google Bot)

### Support login as an administrator account
The program should support logging in as administrator and should support
keeping the cookies for the connection.

### Import all section of the forum
This should go on each sections and store it's description and title in a local
database.

### Import each topic
Each topic has a type (normal, post-it, announce, global announce, locked) which has to
be kept, because they play a role in the importance of the topic.

#### Topic with polls
Polls should also be stored if topic are defined as such, that is storing the
different states of the polls.

### Import each message in BBCode
This should be made in using the raw bbcode view.

## Requirements - Iteration 2

### Import has to be doable incrementally
Indeed if the forum is to be reimported the new state has to be taken and
updated in the backup. (i.e. copy of the backups each months should be done for security)

### Webpage displaying the import progress
The community could be informed of the import progress via a website with a
progressbar.

## Requirements - Iteration 3

### Import has to be doable from different nodes sharing the work to be done
This could be used to allow any of our client to provide their connection to
import the forum.

_________________
Mon CV : fr - de - en
Le CBNA Tous Ensemble! Réalisons!
Infos statut du forum (Partie 4) - Page 18 U3dfr2
Revenir en haut Aller en bas
http://lecbna.org/
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyJeu 23 Oct 2014 - 20:41

*saute du pont car vient de perdre 20 minutes à taper et d'appuyer sur f5 par erreur*

Bref mon message disait en général qu'il faut pas utiliser l'user agent de google car ils scannent sûrement les crawlers. Puis qu'il faudra :
  • Un admin locke toutes les sections (et éventuellement en crée une temporaire)
  • On lance le programme sur le serveur, il scanne les sections pour dresser une liste des pages à traiter et les stocke dans un simple fichier text qui contient les id de chaque topic et le nombre de messages qu'il contient (par ex 10292;533 pour ce sujet à l'heure ou j'écris)
  • Synchroniser avec le serveur du CBNA les pages à traiter (ID du post et nb de messages) et les pages non-traitées
  • (Utiliser l'user agent d'un appareil mobile : HTML beaucoup plus simple et léger je suppose)
  • Se connecter avec un compte sur le forum
  • Charger une page au hasard (Pour éviter qu'un autre bot se trouve sur la même page au même moment)
  • Récupérer tous les boutons quote de la page
  • Pour chaque page de quote on récup le contenu des textbox, la date de publication et le nom de l'auteur
  • Une fois la page scannée on envoie les infos au serveur, puis on recharge une page au hasard...
  • Quand le serveur ne recense plus aucune page non scannée, il arrête de recevoir des infos de nouvelles infos
  • On dresse la liste des membres
  • On construit la base de données à partir de toutes ces infos

Une idée quand aux comptes : Les comptes sont crées avec un mot de passe aléatoire de 16 lettres/chiffres. Pour que moi par exemple accède à mon compte sur le nouveau forum, j'envois un mail à dam par exemple, qui me donne le mot de passe du compte (que je peux changer plus tard), je me connecte et je peux poster les messages avec le même compte qui a posté mes messages sur l'ancien forum. bneige

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
Mass
*Excellent utilisateur*
Mass

Messages : 3338
Localisation : Dans une canonnière wookie.
Projet Actuel : Living the life
Infos statut du forum (Partie 4) - Page 18 Void

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyJeu 23 Oct 2014 - 22:25

Le scan prendra des jours, onilink_ avait déterminé empiriquement qu'il fallait espacer chaque consultation de page de 3 secondes ou forumactif bloquait la connexion en affichant une page blanche triste2

_________________
Revenir en haut Aller en bas
http://madmass.mype.fr/CBNA/
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyJeu 23 Oct 2014 - 22:34

Bof, ca va vite : ia a peu pres 345 000 messages, avec 30 messages par page (mais on peut changer ca dans les préférences je crois), ca fait moins de 12000 pages. Comme elles sont pas toute remplies, on peut dire 20 000. Si on prend 5s pour parser une page, ca fait moins de 28h !
Par contre je vois pas l'intérêt de prendre une page au hasard, au contraire. Deja, vu que ca va relativement vite, un seul pc peut faire tout le boulot, mais si on veut absolument en prendre plusieurs, bah autant faire un petit programme qui attribue à chaque pc une page à lire, de façon à ce qu'on se tape pas deux fois la même. Prendre une page random qui n'a pas été utilisé, ca sera surement plus long, et pas vraiment mieux niveau logique je pense.

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyJeu 23 Oct 2014 - 22:36

Mass a écrit:
Le scan prendra des jours, onilink_ avait déterminé empiriquement qu'il fallait espacer chaque consultation de page de 3 secondes ou forumactif bloquait la connexion en affichant une page blanche triste2
Justement mon système permet d'utiliser plusieurs bots en même temps. Si moi, mobi, oni et toi activons le bot h24 (bon ça risque pas d'arriver pour ma part) ça descend à moins d'une journée, nan? Et puis on peut mettre en place une section temporaire pendant que les autres sont lock.

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyJeu 23 Oct 2014 - 22:39

Désolé du double post mais

Térence a écrit:
Bof, ca va vite : ia a peu pres 345 000 messages, avec 30 messages par page (mais on peut changer ca dans les préférences je crois), ca fait moins de 12000 pages. Comme elles sont pas toute remplies, on peut dire 20 000. Si on prend 5s pour parser une page, ca fait moins de 28h !
Par contre je vois pas l'intérêt de prendre une page au hasard, au contraire. Deja, vu que ca va relativement vite, un seul pc peut faire tout le boulot, mais si on veut absolument en prendre plusieurs, bah autant faire un petit programme qui attribue à chaque pc une page à lire, de façon à ce qu'on se tape pas deux fois la même. Prendre une page random qui n'a pas été utilisé, ca sera surement plus long, et pas vraiment mieux niveau logique je pense.
Voilà :p
Mais prendre une page random c'est juste choisir une ligne au hasard dans le fichier, ça fait quoi... 50ms? Yum!
Et puis si le serveur reçoit deux fois la même info c'est pas grave, vu que c'est aléatoire sur 1000 pages va juste y avoir un conflit sur une mais ça sera juste ignoré par le serveur ^^

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 EmptyJeu 23 Oct 2014 - 22:43

Bah pour l'histoire du hasard, ca veut dire qu'il te faut un fichier avec toutes les pages, donc faut que tu fasse un premier parsage, certes plus rapide, mais avec cette histoire des 3s... Alors que les prendre l'une apres l'autre, ca me parait quand meme bien plus simple :p
Puis pas besoin de locker les topics, une fois qu'on a fini une section suffit de vérifier si un nouveau topic apparaît. Mais bon après ca c'est du détail ^^

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
Contenu sponsorisé




Infos statut du forum (Partie 4) - Page 18 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 18 Empty

Revenir en haut Aller en bas
 
Infos statut du forum (Partie 4)
Revenir en haut 
Page 18 sur 22Aller à la page : Précédent  1 ... 10 ... 17, 18, 19, 20, 21, 22  Suivant

Permission de ce forum:Vous ne pouvez pas répondre aux sujets dans ce forum
Forum Le CBNA :: Informations :: Le CBNA-
Sauter vers: