Infos statut du forum (Partie 4)

En tout cas, le site c'est utile pour avoir des infos sur l'interruption du forum quand même

Oui mais moi je parle de la sauvegarde de son contenu ^^

faut l'aspirer

Il faut s'amuser à user les touches ctrl C et V à mettre chaque topique dans un document texte, chaque section dans un dossier et tout le forum sur un disque dur de quelques milliers d'exaoctets
Sans compter les membres !

tant qu'on fait pas comme la gmz (d’ailleurs j'ai jamais su ce qu'il avait posté pour ca Oo), tout va bien XD

Justement le soucis c'est "tant qu'on fait pas comme" + "on sait pas ce qu'ils ont fait" :/
Je pense qu'il faudrait programmer un petit bot pour indexer tout ça

j'ai envie de dire que tant qu'on reste normal (pas de post extra"ca na rien a foutre ici" comme du pron ou autre) je pense pas que ce soit un probleme

Faudrait le crawler ouai, mais le soucis c'est qu'après faudrait pouvoir traiter les données pour les rendre exploitable par une bdd.
Je me demande si forumactif a pas une option pour obtenir la bdd (mais je suppose que c'est payant).

Pour le crawler, sekigo en avait fait un de souvenir.

J'en ai fait un mais c'est orienté moteur de recherche pas sauvegarde
Faudrait générer une version statique du CBNA qui servirait d'archives régulièrement mises à jour

Que nenni, suffit de copier la base de données :p
Et si forumactif permet pas de le faire je bouffe un balai.

Normalement y'a un manager de backup avec fofoactif

C'est marrant, parce qu'on travaille justement sur le sujet depuis samedi dernier.
On souhaite importer le tout et on va développer un petit programme pour cela, afin d'avoir un backup à jour.

J'avais déjà un programme à un moment donné pour le nouveau site un module d'import mais il n'est pas assez performant. Et comme tous les mardis soir nous travaillons sur Le CBNA ou projets open source, nous sommes sur l'idée de l'importer en temps réel à partir de maintenant.

Nice, mais du coup y a pas d'outil forumactif pour faire ça facilement?

Non non, on peut pas récupérer les dumps, ils veulent pas voir le monde partir de forumactif. Ils sont pas fou, même en leur demandant ils n'ont jamais voulu à l'époque.

Arf les saligows!

Par contre je suis sûr qu'on peut importer une DB chez forumactif

bah mis a part les tutos et les scripts, on peut s'en passer des discussions, non?

c'est vrai que il y a facilement 50 a 60% du forum qui ne servent plus, qui ne sont que de simple discussion, parfois oublié

C'est quand même cool a avoir sous la main, perso des fois je cherche un truc perdu au milieux de messages random et je suis content de pouvoir mettre la main dessus

Puis parfois certaines discutions random on abouties sur des trucs sympas.

Bah nan c'est nul, iaura plus rien autrement !
En plus franchement ca fait pas sérieux un forum complètement vide, pour la communauté francophone de GM...
Faire un aspirateur de site ca reste relativement simple, ils bossent dessus, ca me parait bien, puis si il faut aider moi je veux bien, mais tout supprimer franchement ce serait ******...

Bah j'ai du temps à perdre en ce moment, je pourrais coder ça (En C++ si on me file une lib http simple et bien foutu et une lib pour structurer une bdd SQL et une petite documentation sur le fonctionnement des BDD avec PhpBB) voir même en GML (Si quelqu'un connait de bonnes dll encore) pour rester dans l'ambiance

Pour ceux qui veulent aider, en fait je vous propose de faire une première version simple, pouvant se logger dans le forum, importer les section et les topic sans les messages et les utilisateurs et ensuite je peux vous inviter à nous aider sur http://git.lecbna.org.

Le truc c'est que j'aimerai en étape 2, et c'est là qu'on va avoir besoin d'aide, ne pas en faire un importateur one shot, mais un importateur live, qui fait du mirroring.

C'est à dire, qui importe au fur et à mesure?

Oui en étape 2 ne pas en faire un importateur one shot, mais un importateur live, qui fait du mirroring, et qui est au courant ce qu'il a déjà importé (un petit hash à recalculer etc.) et ensuite on aura le problème qu'on risque de se faire bannir l'ip du serveur qui fera cela en permanence, du coup je pense qu'il sera nécessaire de faire un petit gui pour les membres de la communauté qui voudront donner leur aide, et qui fera quelques requêtes pour nous et les synchronisera dans la serveur de backup et de la beta du nouveau site.

Mais la première étape c'est un mini-importer qui fonctionne bêtement en one shot et ensuite on peut commencer à éxagerer. Voilà les requirements qu'on a déjà listés :

# cbna-forum-importer
This is a program which can mirror the forum into a database that can be used as
backup or as reimport.

## Requirements - Iteration 1

### Avoid ban of the forum importer
Use possibly masquerade method and user agent that will keep us from being
blocked (e.g. Google Bot)

### Support login as an administrator account
The program should support logging in as administrator and should support
keeping the cookies for the connection.

### Import all section of the forum
This should go on each sections and store it's description and title in a local
database.

### Import each topic
Each topic has a type (normal, post-it, announce, global announce, locked) which has to
be kept, because they play a role in the importance of the topic.

#### Topic with polls
Polls should also be stored if topic are defined as such, that is storing the
different states of the polls.

### Import each message in BBCode
This should be made in using the raw bbcode view.

## Requirements - Iteration 2

### Import has to be doable incrementally
Indeed if the forum is to be reimported the new state has to be taken and
updated in the backup. (i.e. copy of the backups each months should be done for security)

### Webpage displaying the import progress
The community could be informed of the import progress via a website with a
progressbar.

## Requirements - Iteration 3

### Import has to be doable from different nodes sharing the work to be done
This could be used to allow any of our client to provide their connection to
import the forum.

*saute du pont car vient de perdre 20 minutes à taper et d'appuyer sur f5 par erreur*

Bref mon message disait en général qu'il faut pas utiliser l'user agent de google car ils scannent sûrement les crawlers. Puis qu'il faudra :

• Un admin locke toutes les sections (et éventuellement en crée une temporaire)
  
• On lance le programme sur le serveur, il scanne les sections pour dresser une liste des pages à traiter et les stocke dans un simple fichier text qui contient les id de chaque topic et le nombre de messages qu'il contient (par ex 10292;533 pour ce sujet à l'heure ou j'écris)
  
• Synchroniser avec le serveur du CBNA les pages à traiter (ID du post et nb de messages) et les pages non-traitées
  
• (Utiliser l'user agent d'un appareil mobile : HTML beaucoup plus simple et léger je suppose)
  
• Se connecter avec un compte sur le forum
  
• Charger une page au hasard (Pour éviter qu'un autre bot se trouve sur la même page au même moment)
  
• Récupérer tous les boutons quote de la page
  
• Pour chaque page de quote on récup le contenu des textbox, la date de publication et le nom de l'auteur
  
• Une fois la page scannée on envoie les infos au serveur, puis on recharge une page au hasard...
  
• Quand le serveur ne recense plus aucune page non scannée, il arrête de recevoir des infos de nouvelles infos
  
• On dresse la liste des membres
  
• On construit la base de données à partir de toutes ces infos

Une idée quand aux comptes : Les comptes sont crées avec un mot de passe aléatoire de 16 lettres/chiffres. Pour que moi par exemple accède à mon compte sur le nouveau forum, j'envois un mail à dam par exemple, qui me donne le mot de passe du compte (que je peux changer plus tard), je me connecte et je peux poster les messages avec le même compte qui a posté mes messages sur l'ancien forum.

Le scan prendra des jours, onilink_ avait déterminé empiriquement qu'il fallait espacer chaque consultation de page de 3 secondes ou forumactif bloquait la connexion en affichant une page blanche

Bof, ca va vite : ia a peu pres 345 000 messages, avec 30 messages par page (mais on peut changer ca dans les préférences je crois), ca fait moins de 12000 pages. Comme elles sont pas toute remplies, on peut dire 20 000. Si on prend 5s pour parser une page, ca fait moins de 28h !
Par contre je vois pas l'intérêt de prendre une page au hasard, au contraire. Deja, vu que ca va relativement vite, un seul pc peut faire tout le boulot, mais si on veut absolument en prendre plusieurs, bah autant faire un petit programme qui attribue à chaque pc une page à lire, de façon à ce qu'on se tape pas deux fois la même. Prendre une page random qui n'a pas été utilisé, ca sera surement plus long, et pas vraiment mieux niveau logique je pense.

Mass a écrit:

Le scan prendra des jours, onilink_ avait déterminé empiriquement qu'il fallait espacer chaque consultation de page de 3 secondes ou forumactif bloquait la connexion en affichant une page blanche

Justement mon système permet d'utiliser plusieurs bots en même temps. Si moi, mobi, oni et toi activons le bot h24 (bon ça risque pas d'arriver pour ma part) ça descend à moins d'une journée, nan? Et puis on peut mettre en place une section temporaire pendant que les autres sont lock.

Désolé du double post mais

Térence a écrit:

Bof, ca va vite : ia a peu pres 345 000 messages, avec 30 messages par page (mais on peut changer ca dans les préférences je crois), ca fait moins de 12000 pages. Comme elles sont pas toute remplies, on peut dire 20 000. Si on prend 5s pour parser une page, ca fait moins de 28h !
Par contre je vois pas l'intérêt de prendre une page au hasard, au contraire. Deja, vu que ca va relativement vite, un seul pc peut faire tout le boulot, mais si on veut absolument en prendre plusieurs, bah autant faire un petit programme qui attribue à chaque pc une page à lire, de façon à ce qu'on se tape pas deux fois la même. Prendre une page random qui n'a pas été utilisé, ca sera surement plus long, et pas vraiment mieux niveau logique je pense.

Voilà :p
Mais prendre une page random c'est juste choisir une ligne au hasard dans le fichier, ça fait quoi... 50ms?
Et puis si le serveur reçoit deux fois la même info c'est pas grave, vu que c'est aléatoire sur 1000 pages va juste y avoir un conflit sur une mais ça sera juste ignoré par le serveur ^^

Bah pour l'histoire du hasard, ca veut dire qu'il te faut un fichier avec toutes les pages, donc faut que tu fasse un premier parsage, certes plus rapide, mais avec cette histoire des 3s... Alors que les prendre l'une apres l'autre, ca me parait quand meme bien plus simple :p
Puis pas besoin de locker les topics, une fois qu'on a fini une section suffit de vérifier si un nouveau topic apparaît. Mais bon après ca c'est du détail ^^