AccueilAccueil  FAQFAQ  RechercherRechercher  S'enregistrerS'enregistrer  MembresMembres  Connexion  

Partagez
 

 Infos statut du forum (Partie 4)

Aller en bas 
Aller à la page : Précédent  1 ... 11 ... 18, 19, 20, 21, 22  Suivant
AuteurMessage
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyJeu 23 Oct 2014 - 20:59

C'est le but, quelqu'un sort une idée, l'autre l'améliore etc... Pour l'histoire des 3 secondes faudra faire des tests de requêtes. Si on peut grignoter quelques dizaines de ms... On gagnera des heures Razz

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
daminetreg
Administrateur
daminetreg

Messages : 16996
Localisation : Siege du CBNA!
Projet Actuel : Site Web du CBNA, version beta :

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyJeu 23 Oct 2014 - 22:13

Soundii a écrit:
*saute du pont car vient de perdre 20 minutes à taper et d'appuyer sur f5 par erreur*
Le nouveau site stocke lettre après lettre ce que tu tapes et s'en souvient quand tu reviens sur la page d'édition, mais bon il est pas fini. Sad

Pour vos idées elles sont bonnes, je souhaite cependant me concentrer sur la base : un importateur one shot débile mais qui comprends nos pages web et se connecte en admin. Une fois que j'ai cela et que je me serai fait bannir une ip, on pourra penser à toutes les subtilités. Smile

_________________
Mon CV : fr - de - en
Le CBNA Tous Ensemble! Réalisons!
Infos statut du forum (Partie 4) - Page 19 U3dfr2
Revenir en haut Aller en bas
http://lecbna.org/
daminetreg
Administrateur
daminetreg

Messages : 16996
Localisation : Siege du CBNA!
Projet Actuel : Site Web du CBNA, version beta :

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyJeu 23 Oct 2014 - 23:22

La lib http choisie sera pion, il y a déjà une pull-request de ma part pour ajouter la possibilité de trouver la dépendance durant notre build : https://github.com/splunk/pion/pull/75

_________________
Mon CV : fr - de - en
Le CBNA Tous Ensemble! Réalisons!
Infos statut du forum (Partie 4) - Page 19 U3dfr2
Revenir en haut Aller en bas
http://lecbna.org/
Mass
*Excellent utilisateur*
Mass

Messages : 3338
Localisation : Dans une canonnière wookie.
Projet Actuel : Living the life
Infos statut du forum (Partie 4) - Page 19 Void

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 9:13

Térence a écrit:
Bof, ca va vite : ia a peu pres 345 000 messages, avec 30 messages par page (mais on peut changer ca dans les préférences je crois), ca fait moins de 12000 pages. Comme elles sont pas toute remplies, on peut dire 20 000. Si on prend 5s pour parser une page, ca fait moins de 28h !
Par contre je vois pas l'intérêt de prendre une page au hasard, au contraire. Deja, vu que ca va relativement vite, un seul pc peut faire tout le boulot, mais si on veut absolument en prendre plusieurs, bah autant faire un petit programme qui attribue à chaque pc une page à lire, de façon à ce qu'on se tape pas deux fois la même. Prendre une page random qui n'a pas été utilisé, ca sera surement plus long, et pas vraiment mieux niveau logique je pense.
T'as oublié une décimale, sachant que l'objectif est de quoter chaque message afin de pouvoir récupérer le bbcode (et donc parser une nouvelle page pour chaque message), en tenant compte de la règle des 3s, y'en a pour plus de 280 h pour une seule IP beh

_________________
Wyvup
Revenir en haut Aller en bas
http://madmass.mype.fr/CBNA/
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 9:15

Effectivement, j'ai pas fait gaffe à ca, là ca risque d'être un peu plus long que prévu Razz

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 9:23

Comme j'ai dit faut optimiser au max le temps entre les requêtes. Si ça se trouve on descend vers les 1 secondes ce qui est bien plus acceptable.

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
onilink_
Modérateur
onilink_

Messages : 9104
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 9:26

Y a rien a opti, forum actif bride les connections a 3 secondes sinon il te renvoie une erreur. Puis passer de 3 secondes a 1, ça change quasiment rien. De toute façon cela se fera juste avec le temps.

Si on a un bot fonctionnel qu'on utilise en parallèle ça posera pas de soucis.
Malheureusement ces prochains mois j'ai pas du tout de temps avec mon jeu, mais si j'arrive a en trouver un peu je tenterais de contribuer.
Dans tous les cas faire tourner un bot sur un ordi h24 ne sera pas un soucis.

Sinon c'est cool de voir qu'y a du mouvement tout de même :b

_________________
Infos statut du forum (Partie 4) - Page 19 Runningpotato1Infos statut du forum (Partie 4) - Page 19 TvF6GED Infos statut du forum (Partie 4) - Page 19 MdetltS
Revenir en haut Aller en bas
glcraft
Utilisateur confirmé: Rang *****
glcraft

Messages : 1698
Localisation : Entre l'Espagne, l'Italie, la Suisse, L'allemagne et le RU :P
Projet Actuel : Jeu de survie avancé
||--------

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 12:23

Et si vous passiez sur un système d'IP dynamique, avec un proxy ou quelque chose du style. l'ip est différente à chaque requête et il n'y a plus de problème de temps.

(Bon après c'est peut être idéologique ce que j'insinue, je m'y connais pas assez dans le domaine. Mais si aujourd'hui on arrive pas a retrouver l’hébergeur de t*11, c'est grâce a un système tel que celui la) !

PS : Dites, a discuter de ça va a l'encontre de forumactif, il pourrait se révolter et fermer le forum avant même de faire une sauvegarde. On se serait poser les bonnes questions pour rien sachant qu'on est parti du fait que l'on voudrait faire une copie au cas ou une discutions qui tourne mal arrive, comme c'est le cas ici si forumactif n'aime pas ca ?
Pour résumer : est-ce légal de copier le forum sachant que forumactif ne le veux pas ? Et sinon, est-ce si illégal au point de faire suppr/blocker le forum ?

_________________
GLEngine, la génération procédurale avancée !
Image:
 
Revenir en haut Aller en bas
http://gameblog49.skyblog.com/
daminetreg
Administrateur
daminetreg

Messages : 16996
Localisation : Siege du CBNA!
Projet Actuel : Site Web du CBNA, version beta :

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 12:29

Pour l'instant on a rien fait. p2

_________________
Mon CV : fr - de - en
Le CBNA Tous Ensemble! Réalisons!
Infos statut du forum (Partie 4) - Page 19 U3dfr2
Revenir en haut Aller en bas
http://lecbna.org/
onilink_
Modérateur
onilink_

Messages : 9104
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 15:20

Puis je vois pas en quoi aspirer un forum serait illégal, d'autant plus que les données sont sensées nous appartenir Razz

_________________
Infos statut du forum (Partie 4) - Page 19 Runningpotato1Infos statut du forum (Partie 4) - Page 19 TvF6GED Infos statut du forum (Partie 4) - Page 19 MdetltS
Revenir en haut Aller en bas
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 15:23

Je vais lire leur CGU

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 15:25

Soundii a écrit:
Je vais lire leur CGU
Ouais bah justement, j'ai rien vu de précis, à part ca, mais ils précisent pas que c'est illégal :
forumactif a écrit:
Ainsi une sauvegarde de l'ensemble des données est effectuée quotidiennement. Par contre aucune sauvegarde précise d'un forum, dump, backup des données ne sera fourni quelque soit la raison évoquée y compris pour les forums ayant fait une importation de leur base de donnée sur le service forumactif.com.

Pour autant, une fois que les données sont chez eux, c'est à eux qu'elles appartiennent :/ Des poursuites judiciaires je pense pas, mais effectivement, ils pourraient fermer le forum...

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
onilink_
Modérateur
onilink_

Messages : 9104
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 15:29

Ils disent qu'ils ne les fournissent pas, pas que tu ne peux pas le faire toi même.

_________________
Infos statut du forum (Partie 4) - Page 19 Runningpotato1Infos statut du forum (Partie 4) - Page 19 TvF6GED Infos statut du forum (Partie 4) - Page 19 MdetltS
Revenir en haut Aller en bas
Chlorodatafile
Utilisateur confirmé: Rang *****
Chlorodatafile

Messages : 2929
Localisation : Belfort
Projet Actuel :
Paralights

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 15:31

Je ne pense pas qu'ils le feront, car des bots le font bien régulièrement sur plein de plateforme, stap di paranouïa. Wink

Si ils doivent être logique, ils comprendront vite que fermer le forum car on déménage ne peut leur faire perdre que des clients potentiels et rien d'autre que ça, car on déménagera de toute manière. Smile

Edit : Et comme le dit _oni, ils ne fournissent juste pas leur sauvegarde, ça sous-entend limite que si tu veux en faire une, fait la toi même. Smile
Et il vaut mieux que ça soit ainsi, dans la notion de libre expression, de la sorte, personne ne peut s'approprier tout les dires de tout le monde d'un claquement de doigt, d'une demande. Wink

_________________
Le CBNA

Paralights ← Projet Actuel
Concepteur de jeu fondateur du Black Owl Studio, mâchouilleur de code.
Revenir en haut Aller en bas
http://chlorodatafile.tumblr.com/
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 15:32

Ouais mais bon, ils veulent pas que tu le fasse, vu qu'ils fournissent pas d'outil pour et qu'il y a cette histoire des 3s... Donc si il te ferme ton forum tu l'as dans le ***, si c'est écrit nul part noir sur blanc que t'as pas le droit, oui, t'aura raison, mais tu va aller leur faire un procès ?

Bon après j'y connais pas grand chose, si ca se trouve ils verront même pas qu'on fait une copie, donc ouais, virons pas dans la parano ^^

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
onilink_
Modérateur
onilink_

Messages : 9104
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 15:37

Les 3 sec, c'est surtout pour le flood et la bdd, histoire de pas avoir trop de frais de trafic.
C'est pareil sur pas mal de sites (pas forcément 3 sec par contre).

_________________
Infos statut du forum (Partie 4) - Page 19 Runningpotato1Infos statut du forum (Partie 4) - Page 19 TvF6GED Infos statut du forum (Partie 4) - Page 19 MdetltS
Revenir en haut Aller en bas
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 15:38

Tu vois écrit ou que les données leur appartiennent? Je vois que pour LEUR site.
Citation :
L'ensemble des éléments que vous voyez, que vous lisez sur le site est protégé par la législation sur le droit d'auteur. Vous ne pouvez en aucun cas utiliser, distribuer, copier, reproduire, modifier, dénaturer ou transmettre le site ou des éléments du site, tels que textes, images sans l'autorisation écrite et préalable de la société. Les marques et logos figurant sur le site, sont la propriété de la société ou font l'objet d'une autorisation d'utilisation. Aucun droit ou licence ne saurait être attribué sur l'un quelconque de ces éléments sans l'autorisation écrite de la société ou du tiers, détenteur des droits sur la marque ou logo figurant sur le site. La société se réserve le droit de poursuivre tout acte de contrefaçon de ses droits de propriété intellectuelle, y compris dans le cadre d'une action pénale.

De plus :
Citation :
Vous reconnaissez et convenez que toute information, codes, données, textes, logiciels, musiques, son, photographies, images, graphiques, vidéo, chat, messages, dossiers, ou d'autres contenus , si publiquement signalé ou en privé transmis, sont la responsabilité unique de la personne à l'origine du contenu. Ceci signifie que vous, et non forumactif.com, êtes entièrement responsable de tout le contenu que vous téléchargez, postez, envoyez par email ou transmettez autrement que par l'intermédiaire des services. Dans aucunes circonstances forumactif.com ne sera responsable de quelque façon et de n'importe quel contenu d'utilisateur ou d'un tiers, y compris, mais non limité, pour toutes les erreurs ou omissions dans un tel contenu, ou pour n'importe quels perte ou dommages de la sorte encourue en raison de l'utilisation d'un tel contenu signalé, envoyé par email ou tout autrement transmis par l'intermédiaire des services.
Bref si on en a la responsabilité c'est que ça nous appartient dans ce cas... non?

De plus je lis un truc bizarre :
Citation :
Ces informations peuvent être modifiées ou mises à jour sans préavis.
Citation :
Ces conditions générales peuvent être modifiées à tout moment, à la discrétion de forumactif.com. Tous les comptes devront être conformes à tous les changements faits à ces politiques, avec un préavis de 30 jours.
Ils étaient bourrés? Yum!

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 15:59

Bah ca parait logique, les données sont chez eux, c'est les leurs. En plus, on est sous http://cbna.forumactif.com/, c'est un sous domaine de forumactif, donc je sais pas si ils considèrent que ca fait partie du site (mais sans doute que non).
L'histoire de la responsabilité, que dalle... C'est comme google code, si tu mets des trucs racistes par exemple, c'est toi qui est responsable, par contre si t'invente un programme révolutionnaire, bah là ils te le piquent, et en toute légalité.

Nan mais ca c'est le genre de trucs qu'ils foutent partout, c'est vraiment pour se protéger en cas de gros problème... Et t'as pas vu la licence iTunes awesome

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
Rem_101
*Excellent utilisateur*
Rem_101

Messages : 4356
Localisation : chez votre marchand de journaux

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 16:48

@soundii : c'est monnaie courante qu'un règlement soit amené à changer. Même les lois de notre pays évoluent au fil du temps.

_________________
"Nan... C'est rien le vieux... C'est le compte qui n'y était pas... Il en manquait un..."
Revenir en haut Aller en bas
onilink_
Modérateur
onilink_

Messages : 9104
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 16:57

Térence a écrit:
Bah ca parait logique, les données sont chez eux, c'est les leurs.
Oui bah justement non, ils sont obligés de le préciser s'ils veulent que ce soit le cas.
Ce que font google pour google code, ou dropbox (sauf que cpas exactement pareil).

_________________
Infos statut du forum (Partie 4) - Page 19 Runningpotato1Infos statut du forum (Partie 4) - Page 19 TvF6GED Infos statut du forum (Partie 4) - Page 19 MdetltS
Revenir en haut Aller en bas
Mass
*Excellent utilisateur*
Mass

Messages : 3338
Localisation : Dans une canonnière wookie.
Projet Actuel : Living the life
Infos statut du forum (Partie 4) - Page 19 Void

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 17:22

glcraft a écrit:
Et si vous passiez sur un système d'IP dynamique, avec un proxy ou quelque chose du style. l'ip est différente à chaque requête et il n'y a plus de problème de temps.

Techniquement trop complexe triste2

_________________
Wyvup
Revenir en haut Aller en bas
http://madmass.mype.fr/CBNA/
ombre
Utilisateur confirmé: Rang ***
ombre

Messages : 689
Localisation : Dans sa batcave.

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 17:42

Faut viser les topics récent, pas forcement besoin d'allez déterrer les vieux messages.

Après, même si personne n'a envie de le faire, ect... Sa m'étonnerait (beaucoup), qu'il n'y ai pas de recours judiciaire pour récupérer les données du forum. Déjà qu'il y a des lois (en France, je sais pas pour les canadiens qui peuplent ce forum), pour obtenir d'un site, les données que ce dernier à sur vous ET de pouvoir les supprimer, rien que ça, forumactif le fait pas vraiment (mais personne ne le fait me dira t'on).
Revenir en haut Aller en bas
http://www.3arks.com
Asu
Utilisateur confirmé: Rang ****
Asu

Messages : 895

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 18:33

Rem_101 a écrit:
@soundii : c'est monnaie courante qu'un règlement soit amené à changer. Même les lois de notre pays évoluent au fil du temps.
Non mais d'un côté ils disent qu'ils ne vont pas donner de préavis et juste après ils disent qu'ils en donnent, faut savoir o:
Mais si on crée le programme mais que ce n'est pas le staff du forum qui l'utilise y'a pas de risque à priori? awesome

_________________
‎<‎Cysteine‎>‎ nON mais la touche maj s'active/se désactive toute seule
‎<‎Cysteine‎>‎ et a du mal à réponDRE QUANd j'appuie dessus
‎<‎Cysteine‎>‎ et je l'ai démont2? IL Ny a rien DEDANs
Revenir en haut Aller en bas
Rem_101
*Excellent utilisateur*
Rem_101

Messages : 4356
Localisation : chez votre marchand de journaux

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyVen 24 Oct 2014 - 21:18

En gros, ils s’octroient le droit de modifier les conditions d'utilisation sans préavis (avec application instantanée des nouvelles cgu), et laisse 30 jours à leurs utilisateurs pour s'y plier.
C'est juste qu'ils parlent de deux choses distinctes dans leurs cgu. Smile

_________________
"Nan... C'est rien le vieux... C'est le compte qui n'y était pas... Il en manquait un..."
Revenir en haut Aller en bas
Sekigo Le Magnifique
Utilisateur confirmé: Rang *****
Sekigo Le Magnifique

Messages : 1720

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyDim 26 Oct 2014 - 6:43

J'avais effectivement déjà écrit un crawler, et j'avais dumpé la partie projet/membres et peut-être d'autres trucs (section script ?). Ça fait déjà un moment (la dernière réponse de daminetreg à ce propos date du 2 avril 2012).
À la base, c'était pour un mini-site un peu plus sympa pour la section projet. Et préparer la migration vers un éventuel nouveau site du CBNA.

Daminetreg m'avait ouvert un compte git, à l'époque, je maitrisais pas trop ce truc (je n'ai aucun souvenir de si j'ai importé quoi que ce soit sur la plateforme).

Mais.
Il y a deux semaines, j'ai ma machine du boulot qui a crashé. J'avais des tas de dumps, et j'ai profité du week-end pour restaurer les sauvegardes sur une nouvelle machine (c'est assez long et j'aurais pas pu bosser pendant ce temps là). Et par la même, j'ai fais un gros ménage. Et de fil en aiguille, j'en ai fais de même sur mes machines persos, et le crawler du CBNA a valsé, avec les données dumpés. J'ai retrouvé une vieille version sur un de mes pcs, avec ~500 projets dumpés. C'est assez marrant de revoir mes codes avant que je bosse professionnellement dans la programmation, je me rends compte que j'ai quand même fait un bond de géant au niveau code.

Bref.
Je peux reprendre le crawler. J'en ai pas pour longtemps (sauf mauvaise surprise), je peux proposer une première version d'ici ce soir ou demain soir, avec un jeu de données (par exemple, la section projet). Je donne un délai assez large parce que je profite du week-end pour passer du temps avec ma fille.
Pour l'histoire du temps mis, je n'ai pas souvenir de cette page blanche toute les 3 secondes, ou d'une limitation quelconque. Mais pour éviter de me faire bannir, j'avais mis un temps d'attente entre chaque requête. C'est assez flou dans ma mémoire.
Pour les questions de droits, je pense que le mieux pour une mise en ligne futur, c'est d'avoir l'accord de chaque membre pour la mise en ligne de ses messages sur une nouvelle plateforme. En s'inscrivant, je pense qu'on accorde à forumactif un droit sur nos messages, mais la propriété reste et restera toujours avant tout à son auteur. Ça peut paraitre titanesque de devoir demander à chaque membre son accord de partage de droits, mais je suis quasiment sûr que 90% des trucs intéressant sont trustés par 1 ou 2% des membres toujours plus ou moins actifs ou facilement joignable. Je pense qu'on peut se passer des centaines de projets quasiment vide ou dans un état larvaire. Ce n'est pas un jugement de valeur, si on peut joindre les auteurs même d'un truc sans interêt, c'est cool et on le sauvegarde, mais sinon, c'est pas grave, on fera sans.

Pour le crawler proprement dit, il parsera et sauvegardera le html brut message par message. Comment le traiter ou le transformer dans un autre format, c'est un truc à voir dans un second temps. Par contre, je vire le javascript, les balises "dangereuses" genre frame et ne conserve que le contenu. Je formate aussi le html en un truc valide, et ça peut transformer certains messages si le html de forumactif est une soupe de html dégueulasse.
J'utilise requests pour les requêtes http, et lxml pour le traitement des données html (parce que j'utilise xpath pour la recherche des messages et autres). C'est un ensemble éprouvé par mon boulot, où je crawl des centaines de Go chaque jour sur différents machins dans le monde (et où le html est souvent immonde).
Pour les dumps, c'est dans du sqlite3. Parce que le volume de données est petit (le CBNA avec un jeu réduit de sections, je pense que ça tient dans 1 ou 2 Go), parce que un copié-collé permet d'avoir une sauvegarde de la base et parce que sqlite3 est utilisable dans quasiment tous les langages et c'est pas compliqué à utiliser.

Je vous tient au courant.
Revenir en haut Aller en bas
http://s2.noelshack.com/old/up/gmzonecbna-3cfbc56d25.jpg
hyper
Utilisateur confirmé: Rang ****
hyper

Messages : 1434

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyDim 26 Oct 2014 - 18:31

Il faudrait déjà virer la moitié des sections Projets et Entraides, et trier Zut.
Mais la sauvegarde d'un forum, ça dure jusqu'à quand ?

_________________
côt.
Revenir en haut Aller en bas
Térence
Utilisateur confirmé: Rang *****
Térence

Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyDim 26 Oct 2014 - 18:51

Bah franchement je vois pas pourquoi faudrait choisir les topics à garder. Déjà je vois pas trop qui ici a le temps pour trier les topics, et selon quels critères ? Si on garde que les projets qui ont aboutis, bah ien aura moins d'une dizaine...
En plus le forum est quand même pas énorme, et ca doit pas peser des tonnes, donc autant tout copier.
Si on veut faire un vrai tri bah franchement autant rien importer et chacun recréé ses topics pour ses projets et tout...
C'est quand même con, le but d'un forum c'est de pouvoir trouver ce que tu cherche rapidement, donc forcément, faut qu'il y ai du contenu... Et meme si ia beaucoup de *****, je vois pas qui ca gène. Toutes nos discussions sont sérieuses, à part OMA, on est pas sur jv.com...

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
Linky439
Utilisateur confirmé: Rang *****
Linky439

Messages : 2634
Localisation : Sur le forum du CBNA...ou pas
Projet Actuel : La Galaxie Scellée

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyDim 26 Oct 2014 - 19:28

Du moment qu'on garde le topic du super MMORPG sur l'histoire et la préhistoire...(featuring des squelettes en plus je crois)

_________________
Cliquez pour accéder aux topics dédiés !
Infos statut du forum (Partie 4) - Page 19 I4AWwEs    Infos statut du forum (Partie 4) - Page 19 CaVn0FN
Revenir en haut Aller en bas
Sekigo Le Magnifique
Utilisateur confirmé: Rang *****
Sekigo Le Magnifique

Messages : 1720

Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyLun 27 Oct 2014 - 21:07

Je n'ai pas parlé de filtrer de manière pro-active plus haut.
Mais la question des droits se posent et il me semble logique de demander à chacun si il souhaite ou non voir ses messages diffusés ailleurs (sur un hypothétique nouveau forum).

J'ai un petit peu avancé hier soir, mais pas autant que je le voulais. J'ai dumpé les utilisateurs, les sections et j'ai bien attaqué les threads.
Au passage, c'est bien relou parce qu'il n'y a aucune notion de sémantique dans le html de forumactif, et j'ai aussi découvert que l'encodage était Windows-1252 \o/. Comme la console de ***** de windows.
Mais je pense que le code, surtout avec le CBNA, doit être bien legacy.

Aujourd'hui, j'ai pas eu le courage de coder, j'ai eu une journée bien chiante avec des tas de micros-problèmes à résoudre et aucune envie de coder en rentrant (j'ai essayé, mais j'arrivais à rien). Je continuerai demain.

Je continue à vous tenir au courant.
Et pour l'instant, mon IP est pas banni. Je n'utilise pas les threads, que du séquentiel, ceci dit.
Et j'ai pas eu les pages blanches.
Revenir en haut Aller en bas
http://s2.noelshack.com/old/up/gmzonecbna-3cfbc56d25.jpg
Invité
Invité



Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 EmptyLun 27 Oct 2014 - 22:13

oh mon dieu... j'espère que mes posts de l'époque n'ont pas été archivés... p
Revenir en haut Aller en bas
Contenu sponsorisé




Infos statut du forum (Partie 4) - Page 19 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 19 Empty

Revenir en haut Aller en bas
 
Infos statut du forum (Partie 4)
Revenir en haut 
Page 19 sur 22Aller à la page : Précédent  1 ... 11 ... 18, 19, 20, 21, 22  Suivant
 Sujets similaires
-
» Infos sur le forum
» demande d'infos sur les langes?????
» recherche sur le statut des régions en Europe
» PARDON!!! Mrs LES ADMINISTRATEURS laissez ce forum neutre
» Syndic des gens de mer

Permission de ce forum:Vous ne pouvez pas répondre aux sujets dans ce forum
Forum Le CBNA :: Informations :: Le CBNA-
Sauter vers: