Création grosse base de données

[zarzon56]

Bonjour,
Je tente de créer un page pointant sur des données MySQL.
Le problème est la lenteur d'accès et l'impossibilité de créer de nouvelles entrées .
A priori la base semble trop importante ( + de 60 000 entrées crées avec le plug in sobipro via l'outil d'import csv)
Y à t'il une solution pour optimiser la BD ou bien existe t'il un autre outil pour créer cette base?
La page : http://hortus-botanique.fr/index.php...base-botanique

Cdlt,
Stéphane Carrey

[jisse03]

Re : Création grosse base de données

Bonjour,

La table possède t-elle des index sur les champs servant de critères de tri ?
Le résultat est-il paginé, puisque 60.000 entrées dans une seule page de navigateur, c'est à la fois inexploitable et d'une lenteur extrême pour que le navigateur réalise le parsing du tout.

[webcrea]

Re : Création grosse base de données

dans phpmyadmin tu peux importer le csv et s'il ne passe pas d'un coup tu le tronçonnes en plusieurs fichiers csv

[jisse03]

Re : Création grosse base de données

dans phpmyadmin tu peux importer le csv et s'il ne passe pas d'un coup tu le tronçonnes en plusieurs fichiers csv

A priori, il a du réussir l'import, c'est en gestion que ça semble ramer un max.

Sans des infos précises sur la structure de la table, dur de savoir ce qui peut être optimisé.

[zarzon56]

Re : Création grosse base de données

Pour l'import c'est ok jusqu'à la limite des 60 0000entrées, après ça bloque. Les index sont créés automatiquement via sobipro et j'ai lancé la commande d'optimisation de la table concernée mais sans gain significatif.
en pj une copie d'un partie de la structure de tables
SC

[jisse03]

Re : Création grosse base de données

Hum.

Si ça bloque au delà de 60.000 entrées en CSV, il faut soit découper le CSV (parce que dépassement de la taille maximale autorisée par le serveur) et importer par lot de 50.000 ou 60.000, soit procéder autrement.

L'image montre une liste de tables, mais pas celle qui sera remplie par le CSV, c'est la structure de cette seule table qui est intéressante.

[webcrea]

Re : Création grosse base de données

Peux tu nous montrer plutôt la structure de la table et si possible une image plus grande parce que même en faisant le yeux de fouine je ne vois rien...

est-ce qu'il y a des champs type text ?

[zarzon56]

Re : Création grosse base de données

J'ai importé les 60 000 entrées par tranches de 10 000
Je fais une copie d'écrans de la structure ...

[jisse03]

Re : Création grosse base de données

Il vaudrait mieux exporter en mode texte la structure de la table via phpMyAdmin, c'ets bien plus simple à lire et commenter.

[zarzon56]

Re : Création grosse base de données

base.txtstucture d'une des tables

[jisse03]

Re : Création grosse base de données

Grrrrrrr

Quand on dit copier-coller, ça ne veut pas dire pièce jointe, mais coller dans le forum, entre balises [ code ] [ /code ] (sans espaces), le résultat.

On ne peut pas télécharger des milliers de pièces jointes juste pour aider. Il faut être raisonnable.

[zarzon56]

Re : Création grosse base de données

vizsh_sobipro_field_data
Colonne 	Type 	Null 	Défaut 	Commentaires 	MIME
publishUp 	datetime 	Oui  	NULL  	  	 
publishDown 	datetime 	Oui  	NULL  	  	 
fid 	int(11) 	Non  	0  	  	 
sid 	int(11) 	Non  	0  	  	 
section 	int(11) 	Non  	0  	  	 
lang 	varchar(50) 	Non  	  	  	 
enabled 	tinyint(1) 	Non  	  	  	 
params 	text 	Oui  	NULL  	  	 
options 	text 	Oui  	NULL  	  	 
baseData 	text 	Oui  	NULL  	  	 
approved 	tinyint(1) 	Oui  	NULL  	  	 
confirmed 	tinyint(1) 	Oui  	NULL  	  	 
createdTime 	datetime 	Oui  	NULL  	  	 
createdBy 	int(11) 	Oui  	NULL  	  	 
createdIP 	varchar(15) 	Oui  	NULL  	  	 
updatedTime 	datetime 	Oui  	NULL  	  	 
updatedBy 	int(11) 	Oui  	NULL  	  	 
updatedIP 	varchar(15) 	Oui  	NULL  	  	 
copy 	tinyint(1) 	Non  	0  	  	 
editLimit 	int(11) 	Oui  	NULL  	  	 
IndexDocumentation
Nom de l'index	Type	Unique	Compressé	Colonne	Cardinalité	Interclassement	Null	Commentaire
PRIMARY	BTREE	Oui	Non	fid		A	Non	
section		A	Non
lang		A	Non
sid		A	Non
copy	1133570	A	Non
enabled	BTREE	Non	Non	enabled	1	A	Non	
copy	BTREE	Non	Non	copy	1	A	Non	


Espace utilisé:
Données 	109 k 	Kio
Index 	35  678 	Kio
Total 	145 k 	Kio
	  	Statistiques:
Format 	dynamique
Lignes 	1  133  570
Longueur de ligne ø 	98
Taille de la ligne ø 	131 o
Création 	Jeu 26 Septembre 2013 à 08:02
Dernière modification 	Jeu 26 Septembre 2013 à 08:04
Dernière vérification 	Jeu 26 Septembre 2013 à 08:04

[jisse03]

Re : Création grosse base de données

Avec ce type de structure, et le relativement faible nombre d'enregistrements, il ne devrait pas y avoir d'impact sur les performances, tout au moins si le rendu des données est paginé.