iCagenda : une solution pour importer depuis un fichier CSV (ou autre) ?

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • woluweb
    a répondu
    Merci à tous pour votre aide et vos réflexions !

    Pour résumer :

    1. La génération de la requête SQL à partir du fichier Excel, ça c'était déjà réglé (cfr supra). Comme on ne touche qu'à une seule table, pas de trop grande complexité (pas besoin de connaître l'ID d'un lieu, l'ID d'une catégorie etc qui seraient sur d'autres tables).

    2. Pour exécuter le query
    2.1. Ma 1e piste était d'inviter l'utilisateur à accéder à PHPMyAdmin, cliquer sur l'onglet SQL, y coller le query et cliquer sur Execute
    2.2. Puis a été émise l'idée de faire plus simple : juste un fichier .sql à uploader par ftp
    2.2.1. J'avais émis l'idée qu'on puisse le faire à partir de Extensions > Database > Fix puisqu'il "voit" mon .sql, mais comme expliqué ci-dessus ce n'est pas conçu pour ça et ça ne marche donc pas
    2.2.2. Le but n'était pas de faire de l'overkill et de créer une vraie-fausse extension juste pour ça
    2.2.3 Et la solution était donc simplement de faire un petit fichier PHP mis à la racine du site (ou ailleurs) qui, appelé en direct ou par tâche CRON, exécute le query. Et bien moi qui d'ordinaire ne fait ni PHP ni SQL, voilà que je progresse à grands pas Voici ci-dessous ma petite solution :

    Code:
    <?php
    
    echo "<h1>This will import your iCagenda events</h1>";
    
    define('_JEXEC', 1);    
    define('JPATH_BASE', realpath(dirname(__FILE__) . '/'));
    require_once JPATH_BASE . '/includes/defines.php';
    require_once JPATH_BASE . '/includes/framework.php';
    
    $db   = JFactory::getDBO();
    $query = file_get_contents('icagenda.sql');
    $db->setQuery($query);
    $db->execute();
    
    echo "<p>iCagenda events imported :)</p>";
    echo '<p><a href="/administrator/index.php?option=com_icagenda&view=events">Please check the backend of your site</a></p>';
    
    ?>
    Testé et ça marche
    Encore merci à tous de m'avoir mis sur la piste de la solution la plus simple/légère avec toutes les suggestions !

    PS : il y a effectivement une soumission front-end, mais ils injectent genre un millier d'événements par an... et justement ils n'ont pas le temps de suivre vu que c'est du bénévolat. Au moins, comme ça ils peuvent plus facilement créer d'un coup une centaine d'événements...
    Dernière édition par woluweb à 14/09/2019, 14h03

    Laisser un commentaire:


  • RobertG
    a répondu
    Je viens d'installer iCagenda sur un site de test, et il y a bien une fonction frontend pour proposer un événement. Quoi de plus simple ?

    Laisser un commentaire:


  • roland_d_alsace
    a répondu
    Hello.

    J'avais aussi étudié le système avec un autre composant événementiel bien connu, mais l'import sur la base d'un simple csv m'a vite paru impossible à cause des dépendances et contraintes :
    • comment trouver l'id de l'agenda ou de la catégorie d’événements
    • comment retrouver les évènements déjà créés qui auraient subit des modifications afin d'éviter de créer des doublons
      (modification de l'intitulé par exemple, et ceci soit dans la source comme dans la destination),
    • comment trouver l'id du lieu
    • comment trouver l'id du formulaire d'inscription adéquat
    • etc...
    Rien qu'à cause des 2 premières, j'ai été amené à écrire une extension spécifique pour faire l'import avec une table de correspondance (en paramètre du composant) pour toutes ces informations (mapping). Dans mon cas le csv provient d'un webservice, du coup j'ai pu automatiser totalement la procédure.

    Pour compléter les propos de RobertG que je rejoins tout à fait (juste dans le post précédent), sur d'autres sites mes éditeurs créent chacun leurs événements (ici dans entrainements ou des sorties aux compétitions), ceci en front grâce aux ACL (Rien que pour les ACL je ne dirais jamais assez merci à Joomla !).
    Mais cela ne correspond pas forcement à la demande qui doit concerner un volume important d’évènements à importer je suppose.
    Dernière édition par roland_d_alsace à 14/09/2019, 10h22

    Laisser un commentaire:


  • RobertG
    a répondu
    Bonjour,

    Je rejoins daneel concernant la complexité de l'opération Excel, CSV, SQL puis import qui va demander toute une série d'interventions manuelles, l'utilisation du composant de mise à jour nécessitant qu'un administrateur, informé de la nouvelle version, aille déclencher cette mise à jour.
    L'idée d'un script PHP lancé par cron, dont il a été parlé plus haut, me paraît plus simple, mais la saisie directe sur le site serait encore plus simple : ne connaissant pas iCagenda, je ne sais pas si c'est possible depuis le frontend, mais en jouant sur les ACL, un accès limité à ce composant pour ajouter des infos depuis l'administration doit être possible.

    Laisser un commentaire:


  • roland_d_alsace
    a répondu
    Envoyé par lefabdu51 Voir le message
    salut, une idée
    pourquoi ne pas créer un dossier avec un manifest et utiliser le com_installer (onglet extension > installation) pour installer le fichier sql ?
    tu crées un dossier contenant les éléments d'installation dont le fichier sql à uploader.
    tu crées le zip avec le contenu.
    Et tu passe par l'installeur d extensions.....
    C'est un moyen simple d'importer du sql.
    Vu que ce n'est qu un import sql tu ne laisse aucune trace dans Joomla, donc tu n as rien a changer dans tes dossiers, sauf le contenu du fichier sql.
    C'est ce que je disais, juste au dessus... :
    "Si tu veux utiliser cette technique, il te faut faire une petite extension à toi..."

    Mais cela laisse "des traces" obligatoirement, dans #__schemas, sinon l'installateur ne pourrait pas traiter les numéros de version des fichiers sql à prendre en compte.

    Laisser un commentaire:


  • lefabdu51
    a répondu
    salut, une idée
    pourquoi ne pas créer un dossier avec un manifest et utiliser le com_installer (onglet extension > installation) pour installer le fichier sql ?
    tu crées un dossier contenant les éléments d'installation dont le fichier sql à uploader.
    tu crées le zip avec le contenu.
    Et tu passe par l'installeur d extensions.....
    C'est un moyen simple d'importer du sql.
    Vu que ce n'est qu un import sql tu ne laisse aucune trace dans Joomla, donc tu n as rien a changer dans tes dossiers, sauf le contenu du fichier sql.

    Laisser un commentaire:


  • roland_d_alsace
    a répondu
    Envoyé par woluweb Voir le message
    ...il y a peut-être moyen de faire fonctionner ma piste de mettre le sql /www/administrator/components/com_admin/sql/updates/mysql et puis dans Joomla de cliquer sur "fix database".

    J'avais changé le nom de ma table de

    ...

    Cliquer sur "fix database' donne le message vert de confirmation... mais je ne vois pas de changement effectif.
    Cela ne peux pas marcher ainsi, il faut qu'il y ait une incohérence entre la version du fichier sql de update/sql et le numéro de version de l'extension figurant dans la table #__schemas.
    En général id dans la table extension = 700 (extension_id dans #__schemas et dans #__extensions pour "files_joomla") pour identifier le framework de Joomla et donc la version de ses tables.

    Actuellement si ton site est à jour on trouve 3.9.10-2019-07-09 dans la rubrique version_id dans la table #__schemas pour extension_id = 700 et 3.9.10-2019-07-09.sql est bien le dernier sql dans le dossier ../update/sql/mysql de l'admin.
    Joomla ne trouvera donc pas d’incohérence dans la structure de la base pour le core.

    De plus c'est risqué de jouer ainsi avec le core.

    Si tu veux utiliser cette technique, il te faut faire une petite extension à toi et changer à chaque fois le numéro de version dans le fichier xml "manifest" de ton extension tout en créant un nouveau fichier sql "update" pour que l’installateur de Joomla mette le numéro de version de l'extension et le numéro de version des tables associé à cette version de l'extension à jour et exécute éventuellement tous les fichiers sql nécessaires qui seraient présents dans le dossier sql/update/.. dans la partie admin de l'extension.
    Dernière édition par roland_d_alsace à 13/09/2019, 11h32

    Laisser un commentaire:


  • daneel
    a répondu
    Salut,

    autre solution : tu as une documentation de joomla.org sur le développement d'un composant avec import CSV ou xlsx

    models / helloimport.php
    Code PHP:

    $colnames    
    = array("id""asset_id""ordering"); // nom des colonnes, liste à compléter...
    $table    $db->quoteName('#__icagenda_events'); // nom de la table 




    Laisser un commentaire:


  • woluweb
    a répondu
    Merci lefabdu51 , bonne idée la tâche cron sur la requête SQL
    Mais j'ai jamais fait ça par contre.
    Tu aurais un exemple de fichier sql ? Peut-on lancer le fichier sql directement depuis la tâche cron ou faut-il p ex un fichier PHP qui va appeler le sql ?

    Note : il y a peut-être moyen de faire fonctionner ma piste de mettre le sql /www/administrator/components/com_admin/sql/updates/mysql et puis dans Joomla de cliquer sur "fix database".

    J'avais changé le nom de ma table de

    Code:
    INSERT INTO `srhoq_icagenda_events` (`id`, `asset_id`, `ordering`, `state`, `approval`, `site_itemid`, `checked_out`, `checked_out_time`, `title`, `alias`, `access`, `language`, `hits`, `created`, `created_by`, `created_by_alias`, `created_by_email`, `modified`, `modified_by`, `username`, `catid`, `image`, `file`, `displaytime`, `weekdays`, `daystime`, `startdate`, `enddate`, `period`, `dates`, `next`, `time`, `place`, `website`, `email`, `phone`, `name`, `city`, `country`, `address`, `coordinate`, `lat`, `lng`, `shortdesc`, `desc`, `metadesc`, `params`) VALUES ('', 0, 0, 1, 1, 613, 0, '0000-00-00 00:00:00', 'Test Marc 1', 'testmarc1', 1, '*', 1, '2019-09-11 13:04:48', 0, '', 'marc@woluweb.be', '0000-00-00 00:00:00', 0, 'Test Events', 1, 'images/icagenda/frontend/images/cloudy-field-280x244-2.jpg', '', 1, '', '', '2019-11-30 20:00:00', '2019-11-30 21:00:00', 'a:1:{i:0;s:16:\"2019-11-30 20:00\";}', 'a:1:{i:0;s:16:\"0000-00-00 00:00\";}', '2019-11-30 20:00:00', '', 'The place to be', 'https://www.google.com', 'test@test.com', '32475123456', '', '', '', '', '', 0.0000000000000000, 0.0000000000000000, '', '<p>Text</p>', '', ''),('', 0, 0, 1, 1, 613, 0, '0000-00-00 00:00:00', 'Test Marc 2', 'testmarc2', 1, '*', 1, '2019-09-11 13:04:48', 0, '', 'marc@woluweb.be', '0000-00-00 00:00:00', 0, 'Test Events', 1, 'images/icagenda/frontend/images/cloudy-field-280x244-2.jpg', '', 1, '', '', '2019-12-30 22:00:00', '2019-12-30 23:00:00', 'a:1:{i:0;s:16:\"2019-12-30 22:00\";}', 'a:1:{i:0;s:16:\"0000-00-00 00:00\";}', '2019-12-30 22:00:00', '', 'The place to be', 'https://www.google.com', 'test@test.com', '32475123456', '', '', '', '', '', 0.0000000000000000, 0.0000000000000000, '', '<p>Text</p>', '', '');
    en
    Code:
    INSERT INTO `#__icagenda_events`
    Cliquer sur "fix database' donne le message vert de confirmation... mais je ne vois pas de changement effectif.

    Laisser un commentaire:


  • lefabdu51
    a répondu
    Et pourquoi pas un script d'import sql via une tache cron toutes les heures ?
    comme ca, tu as juste a exporter ton fichier directement au format csv au lieu de passer par le format excel....

    note: un export csv ne concernes que la premiere feuille. On ne peut exporter de fichiers avec plusieures.
    et a le placer au bon endroit avec filezilla.

    Grace a la tache cron, tu est sur de l'import des modifs...

    Automatiser au max, ca permet de gagner du temps et faire autre chose.
    Dernière édition par lefabdu51 à 13/09/2019, 07h47

    Laisser un commentaire:


  • woluweb
    a répondu
    Merci à tous pour les suggestions.

    daneel figure-toi que j'avais justement pris contact avec Roland Dalmulder. il m'a confirmé que RO CSVI n'intègre pas iCagenda (mais bien d'autres composants)... mais qu'on peut évidemment faire du sur mesure.

    Bref, pour mon petit cas, j'ai testé la piste du fichier Excel :
    La personne saisit ses données sur l'onglet 1.
    Sur l'onglet 2, je manipule les données, par exemple pour ajouter les ' ' autour des valeurs qui l'exigent etc, pour faire un regex pour créer un alias etc
    En fin de chaque ligne, j'ajoute une formule qui concatène l'ensemble des champs pour un item (événement) :
    Code:
    ="("&JOINDRE.TEXTE(", ";FAUX;'output table'!A2:AU2)&")"
    Puis, je n'ai plus qu'à concaténer
    1. le INSERT INTO (...) avec
    2. avec la concaténation de tous les items
    Code:
    =SUBSTITUE(B1&" "&JOINDRE.TEXTE(",";VRAI;C:C)&";";CAR(160);CAR(32))
    Avec une grosse subtilité : Excel utilise un autre "espace" que l'espace dont on a besoin dans PHPMyAdmin, donc je substitue car(160) par car(32)

    Bref, au final l'utilisateur
    a. saisit ses données dans Excel
    b. copie une cellule finale
    c. clique sur le lien PHPMyAdmin qui le mène directement dans sa bdd, où il clique sur l'onglet SQL, colle le query et clique sur Execute

    Voilà pour le process.

    PS : j'avais tenté de mettre le query dans un fichier .sql à uploader dans /www/administrator/components/com_admin/sql/updates/mysql
    En effet, alors la "mise à jour" apparaît dans /administrator/index.php?option=com_installer&view=database
    ... mais quand je clique sur le bouton "Fix" dans Joomla, rien ne change dans mes tables
    Est-ce qu'il y a une subtilité pour faire marcher cela ? Cela éviterait de passer par PHPMyAdmin

    Laisser un commentaire:


  • daneel
    a répondu
    Envoyé par elecoest Voir le message
    Avec des ordres INSERT tu devrais t'en sortir très facilement.
    Bonjour,

    Cela me semble compliqué pour un utilisateur lambda de faire le traitement sous excel puis d'exporter en sql pour l'inserer dans un repertoire du site ou alors je n'ai pas tout compris.

    Pour répondre à la question initiale, en importation de CSV, on n'a pas le droit à l'erreur car on risque d'endommager la table des evenements.
    tout dépend des délimitations, du format du fichier pour les accents (UTF-8 ?)
    On peut très bien se retrouver avec des décalages ou un mauvais format de date, etc.

    Il est possible de développer un bouton d'import en backend ou front sans toucher au code du composant icagenda mais ce n'est pas gratuit.
    Tu peux toujours faire une demande sur le forum : https://forum.joomla.fr/forum/ressou...nde-de-service ou sur un site spécialisé.

    Bien que prévu pour d'autres composants, CSVImproved de RolandD (aujourd'hui RO CSVI) permet de définir un template personnalisé import/export avec toutes les vérifications nécessaires.
    Il est capable d'importer un fichier CSV quotidiennement (via un cron job) mais le coût du composant le destine à une opération régulière. Cela peut également servir de comparaison à un développement spécifique.



    Si c'est occasionnel, je préconise phpmyadmin, capable également d'importer du csv en tenant compte bien évidemment des erreurs possibles donc agir avec prudence (sauvegarde, vérification...). Ne pas oublier également d'importer également les catégories d’événements définis dans une autre table.






    Dernière édition par daneel à 09/09/2019, 12h28

    Laisser un commentaire:


  • elecoest
    a répondu
    Le modèle icagenda est très simple.

    Avec des ordres INSERT tu devrais t'en sortir très facilement.

    Manu

    Laisser un commentaire:


  • cavo789
    a répondu
    Bonsoir

    Oui, l'auto-increment est un nombre qui est géré tout seul pour le système. On l'ignore complètement dans l'instruction SQL.

    Pour ta question "mettre le fichier sql par ftp dans le dossier où joomla met ses updates sql ?" je n'en ai pas la moindre idée; je ne sais pas trop comment Joomla gère cela mais oui, c'est une bonne piste puisque les sites d'exemple de Joomla se font en effet ainsi.

    Si tu as besoin d'un coup de main en Excel, contacte-moi.

    Bonne soirée.

    Laisser un commentaire:


  • RobertG
    a répondu
    Pour l'ID, il suffit de laisser le champ vide : l'insertion de la ligne créera cet ID automatiquement.

    Laisser un commentaire:

Annonce

Réduire
Aucune annonce pour le moment.

Partenaire de l'association

Réduire

Hébergeur Web PlanetHoster
Travaille ...
X