Unicode DASH n'a pas été enregistré depuis Kunena

[ZerooCool]

Unicode DASH n'a pas été enregistré depuis Kunena
Pourtant, ils s'affichent depuis la page d'accueil.

Les caractères unicode peuvent être utilisés avec l'encodage de caractères UTF8MB4. Unicode Character 'DASH SYMBOL' (U+1F4A8) :

Je constate le même problème sur le forum de l'AFUJ.

L'ajout du symbole DASH va créer une cesure à la suite du caractère et entraîner une perte de contenu lors de l'enregistrement.

[woluweb]

Salut Bernard ZerooCool

Ton message était un peu abscon (au moins aussi abscon que le mot abscon lui-même )

Je vois que tu viens de poster ceci sur le Facebook joomla.fr / afuj.
Je le mets ici, ce sera plus utile.

Sinon, as-tu un petit screencast du problème que tu évoques ?
Merci !

 [TABLE="border: 0, cellpadding: 0, cellspacing: 0"]
[TR]
[TD] 			[TABLE="border: 0, cellpadding: 0, cellspacing: 0"]
[TR]
[TD][URL="https://www.facebook.com/n/?contact.bernard.bass&aref=1570540042696278&medium=email&mid=594658fc3b384G4be261fbG59465d959b656G2ab&bcode=2.1570540046.Abzc43HMJ36mULOM04g&n_m=test2%40woluweb.be&lloc=image"][B]Bernard Bass[/B][/URL][/TD]
 					[/TR]
[TR]
[TD]8 octobre, 15:07[/TD]
 					[/TR]
[/TABLE]
[/TD]
 		[/TR]
[TR]
[TD] [/TD]
 		[/TR]
[TR]
[TD]Qui est en charge de la maintenance du forum de l'AFUJ ? Quel est le système de base de données utilisé ? MySQL / MariaDB, ou, autre ?

			Si MySQL/MariaDB, la BDD du forum ne sait pas stocker certains caractères, ce qui entraîne une césure et perte de données.

			Vérifier que la base de données soit en :
			utf8mb4 / utfmb4_unicode_ci

			Un script pour faire un test de conversion de la BDD :
[URL="https://l.facebook.com/l.php?u=https%3A%2F%2Fgithub.com%2FZerooCool%2Fcharset-utf8mb4-collation-utf8mb4_unicode_ci-mysql-mariadb%2Fblob%2Fmaster%2Futf8-utf8mb4.sh&h=AT0erdEYXsGzz9CpPcgt6AcCXQBFNMLYLjxJ-NssiOi_3tghSUGn4p2HqKBocpdoWNnZ5PfNPDDDZWYgBCCqp1oPwVP7YqAqmVUxw_YIFdsedFvASihA-KMjMNmlhLeMxyIGmdURqLHv"]https://github.com/ZerooCool/charset-utf8mb4-collation-utf8mb4_unicode_ci-mysql-mariadb/blob/master/utf8-utf8mb4.sh[/URL][/TD]
 		[/TR]
[/TABLE]

[daneel]

Salut Marc et Bonjour Bernard,

Quel rapport ?

Tous les forums sont bridés dans la saisie, il y a des petits bbcode pour agrémenter mais on ne va pas plus loin. Donc l'éditeur sera forcément limité.
typographie, caractère spécifique... on oublie... la preuve, tu oublie même de dire "bonjour", donc pourquoi on se casserait la tête à afficher un tiret demi-quadratin (un exemple parmi d'autres) sur un forum. ?

De plus, l'unicode n'est pas utilisé systématiquement et j'ai même commenté le fait que la mise à jour du forum de joomla.fr incluait à mon grand regret ces caractères.

Je suis contre l'unicode, tout simplement je considère que c'est bien pour les caractères cyrilliques mais dans le partage d'url, les caractères accentués sont convertis en d'horribles codes. Bref, à éviter autant que possible !

[cavo789]

Bonjour

Sur un serveur SQL Server, si on veut stocker de l'unicode, il faut changer les champs de type varchar() vers nvarchar() et la taille de champs champs est ainsi multipliée par deux.

Sur un forum aussi vieux que le nôtre (plus de quinze ans?) s'il fallait multiplier par, presque, deux la taille de la base de données cela coûterait cher pour ajouter un petit emoji ici et là alors, même, que vBulletin (n'oublions pas que nous utilisons un logiciel précis et que nous l'utilisons dans le cadre de ce qui est offert par ce dernier) supporte parfaitement les smileys qui sont des petits codes ASCII remplacé à la volée par une petite face jaune.

Nous utilisons des caractères européens et nous n'avons pas pour vocation de permettre d'afficher du chinois, de l'égyptien, du cyrilique, ... aussi l'intérêt de la manœuvre est non fondé.

Bonne journée.

[ZerooCool]

woluweb : concernant mon message abscon c'est que j'ai justement perdu le contenu du message que je postais sur le forum AFUJ du fait de l'icone placé au début du texte qui n'a pas été enregistrée et qui provoque alors une perte de données.

La, je venais de rédiger une réponse concernant Unicode, sa dernière version de mars 2019, l'usage du classement notamment pour le S allemand, et, l'intérêt de l'UTF8MB4, et, c'est le délai de session du forum qui m'a fait perdre une réponse de qualité et sourcée, mais bon, si cela n'intéresse personne, en estimant que cela n'est pas important, on peut rapidement faire l'impasse dessus, plutôt que de faire semblant de vouloir faire les choses correctement. C'est comme le bonjour qui se voudrait être sincère et une preuve de politesse, quand on voit les commentaires déplacés qui sont fait pour piquer avec le bonjour, cela ne donne pas envie de dire bonjour, que ce soit claire une fois pour toute ! Je porte les séquelles de la bienveillances française, et vous le savez ! Ne jouez pas d'avantage aux hypocrites avec le bonjour !

Pour ma part, je venais relever un problème technique, pour améliorer le forum, pas pour subir des pics malvenus et qui ne sont pas bienveillants mais qui tiennent d'avantage de la provocation, et, de ce fait, on est très loin du sens d'origine du " bonjour ".

C'est un développeur de la communauté de Gitea qui m'a fortement conseillé de ne pas faire l'impasse sur utf8mb4, surement qu'un serveur Git doit être mieux configuré pour répondre correctement aux besoins lorsque l'on versionne des sources, pour éviter les pertes de données. Le forum de la communauté Joomla n'a peut être pas le même besoin de rigueur, car, des pertes de données dans le cas du versionnage seraient dramatiques, alors que sur un forum, on va considérer cela acceptable, même si des erreurs sont affichées dans les commentaires de la part des responsables, qui vont à l'encontre des règles de bonnes pratiques énoncées par de nombreux autres développeurs et gestionnaires de bases de données.

L'allemagne, c'est à côté de la France, vous savez ? C'est même pas très loin de la Belgique, dès lors, je vous encourage à relire l'intérêt de l'unicode, pour le classement du S allemand, lors d'un tri, et, personnellement, je ne trouve pas cela anodin. Certes, il y a d'autres jeux de caractères qui supportent le S allemand, mais, le tri ne placera pas forcément le S allemand en tant que équivalent au " s " français.

On apprendra aussi que Mediawiki a traité le problème de l'UTF8MB4, en 2017, si je ne me trompe pas, et, qu'il est résolu et intégré depuis.

La première raison qui m'avait poussé à ouvrir un post sur ce sujet, j'ai surtout été étonné de constater que je pouvais enregistrer les caractères sur mon Joomla via un article, mais que Kunena, lui, me refusait les mêmes caractères. C'est un comportement incohérent en rapport avec ce qui est censé nous intéresser ici, l'outil Joomla et l'un de ses composants Kunena.

Je venais poster pour cette question, et, j'ai testé d'enregistrer le code sur le forum, pour donner cet image Unicode en exemple, puis, la description du problème, mais, le message a été totalement perdu du fait de ce caractère et de la perte d'information qui s'en suit. C'est donc un problème sérieux, quand on administre une base de données, quoi que l'on me dira.

Au final, que utf8mb4 puisse nécessiter un espace de stockage plus important, c'est une chose ...

Mais, répondre que l'on ne s'intéresse pas aux possiblités offertes par utf8mb4 pour des questions de stockage ( et de capacité de requête ce que je comprend ) , alors que, sans uf8mb4, on obtient tout de même des risques de pertes de données lors de l'enregistrement du message, et, sans aucune forme d'avertissement ... c'est comme penser que 10 min de session, ça peut suffir sur un forum, et tant pis si une fenêtre s'affiche alors régulièrement pour indiquer la perte de connexion, comme c'est le cas sur le forum de l'AFUJ, ce qui la encore, entraîne très souvent la perte du message et un usage utilisateur dégradé. ( Et aurevoir ! )

La seule façon de soutenir pleinement la norme UTF-8 est de changer le jeu de caractères et la collation de TOUTES les tables et de la base de données à utf8mb4 et utf8mb4_unicode_ci en comprennant qu'il va traiter le ß comme ss et utilise la norme DIN-1 tri, même si il traite Müller et Muller de la même façon, cela peut être trié par après si cela est dérangeant mais cela peut être une bonne chose lorsque vous devez effectuer des requêtes sur des mots.

Pour conclure, et, pour ceux qui s'intéressent à ce problème sérieusement, le script suivant permettra de convertir UTF8 vers UTF8MB4 sur mysql et mariadb.
Je n'ai pas le plaisir d'utiliser d'autres bases de données. Le script ne pourra pas servir à tout le monde, néanmoins, il est parfaitement fonctionnel, complet, et, commenté. -> https://github.com/ZerooCool/charset...tf8-utf8mb4.sh

[ZerooCool]

A woluweb, si tu veux tester par toi même, tu peux consulter l'icône à la 5ème ligne de ce paragraphe :
https://wiki.***********.fr/index.ph...8_vers_UTF8MB4

Ensuite, tu peux copier les 6 premières lignes, et, les coller ici, sur le forum de l'AFUJ, pour tester.
Tu comprendras immédiatement le problème.

Si le lien que je donne ne fonctionne pas, c'est que la censure en place refuse le partage de travaux de recherches. ( 5 jours, pour ma part, pour réviser, tester, lire, et, faire diverses installations en production et en local, pour traiter le sujet de Gitea et utf8mb4, et, en testant d'autres sites communautaires, pour voir si le utf8mb4 est bien mis en place. En fait, ce forum est l'un des rares ou cela ne fonctionne pas. Je trouve donc les explications données un peu obsolètes, car, la plupart des communautés de développeurs l'ont bien intégré sur leurs outils. Ma publication initiale avait vocation à améliorer le forum, et, pas à voir cette proposition être minimisée, sûrement à tord.

Pour ma part, j'ai signalé ce problème, et, j'estime qu'il est regrétable de ne pas prendre en compte l'ensemble des caractères unicode, si ce n'est que pour éviter la perte de données lors d'une publication ce qui, de ce fait, rendra le forum plus stable pour l'utilisateur final. Maintenant, cela pourra être pris en compte par d'autres, sur d'autres projets, et, le script partagé précédemment permettra sûrement à plus d'une personne de corriger une base créée en utf8mb3, et, d'utiliser utf8mb4_unicode_ci car il est préférable de suivre la norme utf correctement et en utilisant tout son potentiel avec utf8mb4.

Les espaces de stockage sont suffisamment conséquents pour permettre ce luxe, les connexions réseaux également, tout comme la puissance des serveurs.

[woluweb]

Pour faire bref :
- si j'avais un petit forum à moi et multilingue, je le mettrais sans doute sur unicode si mes utilisateurs avaient pour habitude d'utiliser ces caractères spéciaux
- mais là comme expliqué il y a une database immmmmense et ça ne fait pas de sens de la doubler juste pour pouvoir mettre un wooosch p ex

C'est rien de personnel, juste une décision pragmatique.

[daneel]

C'est comme le bonjour qui se voudrait être sincère et une preuve de politesse, quand on voit les commentaires déplacés qui sont fait pour piquer avec le bonjour, cela ne donne pas envie de dire bonjour, que ce soit claire une fois pour toute ! Je porte les séquelles de la bienveillances française, et vous le savez ! Ne jouez pas d'avantage aux hypocrites avec le bonjour !

Pour ma part, je venais relever un problème technique, pour améliorer le forum, pas pour subir des pics malvenus et qui ne sont pas bienveillants mais qui tiennent d'avantage de la provocation, et, de ce fait, on est très loin du sens d'origine du " bonjour ".

Bonjour Bernard,

Désolé, j'ai eu quelques difficultés à suivre avec ce que je traverse en moment (d'où l'absence de réponse depuis plusieurs jours). Ce n'était qu'une rare pointe d'ironie de ma part mais pas de provocation. Si tu lis mes messages, cela doit être l'un des rares moment où je me suis écarté. Car tu te permet de critiquer (ici et sur fb) et de faire une forme de procès au lieu de comprendre les choix des autres. Tu semble oublier que c'est très agressif quand on ne met pas les formes aux questions (tout comme ceux qui ajoute le terme URGENT ou rédigé sous forme de sms). Encore heureux que l'on ne se vexe pas pour autant. Bref, rien de personnel, on a bien compris ton raisonnement. Et je déteste l'hypocrisie.

Ce forum fonctionne sous vbulletin pour des raisons historiques car à l'époque de la première version de joomla, il y a peu de forum indépendant pouvant gérer un nombre important d'utilisateurs et de messages (et encore moins en extension de joomla). Les versions de vbulletin ont été suivis par des bénévoles (avec leurs compétences comme par exemple cédric que tu connais) découvrant l'outil et le fonctionnement particulier si différent de joomla. Alors oui, il y a certainement des critiques mais si cela relève de vbulletin, tu peux toujours rejoindre ces bénévoles de l'AFUJ en charge du forum pour tenter de les résoudre.

Idem pour le forum kunena, il y a tout un groupe de travail international qui n'attend que des contributions. Si on a conservé vbulletin pour la communauté francophone de joomla, les autres communautés ont aussi leur propre système indépendant ( WoltLab Suite pour la communauté allemande, un dérivé de phpbb pour l'international, etc.). Bref, tu n'auras jamais la même configuration et bien loin des considérations techniques, il reste donc l'aspect humain et leurs contributions. Certains prennent un malin plaisir à détruire les efforts au lieu d'apporter leur soutien, c'est assez décourageant au final. J'espère que tu comprends mon point de vue même si tu ne le partage pas.

Sincèrement, je ne sais pas si c'est important d'avoir le caractère Unicode DASH qui pour moi correspond au tiret moyen ( – ) en typographie ( https://fr.wikipedia.org/wiki/Tiret ).
Le forum joomla.fr n'a pas vocation à mettre en forme comme dans un magazine et si un caractère fait "sauter" tout un texte, il est important de le signaler mais cela n'est pas une obligation de moyen ou de réponse obligatoire. Tu l'auras compris, comme toute les associations ou groupe de bénévoles, on a toujours besoin d'aide et les "experts" sont trop sollicités qu'ils ne peuvent pas être sur tous les fronts.

Pour ma part, j'écris généralement dans un éditeur de texte comme notepad++ puis je colle directement dans le forum. N'ayant pas toujours le temps disponible, je le fait souvent en plusieurs fois dans la journée. le bbcode de l'éditeur permet d'ajouter quelques éléments mais cela reste limité et c'est préférable notamment pour la sécurité du forum.

Yann