- AnToX98
- compu
- David E.
- Extra44
- fortytwo
- le solutionneur
- Max G.
- mdr1
- oakwood
- zero44
Vos productions sont actuellement dans une première phase d'évaluation semi-automatisée grâce à la technologie sans-fil TI-Nspire Navigator. Vos IA se voient en effet distribuées sur un réseau sans-fil de calculatrices TI-Nspire sur lesquelles elles vont tourner pendant des heures sur plusieurs types de labygraphes. Précisons qu'à des fins de validation chaque IA se voit testée deux fois pour chaque type de labygraphe, sur deux machines différentes - et il y a vérification que les deux machines ont bel et bien reporté des performances similaires.
Il y a actuellement 22 calculatrices que j'ai sécurisées pour cette tâche:
- 1 TI-Nspire CX CAS munie de l'OS 3.2.4
- 4 TI-Nspire CX CAS munies de l'OS 3.2.3
- 2 TI-Nspire CX munies de l'OS 3.2.3
- 15 TI-Nspire CAS TouchPad munies de l'OS 3.2.3
Des captures des 22 écrans de calculatrices sont régulièrement prises de façon centralisée sans aucun besoin d'intervention individuelle sur les calculatrices:
Toutefois, nous sommes au regret de vous annoncer que nous ne pourrons probablement pas vous donner les résultats cette semaine. Certes, avec 10 heures environ par type de labygraphe (pour cibler 100'000 parties), deux sessions par jour ouvrable (une en journée et une nocturne) et 4 types de labygraphes prévus pour le moment, cela aurait normalement pu être achevé pour ce week-end.
Mais d'une part, l'une des IA soumise est près de 15 fois plus lente que les autres sur de simples labygraphes à n=10 salles, et une semaine de travail supplémentaire ne lui sera pas de trop.
Et d'autre part parmi les productions reçues, quelques-unes finissent plus ou moins rapidement (après quelques dizaines ou centaines de parties) par déclencher des problèmes probablement spécifiques à certains des labygraphes générés automatiquement:
- désactivation du mode automatique de l'interface (effet de bord avec mise à zéro de la variable mode de l'interface à laquelle il ne fallait pas toucher)
- erreur Lua
- boucle infinie interne (l'une des fonctions de l'IA ne renvoie jamais de réponse et continue éternellement de s'exécuter)
- redémarrage de la machine (probablement par épuisement des ressources mémoire)
Nous souhaitons, dans la mesure du possible, classer ces IA avec les autres au nom de l'équité, au lieu de recourir à un classement de second choix sur liste complémentaire ou pire à la disqualification. En effet tout travail mérite salaire, et nous souhaitons donc que chaque participant ayant fait des efforts reçoive son pourcentage d'efficacité ayant même valeur que celui des autres.
Aussi, il nous faut du temps pour analyser ces IA problématiques et les corriger.
Nous ne corrigeons pas afin de rendre le code meilleur, mais uniquement afin de le rendre évaluable. Toute éventuelle correction de notre part consiste en l'application d'une pénalité (abandon de la partie courante qui sera comptée comme une partie perdue) *avant* que le problème ne se déclenche.
Les deux premiers points cités ci-dessus ont déjà été corrigés puisqu'il s'agissait de problèmes mineurs:
- remplacement de la ligne "mode=0" qui désactivait le mode automatique de l'interface par une ligne "forfeit=true" faisant perdre la partie courante
- passage à une version 4 de l'interface avec un gestionnaire d'erreurs - ce dernier intercepte toutes les erreurs Lua déclenchées dans les fonctions de l'IA et provoque l'abandon de la partie courante avec "forfeit=true", ce qui permet le passage de l'interface à la partie suivante et donc la réinitialisation de l'IA
Les deux derniers points risquent de nous causer davantage de problèmes et de nous prendre plus de temps. Il nous faudrait idéalement achever leur correction ce week-end, afin de pouvoir terminer l'évaluation la semaine prochaine.
A bientôt
