Le Blog du Poilu

Un bel indice qui porte mal son nom.

Le dernier système made by Microsoft inaugure un système mesurant les performances « relatives » du PC sur lequel il est installé et en donne un indice censé représenter le niveau de performance de ce dernier. Mais voilà, il semblerai qu’il y ai (et c’était à prévoir) une certaine incompréhension sur le mode de fonctionnement et le but réel de cet indice.

Benchmark ou pas benchmark ?

Autant le dire tout de suite, cet indice n’a absolument rien à voir avec un quelconque benchmark (outil de mesure de performance) au sens où on l’entend en général.
Un Benchmark est normalement conçu pour donner un niveau de performance absolu. Ainsi, sur le papier, à partir du moment où une machine peut techniquement faire tourner le benchmark en question alors son résultat pourra se comparer avec celui de n’importe quelle autre machine sur ce même benchmark, celle des deux ayant le meilleur score sera la plus puissante/efficace/rapide/optimisée pour le traitement mis en avant par le benchmark en question.

Pour simplifier la distinction entre l’indice de Vista et un benchmark il faut se dire que le premier a essentiellement pour rôle d’indiquer des aptitudes, alors que le second donnera les capacités de la machine à utiliser ces aptitudes avec plus ou moins de vélocité. En gros l’indice Vista c’est la puissance moteur sur la fiche constructeur d’une voiture, alors que le benchmark c’est le temps au tour de la voiture sur un circuit.

Donc si votre machine vous donne un indice qui vous parait bas il ne faut absolument pas s’en offusquer (nous verrons ça plus en détail), car cela ne veut en aucun cas dire que votre machine sera moins efficace pour autant. Avant d’aller plus loin, voyons de quoi il en retourne exactement.

A quoi ça correspond tout ça.

L’indice Vista est décomposé en cinq parties, chaque partie correspondant à un élément clé des capacités d’un PC:

1. Le Processeur central
2. La mémoire vive
3. La carte vidéo
4. Le disque dur principal

Mais où quelle est la cinquième? En fait la carte vidéo est « testé » à deux niveaux: Au niveau de sa capacité à faire fonctionner l’interface de Vista et au niveau de ses capacités vidéoludiques.

Après test chaque partie se voit attribuer une note allant de 0 à 5.9. La note finale n’est pas la moyenne du test mais la plus mauvaise note du lot. On compendra aisément pourquoi quand on aura détaillé le principe de l’indice de performance.

WinSat: Vista sur orbite ?

Vous vous en doutez, WinSat n’a rien à voir avec un quelconque satellite. WinSAT ça veut dire « Windows System Assessment Tool ». Mais qu’est-ce donc?
Tout simplement il s’agit là de la partie Benchmark de l’indice. Alors là il va falloir suivre, parce que je sens qu’il y en a un ou deux qui se demandent où je veux en venir.
WinSAT est partie intégrante de Vista, mais n’est pas lié à ce dernier. Il peut (en théorie) parfaitement fonctionner sous XP. Il s’agit ni plus ni moins d’un benchmark au sens propre du terme. Ce benchmark sert à plusieurs fonctions:

• C’est un outils pour les intégrateurs (Dell, HP etc) pour les aider à monter des machines pouvant porter le logo Vista.
• Il est exécuté lors de l’installation pour savoir si le matériel peut faire fonctionner Aero.
• L’utilisateur peut s’en servir à tout moment pour tenter de détecter un problème de performance (nous verrons ça plus loin).

Ce benchmark n’est ni plus ni moins que la base qui servira à Vista pour déterminer son Indice de performance. Vous allez me dire: quelle différence alors entre l’indice qui donne le résultat d’un benchmark intégré et un autre benchmark ?
La différence tient dans le fait que Vista ne va pas vous donner en valeur absolue le résultat du test, mais il va interpréter ce résultat en fonction de ce qu’il a besoin de savoir faire. Par exemple le test CPU sera composé d’une partie cryptage AES, qui correspond au cryptage utilisé avec la fonction Bitlocker de l’OS. L’indice résultant est bel et bien un indice qui correspond à un usage de Vista.
En fait WinSat est l’outil permettant à Vista de déterminer l’indice de performance de votre machine.

Voyons rapidement les tests effectués par WinSat:

1. Test CPU :
   Compression/décompression utilisant l’algorithme LZW
   Compression/decompression avec l’algorithme utilisé pour l’hibernation, readyboost etc
   Cryptage/décryptage AES
   Encodage Video Windows Media
   Calcul de tables de hachages SHA1
   … à savoir que le test va lancer autant de processus qu’il détectera de coeur de CPU. Ce qui le rend bien sûr compatible avec les CPU multicore.
2. Test Graphique :
   Consiste essentiellement à tester la bande passante de la mémoire vidéo et de la capacité à faire tourner Aéro. Ce qui signifie un support de DirectX9.0 minimum et la présence de drivers WDDM. Si ces deux dernières conditions ne sont pas réunies Vista attribuera une note maximale de 1.9, autrement cela ira de 2.0 à 5.9 en fonction de la bande passante de la mémoire vidéo et d’un autre test de capacité de lecture de fichiers Windows Media Video.
3. Test de jeu :
   Exécute quelques tests purement synthétiques sur le GPU tel que le chargement de textures dans les shaders. Le résultat est un nombre de frame par seconde. Il va aussi tester la compatibilité DirectX9 et la présence du driver WDDM. L’absence de support de Direct3D 9 donnera une note maximale de 1.0. La présence du driver WDDM plus le support de Direct3D 9 donnera une note minimal de 2.0. Pour avoir plus de 4.9 il faut du matériel capable de travailler sur les Pixel Shader 3.0 minimum.
4. Test Mémoire :
   Deux paramètres: La quantité de mémoire mais aussi la bande passante de cette dernière. En fonction de la quantité voici les scores maximum possibles pour cette partie du test:
   Moins de 256 Mo => 1.0
   Moins de 500Mo => 2.0
   512Mo ou moins => 2.9
   Moins de 704Mo => 3.5
   Moins de 960Mo => 3.9
   Moins de 1.5Go => 4.5
   Ensuite plus la bande passante (en MegaOctets par seconde) sera importante et plus les scores intermédiaires seront grands.
5. Test disque dur :
   Effectu plusieurs tests de transfert de données pour connaitre la bande passante en MegaOctets par seconde du disque principal (utilisé pour acceuillir le système). La compilation du score est faite de manière à ce que n’importe quel disque moderne ai au moins un score de 2.0.

Voilà pour les tests effectués par WinSAT et le résultat que Vista va en tirer (le Windows System Performance Rating, alias WinSPR). Mais comme je l’ai dit plus haut l’utilisateur peut parfaitement accéder à WinSAT et l’utiliser comme benchmark pur et dur. Ce dernier s’utilise via l’invite de commande (Exécuter => cmd.exe). Il suffit de saisir: Winsat -? pour avoir accès aux différentes options. Là vous pourrez exécuter tel ou tel test individuellement, sans que cela ai un impact quelconque sur votre Indice Vista, et qui plus est, vous aurez les résultats synthétiques du test, et non l’interprétation faite par Vista pour son WinSPR. Libre à vous de vous amuser avec pour voir ce qu’il en est dans les détails pour votre machine… Mais attention, trop de benchmark peut gravement nuire à la santé mentale.

Maintenant que l’on a vu l’envers du décors il est temps de s’intéresser à nouveau à l’indice en lui même.

Pourquoi 5.9 et pas 6.0 ou même 10 ?

D’aucun pourrait s’étonner de la valeur maximale qu’une note peut avoir dans l’indice de Vista, 5.9 quelle drôle de logique…
Pour comprendre il faut faire un léger retour en arrière, du temps des bétas-tests de Vista. Lors de ces béta-tests il s’avérait que la note maximale que l’indice pouvait fournir était 5.0. Ce maximum était expliqué aisément par les développeurs: 5.0 correspond à la « machine idéale » pour faire tourner Vista et l’ensemble de ses fonctionnalités dans le plus grand confort. car c’est bel et bien de cela dont il s’agit, l’indice de Vista a essentiellement pour but de donner un … indice, quant aux capacités de la machine à faire fonctionner Vista et son univers, ce n’est ni plus ni moins qu’une échelle de valeur liée à l’exploitation du système en lui même.
C’est pour cela que je parlais de benchmark qui donnait un résultat absolu, alors que l’indice lui va vous donner une valeur relative, relative à l’usage de Vista.
Ainsi initialement il n’était pas prévu qu’une machine puisse avoir mieux que 5.0 étant donné qu’avec un tel score, l’engin était assuré de pouvoir faire tourner Vista sous toutes ses coutures sans sourciller. C’était sans compter sur l’incompréhension des multiples bétas testeurs, surtout avec les version publiques (et gratuites) quasi exploitables qu’étaient les Beta2 et autres RC1/2. En fait à ce moment là le score de 5.0 était déjà en passe d’être atteind par les machines les plus véloces du moment… l’OS n’était alors pas encore en vente.
C’est pourquoi les développeurs ont décidé d’élargir légèrement la plage de l’indice, en ouvrant ce dernier jusqu’à un maximum de 5.9. Reste la question: pourquoi pas 6.0… ou 10… ou pas de limite tout simplement?
Rappelons-nous que l’indice est là pour donner une idée des capacités de la machine à faire tourner l’OS et ses fonctions. On nous parle alors « d’expérience Vista » en beaux termes marketing, D’ailleurs en VO il s’appel: « Windows Experience Index », ce n’est pas pour rien. Sachant que 5.0 représente la machine idéale pour cela, toute machine ayant une note supérieure ne sera que plus rapide dans l’execution de certaines tâches, mais cela s’arrête là.
Pour tenter de comprendre le pourquoi du 5.9 il faut arriver à assimiler le principe des valeurs palier.

4.1 je te donne tout, 1.9 tu n’auras rien, avec 1.0 je n’enlève même pas le haut.

En fait pour chaque palier (1.0, 2.0, 3.0, 4.0, 5.0) correspond une étape dans les possibilités de fonctionnement de Vista.
L’exemple le plus flagrant sera l’interface Aéro. Celle-ci a besoin d’un minimum au niveau du processeur graphique, sans cela elle ne peut pas s’activer. Cela vient du fait qu’Aero s’appui sur le module Direct3D de l’API DirectX pour fonctionner (Nous verrons cela plus en détail dans un prochain article). C’est au minimum un support de DirectX 9 qui est demandé à la carte vidéo et à ses drivers, sans cela pas d’interface Aero.
Pour en revenir à l’indice, ce minimum correspond à la note de 2.0 dans la partie « Graphiques » de l’indice. Si votre matériel n’a pas au moins 2.0, vous n’aurez pas accès à Aéro. C’est donc bien un palier, car à 1.9 vous n’aurez rien. Pour rester sur le même exemple, la note de 4.0 correspond à un usage confortable d’Aero. Si on y a accès à partir de 2.0 il est entendu que cela peut être limite au niveau de certaines fonctionnalités si la carte est trop juste (essentiellement en quantité de mémoire embarquée, 128Mo minimum étant recommandé). Ainsi, l’aussi joli qu’inutile Flip 3D sera bien plus fluide et efficace (mais toujours aussi inutile) avec une carte vous donnant un 4.0 qu’avec cella vous donnant un 3.0.
4.0 est donc la note globale qui peut être considéré comme le premier niveau de confort, alors que 3.0 n’était qu’un accès aux fonctionnalités, au prix de certaines contraintes. Passez à l’indice 5.0 et vous êtes garanti d’avoir une machine à même de vous faire profiter de toutes les possibilités de l’OS sans sourciller.
Bien sûr entre 4.9 et 5.0 il n’y a pas de fonctionnalité cachée qui s’activerai (dommage, ça pourrait être sympa… une sorte d’extra). C’est pourquoi initialement le 5.0 devait être la note maximale, vu qu’au-delà on n’a de toute façon rien de plus que de la vitesse de traitement, et non du confort supplémentaire à l’usage.
Si on poursuit ce raisonnement on peut alors comprendre pourquoi l’indice est limité à 5.9 et non à 6.0. Car 6.0 serait alors représentatif d’un nouveau palier d’usage, palier qui n’a pas lieu d’être étant donné que 5.0 est déjà l’idéal pour faire tourner Vista.
Les développeurs de Vista se réservent toutefois la possibilité d’intégrer des indices supérieurs à 6.0 lorsqu’il viendra du matériel innovant offrant de nouvelles possibilités. Ils estiment que cela devrait se produire en moyenne tous les 12-18 mois (un peu façon Loi de Moore ?). nous verrons bien si d’ici le printemps 2008 il sera possible d’avoir des machines ayant un score supérieur ou égal à 6.0.

Voyons un petit résumé des paliers officiels et de ce qu’ils représentent en terme d’usage.

1.0 Score de base. Il s’agit tout simplement du minimum syndical permettant de faire fonctionner Vista d’une façon basic mais acceptable.

2.0 PC capablent de faire tourner l’interface Aero. Mais des ralentissements seront inévitables, surtout avec moins de 2.5 et/ou une carte vidéo offrant moins de 64MB de mémoire. Cela se ressentira notamment lors de l’ouverture de plusieurs fenètres applicatives.

3.0 Note donnant droit au logo « Vista Premium ». Aero est activé automatiquement, et sera exploitable en simple moniteur. Pour les configuration bi-écran, moins de 3.5 et/ou 128Mo de mémoire vidéo devraient provoquer des ralentissement, surtout à des résolutions supérieures à 1280*1024).

4.0 Toutes les possibilitées de Vista devraient tourner correctement. Telles que la lecture de fichiers Vidéos HD ou l’enregistrement d’un flux HD. Le multitache sera appréciable (surtout avec des applications en tirant partie) sur ce type de machine. La plupart des machines ayant plus de 4.5 seront des machines à CPU double-coeurs.

5.0 Aero fonctionnera de manière optimale même en multi-écran à haute résolution. 5.0 est bel et bien un niveau de performance largement supérieur à ce que Vista nécessite pour être exploité correctement.
Etant donné que 5.x est le maximum actuel, en cas de réevaluation de l’indice certaines machines ayant 5.x pourraient se voir attribuer une note supérieure à 6.0 si cela venait à évoluer.

Les chiffres c’est bien, mais la pratique c’est mieux.

Dans la pratique, il suffit de monter une « petite » configuration moderne pour voir que le maximum est vite atteinte. Je prends mon cas pour exemple.
Ma nouvelle configuration est donc dotée d’un modeste Core 2 Duo E4300 (le bas de gamme de la série phare des Core2 de Intel), initialement ce n’était que 1Go de RAM, je suis passé à 2Go pour profiter d’une DDR2 au prix extrèmement bas en passe de remonter.
De même ma carte vidéo supporte le fameux directX10 mais est aussi un modèle bas de gamme (Geforce 8500GT 256Mo), tout le monde confirmera que ça n’a rien d’un foudre de guerre.
L’avantage de tout ce beau monde c’est qu’il s’overclocke facilement, il est donc aisé de constater les évolutions sur l’indice de Vista en fonction des vitesses de fonctionnement.

C’est ainsi que j’ai pu voir la différence entre CPU à fréquence d’origine (1.8Ghz soit 9x200Mhz) puis overclocké à 3Ghz (9x333Mhz). Mais aussi la différence entre 1Go et 2Go de RAM, puis celle entre GPU d’origine et GPU overclocké (le Geforce 8500GT peut passer aisément de 450Mhz à 740Mhz).

Avec le matériel d’origine et 1go de RAM c’est déjà un bon 4.5 qui ressort des tests de Vista. Là la meilleure note provient de la partie « Disque dur principal », grâce au support du SATA2 (du disque dur et de la carte mère). Mais pour avoir un 5.5 il aura fallu passer par l’inévitable mise à jour du driver, sans cela on stagnait à peine au-dessus de 5.0. Le « petit » Gigaoctet de RAM me bloque à 4.5 comme on l’a vu dans le paragraphe sur WinSAT. En passant à 2Go je ne suis plus limité dans ce test et c’est la vitesse de cette dernière qui entre en ligne de compte. Soit un 5.3 final pour cette valeur. A savoir que ma DDR2 est de la DDR2-800 que je fais fonctionner à sa fréquence « optimale » grâce à ma carte mère permettant de désynchroniser complètement fréquence RAM et FSB. Gageons qu’avec une RAM offrant de meilleurs timing je pourrais encore grapiller quelques dixièmes, mais à quoi bon…
Concernant la partie graphique c’est plus aléatoire, car là le driver entre en ligne de compte. D’un driver à l’autre je suis ainsi passé de 4.7 à 5.3 sans rien changer d’autre. Toujours est-il que cette valeur ne changera pas avec la fréquence du GPU. Qu’il soit à fréquence d’origine ou overclocké c’est toujours 5.3 qui ressort, par contre l’overclocking de la mémoire vidéo aura plus d’influance sur ce dernier. Cla correspond bien à ce qui a été expliqué dans la partie sur WinSAT.

Terminons avec le CPU, nous avons vu que même à fréquence d’origine le petit E4300 reçoit une bonne note (envrion 5.0). Une fois l’overclocking passé on comprend vite que n’importe quel futur CPU sera cent fois suffisant pour Vista, car c’est ni plus ni moins qu’un petit 5.7 qui lui est gratifié dorénavant. Autant dire que ceux qui ont overclocké leur Core 2 Duo au-delà des 3Ghz auront vite vu le 5.9 se pointer (par extension je suppose que le 3.5Ghz devrait permettre de l’atteindre sans trop de soucis, et je ne parle même pas des Quad-core).

C’est bien beau tout ça, mais il en ressort quoi ?

Premièrement il faut savoir que les drivers, en particulier pour la carte vidéo, sont très importants. Donc si vous trouvez votre indice trop bas, suivez les conseils de Vista: mettez les drivers à jours si ce n’est pas déjà fait.
Ensuite on voit facilement que l’indice de performance Vista n’a aucun rapport avec la performance du système dans les jeux. Pour deux raisons:

Premièrement ma carte vidéo, considérée comme le minimum syndical en terme de jeux-vidéo est loin d’être un foudre de guerre… très loin. Et pourtant la note qu’elle reçoit semble plus que correcte. Le simple support de des Pixels Shader 3.0 et de la présence d’un driver WDDM suffit à avoir une bonne note, que je peux améliorer en overclockant la mémoire vidéo.
Deuxièmement, l’overclocking très poussé (60% !) n’a aucune influence sur l’indice, alors que dans les jeux la différence est sans appel. Par exemple un jeu comme Quake4 gagne entre 20 et 25% de fluidité avec cet overclocking.

Toujours est-il que …

Cet indice ne doit en aucun cas devenir autre chose qu’un simple indice ayant une pure valeur indicative extrèmement relative.
A aucun moment il faudra se baser là-dessus pour définir la puissance absolue d’un PC. Surtout ne sombrez pas face aux chants des sirènes du marketing en voyant des indices Vista dans les magasins, car de toute façon n’importe quel PC neuf aujourd’hui aura une bonne note, et si ce n’est pas le cas, c’est vraiment qu’on se fiche de vous!
Mon conseil c’est de purement et simplement ignorer cet indice qui ne présente qu’un intérêt limité. En fait, le seul moment où l’on peut s’occuper de lui c’est si vraiment pour une raison X ou Y ce dernier est vraiment trop faible et passe sous un seuil entrainant la désactivation de fonctionnalités, comme par exemple Aero. Si vous vous retrouvez avec l’interface « Windows Basic » malgré votre toute nouvelle carte vidéo à 500€, un coup d’oeil à l’indice devrait vous mettre sur la piste, s’il est en-dessous de 3.0 c’est fort probablement un problème de driver. Là peut-être qu’il sera utile de faire appel à WinSAT de manière indépendante pour mieux cerner le problème.

Un dernier mot.

Dernière petite chose. J’ai vu certaines personnes affirmer que certains jeux ou applications (plus vraisemblablement surtout les jeux) pourraient s’appuyer sur l’indice, et refuser de fonctionner voir même s’installer sur un PC n’ayant pas une note minimale.
D’un côté c’est relativement abhérrant, surtout qu’en général les configurations minimales recommandées par les éditeurs de jeux sont vraiment très … minimales justement. Et quand on voit la facilité qu’il est d’avoir un PC disposant d’un indice relativement élevé, ça équivaut à donner une carte à colorier en guise de récompense à un ingénieur qui réussirait une addition à deux chiffres. Donc il y a fort à parier que ce système sera très peu exploité sauf dans un cas précis qui découle de la façon de déterminer l’indice.
Nous avons vu que l’indice est composé de paliers, en particulier le palier du 2.0 qui indique un support de DirectX 9, le minimum pour permettre d’activer l’interface Aero. De fait il ne faut pas faire long pour comprendre qu’un jeu qui refuserait de s’installer sur un PC n’ayant pas au moins 2.0, ne le fait pas à cause de l’indice trop faible, mais à cause du non support de DirectX 9 par la carte (si tant est que cela puisse encore arriver de nos jours, en-dehors des chips grahiques intégrés). Mais qu’on se le dise, si le jeu réclame DirectX 9 au minimum (c’est à dire un peu tous les jeux récents) il le fera aussi avec Windows XP, et donc il ne fonctionnera pas non plus sur ce dernier. On se rend bien compte que ce n’est pas l’indice qui est détérminant mais les capacités du matériel, capacités dont sont extrapolées l’indice, CQFD.
Le cas où un indice inférieur à 2.0 serait la cause d’un autre élément que la carte vidéo ne devrait pas trop se produire, sauf problème réel. Car de toute évidence cette situation sera assez rare dans la mesure où cela implique de volontairement installer Vista sur une machine très limitée. Et quand je dit très limité, c’est pas peu dire. Mon ancienne configuration à base d’AthlonXP1800+ overclocké (et même sans l’overclock d’ailleur) et sa bonne vieille 9700 Pro avait déjà une note supérieure à 3.0 sans trop de difficultés. Alors que c’était du matériel ayant plus de 4ans! Donc je doute que quelqu’un qui cherche à jouer à un jeu récent réclamant un minimum de capacités le fasse sur un vieux rossignol sur lequel on aurait étrangement installé Vista. Parce que bon, il faut garder à l’esprit que Vista c’est quand même plus agréable sur une machine moderne que sur un vieux PC. Même s’il tournera plutôt pas trop mal, contraiment à l’idée reçu, ce ne sera pas non plus The expérience à l’usage.

Voilà, maintenant vous savez que l’indice de Vista n’a pas parole divine et qu’il ne faut pas focaliser sur ce dernier. Il est simplement intéressant de savoir comment il est déterminé et son utilité de base. Ensuite il ne sert plus à rien, sauf à éventuellement mettre sur la piste d’un problème de driver ou autre.