| |
 |
StatEL : ROC |
|
|
|
| |
Cette commande permet d'effectuer plusieurs analyses relatives à l'étude des courbes ROC :
- aider à définir la meilleure valeur seuil lors de l'élaboration d'un test de dépistage, grâce à la construction d'une courbe ROC (Receiving Operator Characteristics),
- comparer 2 courbes ROC par l'analyses des aires sous chacune des 2 courbes,
- calculer le nombre de sujets sains et malades nécessaires pour permettre de détecter une différence significative entre 2 courbes ROC.
1 - Principes :
1.1 - Principes d'une Courbe ROC :
La difficulté relative à un test diagnostique réside dans la valeur du seuil limite qui va décider si le test est déclaré positif ou négatif.
En effet, si on place le seuil trop bas, on va diagnostiquer énormément de personnes "malades", la sensibilité du test sera élevée, pourtant la spécificité du test sera très mauvaise car un grand nombre de ces personnes seront de "Faux Positifs" et on risque de les inclure à tort dans un processus de soins.
A l'inverse, un seuil trop élevé offrira au test une bonne spécificité (peu de gens sains risqueront d'être diagnostiqués comme "malades"), mais une mauvaise sensibilité car il laissera "échapper" un grand nombre de vrais malades qui n'entreront donc pas dans le processus de soins dont ils ont besoin.
La meilleure valeur seuil d'un test diagnostique (celle qui rend le test le plus efficace) est celle qui maximise en même temps la sensibilité et la spécificité du test, c'est à dire qui détectera un maximum de patients malades et écartera un maximum de patients sains.
La courbe ROC (Receiving Operator Characteristics) permet de définir quelle est cette valeur seuil en représentant la sensibilité (Se) en ordonnée et 1 moins la spécificité (1-Sp) en abscisse :
Vous pouvez donc travailler sur le même type de données que pour l'étude de Sensibilité / Spécificité sur un test diagnostique de nature numérique, sauf que dans ce cas, chaque valeur du test diagnostique sert de valeur seuil à tour de rôle. Vous pouvez également construire une courbe ROC avec les résultats d'un test qualitatif, à condition que celui-ci présente au moins 5 catégories différentes de classement.
1.2 - Comparaison de 2 Courbes ROC :
La méthode utilisée est celle de Hanley & McNeil ("A method of comparing the areas under Receiver Operating Curves derived from the same cases". Radiology, Vol. 148, N°3, pp 839 843. 1983.).
Elle permet de calculer le rapport entre la différence entre les 2 aires et l'écart-type de cette différence :
avec :
- θ1 l'aire sous la courbe ROC N°1,
- θ2 l'aire sous la courbe ROC N°2,
- SE(θ1) l'écart-type de l'aire sous la courbe ROC N°1,
- SE(θ2) l'écart-type de l'aire sous la courbe ROC N°2.
On compare ensuite cette valeur de Z à la distribution de la loi normale.
Toutefois, lorsque les 2 courbes ROC sont réalisées à partir d'un même groupe de sujets, les données sont corrélées et il faut tenir compte de cette corrélation dans le calcul du Z, de la façon suivante :
où r est un indice de la corrélation entre les 2 aires étudiées. "r" est issu de la table de Hanley & McNeil et fonction de la corrélation entre les valeurs des tests diagnostiques chez les sujets sains d'une part et chez les sujets malades d'autre part. Lorsque le test diagnostic est de nature quantitative, le coefficient de corrélation de Pearson est utilisé, tandis qu'on a recours au coefficient Tau-b de Kendall dans le cas où test diagnostic est de nature qualitative.
1.3 - Calcul du N nécessaire pour la comparaison de 2 Courbes ROC :
La méthode utilisée est celle de Hanley & McNeil ("The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC) curve". Radiology, Vol. 143, N°1, pp 29-36. 1982.).
2 - Lancement de la procédure "ROC"
Une première boîte de dialogue vous demande de préciser ce que vous souhaitez faire :
2.1 - Construction d'une Courbe ROC :
Vous avez la possibilité de travailler sur les résultats d'un test diagnostique quantitatif (ou numérique) ou qualitatif (ou catégoriel) :
Nota bene : dans le cas d'un test diagnostique qualitatif, celui-ci doit présenter au moins 5 catégories différentes.
2.1.1 - Test Diagnostic Quantitatif :
Il vous est demandé de préciser comment sont identifiés les patients malades et les patients sains, de même il vous faut préciser la plage de cellules contenant les informations relatives à la variable "Maladie" ainsi que la plage de cellules contenant les informations relatives à la variable "Test/Indice".
Nota bene : toutes les sélections de plages de cellules doivent comporter le même nombre de cellules, si ce n'est pas le cas un message d'erreur s'affichera.
Nota bene : si les caractères que vous avez précisés pour définir les modalités "Malade" ou "Sain" n'apparaissent pas dans les sélections de la variable "Maladie", un message d'erreur s'affichera.
Par défaut, le test est considéré "Positif" quand la mesure est supérieure ou égale au seuil, vous pouvez décider de considérer le test "Positif" quand la mesure est inférieure ou égale au seuil en sélectionnant l'option prévue à cet effet.
Il ne vous reste plus qu'à cliquer sur le bouton "Calculer et Dessinez la Courbe".
2.1.2 - Test Diagnostic Qualitatif :
Il vous est demandé de préciser comment sont identifiés les patients malades et les patients sains, de même il vous faut préciser la plage de cellules contenant les informations relatives à la variable "Maladie" ainsi que la plage de cellules contenant les informations relatives à la variable "Test/Indice". Vous devez également définir les modalités de la variable "Test/Indice" (5 minimum) grâce au bouton "Ajouter une catég.". Une petite boîte de dialogue vous permettra de définir une modalité à la fois en l'écrivant au clavier ou en sélectionnant avec la souris sur votre feuille Excel une cellule qui contient la modalité en question.
Nota bene : toutes les sélections de plages de cellules doivent comporter le même nombre de cellules, si ce n'est pas le cas un message d'erreur s'affichera.
Nota bene : si les caractères que vous avez précisés pour définir les modalités "Malade" ou "Sain" n'apparaissent pas dans les sélections de la variable "Maladie", un message d'erreur s'affichera.
Nota bene : si les caractères que vous avez précisés pour définir les modalités de la variable diagnostique n'apparaissent pas dans les sélections de la variable "Test/Indice", un message d'erreur s'affichera.
Il ne vous reste plus qu'à cliquer sur le bouton "Calculer et Dessinez la Courbe".
2.2 - Comparaison de 2 Courbes ROC par l'analyse de l'Aire sous la Courbe :
Vous avez la possibilité de travailler sur les résultats :
- d'un test diagnostique quantitatif (ou numérique) ou qualitatif (ou catégoriel),
- de sujets différents ou identiques entre les 2 études :
Nota bene : dans le cas d'un test diagnostique qualitatif, celui-ci doit présenter au moins 5 catégories différentes.
2.2.1 - Test Diagnostic Quantitatif :
Il vous est tout d'abord demandé de préciser pour la courbe N°1 comment sont identifiés les patients malades et les patients sains, de même il vous faut préciser la plage de cellules contenant les informations relatives à la variable "Maladie" ainsi que la plage de cellules contenant les informations relatives à la variable "Test/Indice".
Nota bene : toutes les sélections de plages de cellules doivent comporter le même nombre de cellules, si ce n'est pas le cas un message d'erreur s'affichera.
Nota bene : si les caractères que vous avez précisés pour définir les modalités "Malade" ou "Sain" n'apparaissent pas dans les sélections de la variable "Maladie", un message d'erreur s'affichera.
Nota bene : si vous le souhaitez, vous pouvez changer le nom de l'étude concernée en cliquant sur le bouton "Courbe N°1".
Puis, la boîte de dialogue se dévoile. Il vous est ensuite demandé de préciser pour la courbe N°2 comment sont identifiés les patients malades et les patients sains, de même il vous faut préciser la plage de cellules contenant les informations relatives à la variable "Maladie" ainsi que la plage de cellules contenant les informations relatives à la variable "Test/Indice".
Nota bene : si vous avez sélectionné l'option de travailler sur des sujets identiques, vous n'avez pas à resélectionner les caractéristiques de la variable "Maladie".
Nota bene : toutes les sélections de plages de cellules doivent comporter le même nombre de cellules, si ce n'est pas le cas un message d'erreur s'affichera.
Nota bene : si les caractères que vous avez précisés pour définir les modalités "Malade" ou "Sain" n'apparaissent pas dans les sélections de la variable "Maladie", un message d'erreur s'affichera.
Nota bene : si vous le souhaitez, vous pouvez changer le nom de l'étude concernée en cliquant sur le bouton "Courbe N°1".
Par défaut, le test est considéré "Positif" quand la mesure est supérieure ou égale au seuil, vous pouvez décider de considérer le test "Positif" quand la mesure est inférieure ou égale au seuil en sélectionnant l'option prévue à cet effet.
Au bas de la boîte de dialogue, une option vous propose de ne comparer les 2 aires que par un test unilatéral, c'est à dire tester uniquement si l'aire la plus grande des 2 est significativement supérieure à l'autre.
Nota bene : si vous procédez à un test unilatéral, (ex : vous testez si A1 > A2) vous devez être certain que jamais on ne pourra observer une différence entre les 2 aires de sens opposé à celui que vous avez observé (ex : jamais on ne pourra avoir A2 > A1).
Il ne vous reste plus qu'à cliquer sur le bouton "Comparer les aires sous les Courbes".
2.2.2 - Test Diagnostic Qualitatif :
Il vous est demandé de préciser pour la courbe N°1 comment sont identifiés les patients malades et les patients sains, de même il vous faut préciser la plage de cellules contenant les informations relatives à la variable "Maladie" ainsi que la plage de cellules contenant les informations relatives à la variable "Test/Indice". Vous devez également définir les modalités de la variable "Test/Indice" (5 minimum) grâce au bouton "Ajouter une catég.". Une petite boîte de dialogue vous permettra de définir une modalité à la fois en l'écrivant au clavier ou en sélectionnant avec la souris sur votre feuille Excel une cellule qui contient la modalité en question.
Nota bene : toutes les sélections de plages de cellules doivent comporter le même nombre de cellules, si ce n'est pas le cas un message d'erreur s'affichera.
Nota bene : si les caractères que vous avez précisés pour définir les modalités "Malade" ou "Sain" n'apparaissent pas dans les sélections de la variable "Maladie", un message d'erreur s'affichera.
Nota bene : si les caractères que vous avez précisés pour définir les modalités de la variable diagnostique n'apparaissent pas dans les sélections de la variable "Test/Indice", un message d'erreur s'affichera.
Puis, la boîte de dialogue se dévoile. Il vous est ensuite de préciser pour la courbe N°2 comment sont identifiés les patients malades et les patients sains, de même il vous faut préciser la plage de cellules contenant les informations relatives à la variable "Maladie" ainsi que la plage de cellules contenant les informations relatives à la variable "Test/Indice". Vous devez également définir les modalités de la variable "Test/Indice" (5 minimum) grâce au bouton "Ajouter une catég.". Une petite boîte de dialogue vous permettra de définir une modalité à la fois en l'écrivant au clavier ou en sélectionnant avec la souris sur votre feuille Excel une cellule qui contient la modalité en question.
Nota bene : si vous avez sélectionné l'option de travailler sur des sujets identiques, vous n'avez pas à resélectionner les caractéristiques de la variable "Maladie".
Nota bene : toutes les sélections de plages de cellules doivent comporter le même nombre de cellules, si ce n'est pas le cas un message d'erreur s'affichera.
Nota bene : si les caractères que vous avez précisés pour définir les modalités "Malade" ou "Sain" n'apparaissent pas dans les sélections de la variable "Maladie", un message d'erreur s'affichera.
Nota bene : si les caractères que vous avez précisés pour définir les modalités de la variable diagnostique n'apparaissent pas dans les sélections de la variable "Test/Indice", un message d'erreur s'affichera.
Nota bene : si les modalités de la variable "Test/Indice" sont les mêmes entre les 2 courbes ROC, vous pouvez recopier directement celles que vous avez précisé au sein de la partie consacrée à la courbe N°1 vers la partie consacrée à la courbe N°2 en cliquant sur le bouton situé au centre de la boîte de dialogue :
Au bas de la boîte de dialogue, une option vous propose de ne comparer les 2 aires que par un test unilatéral, c'est à dire tester uniquement si l'aire la plus grande des 2 est significativement supérieure à l'autre.
Nota bene : si vous procédez à un test unilatéral, (ex : vous testez si A1 > A2) vous devez être certain que jamais on ne pourra observer une différence entre les 2 aires de sens opposé à celui que vous avez observé (ex : jamais on ne pourra avoir A2 > A1).
Il ne vous reste plus qu'à cliquer sur le bouton "Comparer les aires sous les Courbes".
2.3 - Calcul du N nécessaire pour la comparaison de 2 courbes ROC :
La boîte de dialogue qui s'ouvre vous invite à préciser les aires estimées ou supposées des 2 courbes ROC que vous envisagez de comparer, ainsi que les risque de 1ère et 2ème espèce. Cliquez sur le bouton "Calculer" pour faire apparaître le résultat du calcul sur cette même boîte de dialogue.
Nota bene : les aires sont des valeurs inférieures à 1, si vous précisez une valeur supérieure à 1, un message d'erreur s'affichera lorsque vous cliquerez sur le bouton "Calculer".
Nota bene : le caractère décimal est la virgule, si vous utilisez un point à la place, un message d'erreur s'affichera.
3 - Résultats de la procédure "ROC"
3.1 - Construction d'une Courbe ROC :
Ceux-ci sont affichés dans une nouvelle feuille qui vient se placer juste après celle contenant les données que vous avez sélectionnées pour procéder au test.
Cette feuille de résultats présente sur sa partie gauche les données sélectionnées, ainsi que les résultats des calculs de Sensibilité/Spécificité en fonction des différentes valeurs seuil identifiées.
Il est également rappelé en haut de la feuille :
- si le test pratiqué considère le test "Positif" quand la mesure est supérieure ou inférieure au seuil, dans le cas d'une variable diagnostique de nature quantitative,
- le nombre de catégories différentes, dans le cas d'une variable diagnostique de nature quantitative,
- le nombre de points disponibles pour dessiner la courbe ROC,
- l'aire sous la courbe mesurant la capacité discriminante de la variable test, ainsi que son écart-type.
Le tableau est complété par le calcul de 3 coefficient mesurés pour chaque seuil permettant d'avaluer l'intérêt de chaque seuil (cf. commentaire associé à l'entête de chaque colonne).
La coube ROC est affichée sur la droite de la feuille de résultats. Chaque point de cette courbe présente un couple de valeurs de Sensibilité et de Spécificité relatives à une valeur seuil étudiée.
Au dessous de la courbe ROC est affiché un tableau contenant les informations relatives au point dessiné en rouge sur la courbe (le seuil auquel il fait référence et les valeurs de Se/Sp calculées).
Vous pouvez déplacer ce point au moyen du curseur ou des flèches "Droite/Gauche" situées sous le tableau. Dès que le curseur est déplacé, les informations sont mises à jour dans le tableau. Vous pouvez ainsi repérer visuellement quelle est la position sur la courbe susceptible de représenter le meilleur couple de valeurs de Se/Sp et regarder dans le tableau à quel seuil ce couple fait référence.
Deux autres graphiques sont également présentés dans le bas de la feuille de résultats :
- Précision du test en fonction du seuil étudié
- Distribution des effectifs en fonction du seuil étudié
Ces graphiques sont également mis à jour à chaque déplacement du curseur : vous y observez la position du seuil.
3.2 - Comparaison de 2 Courbes ROC par l'analyse de l'Aire sous la Courbe :
Ceux-ci sont affichés dans une nouvelle feuille qui vient se placer juste après celle contenant les données que vous avez sélectionnées pour procéder au test.
Cette feuille de résultats présente sur sa partie gauche les données sélectionnées, ainsi que les résultats des calculs de Sensibilité/Spécificité en fonction des différentes valeurs seuil identifiées.
Il est également rappelé en haut de la feuille si le test a été pratiqué avec une variable "Test/Indice" quantitative ou qualitative et sur des sujet différents ou identiques.
Sur la droite sont afichés les données relatives aux 2 aires comparées, les hypothèses testées, les résultats et les conclusions du test de comparaison entre les 2 aires sous la courbe.
Enfin, un graphique vous permet de visualiser les 2 courbes ROC ensemble.
|
|
|
| |
Société
ad Science - 46, Rue Marx Dormoy, 75018 Paris |
|
|
|
