On Conformity Testing and the Use of two Stage Procedures

Conformity testing is a systematic examination of the extent to which an entity conforms to specified requirements. Such testing is performed in industry as well as in regulatory agencies in a variety of fields. In this paper we discuss conformity testing under measurement or sampling uncertainty. Although the situation has many analogies to statistical testing of a hypothesis concerning the unknown value of the measurand there are no generally accepted rules for handling measurement uncertainty when testing for conformity. Usually the objective of a test for conformity is to provide assurance of conformity. We therefore suggest that an appropriate statistical test for conformity should be devised such that there is only a small probability of declaring conformity when in fact the entity does not conform. An operational way of formulating this principle is to require that whenever an entity has been declared to be conforming, it should not be possible to alter that declaration, even if the entity was investigated with better (more precise) measuring instruments, or measurement procedures. Some industries and agencies designate specification limits under consideration of the measurement uncertainty. This practice is not invariant under changes of measurement procedure. We therefore suggest that conformity testing should be based upon a comparison of a confidence interval for the value of the measurand with some limiting values that have been designated without regard to the measurement uncertainty. Such a procedure is in line with the recently established practice of reporting measurement uncertainty as “an interval of values that could reasonably be attributed to the measurand”. The price to be paid for a reliable assurance of conformity is a relatively large risk that the procedure will fail to establish conformity for entities that only marginally conform. We suggest a two‐stage procedure that may improve this situation and provide a better discriminatory ability. In an example we illustrate the determination of the power function of such a two‐stage procedure. Le test de conformité est une examination systématique du degré auquel une entité se des exigences spécifiques. ce genre de test est utilisé par l'industrie ainsi que par des agences de réglementation dans un nombre de domaines. Dans cet article, nous discutons des tests de conformité dans un contexte d'incertitude de mesure ou d'échantillonnage. Bien que cette situation présente de nombreuses analogies au test statistiqe d'une hypothèse concernant la valeur income de la mesurande, il n' existe pas de règles acceptées de manièes de manière génées de manière gérnérale pur manier pour manier les incertitudes de mesure lors d'un test de conformité. Habituellement. l'objectif d'un tes! de concormité est de fournir l'assurance d'une conformité. pour cette raison. nous suggérons qu'un test statistique de conformité approprié soit élaboré de telle manière qu'iln'y ait qu'une faible probabilité qu'une conformité soit étabile quand, en fit, l'entité ne se conforme pas. Une manière opérationnelle de formuler ce principe est d'exiger que, chaque chaque fois qu'une entité a été déclaré comme se conformant, il ne devrit pas être possible de modifier cette déclaration, mème si l'entité a été examinée avec de meilleurs instruments ou de meilleurs procédés de mesure. Certaines industries ou agences définissent des limites de spécification en tenant compte de l'incertitude de mesure. Cette pratique n'est pa invariable lorsqu'il y a des changements de procédé de mesure. Nous suggérons pour cette raison que les tests de conformité conformité soient basés sur une c9omparaison de l'intervalle de confidence pour la valeur de la mesurande. avec certaines valeurs limites ayant été définies sans tenir compte de l'incertitude de mesure. Une telle procédure s'aligne avec la pratique récemment établie de définir l'incertitude de mesure comme “un intervalle de valeurs qui pourrait raisonnablement être attribuéà la mesurande”. Le prix à payer pour une assurance de conformité fiable est un risque relativement large que la procédure ne réussisse pas àétablir la conformité pour des entités qui se conforment seulement marginalemetn. Nous suggérons une procédure en deux établir qui pourrait améliorer cette situation et permettre une meilleure aptitude de discrimination. Dans un exemple, nous illustrons la détermination de la fonction de pussance d'une tells procédure en deux étapes.