Définition d'un plan d’expériences - Les Plans d'Expériences et le monde réel

|Item|Article| |---|---| |Création|2023-06-11| |Mise à jour|2023-11-21| ## Qu'est ce qu'un plan d'expérience ? > [!Tip] **Un plan d’expériences consiste en** : > - *L’établissement d’un plan rationnel d’essais, partant d’une hypothèse comportementale d’un système étudié, de l’objectif recherché et des contraintes de réalisation des essais.* >> [!alert] La définition d’un tel plan est donc fortement contextuelle ! > - *L’analyse de la validité à l’aide de tests statistiques du modèle comportemental polynomial obtenu par une méthode de régression multiple.* > - *L’exploitation prédictive de ce modèle* \ Par ailleurs, cette technique adresse au 1er degré, la [Méthode Expérimentale](https://fr.wikipedia.org/wiki/M%C3%A9thode_exp%C3%A9rimentale), base des sciences et de la résolution de problème, telle que définie à partir du 19ème siècle. ## A quoi ça sert ? > [!Tip] **A obtenir des informations** : > - *Fiables* > - *Exhaustives vis-à-vis de votre objectif* > - *Dans le cadre d’un budget expérimental limité* En général, parce que ça vous cause facilement, les publicités sur le sujet mettent d’abord en évidence un gain du nombre d’expériences. Ce n’est pas faux, cependant c’est rarement ce qui arrivera en premier. > - D’après mon expérience, le plus souvent, notre budget expérimental est très contraint en ressources et en temps, en conséquence nous l’utilisons à plein avec l’objectif d’en tirer un maximum d’informations. > - Ce que permet les plans d’expérience est d’obtenir plus d’informations qu’en l’absence d’une telle méthode et surtout d’obtenir une information fiable > - Ce qui devient très vite un objectif clé, car **une information fiable est toujours hautement plus rentable que des informations approximatives ou douteuses !** Le gain en nombre d’expérience vient après, car une modélisation comportementale fiable, vous évite de revenir sur le sujet par la suite, ou seulement sous forme d’un petit complément d’étude, et sur quelques mois ou années cela fait vite une très grosse différence ! > [!alert] S’il fallait chiffrer ce gain, je dirais au feeling de mon expérience, un facteur 3 d’efficacité moyenne (fiabilité et/ou quantité d’informations et/ou nombre d’expérience), sur une large échelle allant de +50% à un facteur 10. > Donc un gain énorme ! 💪💪💪 > [!warning] Par ailleurs l’utilisation approfondie et régulière de cette méthode, notamment en équipe, vous amènera à changer complètement votre vision : > - *De la démarche expérimentale* > - *De votre acquisition de connaissances* > - *De votre stratégie de R&D* > - **Pour une plus grande et éclairée efficacité** ## Quels champs d’application ? **Tout champ expérimental** dès que vous dépassez 3 expériences, de la recherche académique à la production et tous les domaines de la science et de la technologie. Historiquement les plans d’expérience ont été créés pour l’agronomie ([Ronald_Aylmer_Fisher](https://fr.wikipedia.org/wiki/Ronald_Aylmer_Fisher) 1925 et 1935), par la suite ils ont « colonisé » principalement les domaines du vivant. Puis à partir des années 60, l’industrie commence à les intégrer grâce notamment aux remarquables travaux sur leur mise en œuvre pragmatique par [Genechi Taguchi](https://nairaquest.com/fr/topics/9568-genichi-taguchi-biography-of-this-japanese-statistician) Par la suite le développement des types de plan a continué au fur et mesure des nouveaux besoins, et leur application a explosé avec l’arrivée des PC et de logiciels dédiés performants. Revue des plans les plus récents : [[Les plans d’expériences, sur une idée du XXème siècle - tendances actuelles.pdf]] > [!Info] **L’adoption rapide des plans d’expériences aux domaines des sciences du vivant**, tient probablement au fait: > - qu’il s’agit de domaines où mesures et reproductibilité opératoire sont très bruités > - que l’une des bases de cette méthode est **la réduction de l’influence du bruit expérimental sur l’identification des effets** de variables étudiées. > > - Ainsi aujourd’hui cette [simple enquête](https://quantifyinghealth.com/statistical-software-popularity-in-research/) d’un spécialiste en pharmacie sur la base documentaire médicale du site PubMed pointe **l’utilisation de méthodes d’analyse statistique dans 53% des publications**. > - Il est à noter que dans les sciences du vivant notamment, est utilisé des quasi plans d’expériences qui n’utilisent pas des essais programmés, mais organisent l’exploitation de bases de données disposant de nombreuses variables de tel façon que celles-ci forment une structure équivalente à un plan d’expériences. > [!Note] **Simulations** > A l’opposé, des [[Eléments#^DOE|DOE]] (**Space Filling Design**) adressent aujourd’hui les essais de simulation bien que ceux-ci soient la plupart du temps parfaitement déterministes et donc sans variabilité du résultat. > > Au moins deux raisons : > - *Soit il s’agit d’une simulation très longue et coûteuse donc avec un nombre très restreint d’essais.* > - *Soit il s’agit de mettre l’espace complexe multi-factoriel des résultats sous la forme d’une modélisation empirique simplifiée plus facilement exploitable* > > La plupart de ces logiciels sophistiqués de simulation intègrent les plans d’expériences dans leurs outils. Si le plus gros des travaux théoriques et pratiques ont été réalisés avant les années 1970, plus récemment en 2011 une nouvelle classe de [[Eléments#^DOE|DOE]] a été proposée : [les plans de « criblage définitif »](https://www.researchgate.net/publication/259262502_A_Class_of_Three-Level_Designs_for_Definitive_Screening_in_the_Presence_of_Second-Order_Effects), noter toute la symbolique futuriste du mot « définitif » 😜 ## Quelles limites ? > [!Alert] Clé! > - **Les résultats analysés doivent être sous forme de mesure(s) continue(s)** >>*Oui/Non ou une mesure crantée sur moins de 10 niveaux n’est pas une réponse utilisable en plan d’expériences* > - La modélisation est empirique ce qui signifie qu’elle n’est valide qu’à l’intérieur du domaine étudié, autrement dit, **il est possible de faire des interpolations mais pas d’extrapolations** ##### **Capabilité de mesure** *La reproductibilité de la mesure et sa résolution doivent être capable vis à vis de l’objectif.* > [!example] Exemples >- *Si votre objectif implique que le modèle rende compte des résultats à +/- 10% près des valeurs, alors la dispersion de mesure devra être > ou = 5 fois plus petite.* 🤨 >- *Si c’est un peu moins bon, vous pouvez vous en sortir moyennant une forte redondance des essais (nombre d’essais >> nombre de coefficient du modèle)* >- *Sinon et si votre mesure est facilement re-faisable vous dupliquez les mesures, un nombre de fois suffisant et utilisez la moyenne des mesures, sachant que la dispersion de la moyenne est égale à la dispersion des valeurs individuelles divisée par racine carrée du nombre de répétition* 🤔 >- **Et sinon vous n’atteindrai pas votre objectif…** 😱 ##### **Capabilité de réalisation** *La reproductibilité de réalisation doit aussi être capable vis-à-vis de l’objectif.* > [!example] Exemple > - S’il y a une forte dispersion aléatoire de réalisation des essais et si sa cause est indépendante des paramètres étudiés, alors le plan d’expérience vous dira que les effets de variation de ces paramètres ne se distinguent pas de cet aléa 😭 > - Dans certain cas ceci peut se révéler une salutaire mise au point, et vous amener à vous poser les bonnes questions sur vos pratiques de mise en œuvre ([[Plus simple tu meures, ça eu faillit !|Exemple]]) 😅 ## Une formation est-elle nécessaire ? **Indispensable !** >[!warning] Paradisiaque ! 🏖️ >- I*l y a des pubs pour des logiciels qui vous offrent un rêve de simplicité enfantine… même adulte vous avez le droit d’y croire et d’être (très) déçu* 🤬 >- *Le record que j’ai vu : un logiciel à plus de 5000 $ qui vous explique que vous n’avez besoin d’aucune connaissance en la matière ou en statistique, et qu’il résoudra vos problèmes dans une échelle se comptant en secondes ou minutes.* >- *Comme quoi les grandes arnaques ne se limitent pas au grand public !* ☠️ > - Compter 4 jours avec des entraînements sur un logiciel dédié 🥵 > - Avec ça vous pouvez vous lancer et probablement vous « rater » assez souvent au début 🙀 > - Pour être efficace il vous faudra acquérir pas mal d’expérience >[!Note] >*Si vous ne pensez faire qu’un ou deux plans par an, alors faites-vous plutôt accompagner par un professionnel et décider après si vous avez besoin d’une formation* De nombreux cours sont aussi accessibles sur le web. [Exemple](https://husson.github.io/MOOC_plan/index.html) ## Quelles recommandations pour établir un plan d’expérience ? 1. **Définir clairement et de manière partagée l’objectif** - Cela peut paraître une évidence et une situation par défaut, en réalité ce n’est pas si fréquent que ça, surtout s’il s’agit d’un système un peu complexe et/ou d’une situation qui piétine. 😅 >[!tip] **Anecdote** : >*J’étais appelé comme consultant par une équipe d’un autre département de mon entreprise, à ma question fatidique « Quel est l’objectif ? », le premier de mes 6 interlocuteurs me répondit « tu vas voir, c’est très simple ! » ; il fallut 2 H pour en venir à bout et en trouver une définition collective à cette équipe.* - Tout le long de la démarche de définition du plan (et même de son analyse), l’Objectif sera la première référence qui servira à lever toutes les indécisions. - Le premier élément qui devra totalement répondre à l’objectif est **la mesure par sa pertinence et par sa capabilité** (et ça ne se vérifie pas si souvent qu’on pourrait le penser… 🙀) - Attention plusieurs objectifs et/ou plusieurs mesures, peuvent générer trop de contraintes, inintégrables dans un seul plan ou conduire à un plan à compromis bancal qui n’adresse bien aucun de objectifs ! 2. **Faire un bilan rationnel de vos connaissances sur le système étudié** - là aussi cela peut paraître une évidence et une situation par défaut. - en réalité tant que vous n’avez pas expérimenté les plans d’expérience, **il n’est pas facile de se poser les bonnes questions**, sans compter le poids des (mauvaises) habitudes. ([[Un plan à la pointe !|Exemple]]) - Ce bilan vous permettra d’ajuster au mieux votre plan d’expérience et donc d’être le plus efficace. ## Quelles recommandations pour analyser un plan d’expérience ? - Outre acquérir une expérience, vous devez toujours avoir en tête que vous ne faites pas un plan pour le plaisir des maths/stats mais pour comprendre votre système. - Aussi **les résultats de l’analyse doivent être en cohérence avec les lois fondamentales de votre système** (logique, physique, chimique, mécanique, etc…). - Si ce n’est pas le cas, vous devez **impérativement creuser jusqu’à en élucider l’apparente contradiction**. - Outre éviter une grave erreur d’interprétation, vous gagnerez des informations très importantes, qui peuvent aller : > - *De: prendre conscience que vous vous y êtes bien mal pris pour établir ce plan, d’en trouver une solution et de mieux vous y prendre la fois suivante* 😅 > - *À: faire une révision déchirante de vos certitudes quant à votre connaissance du système* 😱 ## Quelles sont les principales difficultés de compréhension conduisants à des erreurs dans la construction d’un plan ? ### 1. Facteurs discontinus versus facteurs continus. Plans factoriels complets ou fractionnaires, plans saturés ou non, plans de surface de réponse, plans de criblage, facteurs continus ou discontinus/discrets, etc…, toutes ces notions de base ont tendance à se mélanger après un long cours. Comme conséquence, j’ai pu observer des cas des plans où les facteurs continus étaient décrit comme discontinus et des plans factoriels utilisés basiquement comme surface de réponse sans précaution, avec un excès du nombre d’essais, une perte ou un biais d’information à la clé. [[Un plan bien carré et inadapté|Exemple]] Habituellement les cours sont construits en deux grandes étapes, d’abord les plans factoriels ensuite les surfaces de réponse. Or il me semble que la séparation essentielle est : **facteurs discontinus (dits aussi qualitatifs ou de catégorie)** versus **facteurs continus (dits aussi quantitatifs)**. #### **Impact de la nature des facteurs sur l’exploitation des résultats** La plupart du temps la présentation des résultats est un graphe des effets de la forme suivante : > ![[Graphe des effet - général.png|400x460]] > **Figure 1.** Graphe des effets - forme par défaut > - Ce type de graphe mi-symbolique / mi-courbe de fonction **induit une confusion dans l’interprétation** et ses conséquences. ##### **Facteurs discontinus/discrets** > [!tip] Définition > - Par définition, il n’y a rien entre les niveaux > - Les informations obtenues n’adressent que les niveaux testés > - **Il n’y a aucune prédictibilité quant aux niveaux non testés** > - La seule prédictibilité concerne l’intervalle de confiance du résultat modélisé Le graphe des effets peut prendre alors les formes suivantes : > ![[Graphe des effets - discret.png]] > **Figure 2.** Graphe des effets - formes pour facteurs discontinus/discrets > - Les représentations a et b sont équivalentes **Exemple à facteurs discontinus** [[A la recherche d’une cause de perte « aléatoire » de rendement]] > - Ce plan à facteurs discontinus abouti à la conclusion que dans un assemblage, l’association de deux lots spécifiques de matières premières différentes conduit à une perte de rendement. > - Comme la production dispose de différents lots de ces deux matières premières, elle organise les combinaisons d’assemblage en évitant ce cas critique. > [!Question] le problème est-il définitivement réglé ? Non ! > **En effet à la prochaine livraison de nouveaux lots, rien ne prédit quel en sera le rendement, tant qu’ils n’ont pas été testés.** 😭 > Pour résoudre ce problème : > > - Il faut identifier quelle(s) variation(s) de caractéristique(s) technique(s) entre lots de même matière est la cause racine de l’interaction négative sur le rendement. > > - Autrement dit il faut passer à une étude des facteurs continus pour déterminer les valeurs critiques. > > - Puis re-définir des nouvelles spécifications d’approvisionnement ou au minimum de trier la matière première avant utilisation. ##### **Facteurs continus** > [!Tip] Définition > - Par définition, il n’y a une continuité entre les niveaux, donc potentiellement une “infinité” de niveaux possibles > - Les informations obtenues couvrent tout le champ entre les niveaux min et max, > - Sous réserve que le modèle trouvé possède le niveau de complexité minimal suffisant pour décrire la surface de réponse avec la précision désirée. > - La prédictibilité de l’estimateur simulé et de son intervalle de confiance, adresse toute la surface du champ expérimental Le graphe des effets peut prendre alors les formes suivantes : > ![[Graphe des effets - continu.png]] **Figure 3.** Graphe des effets - formes pour facteurs continus ^db545a Pour des facteurs continus, il est recommandé de réaliser par défaut des plans de surface de réponse pour pouvoir disposer d’une prédictibilité dans tout l’espace des facteurs. Noter qu’un plan factoriel complet est aussi une surface de réponse. > - Toutefois, dans le cas d’un plan factoriel à deux niveaux, cela suppose qu’il n’y a pas de termes quadratique ou d’ordre supérieur. [[#^db545a|Figure 3.a]] > - Si vous n’en êtes pas certain, alors il faut obligatoirement ajouter un point au centre afin de vérifier la présence ou non d’effet(s) non linéaire(s). [[#^db545a|Figure 3.b]] #### **Impact de la nature des facteurs sur la construction du plan** > [!Tip] Interactions > - Pour des facteurs discontinus il y a autant d’interactions potentielles que de combinaisons de variations de niveaux, ainsi 2 facteurs à 3 niveaux chacun génèrent potentiellement 2 x (3-1) soit 4 interactions. > - Pour 2 facteurs continus il n’y a que 1 interaction ! En conséquence pour le cas des facteurs discontinus, le nombre d’interactions peut très vite augmenter avec le nombre de niveaux. |Facteurs|Nbre facteurs |Nbre niveaux |Plan (exemple) |Nbre interactions à 2 facteurs | |------------------|---|-------|------------------|-------| |Continus |3 |3 |Box-Benhken |3 | |Discontinus |3 |3 |D-Optimal |12 | |Continus |3 |5 |Composite centré |3 | |Discontinus|3 |5 |D-Optimal |48 | ### 2. Principes de parcimonie et de Pareto #### **Présentation** Le principe de [[Eléments#^Parcimonie|parcimonie ou rasoir d’Ockham]] consiste à n'utiliser que le minimum de causes élémentaires pour expliquer un phénomène. 👍 Une variante complémentaire est la loi de Pareto, qui énonce qu’environ 20% des causes expliquent environ 80% des effets. 💪 Il sont à la base des plans d’expérience, à la fois : > - **à leur construction**, par exemple certains plans de criblage sont basés sur l’hypothèse que les facteurs les plus influents sont de nature très simple (effets linéaires) et que dans une première approche les parts complexes des facteurs (interactions, effets non linéaires) peuvent être négligés. > - **à leur analyse**, en utilisant des tests statistiques on enlève du modèle polynomial tous les [[Analyse de la validité de la modélisation#Base de l’analyse des plans d’expériences|Coefficients]] non ou peu significatifs (ce qui est le principe du rasoir d’Ockham) 🪒 **Malheureusement leur mauvaise compréhension ou leur oubli sont la cause d’erreurs dans la construction et exploitation des DOE.** #### **Décryptage** Ces principes, bien que piliers de la recherche scientifique et des méthodes qualité, sont totalement empiriques, ne fournissant aucune formulation pratique utilisable. > [!alert] Pourtant, à l’usage, ils se vérifient quasi systématiquement. > - Ainsi si vous étudiez un système complexe à plus de 5 facteurs, il peut y avoir plusieurs dizaines de coefficients dans le modèle, en prenant en compte au moins toutes les interactions à deux facteurs et des termes non-linéaires. > - A l’analyse vous obtiendrez très probablement bien moins d’1/3 des coefficients comme significatifs. 😅 > - Ceci est le résultat à la fois du principe de parcimonie et de la loi de Pareto, cette dernière conduit au fait qu’un grand nombre de coefficients étant très petits, ils sont inférieurs à la précision expérimentale et donc non significatifs. 🤔 > [!question] Qu’est-ce qu’un modèle simple répondant au principe de parcimonie? Cet [[Un réseau bien net !|exemple présenté]], peut être qualifié de modèle simple car : > - Bien qu’il s’agisse d’un système (réacteur plasma) où les phénomènes physico-chimiques sont complexes, le modèle trouvé avec 4 facteurs ne contient quasiment pas d’interaction ce qui signifie que les facteurs sont indépendants les uns des autres. > - Ce qui permet à la fois une compréhension facile des phénomènes et une prédiction aisée, même sans logiciel de surface de réponse. > - Et pourtant **3 des facteurs sont fortement non-linéaires**. 😳 > [!question] Un plan de criblage n’évaluant que des effets linéaires sans interaction répond-il au principe de parcimonie ? > - En fait **il s’agit par défaut d’un plan simpliste à haut risque d’erreur**, sauf si l’analyse préliminaire de votre système a conduit à la forte probabilité d’un modèle essentiellement linéaire. 👎 > - Cet [[Réaction chimique… magique !|exemple présenté]] montre comment l’application d’une démarche classique de criblage linéaire ⇒ tri des facteurs ⇒ plan d’optimisation, peut se révéler complètement erronée. 😱 > [!alert] Définition > - Le principe de parcimonie signifie que vous devez trouver **un modèle de complexité minimale qui est à la fois nécessaire et suffisant**. > - Noter que “suffisant” adresse un objectif de précision. > - Il n’existe pas de règle par défaut: chaque système a son propre modèle minimal-nécessaire-suffisant. > - Exemples du [[Plus simple tu meures, ça eu faillit !|très simple]] au [[De la peinture pile et sans poil !|très complexe]] > [!warning] Deux règles fondamentales de survie > 1. Votre plan doit répondre à l’analyse préliminaire phénoménologique de votre système et à votre objectif; en conséquence **oublier les approches systématiques par défaut**. 😰 > 2. Dans **tous** les cas l’analyse de la signification ([[Analyse de la validité de la modélisation#^d3f59d|ANOVA]]) doit être réalisée; démonstration dans cet [[Réaction chimique… magique !|exemple]] d’approche classique par défaut. **** ## [[Analyse de la validité de la modélisation|Clé de compréhension des exposés]]