| Item | DOE | Article |
| ----------- | ---- | ---------- |
| Création | 2005 | 2023-07-09 |
| Mise à jour | | 2024-01-30 |
L’objectif de cette présentation est de montrer les limites d’une méthode de criblage (screening) et les grossières erreurs qui en découlent, en l’absence d’une analyse critique de la fiabilité.
<br>
## Contexte
Voir le fichier (.pdf) de [cet exemple complet](https://exocorriges.com/details-45212.html), et qui serait un corrigé d’un exercice « officiel »
L’auteur présente l’optimisation d’un rendement d’une réaction chimique en deux étapes de plan d’expériences.
> 1. Plan de type matrice d’Hadamard à 12 essais, qui permet d’identifier 3 facteurs principaux parmi 8 facteurs essayés.
> 2. Plan factoriel complet avec les 3 facteurs sélectionnés, qui permet de trouver « le meilleur compromis »
Si la démarche parait en apparence nominale, **une analyse détaillée montre sa profonde incohérence.**
<br>
## Objectif, plans et analyse de l’auteur
<br>
Objectif : **Améliorer le rendement d’une réaction chimique.**
8 facteurs ont été sélectionnés (6 continus et 2 discontinus) et **un plan de Plackett-Burman à 12 essais (conçu pour 11 facteurs)** a été utilisé.
<br>
> [!info] Plan_1 Tableau des essais
>
>| Essais | Concentration<br/>soude | Température | Nature <br/>catalyseur | Agitation | Durée<br/>réaction |
|--------|-------------------------|-------------|------------------------|-----------|--------------------|
| 1 | 50 | 110 | TBAB | Avec | 210 |
| 2 | 40 | 110 | Cétyl-TMA | Sans | 210 |
| 3 | 50 | 80 | Cétyl-TMA | Avec | 90 |
| 4 | 40 | 110 | TBAB | Avec | 210 |
| 5 | 40 | 80 | Cétyl-TMA | Sans | 210 |
| 6 | 40 | 80 | TBAB | Avec | 90 |
| 7 | 50 | 80 | TBAB | Sans | 210 |
| 8 | 50 | 110 | TBAB | Sans | 90 |
| 9 | 50 | 110 | Cétyl-TMA | Sans | 90 |
| 10 | 40 | 110 | Cétyl-TMA | Avec | 90 |
| 11 | 50 | 80 | Cétyl-TMA | Avec | 210 |
| 12 | 40 | 80 | TBAB | Sans | 90 |
> **Table 1.1**
>
> | Essais | Volume<br/>solvant<br/>organique | Volume<br/>soude | Rapport<br/>substrat/soude | Rendement |
|--------|-----------------------------------|-------------------|-----------------------------|-----------|
| 1 | 200 | 30 | 0,0005 | 42 |
| 2 | 200 | 60 | 0,0005 | 3 |
| 3 | 200 | 60 | 0,001 | 57 |
| 4 | 100 | 60 | 0,001 | 38 |
| 5 | 200 | 30 | 0,001 | 37 |
| 6 | 200 | 60 | 0,0005 | 74 |
| 7 | 100 | 60 | 0,001 | 54 |
| 8 | 200 | 30 | 0,001 | 56 |
| 9 | 100 | 60 | 0,0005 | 64 |
| 10 | 100 | 30 | 0,001 | 65 |
| 11 | 100 | 30 | 0,0005 | 59 |
| 12 | 100 | 30 | 0,0005 | 15 |
> **Table 1.2**
> - *Ce type de plan permet d’évaluer les effets linéaires, mais en confusion avec des interactions !*
> - *Une expérience a été reproduite pour « obtenir l’erreur expérimentale », soit 7%*
<br>
L’auteur réalise le calcul des coefficients linaires et les compare à cette erreur expérimentale.
> - Il ne retient que 3 facteurs dont les coefficients sont nettement supérieurs à cette erreur, soit :
>> - Concentration de soude
>> - Agitation
>> - Durée
> - Les autres facteurs sont considérés comme non-significatifs.
Un plan factoriel complet est réalisé avec ces 3 facteurs, et **avec les mêmes amplitudes de variations.**
Les facteurs non-significatifs sont réglés à des valeurs non présentées : « _Les autres facteurs seront placés aux valeurs les plus significatives pour la réponse Y ou engendrant des coûts moindres._ »
<br>
> [!info] Plan_2 Tableau des essais
>
> |Essais|Concentration<br>soude|Agitation|Durée<br>réaction|Rendement|
|---|---|---|---|---|
|1|40|Sans|90|81,5|
|2|50|Sans|90|78,5|
|3|40|Avec|90|65|
|4|50|Avec|90|76,5|
|5|40|Sans|210|82,5|
|6|50|Sans|210|68,5|
|7|40|Avec|210|73,5|
|8|50|Avec|210|71,5|
> **Table 2.**
> - *Une expérience a été reproduite pour « obtenir l’erreur expérimentale », soit 3%*
<br>
Il en conclu que 1 terme linéaire et 2 interactions sont significatifs, soit :
> - Agitation
> - Concentration soude x Agitation
> - Concentration soude x Durée
Et que « le meilleur compromis » est la solution correspondant à l’essai N°5, soit 82.5 % de rendement.
<br>
## Analyse de l’analyse
En apparence la démarche semble très logique et correspondant à ce qui proposé couramment comme stratégie pour optimiser un système.
**Comparons les résultats des deux plans :**
<br>
##### 1. **Les coefficients**
> [!note] Tableaux des coefficients
>
|Facteurs|Plan 1|Plan 2|
|---|---|---|
|Concentration soude|8,3|-0,9|
|Agitation|8,8|-3|
|Durée réaction|-8,2|-0,8|
|Concentration soude x Agitation||3,3|
|Concentration soude x Durée||-3,1|
> **Table 3.**
<br>
Il est assez surprenant de constater l’impressionnante différence de valeur des coefficients linéaires entre les deux plans, alors que les amplitudes de leur variation sont les mêmes ! 😳
> - Une possibilité serait que dans le plan_2, le rendement soit proche de la saturation, ce qui « écraserait » l’amplitude des coefficients.
> > - Cependant, avec des variations de rendement de 65 à 82 %, on est encore loin de la limite asymptotique de 100%, donc gros doute 🤔
>
> - Les deux interactions sont relativement fortes, une confusion des coefficients linéaires/interactions du premier plan aurait donc pu générer une surévaluation des termes linéaires :
> > - Mais c’est insuffisant pour atteindre des valeurs > 8
> > - Donc **il y a d’autres interactions fortes dans le premier plan**, qui faussent l’estimation de ces coefficients.
<br>
> [!Attention] Première conclusion :
> - **A l’issue du premier plan, l’hypothèse que les plus forts coefficients représentaient les termes linéaires et que ceux-ci étaient les seuls facteurs significatifs, était fausse !**
<br>
##### 2. **Les essais-solutions**
Les deux meilleures solutions retenues (81,5 et 82,5 %) sont présentées dans le tableau suivant, et ce qui est intéressant est que **ces deux configurations sont aussi disponibles dans le premier plan**, dans 3 essais : N° 2, 5 et 12
<br>
> [!note] Configuration des meilleures solutions
>
|Facteurs|Solution-1|Solution-2|
|---|---|---|
|Concentration soude|40|40|
|Agitation|Sans|Sans|
|Durée réaction|90|210|
|**Rendement**|||
|Plan 2|81.5 %|82.5%|
|Plan 1|15 %|3 %|
|||37‰|
> **Table 4.** Comparaison des rendements au même solutions dans les deux plans.
> - *Dans le 1er plan, en partant de l’hypothèse de l’auteur, où les autres facteurs sont non-significatifs, des rendements du même ordre d’idée que pour le 2ème plan sont attendus.*
> - *Les rendements obtenus dans le plan 1 étaient: 3, 37 et 15%, soit en moyenne 18%, donc en relatif 22% seulement de la performance du deuxième plan !*
> <br>
> >[!alert] **Près de 80% d’augmentation de la performance est due aux facteurs déclarés « non-significatifs » ou leurs interactions.**
<br>
> [!Attention] Deuxième conclusion
> - Les bonnes performances de rendements obtenues dans le plan_2, ne sont pas dues à l’ajustement des 3 facteurs supposés les plus significatifs, mais à la configuration fixe des facteurs supposés non-significatifs !
> - **Donc le bon résultat obtenu relève soit :**
> > - **D’un coup de bol**
> > - **De la magie**
> > - **D’informations malheureusement cachées**
<br>
## Chercher l’erreur
Dans son analyse l’auteur prend comme critère de signification, le seuil de 7% de dispersion de la répétabilité des essais.
Si dans le principe ça parait logique, d‘un point de vue significatif c’est très léger, car avec un seul essai de répétition il aurait pu obtenir une autre valeur très différente et donc sélectionner différemment ces facteurs.
Mais surtout, **il est bien étrange qu’il n’ait pas fait une [[Analyse de la validité de la modélisation#^d3f59d|ANOVA]]**, alors que vis-à-vis des termes linéaires il dispose d’un plan redondant (12 essais pour 9 coefficients), qui lui permettait de réaliser les tests de significations.[^1]
[^1]:Même sans logiciel de statistique, il est facile de calculer une ANOVA avec un tableur, et la table des tests d’hypothèse zéro est [disponible](https://www.statology.org/f-distribution-calculator/).
<br>
> [!error] Il s’agit là de son erreur fondamentale.
> - **L’auteur oublie que dans ce type de plan, les termes linéaires sont confondus avec des interactions, et que la supposition que ces dernières soient négligeables repose sur le principe de [[Eléments#^Parcimonie|parcimonie]] qui est empirique et peut souvent ne pas se vérifier.**
> - **Ainsi il était indispensable de vérifier la cohérence des résultats en profitant de leur redondance.**
<br>
## Analyse critique du premier plan
Réalisation de l’ANOVA et des tests de signification
<br>
> [!info] [[Analyse de la validité de la modélisation#^83646a\|Test de signification H0]]
>
> | Termes | Rendement<br>Test H0 |
|------------------------|------------|
| Constant | 0,008 |
| Concentration Soude | 0,341 |
| Température | 0,772 |
| Catalyseur | 0,950 |
| Agitation | 0,317 |
| Durée | 0,349 |
| Volume Solvant | 0,788 |
| Volume Soude | 0,868 |
| Rapport Substrat/Soude | 0,612 |
| | |
| **Coefficients globaux** | **Valeurs** |
| R-Square | 0,599 |
| [[Analyse de la validité de la modélisation#2. Les coefficients globaux de la régression\|Adj R-Square]] | **-0,470** |
| [[Eléments#^RMS\|RMS Error ]] | **25,545** |
| [[Analyse de la validité de la modélisation#^ea6233 \|Residual df]] | **3** |
> **Table 5.** Résultat aucune signification, ni les termes, ni le coefficient de la régression.
> - *Au vu de la faible valeur de $\mathbf R^2-Adjust$, il n’y a pas de solution trouvable en retirant petit à petit les termes les plus non-significatifs.*
> - ***Donc un modèle ne reposant que sur les termes linéaires est totalement inadapté.***
<br>
> [!question] Le rendement étant une caractéristique doublement bornée (0 et 100%), pourrait-on trouver une transformation de réponse que résoudrait le modèle linéaire ?
> - La plupart des valeurs sont essentiellement entre 37 et 65, on est dans la zone la plus éloignée des asymptotes.
> - Cependant avec deux valeurs basse 3 et 15, on peut tenter la transformation [[Eléments#^Logit|Logit]], bien adaptée à la transformation d’un espace 0 à 1 en un espace de - $\infty$ à + $\infty$
<br>
**Si une incohérence apparait : Toujours creuser !** 🥵
Sont présentées ci-après 4 façons de conclure quant à la présence de très fortes interactions.
<br>
##### 1. **Comparons le calcul des termes linéaires avec 9 et 12 essais**
> - La structure d’un plan de Plackett-Burman permet de calculer les coefficients du modèle linéaire avec seulement les 9 premiers essais.
> - Les 3 essais supplémentaires possèdent donc comparativement des informations sur les interactions.
<br>
> [!Note] Tableau des coefficients linéaires
>
|**Termes**|**9 essais**|**12 essais**|
|---|---|---|
|Concentration de soude|0,7|8,1|
|Température|-11,3|-2,3|
|Nature du catalyseur|-4,3|0,5|
|Vitesse d'agitation|4|8,8|
|Temps de réaction|-15,8|-8,2|
|Volume de solvant organique|-14|-2,2|
|Volume de soude|-10,5|1,3|
|Rapport substrat / soude|-4,8|4,2|
> **Table 6.**
> - ***La différence est spectaculaire, pointant que les interactions représentées dans les 3 derniers essais changent complètement l’interprétation des résultats.***
<br>
##### 2. **Probabilité des résidus (12 essais)**
> [!info] **Graphe de probabilité des résidus du rendement - Plan_1**
> ![[Graphe de probabilité des résidus normalisés - Rendement réaction chimique.png]]
>
> **Figure 1.**
> - *Le graphe de probabilité pointe 3 gros écarts (+/-5.6 sigma) pour les essais 3, 6 et 12*
> - *Notamment l’essai 12, obtient 40% modélisé pour 15% mesuré.*
> - *Cet essai correspondant à des interactions signale donc qu’il existe sans doute au moins une forte interaction.*
<br>
##### 3. **Tests de significations des possibles interactions**
> - <u>Attention aucune interaction n’a été introduite à ce stade.</u>
> - La valeur des test H0 des interactions représente leur probabilité individuelle d’être significatifs <u>si on les rentre</u>.
<br>
> [!note] [[Analyse de la validité de la modélisation#^83646a\|Test de signification H0]]
>
| Termes | Rendement<br>Test H0 |
|-----------------------------------------|-----------|
| Constant | 0,008 |
| Concentration Soude | 0,341 |
| Température | 0,772 |
| Catalyseur | 0,950 |
| Agitation | 0,317 |
| Durée | 0,349 |
| Volume Solvant | 0,788 |
| Volume Soude | 0,868 |
| Rapport Substrat/Soude | 0,612 |
| | |
| **Interactions non-intégrées** | |
| Agitation x Concentration Soude | **0,028** |
| Concentration Soude x Température | 0,465 |
| Durée * Concentration Soude | 0,721 |
| Catalyseur x Concentration Soude | 0,721 |
| Catalyseur x Température | 0,721 |
| Volume x Soude | **0,028** |
| Concentration x Soude | 0,842 |
| Rapport x Soude | 0,465 |
| Agitation x Température | 0,842 |
| Durée x Température | **0,028** |
| Volume x Température | 0,465 |
| Volume x Température | 0,721 |
| Rapport Substrat/Soude x Température | 0,842 |
| Agitation x Catalyseur | 0,465 |
| Catalyseur x Durée | 0,842 |
| Catalyseur x Volume Solvant | **0,028** |
| Catalyseur x Volume Soude | **0,028** |
| Catalyseur x Rapport Substrat/Soude | 0,842 |
| Agitation x Durée | 0,721 |
| Agitation x Volume Solvant | 0,842 |
| Agitation x Volume Soude | 0,721 |
| Agitation x Rapport Substrat/Soude | **0,028** |
| Durée x Volume Solvant | 0,842 |
| Durée x Volume Soude | 0,465 |
| Durée x Rapport Substrat/Soude | 0,465 |
| Volume x Soude | 0,465 |
| Rapport Substrat/Soude x Volume Solvant | 0,721 |
| Rapport Substrat/Soude x Volume Soude | **0,028** |
| | |
| **Coefficients globaux** | **Valeurs** |
| R-Square | **0,599** |
| [[Analyse de la validité de la modélisation#2. Les coefficients globaux de la régression\|Adj R-Square]] | **-0,470** |
| [[Eléments#^RMS\|RMS Error ]] | **25,545** |
| [[Analyse de la validité de la modélisation#^ea6233 \|Residual df]] | **3** |
> **Table 7.** On peut noter que **7 interactions** présentent la même valeur significative (**0.028**) d’être entrées dans le modèle, ce qui signifie qu’elles sont confondues.
> - Concentration-soude x Agitation
> - Concentration-soude x Volume-Solvant
> - Température x Durée
> - Catalyseur x Volume-Solvant
> - Catalyseur x Volume-Soude
> - Agitation x Rapport Substrat/soude
> - Rapport Substrat/soude x Volume-Soude
<br>
En choisissant d’ajouter au modèle, <u>arbitrairement</u> “Concentration-soude x Agitation”, puis en affinant le modèle :
> - enlèvement de durée
> - ajout de l’interaction “Concentration-soude x Température” (confondue avec “Volume-Solvant x Température”)
> - enlèvement du “Rapport substrat / soude”
on obtient une modélisation significative :
<br>
> [!info] [[Analyse de la validité de la modélisation#^83646a\|Test de signification H0]]
>
> | Termes | Rendement<br>Test H0 |
|---------------------------------|-----------|
| Constant | 0,000 |
| Concentration Soude | 0,001 |
| Température | 0,001 |
| Catalyseur | 0,001 |
| Agitation | 0,001 |
| ~~Durée~~ | 0,872 |
| Volume Solvant | 0,053 |
| Volume Soude | 0,024 |
| ~~Rapport Substrat/Soude~~ | 0,556 |
| Agitation * Concentration Soude | 0,000 |
| Concentration x Température | 0,007 |
|||
| **Coefficients globaux** | **Valeurs** |
| R-Square | **0,997** |
| [[Analyse de la validité de la modélisation#2. Les coefficients globaux de la régression\|Adj R-Square]] | **0,990** |
| [[Eléments#^RMS\|RMS Error ]] | **2,126** |
| [[Analyse de la validité de la modélisation#^ea6233 \|Residual df]] | **3** |
> **Table 8.** Le R2-Adjust montre une excellente valeur à 0.99
>> - ***Cependant on ne peut réaliser une interprétation directe car il y a 9 interactions possibles en place des 2 affichées…***
<br>
> [!Note] Tableau des coefficients
>
| Termes | Rendement |
|---------------------------------|-----------|
| Constant | 47 |
| Concentration Soude | 8,33 |
| Température | -8,72 |
| Catalyseur | |
| Cétyl-TMA | 8,78 |
| TBAB | -8,78 |
| Agitation | |
| Avec | 10,72 |
| Sans | -10,72 |
| Durée | Out |
| Volume Solvant | 2,33 |
| Volume Soude | -3,17 |
| Rapport Substrat/Soude | Out |
| **Agitation x Concentration Soude** | |
| Avec | **-19,17** |
| Sans | **19,17** |
| Concentration x Température | 5,67 |
> **Table 9.** La première interaction est de très loin le facteur le plus important.
<br>
##### 4 Vérification a posteriori
A défaut de pouvoir faire. une interprétation sûre, on peut au moins a posteriori vérifier si la prédiction de ce modèle est compatible avec les résultats du deuxième plan.
> [!Info] Comparaison de l’interaction “Agitation x Concentration-soude” obtenue par chaque plan
> ![[Reaction chimique - interaction.png]]
>
> **Figure 2.** Les deux schémas d’interaction sont l’inverse l’un de l’autre, indiquant que les modèles sont incompatibles
> - **Cela signifie que le modèle du plan_1 est plus complexe qu’il n’y parait, et qu’il manque des essais pour déterminer la présence d’autres interactions.**
> - **Il est même possible qu’il y ait une interaction à 3 facteurs, pour expliquer l’inversion de l’interaction “Agitation x Concentration-soude”**
<br>
##### 5 **Transformation Logit du rendement**
> - Les valeurs Y de rendement normalisées sur l’échelle 0 et 1, sont transformées par la fonction [[Eléments#^Logit|Logit]] : Log-10 (Y / (1-Y)).
<br>
> [!Info] [Test de signification H0](app://obsidian.md/Analyse%20de%20la%20validit%C3%A9%20de%20la%20mod%C3%A9lisation#^83646a)
>
| Term | Logit (Rendement) |
|---------------------------------|--------------------|
| Constante | 0,0000 |
| Concentration Soude | 0,0024 |
| Température | 0,0028 |
| Catalyseur | 0,0070 |
| Agitation | 0,0012 |
| ~~Durée~~ | 0,4693 |
| ~~Volume Solvant~~ | 0,2833 |
| Volume Soude | 0,0582 |
| Rapport Substrat/Soude | 0,0677 |
| Agitation x Concentration Soude | 0,0009 |
| Concentration x Température | 0,0054 |
| | |
| **Coefficients globaux** | **Valeurs** |
| R-Square | 0,9944 |
| [[Analyse de la validité de la modélisation#2. Les coefficients globaux de la régression\|Adj R-Square]] | **0,9795** |
| [[Eléments#^RMS\|RMS Error ]] | **0,0772** |
| [[Analyse de la validité de la modélisation#^ea6233 \|Residual df]] | **3** |
| Transformation de la réponse | **Log-10 (Y / ( 1-Y))** |
> **Table 10.** Comme dans l’analyse précédente, on obtient une très bonne régression (R2-Adjust = 0,98), avec :
> - L’enlèvement de deux termes non significatifs (Durée et Volume Solvant)
> - Et l’ajout de deux interactions (**choix arbitraire dans les confusions**)
<br>
Le graphique de Pareto suivant montre l’amplitude relative des effets des facteurs.
> [!Note] Graphe de Pareto des coefficients
>![[Effets Pareto - Logit (Rendement).png]]
>
> **Figure 3.** Ce graphique montre clairement l’importance clé des deux interactions
<br>
##### 6 Conclusion
> [!alert] Conclusion de l’analyse critique
> - **Au moins deux interactions d’amplitudes aussi élevées sinon plus que les coefficients linéaires existent**, mais ne sont pas directement identifiables.
> - En regardant le plan 2, les interactions Concentration-soude x Agitation et Concentration-soude x Durée étant gardées comme facteurs libres, **les interactions clés qui configurées par coup de bol dans le bon sens ont permis les bons résultats, sont donc d’autres interactions**.
> - L’hypothèse de base du plan de criblage, que le modèle obéit principalement à des facteurs linéaires (principe de parcimonie), s’est révélé profondément inadaptée, conduisant à une **grosse erreur d’interprétation en l’absence d’analyse critique**.
<br>
## Quelles étaient les solutions au niveau du premier plan ?
<br>
##### **A posteriori**
> - Après avoir réalisé le premier plan, la marge de manœuvre est un peu limitée.
> - Pour calculer toutes les interactions il faut beaucoup d’essais supplémentaires car il y a 37 termes dans le modèle.
> - On peut cependant en faire un tri intelligent à l’avance, sur la base des connaissances en chimie et sélectionner seulement les interactions les plus probables.
<br>
##### **A priori**
> - Un plan factoriel fractionnaire de résolution IV de 16 essais permettait de **séparer les effets linéaires des interactions.**
> - Chaque interaction est confondue avec 3 autres, mais c’est quand même moins « confus » qu’avec le plan de Plackett-Burman.
> - Un plan factoriel à 32 essais permet d’obtenir près de la moitié des interactions sans confusion.
<br>
## Conclusion
Les plans de criblage (screening) sont souvent mis en avant par leur caractère simple et hautement efficace en ratio des nombres essais / facteurs.
Mais trop souvent les présentateurs ou utilisateurs oublient que les principes de [[Eléments#^Parcimonie|parcimonie]] et de Pareto étant empiriques, le risque de termes plus complexes que les termes linéaires est loin d’être négligeable.
D’où **l’erreur courante de ne pas faire l’indispensable vérification de la fiabilité des résultats**, qui a conduit ici à une analyse totalement erronée.
*On peut aussi noter qu’il existait pourtant plusieurs solutions d’analyse pour se rendre compte à la fin du plan 1, que le plan de criblage était incomplet pour faire un choix des facteurs clés.*
De mon expérience, **les procédés complexes physico-chimiques intègrent souvent des interactions importantes ainsi que des termes du second degré.**