Gaussian process regression on nested subspaces
Régression par processus Gaussiens sur des sous-espaces imbriqués
Résumé
Metamodels are widely used in industry to predict the output of an expensive computer code. As industrial computer codes involve a large amount of input variables, creating directly one big metamodel depending on the whole set of inputs may be a very challenging problem. Industrialists choose instead to proceed sequentially. They build metamodels depending on nested sets of variables (the variables that are set aside are fixed to nominal values), i.e. the dimension of the input space is progressively increased. However, at each step, the previous piece of information is lost as a new Design of Experiment (DoE) is generated to learn the new metamodel. In this thesis, an alternative approach will be introduced, based on all the DoEs rather than just the last one. This metamodel uses Gaussian process regression and is called seqGPR (sequential Gaussian process regression). At each step, the output is supposed to be the realization of the sum of two independent Gaussian processes. The first one models the output at the previous step. It is defined on the input space of the previous step which is a subspace of the one of the current step. The second Gaussian process is a correction term defined on the input space of the current step. It represents the additional information provided by the newly released variables. The correction term has the particularity of being null on the subspace of the previous step so that there is a coherence between the steps. Firstly, some candidate Gaussian processes for the correction terms are suggested, which have the property of being null on an infinite continuous set of points. Then, an EM (Expectation-Maximization) algorithm is implemented to estimate the parameters of the processes. Finally, the metamodel seqGPR is compared to a classic kriging metamodel where the output is assumed to be the realization of one second order stationary Gaussian process. The comparison is made on two analytic examples, a first one with two steps, up to dimension 4, and a second one with three steps, up to dimension 15. The introduced methodology is also tested on an industrial example which goes from dimension 11 to dimension 15. In all these test cases, seqGPR performs better than, or at least as well as kriging. A methodology is suggested to build the samples used for the seqGPR metamodel. Two complementary issues are tackled: the presence of multiple designs in different subspaces ate each step, and the enrichment of the training samples.
Les métamodèles sont très largement utilisés dans l’industrie pour prédire la sortie des codes de calcul coûteux. Comme ces codes calcul font intervenir une grande quantité de variables d’entrée, créer directement un grand métamodèle dépendant de l’ensemble des entrées apparait trop ambitieux. Les industriels choisissent par conséquent de procéder séquentiellement. Ils réalisent des études en plusieurs étapes avec des métamodèles se concentrant sur des ensembles de variables de plus en plus grands de variables. Les variables non prises en compte sont fixées à une valeur nominale. La dimension de l’espace des entrées grandit à chaque étape. Cependant, l’information obtenue aux étapes précédentes est perdue car un nouveau plan d’expérience est généré pour construire le métamodèle. Dans cette thèse, une approche alternative est introduite, utilisant tous les plans d’expériences générés depuis le début plutôt que seulement celui de l’étape en cours. Ce métamodèle utilise la régression par processus Gaussiens et est appelé seqGRP (sequential Gaussian process regression). A chaque étape, la sortie est modélisée par la somme de deux processus : le processus qui modélisait la sortie à l’étape précédente et un processus correctif. Le premier est défini sur le sous-espace d’entrée de l’étape précédente tandis que le deuxième est défini sur le sous-espace de l’étape en cours. Le processus correctif représente l’information apportée par les variables libérées à l’étape en cours. Il a la particularité d’être nul sur le sous-espace de l’étape précédente pour assurer la cohérence de la modélisation entre les étapes. Premièrement, des candidats pour les processus correctifs sont proposés, qui ont la particularité d’être nul sur un ensemble infini continu de points. Ensuite, un algorithme d’EM (Expectation-Maximization) est implémenté pour estimer les paramètres des processus. Enfin, le métamodèle seqGPR est comparé à un métamodèle de krigeage classique qui modélise la sortie par un processus Gaussien stationnaire. La comparaison est faite sur deux exemples analytiques, un en deux étapes allant jusqu’à la dimension 4, un autre en trois étapes allant jusqu’à la dimension 15. La méthodologie introduite est également évaluée sur un exemple industriel allant de la dimension 11 à la dimension 15. Dans tous ces cas test, le métamodèle seqGPR a de meilleures performances que, ou tout du moins est aussi bon que le krigeage. Une méthodologie est proposée pour construire les échantillons d’entraînement du métamodèle. Deux problèmes complémentaires sont abordés : la présence de plusieurs plans d’expérience sur différents sous-espaces à chaque étape, et l’enrichissement des plans d’expérience.
Origine : Version validée par le jury (STAR)