Collection Mathématiques appliquées pour la maitrise
Sous la direction de P. G. CIARLET et J. L. LIONS
P. G. CIARLET
Ulliversité Pierre et Marie Curie
École N0Y111ale Supérieure
INTRODUCTION
,
a
L'ANALYSE NUMÉRIQUE
MATRICIELLE
,
et a
L'OPTIMISATION
Troisième tirage
avec mise à jour de la bibliographie
MASSON Paris Milan Barcelone Mexico 1988

Traduction:
en anglais, Cambridge University Press (à paraître).
Tous droits de traduction, d'adaptation et de reproduction par tous procédés,
, ,
reserves pour tous pays.
La loi du 11 mars 1957 n'autorisant, aux termes des alinéas 2 et 3 de l'article 41,
d'une part, que les "copies ou reproductions strictement réservées à l'usage privé du
copiste et non destinées à une utilisation collective" et, d'autre part, que les analyses ou
les courtes citations dans un but d'exemple et d'illustration, "toute représentation ou
reproduction intégrale, ou partielle, faite sans Ie consentement de l'auteur ou de ses
ayants droit ou ayants cause, est illicite" (alinéa 1 er de l'article 40).
Cette représentation ou reproduction, par quelque procédé que ce soit, constituerait
donc une contrefaçon sanctionnée par les articles 425 et suivants du Code pénal.
@Alasson,Paris,1982
ISBN: 2-225-68893-1
ISSN : 0754-4405
MASSON
MASSON ITALIA EDITOR!
MASSON S.A.
MASSON EDITORES
120, bd Saint-Germain, 75280 Paris Cedex 06
Via Statuto 2, 20121 Milano
Balmes 151, 08008 Barcelona
Dakota 383, Colonia Napoles, 03810 Mexico D.F.

PRÉSENTATION DE LA COLLECTION
"l\1ATHÉ l\1A TIQUES APPLIQUÉES POUR
LA l\1AÎTRI S E"
La Collection Mathé/11atiques appliquées pour la maÎtrise a pour but de présenter les
principales théories mathématiques générales directement orientées vers les applications,
de les développer de manière rigoureuse, et d'indiquer explicitement et avec précision la
très gran de variété de leurs applications.
Des théories Inathé/natiques générales orientées vers les applications sont, notamment,
les fondements de l'analyse des équations différentielles et aux dérivées partielles, linéaires
ou non, qui "gouvernent" tellement de situations en Physique, en Mécanique, en Chimie,
etc., et jusqu'en Économétrie ! Ce sont aussi les outils principaux de l' Analyse Numérique,
préalables obligés au traitement sur ordinateur : analyse numérique matricielle, méthodes
de l'optimisation, méthodes de différences finies ou d'éléments finis pour l'approximation
des solutions d'équations aux dérivées partielles ; c'est aussi la Statistique, dont les appli-
cations sont universelles, et OÙ I'ordinateur a apporté, là encore, une impulsion nouvelle
considérable ; c'est aussi la Mécanique des Solides et la Mécanique des Fluides dont une
connaissance déjà sérieuse est indispensable à tout mathématicien appliqué.
Ces théories générales sont, dans la Collection, développées de manière rigoureuse, par
Ie biais des solutions les plus synthétiques, les plus élégantes et les plus "confirmées" ;
elle fournissent ainsi tous les outils nécessaires pour aborder la grande majorité des
problèmes posés quotidiennement par les applications. Les théories générales présentées
dans cette Collection ont d'ailleurs été élaborées pour faire face précisément aux applica-
tions, c'est-à-dire à des problèmes posés dans des disciplines parfois très éloignées
des mathématiques mais néanmoins susceptibles d'être formalisés de façon mathéma-
tique.
Ces mênles théories devraient également servir de point de départ pour l'étude des
nouveaux problèmes posés par les applications; il est en effet essentiel de sa voir que ces
nouveaux problèmes, d'importance fondamentale, se présentent sous la forme de ques-
tions complètement "ouvertes". Après Ie préalable d'une modélisation mathématique
souvent déjà imparfaite, la seule façon de les aborder réside alors dans un traitement
"massif" sur ordinateur, à /' aide préciséJ11ent des ,néthodes et des outils fondamelltaux
présentés dans cefte Collection.

VI
C'est pourquoi ccUe Collection, qui s'adresse à tous Ics étudiants du Deuxième
Cycle de Mathématiques dites "appliqués ", mais aussi (au moins pour certains de ses
volumes) aux étudiants du Deuxième Cycle dc Mathématiques dites "pures", de Méca-
nique, de Physique, aux élèves des Grandes Ecoles d'lngénieurs, . . ., devrait non seulement
initier ses lecteurs à des théories rigoureuses et élégantes, tout en leur fournissant un outil
déjà utilisable dans de très nombreuses applications, mais aussi, nous l'espérons. leur
donner Ie désir d'aller bien au-delà.
Pour I'accueil compréhensíf qu'elle a bien voulu réserver à cette Collection, it nous
est particulièrement agréable de remercier la maison Masson, en la personne notamment
de M. J. F. L Grand. Nous tenons également à remercier bien vivement M. A. Warus-
fel, dont l'activité et Ie dévouement ont beaucoup contribué à la conception et à I'éla-
boration de cette Collection.
P. G. CIARLET
J. L. LIONS

PRÉFACE
L'objet essentiel de cet ouvrage est de donner, tout en restant dans des limites raison-
nables, une description et une analyse relativement compJètes des méthodes les plus
couramment utilisées en Analyse Numérique Matricielle et en Optimisation.
A l'heure où, dans tous les domaines scientifiques, apparaÎt la nécessité d'utiliser les
méthodes numériques les mieux adaptées aux performances spectaculaires des ordina-
teurs, je souhaite que cet ouvrage contribue non seulement à montrer l'efficacité des
méthodes d'emploi universe) qui y sont décrites, mais aussi à meUre en évidence l'intérêt
que peut présenter leur analyse mathématique. Si Ie premier aspect intéresse surtout les
utilisateurs éventuels, et Ie second les lecteurs épris de rigueur mathématique, il n'est pas
interd.it d'espérer que ce Jivre pourrait susciter, chez les uns comme chez les autres, un
intérêt simultal1é pour ces deux caractéristiques complémentaires de l'Ana)yse Numérique.
*
* *
Cet ouvrage s'adresse tout particulièrement aux étudiants de première année de la
MaÎtrise de Mathématiques Pures, de la MaÎtrise de Mathématiques et Applications
Fondamentales, de )a MaÎtrise de Mécanique, ainsi qu'aux élèves de première année des
Grandes Écoles. Mais il devrait également être utile aux Ingénieurs, Physiciens, Méca-
niciens, Biologistes, Économistes, ..., qui souhaitent avoir une idée des méthodes
numériques constamment uttlisées aujourd'hui, et être en mesure de meUre en æuvre
certaines d'entre elles.

VIII
PRÉFACE
En raison du niveau mathématique relativement modéré que recquiert cet ouvrage
(surtout dans sa première partie), la plupart des matières qui y sont traitées pourraient
"glisser" progressivement dans l'enseignement mathématique des Classes Préparatoires
aux Grandes Écoles et des Diplômes d'Études Universitaires Générales. C'est là un de
mes væux les plus chers, qui, s'il correspond avant tout à une inclination personnelle,
me semble aussi répondre à un simple souci d'équité : est-il en effet raisonnable de se
limiter aux formules de Cramer et d'ignorer les méthodes de Gauss et de Cholesky ?
Est-il en effet raisonnable de se limiter au polynôme caractéristique et à la réduite de
Jordan et d'ignorer l'existence de la méthode QR et de la méthode de Givens-House-
holder ? Est-il en effet raisonnable de rejeter les coniques et autres quadriques dans les
ténèbres extérieures et d'ignorer l'intérêt de la notion de direction conjuguée pour la
minimisation d'une fonctionnelle quadratique ?
*
* *
Dans tous les cas, l'enseignant devrait pouvoir adapter facilement l'ouvrage au gré de
ses besoins et au niveau de son auditoire. A titre indicatif, un enseignement semestriel
de trois heures hebdomadaires correspond au contenu des chapitres 1 à 6, ou à celui
(de niveau un peu plus élevé) des chapitres 7 à 10, ou encore à celui des chapitres 4 à 8.
On a supposé les lecteurs déjà famiJiarisés avec les principales propriétés des matrices
(notamment Ie calcul matriciel), les espaces vectoriels normés de dimension finie (conti-
nuité et dérivabilité des fonctions de plusieurs variables, compacité, applications linéaires,
etc.). S'il est vrai que dans la deuxième partie, il est fait usage des espaces de Banach, des
espaces de Hilbert, et du calcul différentiel dans les espaces vectoriels normés quelconques,
les définitions et résultats correspondants sont toujours rappelés avec précision, et surtout,
les lecteurs peu enclins à ce genre de généralisations pourront sans aucun inconvénient
continuer à "rester en dimension finie". C'est dans Ie même esprit qu'on s'est volontaire-
ment abstenu d'utiliser la notion de convergence faible, sauf dans une démonstration ;
mais i1 s'agit d'un résultat d'existence en dimension infinie, dont l'analogue en dimension
finie est démontré par ailleurs de façon élémentaire.
Les caractéristiques suivantes de l'ouvrage méritent, croyons-nous, d'être signalées :
- réunion dans un même volume de I' Analyse Numérique Matricielle et de I'Optimisation,
avec passage progressif, et nombreuses références, de l'une à l'autre ;
- ordre choisi pour les matières traitées et les préliminaires correspondants, qui
correspond à un niveau mathématique généralement croissant ;
- importance de la place accordée aux rappels et compléments mathématiques néces-
salres ;
- description de problèmes variés, issus de la Physique, de la Mécanique, de l'Écono-
mie, etc., conduisant à la résolution de probJèmes d'Analyse Numérique Matricielle ou
d'Optimisation ;
- démonstrations complètes, et aussi simples que possible ;
- souci pédagogique : place accordée aux aspects descriptifs, présence de Com-
mentaires Bibliographiques, d'un Index, existence d'un Recueil d'Exercices très complete
*
* *
D'une façon plus précise, dans la première partie (chapitres 1 à 6), plus spécialement
consacrée à l' Analyse Numérique Matricielle, on trouvera :
-les rappels et compléments nécessaires sur les matrices et sur les normes (vectorielles
ou matricielles), ces dernières étant d'un usage constant dans toute la suite (chapitre 1) ;
- quelques notions sur Ie conditionnement d'un problème d'Analyse Numérique
Matricielle (chapitre 2) ;

PRÉFACE
JX
- quelques aperçus sur]a variété des méthodes de l'Analyse Numérique (méthodes de
différences finies ou d'approximation variationnelle pour les problèmes aux limites,
d'interpolation, d'approximation au sens des moindres carrés, etc.) qui conduisent à un
système linéaire ou à un problème de valeurs propres (chapitre 3) ;
-la description et l'analyse des principales méthodes directes (de Gauss, de Cholesky,
de Householder; cf. chapitre 4) et itératives (de Jacobi, de Gauss-Seidel, de relaxation;
cf. chapitre 5) de résolution des systèmes /inéaires ;
-la description et l'analyse des principales méthodes de calcul des valeurs propres
(de Jacobi, de Givens-Householder, QR) et des vecteurs propres des matrices.
Dans la deuxième partie (chapitre 7 à 10), plus spécialement consacrée à l'Optimisation,
on trouvera :
-les rappels et compléments nécessaires sur Ie calcul différentiel dans les espaces vec-
toriels normés (chapitre 7) et sur les espaces de Hilbert (chapitre 8); .
- une introduction progressive à 1'0ptimisation, par Ie biais de l'étude des multip/i-
cateurs de Lagrange, des extremums des fonctions réelles, de la convexité, et de la méthode
de Newton (chapitre 7) ;
-la description de problèmes variés (approximation de problèmes aux limites linéaires
et non linéaires, problèmes d'origine "économique") qui conduisent à la minimisation de
fonctionnelles, avec ou sans contraintes (chapitres 8 et 10) ;
-la description et l'analyse des principales méthodes de 1'0ptimisation : méthode de
relaxation, méthodes de gradient à pas optimal, à pas fixe ou variable, méthode du
gradient conjugué, méthode de péna/isation (chapitre 8), méthode d' Uzawa (chapitre 9),
méthode du simplexe (chapitre 10) ;
- une introduction à la dua/ité : lemme de Farkas-Minkowski, relations de Kuhn et
Tucker, Lagrangiens et points-sel1es, application à la programmation /inéaire (chapitres
9 et 10).
Pour une description plus complète des matières traitées, les lecteurs se reporteront
aux introductions des chapitres.
*
* *
Les résuHats importants sont énoncés sous forme de théorèmes, les plus importants
d'entre eux étant repérés par une flèche dans la marge. Un "Z" dans la marge signale
généralement une difficulté, ou un "piège" inattendu, qui peuvent être de nature très
variée. De nombreuses remarques accompagnent Ie texte. Bien qu'elles puissent être en
princiþe sautées en première lecture, elles ne doivent pas être négligées ; leur rôle est en
effet d'aider les lecteurs, en situant mieux certains résultats, en signalant des cas part i-
culiers intéressants, en mentionnant la possibilité ou l'impossibilité de certaines extensions.
etc.
De nombreux exercices, de difficulté très variable, complètent ce présent ouvrage
dans un Recueil d'Exercices de la même col1ection. Certains, qui se présentent sous ]a
forme de problèmes apportent des compléments parfois très importants et it y est fait
référence dans ]e texte.
On trouvera deux types d'informatiolls bib/iographiques: il s'agit soit de références
"ponctuelles' (à propos d'un résultat précis, d'un exercice, etc.), qui apparaissent sous
forme de notes en bas de page, soit de références de caractère plus général. Ces derniêre
sont classées par sujet sous la rubrique "Commentaires Bibliographiques", placée en fin
d'ouvrage. Les lecteurs intéressés par la programmation effective des méthodes étudiées au
fit des chapitres y trouveront à cet égard des indications bibliographiques précieuses.
*
* *

x
PRÉFACE
Lors de la rédaction, de nonlbreux collègues et étudiants ont bien voulu nle faire part
de leurs avis, observations, suggestions, etc. A ce propos, je tiens tout particulièrenlent
à exprimer ma reconnaissance à Jean-Marie THOMAS qui a lu de façon détaillée la totalité
du manuscrit, et dont les remarques sont à l'origine de nonlbreuses anléliorations.
Ma gratitude s'adresse aussi à Claude BASDEVANT, Michel CROUZEIX, David FEINGOLD,
Srinivasan KESAVAN, Colette LEBAuD,_Jean MEINGUET, Annie PUECH-RAOULT, Pierre-
Arnaud RAVIART, François ROBERT, Ulrich TULOWITZKI, Lars W AHLBIN, qui à des titres
et degrés divers, m'ont fait profiter de leurs conseils éclairés.
D'un point de vue plus personnel. il nl 'est égalenlent agréable de renlercier Richard
S. VARGA, dont l'enseignement et l'enthousiasnle très conlnlunicatif ont su nle donner Ie
goût de I' Analyse Numérique.
Enfin, c'est un grand plaisir pour nloi que de renlercier très sincèrenlent, une nouvelle
fois, Hélène BUGLER pour la diligence et la qualité de son travail.
*
* *
Je dédie ce livre à Hélène et Gaston CIARLET.
Philippe G. CIARLET
Décembre 1980

TABLE DES MATIÈRES
Présentation de la collection ............................................... v
Préf ace ................................................................. V II
PREMIÈRE PARTIE
Analyse numérique matricielle
1. Rappels et compléments sur les matrices ................................... 3
Introduction .................................................... 3
1.1. Principales notations et définitions .............................. . . 3
1.2. Réduction des matrices ........................................... 8
1.3. Propriétés particulières aux matrices symétriques et hermitiennes . . . . . . . 11
1.4. .Normes vectorielles et normes matricielles .......................... 14
1.5. Suites de vecteurs et de matrices ................................... 21
2. Généralités sur I'analyse numérique matricielle ............................. 23
Introduction .................................................... 23
2.1. Les deux problèmes fonda men tau x: généralités sur les méthodes employées 23
2.2. Conditionnement d'un système I inéaire ............................. 27
2.3. Conditionnement d'un problème de valeurs prop res .................. 34
3. Origine des problèmes de I'analyse numérique matricielle ..................... 37
Introduction .................................................... 37
3.1. La méthode des différences fìnies pour un problème aux limites en di-
mension un ..................................................... 38
3.2. La méthode des différences finies pour un problème aux Ii mites en dimen-
sion deux ...................................................... 45
3.3. La méthode des ditférences finies pour les problèmes aux limites d'évolu-
t Ion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 48
3.4. Approximation variationnelle d'un problème aux limites en dimension un 53
3.5. Approximation variationnelle d'un problème aux limites en dimension
deu x ........................................................... 60
3.6. Problèmes de valeurs propres ..................................... 62
3.7. Problèmes d'Înterpolation et d'approximation ....................... 66
4. Méthodes directes de résolutions de systèmes linéaires . . . . . . . . . . . . . . . . . . . . . . . . 71
Introduction .................................................... 71
4.1. Deux remarques concernant la résolution ds systèmes linéaires . . . . . . . . 72
4.2. La méthode de Gauss ........................................... 73
4.3. La factorisation LU d'une matrice ................................. 82
4.4. La factorisation et la méthode de Cholesky ......................... 87
4.5. La factorisation QR d'une mat rice et la méthode de Householder ..... 90

xn
5. Méthodes itératives de résolution des systèmes linéaires . . . . . . . . . . . . . . . . . . . .. 95
Introduction .................................................... 95
5.1. Généralités sur les méthodes itératives ............................. 95
5.2. Description des méthodes de Jacobi, de Gauss-Seidel, de relaxation 97
5.3. Convergence des méthodes de Jacobi, de Gauss-Seidel, de relaxation .... 102
6. Méthodes de calcul des valeurs propres et des vecteurs propres . . . . . . . . . . . . . .. 110
Introduction ............................................. . . . . . .. 110
6.1. La méthode de Jacobi ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 111
6.2. La méthode de Givens-Householder . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 118
6.3. La méthode QR ................................................ 123
6.4. Calcul des vecteurs propres ....................................... 129
DEUXIÈME PARTIE
Optimisation
7. Rappels et compléments de calcul différentiel. Premières applications . . . . . . . . .. 135
Introduction .................................................... 135
7.1. Dérivées première et seconde d'une application ..... . . . . . . . . . . . . . . .. 137
7.2. Extremums des fonctions réelles: multiplicateurs de Lagrange ......... 146
7.3. Extremums des fonctions réelles: prise en compte des dérivées secondes. 151
7.4. Extremums des fonctions réelles: prise en compte de la convexité ...... 153
7.5. La méthode de Newton ........................................... 158
8. Généralités sur I'optimisation. Premiers algorithmes ........................ 167
Introduction .......................................... . . . . . . . . .. 167
8.1. Le théorème de projection: premières conséquences .................. 168
8.2. Généralités sur les problèmes d'optimisation ........................ 173
8.3. Exemples de problèmes d'optimisation ............................. 179
8.4. Méthodes de relaxation et de gradient pour des problèmes sans contrain-
tes ............................................................. 182
8.5. Méthodes de gradient conjugué pour des problèmes sans contniintes ... 194
8.6. Méthodes de relaxation, de gradient, et de pénalisation, pour des problèmes
avec contraintes ................................................. 201
9. Introduction å la programmation non linéaire ............................... 207
Introduction .................................................... 207
9.1. Lemme de F arkas- M inkowsk i . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 208
9.2. Les relations de Kuhn et Tucker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 211
9.3. Lagrangiens et points-selles. Introduction à la dualité ................ 219
9.4. La méthode d' U zawa ............................................ 226
10. Programma tion linéaire ................................................ 23 1
Introduction .................................................... 231
10.1. Généralités sur ]a programmation linéaire .......................... 232
10.2. Exemples de problèmes de programmation linéaire .................. 235
10.3. La méthode du simplexe ......................................... 237
10.4. Dualité et programmation ]inéaire ................................. 252
Commentaires bibliographiques ............................................. 259
Références .............................................................. 262
Principales notations utilisées ............................................. 266
Index ..................................................... . . . . . . . . . .. . 271

P REMIÈRE PARTIE
ANALYSE NUMÉRIQUE
MA TRICIELLE

I
RAPPELS ET COMPLÉMENTS
SUR LES MATRICES
I ntrod uction
Ce chapitre a pour but de rappeler, et de démontrer, un certain nombre de résultats
relatifs aux matrices et aux espaces vectoriels de dimension finie, et dont un usage constant
sera fait dans toute la suite de l'ouvrage.
On suppose les lecteurs déjà familiarisés avec les propriétés élémentaires des espaces
vectoriels de dimension finie (Ie calcul matriciel notamment), pour lesquelles on revoit au
paragraphe 1.lles principales notations et définitions, ainsi que la notion de décompoj'ition
par blocj' d'une matrice, qui est à signaler pour son importance en Analyse Numérique
Matricielle.
Afin de rendre I'ouvrage aussi "autonome' que possible, tous les rêsultats importants
pour la suite sont démontrés, en particulier /a réduction d,'unf matrice quelconque à la
forme triangu/aire, /a diagonalÚ'ation dej' matricej' norn1alej' (théorème 1.2-1), et I'équi-
valence d'une matrice à /a matrice diagonale de j'ej.' va/eurs sitfßulièreJ' (théorème 1.2-2).
A cet égard, il convient de signaler que nos n 'aurons pas à "tiliser Ie théorème de Jordan.
Nous examinons ensuite (théorème 1.3-1) les car<xlérÚ'ationj' dej' valeurj' propres dej'
matricej' symétriquej' ou hermitiennej' par I'intermédiaire du quotient de Rayleigh, notam-
ment les caractérisations par "min-max" et par "max-min".
On passe ensuite en revue les normej' vectoriellej' les plus couramment utilisées en Ana-
lyse Numérique Matricielle, qui sont des cas particuliers ds. "nQrmej,'/" (théorème 1.4-1),
puis on calcule les normej' matriciellej' j'Ul?()l:d(Jnéej' correspondantes (théorème 1.4-2),
un exemple de norme matricielle non subordonnée à une norme vectorielle étant donné au
théorème 1.4-4. On rappelle également (théorème 1.4-5) les conditions d'invertibilité
de matrices de la forme (I + B), et on montre (théorème 1.4..3) que Ie rayon jpectral
d'une matrice est la borne inférieure dej' va/eurj' de j'ej' ItQrmc.J" ce dernier résultat servant
en suite à démontrer deux réjultatj' re/atiþ' à la .lU(olf dJ.' puij''anceJ' J'uc'cej'j'ivej' d'une même
matrice (théorème 1.5-1 et 1.5-2), qui Jo\ \Hl fQle fandamental dans I'étude des métho-
des itératives de résolution de sys\mCs hR{\ifS étudièes au chapitre 5.
1.1. Principales notations et définitions
Soit V un espace vectoriel de dimension finie n, sur Ie corps R des nombres réels, ou sur
Ie corps C des nombres complexes; s'il n'y a pas lieu de distingtter, on dit qu'il s'agit du
corps K des scala ires.

4
COMPLÉMENTS SUR LES MATRICES
Une base de Vest un ensemble {e1' e2' . . ., en} de n vecteurs linéairement indépendants
de V, qu'on notera (ej)7=1' ou simplement (ej) si aucune confusion n'est à craindre. Tout
vecteur v E Vadmet alors une décomposition unique
n
V = L Viei,
;=1
les scalaires Vi, que nous noterons parfois (v)j, étant les compoJ'anteJ' du vecteur 1) sur la
base (ej). Lorsqu'une base est fixée sans ambiguÎté, on peut ainsi identifier V à Kn ; c'est
pourquoi il nous arrivera également de noter v = (v;)7=1' ou simplement (Vi), un vecteur
de composante Vi.
n
En notation matricielle, Ie vecteur V = L Viei sera toujours représenté par Ie vecteur
;=1
colonne
V=
VI
V 2
V n
et on désignera par v T et V. les vecteurs /ignes suivants :
v T = (V 1 V2. . . v n ), V. = (V1V2' . . 'On),
OÙ, en général, æ désigne Ie nombre cOq1pIexe conjugué du nombre!X. Le vecteur ligne vT
est Ie vecteur transposé du vecteur colonne v, et Ie vecteur ligne v. est Ie vecteur adjoint
du vecteur colonne v.
L'application (., .): VX V ..... K définie par
n
(u, v) = vTu = uTv = L U;Vi SI K = R,
;=1
_ n
(u, ",) = v.u = u.v = L u;V; si K = C,
i=1
est appelée produit scalaire euc/idien si K = R, hermitien si K = C, ou canonique si I'on
ne précise pas Ie corps des scalaires. Si I'on souhaite rappeler la dimension de I'espace,
on écrira
(u, v) = (u, v)n.
Soit V un espace muni de son produit scalaire canonique. Deux vecteurs u et v de V sont
orthogonaux si (u, v) = O. Par extension, on dit qu'un vecteur vest orthogonal à une partie
U de V, et on note v 1- U, lorsque Ie vecteur vest orthogonal à tous les vecteurs de U.
Enfin, un ensemble {vI' . . ., Vk} de vecteurs de l'espace Vest dit orthonormal si
(Vi, Vj) = ðij, 1 =E: i, j =E: k,
où ð;j est Ie symbole de Kronecker : ðij = 1 si i = j, ðij = 0 si i  j.
Soit Vet W deux espaces vectoriels sur Ie même corps, munis de bases (ej)jcl
et (1i)'!::1 respectivement. Relativement à ces bases, une application linéaire
d: V..... W
est représentée par la matrice à m /ignes et n colonnes :
all a12 a1n
A= a21 a22 a2n
amI a m 2

PRINCIPALES NOTATIONS ET DÉFINITIONS
5
les éléments aij de la matrice A étant definis de façon unique par les relations
m
dej = L aij Ii, l:E:: j :E:: n.
1=1
Autrement dit, Ie j-ème vecteur colonne
tilj
Q2j
amj
de la matrice A représente Ie vecteur dej dans 1a base (/')'/'=.1. On appelle
(ail a i2 · · · ain)
Ie i-ème vecteur ligne de la matrice A.
Dne matrice à m lignes et n coIonnes est appelée matrice de type (m, n), et on note
d m , n(K), ou simplement d m , n, l'espace vectorieI sur Ie corps K formé par les matrices
de type (m, n) à éléments dans K. Un vecteur colonne est done une matrice de type (m, 1)
et un vecteur ligne une matrice de type (1, n). Dne matrice est dite réelle ou complexe
selon que ses éléments sont dans Ie corps R ou dans Ie corps C.
Une matrice A d'éléments aij est notée
A = ( a.. )
'J '
Ie premier indice i étant toujours ceIui de Ia ligne et Ie second, j, celui de la colonne. Étant
donné une matrice A, on désigne par (A)ij l'élément de la i-ème ligne et de la j-ème
colonne.
La matrice nulle et Ie vecteur nul sont désignés par la même lettre O.
Étant donné une matrice A E d m , n(C), on note A * E d n . m(C) la matrice adjointe
de Ia matrice A, définie de façon unique par les relations
(Au, v)m = (u, A.v)n pour tout u E cn, v E cm,
qui entrainent (A *)ij = åj;. De la même façon, étant donné une matrice A = d m . n(R),
on note AT E d ll , m(R) la matrice transposée de la matrice A, définie de façon unique
par les relations
(Au, v)m = (u, ATv)n pour tout u ERn, v E Rm,
qui entrainent (A T)ij = aji.
REMARQUES. (1) On peut encore définir la matrice transposée d'une matrice complexe,
n
mais c'est une notion d'intérêt moindre, I'application u, v -+ L UiV; n'étant pas un
1=1
produit scalaire dans Cn.
(2) On a préféré ]a notation AT à la notation habituelle tA, cette dernière étant davan-
tage adaptée à la notion de base duale ; la notation AT rappelle la dépendance de la
notion de matrice transposée sur un produit scalaire particulier, Ie produit scalaire
canonique en I' occurrence. II
A la composition des applications linéaires correspond la multiplication des matrices :
Si A = (aik) est une matrice de type (m, /) et B = (b kj ) de type (I, n), leur produit AB est
la matrice de type (m, n) définie par
I
(AB)ij = L aikbkj.
k=l
On rappelle que (AB)T = BTAT, (AB). = B.A..

6
COMPLÉMENTS SUR LES MATRICES
Soit A = (aij) une matrice de type (m, n). On appelle sous-matrice de la matrice A
toute matrice de la forme
ail i. aill,
ai.l. ai.l,
aipl. aipl,
les entiers ik et j/ vérifiant
1 E: i 1 <: i 2 <: ... <: ip E: m ; 1 E: jl <: j2 <: ... <: jq E: n.
Soit A = (aij) la matrice représentant une application linéaire de V dans W, et soit
V=V t EÐV 2 EÐ ... EÐVN, W=W 1 EÐW 2 EÐ ... EÐWM
des décompositions des espaces V et W en sommes directes de sous-espaces VJ et WJ,
de dimensions nJ et ml respectivement, engendrés par des vecteurs de base. Aces décom-
positions des espaces V et W, on associe la décomposition par blQCS de la matrice A :
. . .
. . .
A= . = (AI)
.
.
. . .
chaque sous-matrice A IJ , de type (mJ, nJ), représentant une application linéaire de
l'espace V J dans l'espace WI- L'intérêt de telles décompositions par blocs est que certai-
nes des opérations définies sur les matrices restent formellement les mêmes, "les coefficients
ail étant remplacés par les sous-matrices A IJ ". Mais attention à l'ordre des facteurs !
Ainsi, soit A = (A IK ) et B = (BKJ) deux matrices, de type (m, I) et (I, n) respective-
ment, décomposées par blocs, la décomposition correspondant à I'indice K étant la même
pour chaque matrice. Alors la matrice AB admet comme décomposition par blocs
AB = (C IJ ), avec C IJ = L A1KB KJ ,
K
et on dit qu'on a effectué Ie produit par blocs des deux matrices.
N
De la même façon, soit v un vecteur de I'espace V, et soit v = L VJ, VJ E V J , sa
J=1
décomposition (unique) associée à la décomposition de l'espace V en somme directe.
Le vecteur Av E Wadmet alors
M
Av = L WJ,
1=1
N
avec WI = L AIJvJ,
J=1
comme décomposition unique associée à la décomposition de l'espace W en somme
directe. II est équivalent de considérer que les vecteurs v et Av sont décomposés en blocs:
.
.
Av =
N
WI = L AIJvJ,
J=l
v=
VI
v 2
VN
et que l'on a effectué Ie produit par blocs de la matrice A et du vecteur v.

PRINCIP ALES NOTATIONS ET DÉFINITIONS
7
Une matrice de type (Il, Il) est dite nlatrice carrée., ou Illatrice d'ordre n si l'on veut
préciser l'entier n ; II est alors commode de dire qu'une matrice est rectallgulaire lorsqu'el-
1 e n'est pas nécessairement carrée. On note
cIl n = cIl ll , n ou d ll (K) = oi n , n(K),
/' anneau des matrices carrées d' ordre Il, à élél11ellt s dans Ie corps K.
Sauf mention du contraire, les I1latrices considérées jllsqu' à la fill de ce paragraphe sont
carrées.
Si A = (aij) est une matrice carrée, les élénlents au sont appelés élé/nellts diagol1aux,
et les éléments aib i :;zÆ j, sont appelés élél11ents hors-diagollaux. La nlatrice unité est la
matrice
I = (ðij).
Une matrice A est il1rersible s'il existe une matrice (unique si elle existe), notée A-I et
appelée matrice inverse de la matrice A.. telle que AA -1 == A -IA = I. Dans Ie cas contrai-
re, on dit que la matrice est sillglllière. On rappelle que, si A et B sont des matrices in-
versibles
(AB)-1 = B-IA -1, (AT)-I = (A -l)T. (A*)-l == (A -1)*.
Une matrice A est :
symétrique si A est réelle et A == AT ;
hermitienl1e si A = A * :
orthogollale si A est réelle et AA T == AT A == I ;
unitaire si AA* = A*A = I :
Ilormale si AA * = A * A.
Une matrice A = (aij) est diagollale si aij = 0 pour i :;zÆ j ; on la note
A = diag (a;;) = diag (all. a22' . . ., ann).
La trace d'une matrice A = (aij) est définie par
"
tr(A) = La,;.
;=1
Soit 6n Ie groupe des permutations de l'ensemble {I, 2, . . ., Il}. A tout élément (J E 6n,
on associe la nlatrice de perl111ltatioll
Pa = (ð;a(j)).
On notera qu'une ilIa trice de perl11lltation est orthogol1ale.
Le déterminant d'une matrice A est défini par
dét (A) = L ê a a a (I) l aa(2)2... aa(n)Il'
aE En
où Ea désigne la signature de la permutation (J.
Les valeurs propres Î.; = À,(A), 1  i  n, d'une matrice A d'ordre n sorit les Il racines,
réelles ou complexes, distinctes ou confondues, du polynôme caractéristique
PA : Î. E C -ÞO PA(À) = dét(A-ÀI)
de la matrice A. La spectre de la matrice A est Ie sous-ensemble
n
sp (A) == U {À;(A)}
;=1
du plan complexe. On rappelle les relations
n n
tr(A) = L ).;(A), dét (A) == n Àj(A),
;=1 ;=1
tr(AB) = tr(BA), tr(A + B) = tr(A) +tr(B),
dét(AB) = dét (BA) = dét(A) dét (B).

8
COMPLÉMENTS SUR LES MATRICES
Le rayon spectral d'une matrice A est Ie nombre o défini par
e(A) == max{lÀi(A)1 ; 1  i  n}.
A toute valeur propre À d'une matrice A est associé (au moins) un vecteur p tel que
p  0 et Ap == p,
appeIé vecteur propre de la matrice A, correspondant à la valeur propre Â. Si À E sp(A),
Ie sous-espace vectoriel
{v E V; Av == Àv }
(de dimension au moins' égale à 1) est appelé sous-espace propre, correspondant à la valeur
pro pre Â..
On conviendra que dans la décomposidon par blocs A == (All) d'une matrice carrée,
les sous-matricesdiagonales All sont toujours carrées.
Étant donné deux espaces vectoriels de dimensions finies (mais non nécessairement
égales) V et W, Ie rang d'une application linéaire ell : V -+- West égal à la dimension du
sous-espace vectoriel
Im(eIl) == {eIlv E W; v E V}.
Si les espaces V et W sont munis de bases, vis-à-vis desquelles l'application ell est re-
présentée par une matrice A, Ie rang de ell est aussi égal au plus grand ordre des sous-
matrices (carrées) inversibles de la matrice A. C'est pourquoi Ie rang de ell est aussi
appelé rang de la matrice A. On Ie note r(A).
Faisons enfin une remarque générale, valable pour toute la suite : Toutes les [ois que
ce sera "raisonnablement" clair, on ne mentionnera pas les ensembles d'indices. C'est
ainsi que si A == (aij) est une matrice de type (m, n) on se contentera d'écrire
max{min a,j}, au lieu de max {min aij};
i j lim ]jn
c'est ainsi qu'on écrira seulement
pi Pj == ðij, au lieu de pi Pj == ðij,
1  i, j  Il,
s'il est clair que les indices i etj décrivent Ie même ensemble {I, 2, . . ., n}, etc.
1.2. Réduction des matrices
So it V un espace vectoriel de dimension finie 11, et soit d : V -+ V une application
linéaire, représentée par une matrice (carrée) A == (aii) relativement à une base (ei).
Relativement à une autre base (I;), la même application est représentée par la matrice
B == P-lAP,
où Pest la matrice inversible dont Ie j-ème vecteur colonne est formé des composantes du
vecteur /j dans la base (ei). La mat rice Pest appelée matrice de passage, de la base (ei)
dans la base (fi).
Une même application linéaire dl étant ainsi représentée par différentes matrices selon
la base choisie, Ie problème se pose de trouver une base vis-à-vis de laquelle la matrice
représentant l'application soit "aussi simple que possible". De façon équivalente, étant
donné une matrice A, i1 s'agit de trouver parmi toutes les Inatrices selnblables à la matrice
A, c'est-à-dire de la forme P-lAP, P : matrice inversible, celles qui ont une forme "aussi
simple que possible" : c'est Ie problème de la réduction d'une matrice.
Le cas Ie plus "favorable" est celui où il existe une matrice inversible P telle que la
matrice P-1AP soit diagonale, auqucl cas on dit que la matrice A est diagonalisable.

RÉDUCTION DES MATRICES
9
On notera que, dans ce cas, les éléments diagonaux de la matrice P-1AP sont les valeurs
propres À1' À 2 , . . . , Àn de la matrice A, et que Ie j-ème vecteur colonne de la matrice Pest
formé des composantes (relativement à la même base que pour la matrice A) d'un vecteur
propre correspondant à À j ; on a en effet l'équivalence
P-lAP = diag(À;)  Apj = ÀjPb 1 -:s::: j :E:: n.
Autrement dit, une matrice est diagonalisable si, et seulement si, if existe une base de vec-
teurs propres.
II existe des matrices qui ne sont pas diagonalisables (exercice 1.2-1). Pour de telles
matrices, Ie théorème de Jordan donne la forme la plus simple des matrices semblables ;
nous renvoyons Ie lecteur intéressé par ce résultat aux Commentaires Bibliographiques
donnés en fin d'ouvrage. Pour ce qui nous concerne, Ie résultat qui suit, de démonstration
beaucoup plus simple, suffit pour tous lcs besoins ultérieurs.
Nous rappelons tout d'abord les définitions suivantes : une matrice A = (aij) d'ordre
nest triangulaire supérieure si aij = 0 pour i >- j, et triangulaire inférieure si a;j = 0 pour
i <: j. S'il n'y a pas lieu de distinguer, on dit que la matrice est triangulaire.
- Théorème 1.2-1. (1) Étant donné une matrice carrée A, il existe une matrice unitaire U telle
que la matrice V- 1 AU soit triangulaire.
(2) Étant donné une matrice normale A, il existe une matrice unitaire U telle que la
matrice V- 1 AU soit diagonale.
(3) Étant donné une matrice symétrique A, il existe une matrice orthogo1Ulie 0 telle que
la matrice O-IAO soit diagonale.
DÉMONSTRATION. (i) Démontrons d'abord la propriété (1) pour des matrices de
passage non nécessairement unitaires. Cette propriété est vraie pour n = 1 ; supposons
la démontrée pour les matrices d'ordre (n - 1). Notons d : V -. V l'application linéaire
associée à la matrice A. Cette application posséde au moins un vecteur propre 11' cor-
respondant à une valeur propre À. Soit alors E2' . . ., En des vecteurs tels que (lit E2' . . ., En)
soi tune base de V. De la sorte,
d/ 1 = ;"/ 1 , dE) = (Xj/l +ØEj, 2 :E:: j :E:: n,
où (ß est une application Hnéaire du sous-espace Wengendré par les vecteurs E2' . . . , En.
n
D'après )'hypothèse de récurrence, i1 existe une base (/;)7=2 de W, avec Ii = L YijEb
)= 2
dans )aquelle )'application (}3 est représentée par une matrice triangulaire supérieure.
Des égalités
d/ 1 = ;"/ 1 , dli = ( .f rJ.JYIJ ) 11 +(}3/;,
J=2
on déduit que l'application of; est représentée par une mat rice triangulaire supérieure
dans la base (f,).
(ii) Utilisant Ie procédé de Gram-Schmidt, on construit une base (UiYl=l' orthonormale,
et telle que
2 :E:: i :E:: n,
)
Uj = L Ykjlk,
k-=l
1 :E:: j :E:: n;
i
/; = L {JliUI,
1= 1
1 :E:: i :E:: n.
Comme par ailleurs
j
of;fj = L h,)Ii, 1 :E:: j :E:: n,
i = 1
d'après (i), iI s'ensuit que dUj est une combinaison linéaire des vecteurs u 1 ' . . ., Uj, ce
qui montre que l'application of; est encore représentée par une matrice triangulaire

10
COMPLÉMENTS SUR LES IATRICES
supérieure par rapport à la base (IIi). Comme la base (u;) est orthonormale, la matrice
de passage correspondante est unitaire.
(iü) Posons
T = (t;j) = U-IAU = U* AU.
Si la matrice A est normale (A * A = AA *), la matrice T l'est aussi, puisque
T*T = U*A*UU*AU = U*A*AV.
La mat rice T étant triangulaire supérieure,
n
L I tlk 1 2 == (TT*)ll = (T*T)ll = I t ll l 2 , d'où tlk = 0, 2 =s:: k =E: n,
k=l
n
L I t 2 kl 2 = (TT*)22 = (T*T)22 = 1 t 22 1 2 , d'où 1 2 k = 0, 3 =s:: k :E: n,
k=2
etc., ce qui montre que la matrice Test diagonale.
(iv) Si la matrice A est symétrique, Ie vecteur propre 11 et la valeur propre ^ de (i) sont
réels, et les raisonnements précédents sont encore valables en remplaçant partout "uni-
taire" par "orthogonal" et "matrice adjointe" par "matrice transposée". II
REMARQUES. (1) Les matrices de passage vérifiant les conditions de l'énoncé ne sont
pas uniques (considérer par exemple A = I).
(2) Les éléments diagonaux de la matrice triangulaire U-lAV de (1), ou de la matrice
diagonale V-lAV de (2), ou de la matrice diagonale de (3), sont les valeurs propres de la
matrice A. En conséquence, ce sont des nombres réels si A est une matrice hermitienne
ou symétrique, et des nombres complexes de module 1 si la matrice A est unitaire ou
orthogonale.
(3) II résulte de (2) que toute matrice hermitienne ou unitaire est diagonalisable par une
matrice de passage unitaire.
(4) Si 0 est une matrice orthogonale, Ie raisonnement précédent montre I'existence d'une
matrice unitaire V telle que la matrice D = V*OU soit diagonale (les éléments diagonaux
de D étant de module 1), mais la matrice U n'est pas en général réelle, c'est-à-dire ortho-
gonale. On trouvera des indications à ce sujet à l'exercice 1.2-2. II
On appelle valeurs singulières d'une matrice A carrée les racines carrées positives des
valeurs propres de la matrice hermitienne A * A (ou AT A si la matrice A est réelle). Ces
demières sont toujours  0, puisque de la relation A * Ap = Â,p, p  0, on déduit
(Ap)* Ap = Åp* p. On notera également que les valeurs singulières sont tOlltes :> 0 si et
seulement si la matrice A est inversible. En effet
Ap = 0 => A*Ap = 0 => p*A*Ap = (Ap)*Ap = 0 => Ap = O.
Deux matrices A et B de type (m, n) sont dites équivalentes s'il existe one matrice
inversible Q d'ordre met une matrice inversible P d'ordre n telles que
B = QAP.
Naturellement, iI s'agit d'une notion plus générale que celIe de la similitude des matrices.
On peut d'ailleurs démontrer que toute matrice calrée est équivaJente à une matrice
diagonale :
Théorème 1.2-2. Si A est u"e matrice réelle ca,rée, il existe deux 1IUItrices orthogo1lllies
V et V telles que
UT A V = diag(Pi),

MA TRICES SYMÉTRIQUES ET HERMITIENNES
11
et si A est ulle matrice complexe carrée, il existe dellx matrices ullitaires U et V telles que
U* A V = diag(Pi).
Dans les deux cas, les 1Iombres Pi  0 S01lt les valeurs sillgulières de la matrice A.
DÉMONSTRATION. Pour fixer les idées, supposons la matrice A complexe. D'après Ie
théorème 1.2-1, il existe une matrice unitaire V telle que
V* A * A V = diag(,ur),
les nombres /Ji  0 étant les valeurs singulières de la matrice A. Notant Jj Ie j-ème
vecteur colonne de la matrice A V, cette égalité matricielle s'écrit encore
f ! 1'. = Il.ð.. 1  i , J .  n.
lJj 1""" IJ'
Soit {ltl' 1t2' · · ., Itr} l'ensemble (peut-être vide !) des valeurs singulières nulles ; par
conséquent,
Posons
fj = 0,
Uj = Itj1jj,
1  i  r.
r + 1  j E:: n,
de sorte que l'on a déjà
U;Uj = ð ib r+l  i, j  n.
Ensuite, on "complète" par des vecteurs Ui, 1 E:: i E:: r, tels que
U;Uj = ðij, 1  i, j E:: n.
Alors la matrice U de j-ème vecteur colonne Uj répond à la question : d'une part, la
relation ci-dessus montre que c'est une matrice unitaire et, d'autre part,
(U * AV) .. _ * jj _ { o = It;ð ib 1 j cE: r,
IJ - ui J -
ItjU; Uj = Itiðij, r + 1  j  n.
La démonstration est analogue si la matrice A est réelle.
II
1.3. Propriétés particulières aux matrices
symétriques et hermitiennes
Pour fixer les idées, nous allons considérer dans ce qui suit Ie cas des matrices hermitien-
nes, mais il est entendu que tout Ie contenu de ce paragraphe s'applique aussi bien au cas
des matrices symétriques, en remplaçant partout "hermitien", "unitaire", "complexe",
"matrice adjointe" par "symétrique", "orthogonal", "réel", "matrice transposée",
respectivement.
Rappelons que toutes les valeurs propres d'une matrice hermitienne sont réelles, et que
toute matrice hermitienne est diagonalisable, la matrice de passage étant unitaire (théorème
1.2-1). II existe, de surcroît, diverses caractérisations remarquables des va leurs propres
d'une matrice hermitienne, qui font I'objet du théorème 1.3-1 ci-dessous. Pour les énon-
cer, i1 nous faut tout d'abord une définition.
Soit A une matrice carrée représentant une application linéaire d'un espace V sur Ie
corps C, muni de son produit canonique. Le quotient de Rayleigh de la matrice A est
I 'application
R A : v-tO} -+ C
définie par
(Av, v)
RA(v) = (v, v) -
v*Av
v.v '
v  o.

12
COMPLÉMENTS SUR LES MATRICES
On notera que, si la matrice A est hermitienne, Ie quotient de Rayleigh RA est à valeurs
réelles. Par ailleurs, on remarque aussi que
RA(rxv) = RA(v) pour tout rx E C-{O}.
En conséquence, toute propriété faisant intervenir I'ensemble des valeurs prises par Ie
quotient de Rayleigh lorsque Ie vecteur v décrit un sous-espace vectoriel U c V peut
aussi bien s'étudier sur la sphère unité {v E U; v*v = I} de ce même sous-espace ;
c'est, en particulier, Ie cas des propriétés établies dans Ie résultat qui suit. Pour alléger
l'écriture, on omettra dorénavant de préciser que, dans l'écriture RA(v), l'argument v ne
saurait être nul.
Théorème 1.3-1. Soit A lUIe mIItrice hermitielUJe d'ordre", de ,aleurspropres
Al E:: A 2 E:: ... E:: All,
les ,ecteurs propres associés PI' P2, . . ., PII ,érijiallt
P . p . - ....
i J - U'J.
Pour k = 1, . . ., ", 0" note Vk Ie sous-espace de V e"getulré par les ,ecteurs Pi, 1 E:: i E:: k,
et 0" note ({) k l'ellSemble des sous-espaces de dimellSio" k de V. 0" pose par ailleurs
V o = to}, ({)o = {V o }.
Les ,aleurs propres admette"t alors les caractérisatiollS sui,alltes, pour k = 1, 2, . . ., ,,:
(1) 1k = RA(Pk),
(2) Ak = max RA(v),
v EV t
(3) Ak = min RA(v),
v.L Vt- t
(4) Åk = min max RA(v),
wEtV t vE W
(5) Ak = max miD RA(v).
WEtV 1 - 1 v.LW
Par ailleurs,
(6)
{RA(v); vE V} = [AI,AII]CIR.
DÉMONSTRATION. Soit U la matrice unitaire dont les vecteurs colonnes sont les vecteurs
propres PI' P2' ..., PII' de sorte que
. . 1 d6f
U AU = dlag (A,) = D,
et soit v un vecteur non nul de V. Posant v = Uw, it s'ensuit :
v. Av w*U* AUw w*Dw
RA(V) = v*v - w*U*Uw - w*w = RD(W).
k
Un vecteur v E Vk étant de la forme v = L CliPi, Ie vecteur w correspondant est done
1=1
de la forme
rxl
.
.
rxk
w=
0
0

MATRICES SYMÉTRIQUES ET HERMITIENNES
13
ce qui se voit immédiatement à partir de l'égalité v = Uw. Par suite
k
k L Ådcxd 2
R { " } i=l
A . CXiPi = k '
, = 1 L I CX; 1 2
i=l
ce qui démontre (1) et (2). De la même façon, tout veeteur v orthogonal à Vk_l étant de la
n
forme v = L cxipi.I'égalité (3) est démontrée. D'après (2),
i = IC
Åk = max R A (v)  inf max RA (v),
vE Vt WEt'V t vE W
et il reste done à démontrer l'inégalité opposée pour établir (4), c'est-à-dire à montrer que
Åk E:: max RA(v) pour tout W E({)k.
vEW
Définissant l'espace vectoriel
V(-l = {v E V; v 1. Vk_l}'
qui est de dimension (n-k+ 1), il suffit de démontrer que, si West un sous-espace vecto-
riel quelconque de dimension k de V, Ie sous-espace vectoriel W n Vt-l contient d'autres
vecteurs que Ie vecteur 0, c'est-à-dire que
dim (W n Vf-l)  1.
En effet, on déduira alors de (3) que
v =F 0 et v E W (\ V k1._ 1 => Åk ===== RA(v) E:: max RA(v).
vEW
Comme
dim (Wn Vt-1) = dim (W)+dim (VJë':-l)-dim (W+Vf-l)'
où
W+Vt-l={zEV; z=w+v, wEW, VEVt-l)'
les relations
dim (W) = k, dim (Vi-I) = n-k+l, dim (W+V k L _ 1 ) E:: dim (V) = n,
montrent que dim (W n Vf-l)  1.
La relation (5) se démontre de façon analogue. Enfin, la relation (6) découle des inéga-
lités
Å 1  RA(v) ===== Ån pour tout v E V-{O}
(conséquences de (2) et (3)), de la continuité de la restriction de l'application RA à la
sphère unité {vE V;v.v = I} de V, et enfin de la connexité de cette même sphère unité._
REMARQUES. (1) Comme cas particuliers des caractérisations (3) et (2), on trouve
Å 1 = min {RA(v); v E V},
Ån = max {RA(V); v E V}.
(2) Pour l'étude du quotient de Rayleigh d'une matrice non hermitienne, voir l'exercice
1.3-5.
(3) Les propriétés (4)-(5) sont dues à E. Fischer, et R. Courant les a ensuite étendues au
cas des opérateurs elliptiques. C'est pourquoi elles sont souvent connues sous Ie nom de
théorème de Courant-Fischer.
(4) Pour une application remarquable de ce résultat, voir Ie théorème 2.3-2. II

14
COMPLÉMENTS SUR LES MATRICES
Pour terminer, rappelons quelques définitions : une matrice hermitienne A est définie
positive si
v*Av>O pour tout v EV-{O},
et positive si
v*Av  0 pour tout v E V.
En raisonnant comme au début de la démonstration du théorème précédent, on
établit facilement qu'une matrice hermitienne est déftnie positive, ou positive, si et seu/ement
si toutes ses va/eurs propres sont >O,.ou O, respectivement.
REMARQUE. La terminologie "matrice positive" désigne aussi une matrice dont tous
les éléments sont O (en principe, aucune confusion ne devrait être à craindre .. .),
et d'ailleurs nous l'utiliserons au paragraphe 3.1. Un lien existe entre les deux notions;
voir l'exercice 1.3-2. II
1.4. Normes vectorielles et normes matricielles
Soit V un espace vectoriel sur Ie corps K des scalaires. Dne norme sur Vest une appli-
cation 11.11 : V -+ R qui vérifie les propriétés suivantes:
IIvll = 0 .ø v = 0, et IIvll  0 pour tout v E V,
I/(Xvll = 1!Xlllvll pour tout (X EK et v E V,
IIu +v II E: IIuli + II vii pour tout u, v E V,
la dernière propriété étant connue sous Ie nom d'inégalité triangu/aire. Une norme sur V
sera également appelée norme vectorielle. Lorsque plusieurs espaces sont en cause, la
notation II. IIv sera parfois utilisée pour rappeler I'espace V considéré. Enfin, on appelle
espace vectorie/ normé un espace vectoriel muni d'une norme.
Soit V un espace de dimension finie. Les trois normes suivantes sont les plus couram-
ment utilisées en pratique:
IIvlll = L lVii,
i
IIvl1 2 = (f IV i ljl/2 = (v, V)1/2,
IIvll co = max lVii,
I
la norme 11.11 2 étant appelée norme euclidienne. II est facile de vérifier directement que les
applications 11.11 1 et II. II co sont effectivement des normes (la justification de la notation
II. II co est donnée à l'exercice 1.4-1). Pour l'application II .11 2 , c'est un cas particulier du
résultat général suivant :
Théorème 1.4-1. Soit V UII espace de dimension jinie. Pour tout IIOmbre riel p iìÞ 1, l'appli-
cation II · II, déjinie par
II v II, = (I v;I'r'P
est "ne IIOrme.
DÉMONSTRATION. Le cas p = 1 étant de démonstration immédiate, on se borne au cas où
p :> 1 ; on désigne alors par q Ie nombre réel (également ::> 1) qui vérifie
1 1
-+- = 1.
p q

NORMES
15
La démonstration repose sur Ie résultat préliminaire suivant : si  et ß sont o, alors
p ßq
ß-+-.
p q
En effet, soit x et y deux nombres réels quelconques et 0 un nombre vérifiant 0 -< 0 -< 1.
La convexité de l'exponentielle entraîne
e(Ox + (l-O)y)  Oe x + (I...-&. O)e Y .
Le cas ß = 0 étant trivial, supposons  ::> 0 et ß ::> O. II suffit alors de remplacer 0 par
1
-, x par p log et y par q log ß.
P
Soit u et v deux vecteurs de V. D'après l'inégalité ci-dessus,
I U;V; I 1 I Uj IP 1 I Vi I
 - +- pour tout i,
II U lip II V II q p II U II: q II v IIZ
d'où, par sommation,
L I U;V; I  II u lip II v Il q ·
i
Pour établir que I 'application II. lip est une norme, il suffit de démontrer l'inégalité
triangulaire, les autres propriétés étant évidentes. Or on peut écrire, pour tout indice i,
(I Ui I +1 Vi I)P = I Ui I (I Uj I +1 Vi I)p-l+1 vi I (I Ui I +1 Vi I)p-l,
d' où, après sommation et utilisation de l'inégalité ci-dessus,
 (I u/l +1 VII)P  (I! U IIp+11 vll p ) ((I u/l +1 VII)(P-1)qt 1q .
L'inégalité triangulaire cherchée découle alors de la relation (p-1)q = p. II
P 1 1 1 1 I ,. , I .,
ourp:> et-+- = , Inega Ite
p q
 i UIV; I  ( I U/IP)l/p ( I U; Iqr'q
s'appelle inégalité de Hölder. L'inégalité de Hölder pour p = 2 :
 I U;V; I  ( I U; 12t/2 (L I VI 12)1/2 .
s'appelle inégalité de Cauchy-Schwarz, ou encore inégalité de Bunyakovskii (surtout en
Union soviétique). L'inégalité triangulaire pour la norme II. lip :
( I ut+v; IPY'P (f I U; IPY'P+( I V; IPY'P'
s'appelle l'inégalité de Minkowski.
Les normes définies ci-dessus sont équivalentes, cette propriété étant un cas particulier
de I'équivalence des normes sur un espace vectoriel de dimension finie. On rappelle que
deux normes 11.11 et 11.11', définies sur un même espace vectoriel V, sont équivalentes s'il
existe deux constantes C et C' telles que
II v II'  C II v II et II v II  c' II v II' pour tout v E V.
Soit d n I'anneau des matrices d'ordre n, à éléments dans Ie corps K. Une norme matri-
cielle est une application 11.11 : d n -+ R qui vérifie les propriétés suivantes: .
II A II = 0 <=> A = 0, et II A II  0, pour tout A E d n ,
IIAII = IIIIAII, pour tout EK, AEd n ,
IIA+BII  IIAII+IIBII, pour tout A,BEd n ,
II AB II  II A 1111 B II, pour tout A, B Ed n .

16
COMPLÉMENTS SUR LES MATRICES
L'anneau d n étant aussi un espace vectoriel de dimension n 2 , les trois premières pro-
priétés ci-dessus ne sont autres que celles d'une norme vectorielle, une matrice étant
alors considérée comme un vecteur à n 2 composantes. La demière propriété est évidem-
men t particulière aux matrices carrées !
Le résultat qui suit donne un moyen très simple de construire des normes matriciel-
les : étant donné une norme vectoriel/e 11.11 sur C n , l' application /1.11: dn(C) -. R définie
par
1/ A 1/ = sup II Av II sup 1/ Av II = sup IIAv II,
{ V E C n II v II { V E Cn { V E Cn
vo II vii 1 II V II =1
est une norme matriciel/e, appelée norme matriciel/e subordonnée (à la norme vectorielle
donnée). C'est évidemment un cas particulier de la définition usuelle de la norme d'une
application linéaire, mais attention ! if existe des normes matricielles qui ne sont subordon-
nées à aucune norme vectorielle. Un exemple sera donné au théorème 1.4-4.
Pour établir que I 'application définie ci-dessus ales propriétés requises, on remarque
que Ie nombre II A II est bien défini, puisque sup II Av II -< + 00 (continuité de l'applica-
IIvll=1
tion v -. 1/ Av II sur la sphère unité qui est compacte, puisqu'on est en dimension finie).
Les autres propriétés d'une norme matricielle sont de vérification immédiate.
II résulte de la définition d'une norme subordonnée que
II Av II ::s::: II A II1I v II pour tout v E en,
et que la norme II A // peut aussi se définir par
II A II = inf {E R; II Av II ::s:::11 v II pour tout v EC}.
Par ailleurs, la sphère unité étant compacte, il existe (au moins) un vecteur u tel que
u  0 et II Au II = II A I1II u II.
Enfin, observons qu'une norme subordonnée vérifie toujours
II I 1/ = 1.
REMARQUE. C'est pour éviter quelques difficultés qu'on n'introduit pas la norme
déf II Av II
I A I = sup 1/ II ::s::: II A II.
V E Rn_{o} V
On peut en effet construire des normes vectorielles et des matrices réelles telles que
IAI -< IIAII (ce n'est pas Ie cas des normes matricielles subordonnées aux normes
vectorielles 11.11 1 , 11.11 2 , 11.1100; on établira dans la démonstration du théorème 1.4-2 que,
si la matrice A est réelle, la borne supérieure du rapport II Av 1/ /II v II est atteinte pour des
vecteurs réels). Cette approche permet en particulier d'éviter une complication dans la
démonstration du théorème 1.4-3 (où Ie vecteur noté p peut être complexe). _
Calculons maintenant chacune des normes subordonnées aux normes vectorielles
11.11 1 ,11.11 2 , 11./100. Pour alléger l'écriture, on omettra dorénavant l'indication que les
bornes supérieures sont à évaluer sur l'ensemble des vecteurs non nuls de en.
- Théorème 1.4-2. Soit A = (a;j) une IIUltrice carrée. Alors
déf II Av lit
II All! = sup II vii! = m;x Iaul,
déf II Av 112
!IAII2 = SUP!TVíï;" = Ý e(A*A) = Ý e(AA*) = IIA*II:I>
déf II Av 1100
II A II  = sup II v II  = m:a x f I au I.

NORMES
17
La norme II · 112 est in,ariante par transformation unitaire :
UU* = I  II A 112 = "AU 112 = II UAI1 2 == II U*AU 112.
Par ailleurs, si la matrice A est normale :
AA* = A*A  IIAI12 = e(A).
DÉMONSTRATION. Pour tout vecteur v,
II Av 111 =  I  ajjVj I  t I Vj I  I aij I  {mx  I aij I} II viiI'
Pour montrer que Ie nombre max L I au I est effectivement Ie plus petit nombre ex pour
j i
Iequel l'inégalité II Av 111 =s: ex II v 111 a lieu pour tout vecteur v, construisons un vecteur
U (qui, bien entendu, dépend de la matrice A) tel que l'on ait l'égalité
II Au 111 = {mx  I ajj I} II uil i .
II suffit de considérer Ie vecteur u de composantes
Ui == 0 pour ;  jo' Ujo == 1,
oÙjo est un indice vérifiant
max I I au I == L I aijo I ·
j i i
De la même façon,
II Av 1100 == ax I  aijvj I  ( mx  I aij I ) II v 1100.
I I J I J
Soit ;0 un indice vérifiant
max L I aU I == L I aioi I.
i j j
Le vecteur U de composan tes
aioi
Uj ==
I aioj I
Sl aiai  0, Uj == 1
Sl
aioj == 0,
vérifie
II Au "= = {miax t I aij I}II u 11= ·
ce qui règle Ie cas de la norme II . 1100.
Puisque
v*A*Av
"AII == sup
v*v
== sup RA*A(V),
Ie théorème 1.3-1 nous permet d'affirmer que la borne supérieure du quotient de Rayleigh
de la matrice hermitienne A * A est la plus gran de valeur propre de cette matrice, qui se
trouve être aussi son rayon spectral puisqu'elle est positive.
Montrons ensuite que e(A * A) == e(AA *). Si e(A * A) :> 0, il existe un vecteur p tel que
p  0, et A*Ap == e(A*A)p,
et on a sûrement Ap  0 (e(A * A) :> 0). Comme alors
Ap 7J!: 0, et AA *(Ap) == e(A * A)Ap,
il s 'ensuit que
0<: e(A*A)  e(AA*),

18
COMPLÉMENTS SUR LES MATRICES
et donc e(AA *) = e(A * A) puisque (A *)* = A. Si e(A * A) = 0, on a aussi e(AA *) = 0,
sans quoi Ie raisonnement précédent montrerait que e(A lie A) :> o. On a donc, dans tous
les cas,
II A II = e(A * A) = e(AA *) = 1/ A * II .
L'invariance de la norme ",11 2 par transformation unitaire n'est que la traduction des
égali tés
e(A*A) = e(U*A*AU) = e(A*U*UA) = e(U*A*UU*AU).
Enfin, si la matrice A est normale, il existe (théorème 1.2-1) une nlatrice unitaire U telle
que
U* AU = diag (Î..;(A)) dH D.
Dans ces conditions,
A*A = (UDU*)* UDU. = UD*DU.,
ce qui montre que
e(A * A) = e(D*D) = max I Îwj(A) 1 2 = (e(A))2.
;
II
z
REMARQUES. (1) La 1l0r111e II A 112 n'est autre que la plus grallde 'aleur sillgulière de la
matrice A (c/. paragraphe 1.2).
(2) Si une matrice A est hermitienne, ou symétrique (donc normale), on a II A 112 =
= e(A).
(3 ) Si un e mat rice U est unitaire, ou orthogonale (donc normale), on a II A 112 =
= Y e(A * A) = Ý e(I) = 1.
(4) Du point de vue pratique, on observera que, si les normes II A 111 et II A 1100 se
calculent facilement à partir de la seule connaissance des éléments de la matrice A, il
n'en va pas de même pour la norme II A lb.
(5) On se convainc facilement, par simple examen de la démonstration ci-dessus, que
les expressions trouvées pour II A IiI, II A 112' II A llcoo sont encore valables même si la
I1latrice A est rectangulaire. Mais naturellement, les applications ainsi trouvées ne sont
plus des normes matricielles au sens entendu ici, puisque la multiplication de telles matri-
ces n'a pas de sens en général. Ce sont seulement des normes dans l'espace vectoriel des
matrices rectangulaires d'un type donné. II
Grâce au théorème 1.4-2, on connaît donc des matrices A et des normes 11.11 (sub or-
données en l'occurrence) vérifiant l'égaIité II A II = e(A), à savoir les normes 11.112 et les
matrices normales. Mais i1 existe des matrices pour lesquelles on ne peut sûrement pas
trouver de normes matricielles (subordonnées ou non) vérifiant une telle égalité. II suffit
de considérer par exemple la matrice
A = ( ),
pour laquelle on aura toujours e(A) = 0 <:: II A II, puisque A  O. S'il est vrai que l'on
peut n'avoir jamais l'égalité, on va cependant montrer que, pour une matrice donnée,
on peut toujours approcher son rayon spectral d' aussi près qu' on veut par valeurs supérieu-
res, à l'aide d'une norme matricielle convenablement choisie. Ce résultat joue un rôle
fondamental dans l'étude de la convergence des suites de matrices (c/. paragraphe 1.5).
- Théorème 1.4-3. (1) Soit A une matrice carrée quelconque et II II une norme matricielle,
subordonnée ou non, quelconque. Alors
e(A)  II A II.

NORMES
19
(2) Étant donné une matr;ce A et un IIombre e ::> 0, ;/ ex;ste au mo;1IS "lie norme matr;-
c;el/e subordonnée telle que
II A II  e(A) +e.
DÉMONSTRATION. Soitp un vecteufvérifiant
p  0, Ap = ÅP, I Å I = e(A),
et soit q un vecteur tel que la matrice pqT ne soit pas nulle. Puisque
e(A)lIpqTII = I I ÅpqT II = II ApqT11  IIAllllpqTII,
d'après la dernière propriété des normes matricielles, l'inégalité e(A)  II A II se trouve
démontrée.
Soit maintenant A une matrice donnée. II existe une matrice inversible U (cf. théorème
1.2-1 ; que la matrice U soit unitaire ne joue aucun rôle ici) telle que la matrice U-IAU
soit triangulaire, supérieure par exemple :
V-I AU =
Å l t 12 t]3
Å 2 t23
tIn
t 2n
Ån_l tn_I, n
"\
An
les scalaires Å; étant les valeurs propres de la matrice A. A tout scalaire lJ 7J!: 0, associons
la matrice
D 8 = diag (1, ð, ð 2 , ..., ð n - 1 ),
de sorte que
(UD ð )-IA(UD ð ) =
Å 1 ðt 12
Å 2
lJ2t 13
lJt23
ðn-1 t
111
lJn- 2 t 2n
Ån_l ðt n _ 1 , n
Ån
Étant donné ê ::> 0, fixons Ie nombre ð de telle façon que
n
L I ðj-;tij I  ê,
j = i+ 1
1  i  n-l.
Alors I 'application
11.11: B Ed n  II B II = II (UD ð )-IB( VD ð) 1100,
qui, naturellement, dépend de la matrice A et du nombre ê, répond à la question. En
effet, on a d'une part
II A II  e(A) +ê,
d'après Ie choix de ð et la définition de la norme matricielle II. 1100 (II (cij) 1100 =
= max L I cij I ) , et, d'autre part, c'est bien une norme matricielle ; on vérifie en effet
i j
que c'est la norme matricielle subordonnée à la norme vectorielle
v E K n -ÞO II (UD ð )-l v 1100 .
II

20
COMPLÉMENTS SUR LES MATRICES
Un exemple important de norme matricielle non subordonnée est donné dans Ie thé..
orème ci-dessous.
Théorème 1.4-4. L 'application II. liE : d n  R définie par
II A liE = { L.I a;jI2 } 1/2 = {tr(A*A)}1/2
I, J
pour toute motrice A = (aij) d'ordre n, est une norme matricielle non subordonnée (pour
n  2), in,ariante par transfornUltion un;taire :
UU* = I => II A liE = II AU liE = "UA liE = II U*AU liE,
et qui ,érijie
II A 112  II A liE  Ý; II A 112, pour tout A Ed n .
DÉMONSTRATION. L'application II. liE n'étant pas autre chose que Ia norme eucli-
dienne (d'où Ia notation employée) de l'espace vectoriel à n 2 dimensions d n , il reste
à démontrer la quatrième propriété des normes matricielles, qui est une simple consé-
quence de I'inégalité de Cauchy-Schwarz :
II AB Iii =  I L aikbkj 1 2   { L I aik 12 } { L I b/j !2 }
. I J k I, } k /
= { L I aik 12 } {  I b/j /2 } = II A Ilk II Bilk.
I, k J, /
Cette norme n'est certainement pas une norme subordonnée, puisque II I liE -
= ýñ. Si U est une matrice unitaire,
II Allk = tr(A*A) = tr(U*A*AU) = II AU Ilk = tr(A*U*UA) = 11 UA liE.
Enfin, les inégalités de l'énoncé résultent des inégalités
e(A * A)  tr(A * A)  ne(A * A).
II
REMARQUE. Contrairement à la norme matricielle subordonnée II · 11 2 , Ia norme II. liE
se prête facilement à un calcul effectif. C'est Ià un de ses principaux intérêts, puis-
qu'elle fournit en particulier un majorant de la norme II . 11 2 (voir à cet égard l'exem-
pIe numérique du paragraphe 2.2). II
Terminons par un théorème qui rassemble quelques propriétés utiles concernant I es
matrices de la forme (I + B).
- Théorème 1.4-5. (1) Soit II. II une norme matr;cielle subordonnée, et B une matrice ,éri-
/iant
IIBII <: 1.
Alors la matrice (I + B) est in,ersible, et
1
II (1+ B)-l II  1-11 B II ·
(2) Si une matrice de laforme (I + B) est singulière, alors nécessairement
IIBII 1
pour toute norme matricielle, subordonnée ou non.
DÉMONSTRATION. (1) Puisque
(I+B)u = 0 ==> II u II = II Bu II,
II B II -< 1 et u  0 ==> II Bu II <: II u II ,

SUITES DE VECTEURS ET DE MATRICES
21
pour la norme vectorielle correspondante, on déduit que
(I + B)u = 0 => u = o.
La matrice (I + B) étant inversible, on peut écrire
(I+B)-l = I-B(I+B)-l,
d'où
II (I+B)-l/l  1+IIBIIII(I+B)-lll,
ce qui conduit à l'inégalité cherchée.
(2) Dire que la matrice (I + B) est singulière revient à dire que (-1) est valeur propre
de B. Dans ces conditions, une application du théorème 1.4-3 montre que II B II 
 e (B)  1. II
1.5. Suites de vecteurs et de matrices
Une suite (infinie) d'éléments Xo, Xl' . .. d'un ensemble X sera notée (Xk)k  0, OU
même simplement (Xk) si aucune confusion n'est à craindre. Dans un espace vectoriel V,
muni d'une norme II · II, on dit qu'une suite (Vk) d'éléments de V converge vers un
élément v E V, ou encore que vest la limite de la suite (Vk), si
lim Ilvk-vll = 0,
k -.. 00
et on écrit
v = lim Vk.
k -.. 00
Si l'espace est de dimension finie, l'équivalence des normes montre que la convergence
d'une suite est indépendante de la norme choisie. Le choix particulier de la norme II · 1100
montre que la convergence d'une suite de vecteurs équivaut à la convergence des n suites
(n = dimension de l'espace) de scalaires formées par les composantes des vecteurs.
En considérant l'ensemble elm, n (K) des matrices de type (m, n) comme un espace
vectoriel à mn dimensions, on voit de la même façon que la convergence d'une suite de
matrices de type (m, n) est indépendante de la norme choisie, et qu'elle équivaut à la con-
vergence des mn suites de scalaires formées par les éléments des matrices.
Le résultat qui suit donne des conditions nécessaires et suffisantes pour que la suite
particulière formée par les puissances successives d'une matrice donnée (carrée...)
converge vers la matrice nulle (des compléments sont indiqués à I'exercice 1.5-4). De
ces conditions découlera Ie critère fondamental de convergence des méthodes itératives
de résolution de systèmes linéaires (théorème 5.1-1).
Théorème 1.5-1. So;t B une matr;ce carrée. Les conditions su;vantes sont équ;valentes:
(1) lim Bk = 0,
k -.. 00
(2)
lim Bkv = 0 pour tout vecteur v,
k -.. 00
(3) e(B) <: 1,
( 4 ) II B II <: 1 pour au mo;ns une norme matr;c;elle subordonnée II · II.
DÉMONSTRATION. (1) => (2). Soit II. II une norme vectorielle et II. IlIa norme ma-
tricielle subordonnée correspondante. Étant donné un vecteur v, l'inégalité
II Bkv II  II Bk II "v II
montre que lim Bkv = o.
k -.. 00

22
COMPLÉMENTS SUR LES MATRICES
(2) => (3). Si e(B)  1, on peut trouver un vecteur p tel que
p :;é 0, Bp = Àp, I À I  1.
Alors la suite de vecteurs (Bkp)k::= 1 ne saurait converger vers 0 (puisque Bkp = Àk p ).
(3) => (4). C'est une conséquence immédiate du théorème 1.4-3.
(4) => (1). II suffit d'appliquer l'inégalité
! I Bk II  " B II k
pour la norme matricielle donnée en (4).
II
Le résultat qui suit sert également à l'étude des méthodes itératives, en ce qui concerne
la rapidité de leur convergence. Ce n'est d'ailleurs qu'un cas part.culier (celui de la dimen-
sion finie) d'un résultat d' Analyse Fonctionnelle vrai dans les espaces de Banach;
voir par exemple (1), théorème 5.2-E.
Théorème 1.5-2. Soit B une matrice carrée, et II · II une norme matricielle quelconque.
Alors
Jim 1/ Bk III/k = e(B).
k 00
DÉMONSTRATION. Comme Q(B)  "B" (théorème 1.4-3) et comme e(B) == {e(Bk)}I/k,
on a déjà
e(B)  II Bk III/k pour tout k.
On va établir par ailleurs que, pour tout e ::> 0, il existe un entier / == /(e) tel que
k  / => II Bk tl I/k  Q(B)+e,
ce qui démontrera la relation. Soit donc e ::> 0 donné ; la matrice
B
Be ==
e(B)+e
vérifiant e(B e ) <: 1, on déduit du théorème 1.5-1 que lim B: == O. Par suite, if existe un
k --.. 00
entier I == /(e) tel que
k  I => II B:" == II Bk II  1,
{e(B) + e}k
ce qui est bien la relation cherchée.
II
(I) TAYLOR A. E. - Introduction to Functional Analysis, John Wiley, New York, 1958.

2
GÉNÉRALITÉS SUR
L'ANALYSE NUMÉRIQUE
MATRICIELLE
I ntrod uction
Les deux problèmes fondamentaux de I' Analyse Numérique Matricielle sont la résolu-
tion des systèmes linéaires d 'une part, et Ie calcul des valeurs propres et des vecteurs
propres des matrices, d'autre part; on montrera d'ailleurs au chapitre suivant la très
gran de variété des problèmes numériques qui s'y ramèncnt en fin de compte.
Au paragraphe 2.1, on décrit deux types d'erreurs commises lors de la résolution
effective de ces problèmes, les erreurs d'arrondi, dues aux limites imposées par l'ordina-
teur, et les erreurs de troncature, qui apparaissent dans les méthodes itératives (par
opposition aux méthodes directes). On examine en suite quelques propriétés qui ont une
influence déterminante sur Ie choix des méthodes de résolution, notamment l'enzplacement
des zéros des matrices. On donne enfin quelques indications sur les possibilités actuelles
de résolution de I'un et l'autre problème, selon les propriétés des matrices rencontrées,
caractère symétrique défini positif, structure de matrice-bande, etc.
Une troisième source d'erreurs réside dans ce que l'on appelle Ie conditionnement
d'un problème : un problème est mal conditionné lorsque de "petites" variations sur
les données (les éléments d'une matrice, Ies composantes d'un vecteur, etc.) entraînent
de très "fortes" variations sur Ie résultat (la solution d'un système linéaire, les valeurs
propres d'une matrice, etc.), même calculé exactement, c'est-à-dire sans erreurs d'arrondi
ni de troncature. C'est pourquoi on étudie aux paragraphes 2.2 et 2.3 Ie conditionnement
d'un système /inéaire et Ie conditionnement d'un problème de valeurs propres, en illustrant
nos considérations par quelques exemples numériques particulièrement "spectaculaires".
2.1. Les deux prob1èmes fondamentaux ;
généralités sur les méthodes employées
Les deux problèmes fondamentaux de I' Analyse Numérique Matricielle sont les suivants :
(1) Résolution d'un système linéaire. - Étant donné une matrice inversible A et un
vecteur b, trouver Ie vecteur u solution du système linéaire
Au = b.
(2) Calcul des valeurs propres et des vecteurs propres d'une matrice. - Étant donné
une matrìce carrée A, trouver ses valeurs pro pres, ou seulement certaines d'entre elles,

24
ANALYSE NUMÉRIQUE MA TRICIELLE
et, éventuellement, les vecteurs propres correspondants ; autrement dit, on cherche des
scalaires  et des vecteurs p tels que
pO,
Ap = Â p .
REMARQUE. Le plus souvent, les éléments de la matrice et les composantes du vecteur
d'un problème (1) sont des nombres réels, de sorte que tous les calculs se font alors
avec des nombres réels. Par contre, on notera que les nombres complexes peuvent inter-
venir dans la résolution d'un problème (2), même s'il est posé avec une matrice réelle. _
Pour résoudre un problème du type (1) ou (2), on commence naturellement par
choisir une méthode déterminée (selon des critères qui seront précisés au cours des cha-
pitres suivants), qui fournit donc un résultat numérique. Or, quelle que soil la méthode,
ce résultat n'est pas en général Ie résultat exact, car certaines erreurs sont inévitables
au cours du calcul : ce sont les erreurs d'arrondi.
Dans un ordinateur, Ies calculs sont Ie plus souvent effectués en virgule .f!ottante :
a chaque nombre réel est associé un couple ordonné (a, b) (les nombres a et b étant écrits
dans Ie système binaire) précédé du signe + ou du signe -, et qui représente Ie nombre
(+a)X(2 b ) ou (-a)X(2 b ). La mantisse a vérifie 1/2  a <: 1 ; autrement dit Ie dévelop-
pement binaire du nombre a est toujours de la forme a = 0, 1 .... L' exposant b peut
être ::> 0, nul, <: o.
Les limitations imposées par l'ordinateur sont, d'une part, une borne supérieure pour
I b let, d'autre part, Ie nombre t de chiffres (0 ou 1) du développement binaire de Ia
mantisse a. La limitation sur I b I a pour conséquence d'interdire la prise en compte de
nombres trop grands en valeur absolue ; on dit alors qu'i] y a dépassement de capacité
du "mot-mémoire" de l'ordinateur. Une autre conséquence en est Ie remplacement par
Odes nombres trop petits en vaIur absolue. Illustrons par un exemple l'effet de la
limitation sur la mantisse ; SUPpoSOOi qu'on veuille représenter Ie nombre x = 405,59
dans un ordinateur pour Iequel t = 13. Le nombre x s'écrivant aussi
405,59 = (2-1+2-2+2-5+2-7+2-9+2-10+2-13+0,44X2-13)29,
i1 sera représenté par Ie nombre
( +0,1100101011001)X2 1001
dans l'ordinateur (en supposant que 9 est inférieur à la borne supérieure admise sur Ia
valeur absolue des exposants). On a donc commis une erreur de 0,44X2- 13 sur la man-
tisse, et it est facile de voir que, d'une façon générale, l'erreur commise sur la mantisse
est majorée en valeur absolue par 2- t . .
C'est ainsi qu'à chaque étape d'un calcul, chaque donnée, chaque résultat d'opéra-
tion, est forcément arrondi comme nous l'avons montré ci-dessus : on appelle erreurs
d'arrondi les erreurs ainsi commises dans une suite de calculs correspondant à une
méthode donnée.
REMARQUES. (1) Si cela s'avère nécessaire pour certains calcuIs, à effectuer avec une
"grande" précision, on peut augmenter Ie nombre t (par exemple en Ie doublant; on
dit alors qu'on effectue les calculs en double précision) en agissant sur les caractéristiq-
ues de l'ordinateur. Mais si cette opération a pour effet de diminuer les erreurs d'ar-
rondi, elle ne les élimine naturellement pas.
(2) De même, sur certains ordinateurs, on peut également augmenter Ia borne supé-
rieure admissible pour l'exposant.
(3) Enfin, Ia mantisse est parfois calculée dans Ia base 16. _
On conçoit donc que l'effet des erreurs d'arrondi sur Ie résultat final est "proportion-
neI" au nombre d' opérations élémentaires utiJisées dans une méthode donnée ; les

LES DEUX PROBLÈMES FONDAMENTAUX
25
opérations élémentaires sont celles qu'un ordinateur peut effectuer, c'est-à-dire l'addition,
la soustraction, la multiplication, la division. Le comptage des opérations é/émentaires,
ou au moins une estimation de leur nombre, est donc indispensable lorsqu'on veut
analyser ce type d'erreurs.
REMARQUE. Le comptage est également déterminant pour J'évaluation du temps
nécessaire à un calcul donné, c'est-à-dire en définitive à son coût ; or il faut bien recon-
naître que c'est souvent là l'élément majeur de décision, qui fait rejeter aussi bien les
calculs Htrop longs" que les calculs en double précision (qui sont généralement plus longs).
etc.
A cet égard, on retiendra les ordres de grandeur suivants (valables pour les ordina-
teurs les plus récents) : Ie temps nécessaire à une multiplication est environ 4 fois celui
nécessaire à une addition (ou soustraction), tandis que Ie temps nécessaire à une division
est environ 10 fois celui nécessaire à une addition. _
Alors que les erreurs d'arrondi sont toujours présentes dans un calcul, Ie deuxième
type d'erreurs n'apparaît que dans certaines méthodes. Comme on Ie verra, les méthodes
de résolution de systèmes linéaires sont de deux sortes, les méthodes directes, et les
méthodes itératives. Une méthode directe conduirait à la solution exacte d'un problème
en un nombre fini d'opérations élémentaires s'i! n'y avail pas d'erreurs d'arrondi ; c'est
ainsi que l'utilisation des formules de Cramer (calculs des déterminants) est une méthode
directe (qui n'est d'ailleurs pas employée ; on verra pourquoi au paragraphe 4.2).
Dans une méthode itérative par contre, la solution u du problème est la limite d'une
suite (Uk) de solutions "approchées" calculées Uk' Comme on est bien obligé d'arrêter
les calculs pour un entier ko' on commet ainsi une erreur de troncature, mesurée par Ie
nombre II U-Uko II (pour une norme vectorielle 11.11 donnée).
REMARQUE. Comme, en principe, on ne connaît pas la solution exacte u, on ne peut
espérer avoir que des estimations du nombre II U-Uko II. De même, Ie choix de l'entier
ko d'arrêt des calculs relève plus de I'intuition, de l'habitude des calculs, ou de consi-
dérations pratiques (temps de calcul. . .), que de raisonnement permettant d'affirmer
rigoureusement que l'erreur de troncature II U-Uk o II est sûrement inférieure à un nombre
fixé à l'avance. . . II
II est clair dans ces conditions que les méthodes de calcul des valeurs propres ne sau-
raient qu'être itératives ! En effet, une simple vérification montre qu'un polynôme arbi-
traire de degré n :
p: ÅEC -.. Ån+a1Ån-l+ ... +an_lÅ+a n ,
n'est autre, au facteur (- l)n près, que Ie polynôme caractéristique de la matrice
1. ..
o
1 0
-al -a2 -a3.'. -a n _ 1 -an
1 0
1 O.
appelée compagne du polynôme. Dans ces conditions, l'existence d'une méthode directe
pour Ie calcul des valeurs propres équivaudrait à affirmer qu'on peut calculer les racines
d'un polynôme arbitraire en un nombre fini d'opérations élémentaires. Or, même si
l'on admet que l'extraction de racines p-èmes est aussi une opération élémentaire, une
telle éventualité contredirait Ie célèbre théorème d' Abel (dont on trouvra une démonstra-

26
ANALYSE NUMÉRIQUE MATRICIELLE
tion par exemple dans (1), p. 2,14) concernant l'impossibilité de "résoudre par radicaux"
les polynômes de degré  5.
Naturellement, Ie choix d'une méthode de résolution d'un problème (1) ou (2) dépend
des propriétés de fa nlatrice en cause ; c'est pourquoi nous allons passer en revue les
diverses qualités à prendre en compte à eet égard.
Une des premières caractéristiques à considérer est Ie 1l011lbre et, éventuellement, la
répart it ion , des élé/nents nilis de la matrice, qu'on appelle improprement les "zéros"
de la mat rice. C'est ainsi qu'on distingue les n,atr;ces creuses rbeaucoup.' de zéros) et
les matrices pleines rpeu't. de zéros).
Si une matrice d'ordre Il est pleine, il faut immobiliser 11 2 111é1110ires pour enregistrer
les éléments de la matrice, et c'est là une contrainte essentielle sur les valeurs admissibles
de l'entier It. Inversement, il existe des n1atrices "trs.' creuses dont les zéros sont dis-
posés d'une façon particu1ière, grosso 1110do parallèlement à la diagonale (divers exemples
tirant leur origine de problèmes conerets seront donnés au chapitre suivant) ; ce sont
les nzatrices-balldes, c'est-à-dire des matrices A == (aij) pour lesquelles aij == 0 pour
un "grand" nombre de valeurs de l'entier I i-j I . De telles matrices nécessitent beaucoup
moins de mémoires pour leur enregistrement, d'autant plus que les éléments au non
nuls sont Ie plus souvent calculés de façon très simple à partir des valeurs d'une fonction
connue (se reporter aux exemples).
Ces considérations expliquent pour-
quoi on peut résoudre des systèmes li-
néaires d'ordre élevé lorsque leurs mat-
rices sont des matrices-bandes. De tels
systèmes se prêtent généralement bien
à l'utilisation de méthodes itératives,
alors que les méthodes directes sont
plutôt réservées aux systèmes linéaires
à matrice pleine (ne serait-ce Que parce
que les matrices pleines quclconques
ne vérifien t pas en général les hypo-
thèses assurant la convergence des mé-
thodes itératives. . .), encore qu'on ob-
serve actuellement un certain renver-
sement de tendances à cet égard.
Parmi les matrices-bandes, on dis-
tingue en particulier les matrices dia-
gonales (pour mémoire...), tridiago-
nales, tridiagonales par blocs, triangulai-
res (déjà définies), diagonales par blocs,
triangulaireJ' par blocs, de Hessenberg,
qui sont représentées à la figure 2.1-1,
avec des conventions d'écriture éviden-
tes. On rappelle que, dans les matrices
diagonales, triåiagonales, ou triangu-
laires, par blocs, les sous-matrices dia-
gonales All sont carrées, par définition
de la décomposition par blocs d'une matrice carrée (paragraphe 1.1).
On retiendra également les deux principes suivants :
(1) les problèmes de résolution de système linéaire les plus faciles à trailer numériquement
son! ceux dont les matrices sont sYfnétriques définies positives. Ce point sera notamment
( .. ) ( ....... . )
... .......
... ......
... .....
... ....
... ...
. . . . .
. . -
( . . . . . . . - )
........
.......
......
.....
. . . .
. . .
--
de Hesenbe f9
sup'rieure.
h"tdia9onale.
hiauLai re
supé:fieure.
A44
Ä11 A12
A 21 A22
Ä32
A34
diasOr.3le. par bloc.s
tflCii89onale. par bLocs
A44
triangulai re lupé rieure. par bLocs
E)(emples
de matrices - bandes
FIG. 2.1-1.
(1) HER STEIN I. N. - Topics in Algebra, Blaisdell, New York, 1964.

CONDITIONNEMENT D'UN SYSTÈME LINÉAIRE
27
illustré par la comparaison des méthodes de Gauss et Cholesky (paragraphes 4.2 et 4.4)
en ce qui concerne les méthodes directes, et par les hypothèses assurant la convergence,
en ce qui conceme les méthodes itératives (paragraphe 5.3) ;
(2) les calculs de valeurs propres et de vecteurs propres les plus faciles à traiter numérique-
ment sont ceux donI les matrices sont symétriques (il n'y a pas lieu de faire intervenir Ie
caractère défini positif, puisque les valeurs propres des matrices A et (A +xI) vérifient la
relation À(A) = À(A+xI)-x pour tout scalaire x). On comparera à cet égard les mé-
tho des de Jacobi et Givens-Householder d'une part (paragraphes 6.1 et 6.2) avec la mé-
thode QR pour les matrices quelconques (paragraphe 6.3).
Donnons quelques indications sur les possibilités actuelles (en 1984) de résolution nu-
mérique des problèmes (1) et (2) ; il ne s'agit d'ailleurs que d'ordres de grandeur, pour des
calculs effectués de façon courante.
On dispose d'un bon arsenal de méthodes pour la résolution des systèmes linéaires,
et on résout sans difficulté majeure des systèmes linéaires à matrices pleines d'ordre
 500. Si les matrices sont très creuses remploi de méthodes adaptées à cette particularité
permet de considérer des matrices dordre 100 000.
On dispose égalemen t de méthodes efficaces pour calculer les valeurs propres et vec-
teurs propres des matrices symétriques pleines d'ordre  500. II en va différemment pour
les matrices non symétriques : si I'on sait à peu près calculer leurs valeurs propres, un
problème encore mal résolu consiste à calculer leurs vecteurs propres.
Terminons en indiquant que les méthodes modemes de I'Analyse Numérique Matri-
cielle ont réellement fait leurs preuves, et c'est là leur principale justification; c'est notam-
ment Ie cas de toutes les méthodes décrites dans la suite de l'ouvrage. II est vain d'espérer
trouvef une nouvelle méthode sans avoir au préalable une bonne connaissance, théorique,
et surtout pratique, des méthodes déjà existantes. Des méthodes parfaitement accept abIes
théoriquement (par exemple, l'utilisation des formules de Cramer), ou particulièrement
"élégantes", peuvent s'avérer totalement illusoires lorsqu'il s'agit de résoudre un problème
concret !
2.2. Conditionnement d'un système linéaire
Considérons Ie système linéaire (cet exemple est dû à R. S. Wilson) :
10 7
7 5
8 6
7 5
8 7
6 5
10 9
9 10
32
23 , de solution
33
31
et considérons Ie système perturbé, où les seconds membres ont été "très légèrement"
modifiés, la matrice restant inchangée :
10 7 8 7 ul + !Ju l 32,1 9,2
7 5 6 5 u2 + ðU2 22,9 de solution - 12,6
-
8 6 10 9 U3+ !JU3 33,1 4,5
7 5 9 10 u, + ðU4 \ 30,9 -1,1
utrement dit, une erreur relative de l'ordre de 1/200 sur les données (ici, les compo-
santes du second membre) entraîne une erreur relative de l'ordre de 10/1 sur Ie résultat
(la solution du système linéaire), soit un rapport d'amplification des erreurs relatives de
l'ordre de 2000 !

28
ANALYSE NUMÉRIQUE MATRICIELLE
Considérons également Ie système perturbé où, cette fois, ce'sont les éléments de la
matrice qui ont été "très légèrement" modifiés :
10 7 8,1 7,2 u 1 + L1u l' -81
7,08 5,04 6 5 u2 + L1u2 de solution 137
8 5,98 9,89 9 u3 + L1u3 -34
6,99 4,99 9 9,98 U4 + L1u4 22
Là encore, de très petites variations des données (ici, les éléments de la matrice) modi-
fient complètement Ie résultat (la solution du système linéaire). Pourtant, la matrice A
du système a un "bon aspect" ; elle est symétrique, son déterminant vaut t et la matrice
A-I =
25
-41
10
-6
-41
68
-17
10
10
-17
5
-3
est tout aussi sympathique !
REMARQUE. Cet exemple est d'autant plus troublant que les erreurs sur les données sont
d'un ordre de grandeur considéré comme très satisfaisant dans les sciences expérimentales.
Dans ces conditions, it est clair qu'un utilisateur de I' Analyse Numérique Matricielle
risque d'être fort peu convaincu des vertus de cette dernière lorsqu'on lui annonce que,
si les données d'un système linéaire (seulement d'ordre 4, et en nombres entiers de
surcroît ...) ne sont connues qu'au  près, la solution, même calculée exactement,
200
est peut-être entachée d'une erreur relative 2 000 fois supérieure .... II
Analysons main tenant ce genre de phénomènes. Dans Ie premier cas, on se donne une
matrice inversible A, et it s'agit de comparer les solutions exactes u et (u+ðu) des sys-
tèmes
Au = b,
A(u+ðu) = b+ðb.
Soit II · II une norme vectorielle quelconque, et II · II la norme matricielle subordon-
née. Des égalités ðu = A -lðb et b = Au, on déduit
1/ ðu 1/  1/ A-III II ðb 1/,
Ilbl/  IIAlillull,
d I , I . I , I ' I II ðu \I t . ,
e sorte que erreur re atIve sur e resu tat, mesuree par e rapport -- II ' es maJoree en
II u
fonction de I'erreur relative II ðb l  sur la donnée b de la façon suivante:
1/ b I
lIðull .,,;;;{IIAIIIIA-III} Ilðbll .
IIuli Ilbll
Dans Ie second cas, c'est la matrice qui varie, et il s'agit de comparer les solutions
exactes u et (u+L1u) des systèmes
Au = b,
(A+L1A) (u+L1u) = b.
De l'égalité L1u =-A -1L1A(u+L1u), on déduit
lIL1ull  !lA-III IIL1Allllu+L1ull,

CONDITIONNEMENT D'UN SYSTÈME LINÉAìRE
29
ce qui peut encore s'écrire
II Ltu II "'" {II A II II A-III} II LtA II .
lIu+L1ull II All
II L1u 1/
De la sorte, l'erreur relative sur Ie résultat, mesurée cette fois par Ie rapport
l/u+L1ull'
est encore majorée en fonction de l'erreur relative
1/ L1A II
II A 1/
sur la donnée A.
REMARQUES. (1) Le raisonnement ci-dessus est valable même si la matrice (A +LlA) est
singulière, à condition qu'il existe un vecteur (u +L1u) solution du second système.
. I A I ' ffi ' I IILlu II
(2) Sl I LJA I est 'su samment petIt", on peut espérer que e rapport LI
lIu+ ull
est une bonne approximation de l'erreur relative II Llu II , plus "naturelle". On précisera ce
II u II
point au théorème 2.2-2. II
Dans les deux cas, on constate que l'erreur relative sur Ie résultat est majorée par l'erreur
relative sur les données, multiplée par Ie nombre {II A IIII A-III}. Autrement dit, pour
une même erreur relative sur les données, l'erreur relative sur Ie résultat correspondant
peut être d'autant plus grande que ce nombre est plus grand ; on montrera en effet
(théorèmes 2.2-1 et 2.2-2) que ce nombre est optimal, les inégalités ci-dessus étant
les "meilleures" possibles. Ces considérations nous conduisent à la définition sui-
vante.
Soit II · II une norme matricielle subordonnée et A une matrice inversible. Le nombre
cond (A) == II A 1111 A-III
s'appelle Ie conditionnement de la matrice A, relativement à la norme matricielle consi-
dérée.
REMARQUE. Dans la littérature anglo-saxonne, ce nombre, appelé "condition number",
est fréquemment noté x(A). II
Les inégalités précédemment établies montrent que Ie nombre cond (A) mesure la
sensibilité de la solution u du système linéaire Au == b vis-à-vis des variations sur les données
A et b, qualité que l'on appelle Ie conditionnement du système linéaire considéré. Ce qui
précède donne donc un sens à un énoncé tel que "un système linéaire est bien - ou mal -
conditionné", selon que Ie conditionnement de sa matrice est "petit" - ou "grand".
REMARQUE. Le conditionnement d'un système linéaire n'est qu'un cas particulier d'une
notion générale en Analyse N umérique. On peut tout aussi bien étudier Ie conditionne-
ment des racines d'un polynôme vis-à-vis des variations de ses coefficients, ou Ie condi-
tionnement des valeurs propres, ou des vecteurs propres, d'une matrice vis-à-vis des
variations de ses éléments. A cet égard, on prendra d'ailleurs garde à la confusion possible
suivante : un système linéaire Au = b peut être mal conditionné, alors que Ie probJème
de la recherche des valeurs propres de la même matrice A peut être bien conditionné
(on reviendra sur ce point au paragraphe suivant). II
Les deux résultats qui suivent reprennent, en les complétant, les inégalités précédem-
ment obtenues. lis sont énoncés pour une norme vectorielle quelconque, et pour la norme
matricielle subordonnée correspondante.

30
ANAL YSE NUMÉRIQUE MA TRICIELLE
Théorème 2.2-1. Soit A une matriee inpersible, et soit u et (u+ðu) les solutions des systèmes
linéaires
Au = b,
A(u+ðll) = b+ðb.
On suppose b  o. Alors l'inégalité
_ II ðu 1 1  cond (A) II ðb II
II u II . 1/ bll
est satisfaite, et e'est la meilleure possible: pour une matriee A donnée, onpeut trouver des
peeteurs b  0 et ðb  0 tels qu'elle devienne une égalité.
DÉMONSTRATION. On a déjà établi l'inégalité. Pour montrer qu'elle peut devenir une
égalité, il sulfIt de remarquer qu'i] existe des vecteurs u  0 et ðb  0 tels que (propriété
des normes matricielles subordonnées)
I/A- 1 ðbll = /lA-III II ðblt, I/Aull = II All I lull.
II
Théorème2.2-2. Soit A une matriee inversible, et soit u et (u+ .LIu) les solutions des systèmes
linéaires
Au = b,
(A+LlA) (u+Llu) = b.
On suppose b  o. Alors I'inégalité
II Llu II 1/ LlA II
::s; cond (A) -
lIu+.LIul/ IIAII
est satisfaite, et e'est la meilleure possible: pour une matriee A donnée, on peut trouver IIn
veeteur b  0 et une matriee.LIA  0 tels qu'elle devienne une éga/ité.
On a par ailleurs I'inéga/ité
II.LIu 1/  ond (A) II LlA II { 1+0(11 LlA ID } .
111111 c IIAI/
DÉMONSTRATION. La première inégalité a déjà été démontrée. On rappelle que pour
I'étabIir, il n'est pas nécessaire de supposer la matrice (A +LtA) inversible; il suffit de
supposer que Ie second système linéaire a (au moins) une solution, notée (u+Ltu).
Pour montrer que l'inégalité peut devenir une égalité, soit w un vecteur tel que
w  0,1/ A -l w /I = /I A -1 II 1/ w /I,
et soit ß un scalaire non nul quelconque. Or les vecteurs
Ltu =-ßA-l w , (u+Ltu) = w, b = (A+ßI)w,
et la matrice
LtA = ßI
vérifien t précisémen t
Au = b, (A+LtA) (u+Ltu) = b,
1/ L1u 1/ = Iß I /I A-l w II = II L1A IIII A -11111 u+L1u /I.
Si aucune valeur propre de la matrice A n'est égale au nombre (-ß), la matrice A +L1A =
= A +ßI est inversible, et Ie vecteur b n'est pas nul.
Pour démontrer la dernière inégalité, on va se borner au cas où II LtA II <: II A-III-I,
ce qui est parfaitement loisible, puisqu'on souhaite établir une propriété pour II L1A II

CONDITIONNEMENT D'UN SYSTÈME LINÉAIRE
31
voisin de 0 (la matrice A est donnée ; ce sont les matrices L1A qui varient). Alors la matrice
(I + A -IL1A) est inversible, puisque
II A -IL1A II  II A -11111 L1A /I <:: 1,
et (théorème 1.4-5)
1
1/ (I + A -IL1A)-III  1-11 A -IL1A II
1

1-11 A -11111 L1A /I .
Des égalités Au == bet (A +L1A) (u+Llu) == b, on déduit aisément les égalités
Au ==-A-IL1A(u+L1u), u+L1u == (I+A-IL1A)-l u ,
et par suite,
A /lA-III /I L1A II
II LJU /I  1-11 A-III /I L1A II II u II,
soit encore
/I L1u II II L1A II { 1 }
II u /I  cond (A) II A II 1-11 A -11111 L1A II '
ce qui est bien une inégalité de la forme cherchée.
II
Les conditionnements de matrice utilisés dans la pratique correspondent aux trois
normes matricielles subordonnées introduites au paragraphe 1.4. On les note
condp(A) == II A lip II A -1 lip, pour p == 1,2, 00.
Le résultat qui suit rassemble des propriétés à peu près toutes évidentes du condi-
tionnement, mais qu'il est utile de retenir (naturellement, Ie conditionnement n'est défini
que pour les matrices inversibles ; on ne Ie répète pas dans l'énoncé .... ..).
Théorème 2.2-3. (1) Pour toute matrice A,
cond (A)  1,
cond (A) = cond (A-I),
cond (aA) = cond (A) pour tout scalaire a  o.
(2) Pour toute matrice A,
/In(A )
cond2 (A) = P,I (ft!.)" ,
où P,I(A) >- 0 et p,n(A) >- 0 désignent respectivement la pills petite et la plus grande des
valeurs singulières de la matrice A.
(3) Si A est une matrice normale,
max IÂi(A) I
i
cond2 (A) == min I Âi(A) I '
i
où les nombres Åi(A) sont les ,aleurs propres de la matrice A.
(4) Le conditionnement cond2 (A) d'une matrice A unitaire ou orthogonale vaut 1.
(5) Le conditionnement cond2 (A) est invariant par trans/ormation unitaire :
UU. == I => cond 2 (A) == concl 2 (AU) == cond 2 (UA) == cond 2 (U. AU).
DÉMONSTRATION. Les propriétés (1) résultent dcs propriétés des normes matricielJes ;
en particulier
AA-I == I=> 1 == 1/111  !lAIIIIA-I/I,
]a norme matricielle étant subordonnée par hypothèse.

32
ANALYSE NUMÉRIQUE MATRICIELLE
D'après la définition des valeurs singulières et Ie théorème 1.4-2,
II A II = e(A * A) = max Åi(A * A) = /l(A),
i
IIA-III = e((A-I)*A-I) = e(A-I(A-I)*)
1
= max Å;((A * A)-I) = min Åj(A * A)
1
(/lI(A))2,
ce qui démontre la propriété (2).
La propriété (3) résulte de l'égalité II A 11 2 = e(A) vérifiée par les matrices normales
(théorème 1.4-2).
Si A est une matrice unitaire ou orthogonale, l'égalité II A 11 2 = Ý e(A* A) = Ý e(I) = 1
entraîne la propriété (4). Enfin, la propriété (5) résulte de l'invariance par transformation
unitaire de la norme matricielle II · 11 2 (théorème 1.4-2). _
Examinons quelques conséquences pratiques du théorème précédent. L'inégalité
cond (A)  1, jointe aux inégalités des théorèmes 2.2-1 et 2.2-2, montre qu'un système
linéaire Au = best autant mieux conditionné que Ie nombre cond (A) est voisin de 1 (sous-
entendu : relativement à une norme matricielle subordonnée particulière).
A cet égard, la propriété (4) montre que les systèmes linéaires Au = b à matrice ortho-
gonale (ou unitaire) sont très bien conditionnés, puisque cond 2 (A) = 1. De la même
façon, la propriété (5) montre que les transformations orthogonales, ou unitaires, préservent
Ie conditionnement cond 2 (A). Ces considérations justifient I' emploi de matrices orthogona-
les, comme matrices "auxiliaires" dans diverses méthodes, par exemple les matrices
de Householder (cf. paragraphe 4.5).
Alors que la propriété (4) montre qu'une matrice normale a un "grand" conditionne-
ment (pour la norme II . 11 2 ) si et seulement si Ie rapport des modules extrêmes de ses
valeurs propres est "grand", une matrice quelconque peut avoir un "grand" conditionne-
ment même si toutes ses valeurs propres sont égales ! Voir à cet égard l'exercice 2.2-2.
REMARQUE. On peut donner une interprétation géométrique simple du mauvais condi-
tionnement d'un système linéaire Au = b lorsque la matrice A est normale. Soit en effet
Å I et Ån deux valeurs propres telles que
I ÅII = min I Å;(A) I et I Ån I = max I Å;(A) I
i
et soit PI et Pn des vecteurs propres correspondants. Alors les choix
b = Pn, ðb = ÅIPI
ou= Pi
/......... u+8u
/
/
/
/
/
/
/
cSb="fPy:/
/
/
conduisent à l'égalité
 ðu II  = cond 2 (A) II ðb 1/ 2 .
IIull2 IIbl1 2
On voit de cette façon que si Ie conditionne-
IÅnl
ment cond 2 (A) = west "grand", une
"petite" perturbation ðb d'un vecteur b parallèle
au vecteur Pn, faite paralIèlement au vecteur PI'
entraîne une "gran de " variation sur la solution.
C'est ce que nous avons essayé de suggérer à la figure 2.2-1, où nous avons supposé les
vecteurs PI et Pn de même norme, pour fixer les idées. II
b...ôb
h: Pn
FIG. 2.2-1.

CONDITIONNEMENT D'UN SYSTÈME LINÉAIRE
33
La propriété cond (A) = cond (A) montre qu'il est illusoire d'espérer améliorer Ie
conditionnement d'un système linéaire en multipliant toutes ses équations par Ie même
scalaire. Par contre, on peut sûrement diminuer cond 2 (A) en multipliant chaque ligne
et/ou chaque colonne par un nombre convenable ; c'est Ie problème de l'équilibrage d'une
matrice, qui s'énonce ainsi : étant donné une matrice A, trouver deux matrices diagonales
Dl et D 2 inversibles telles que (0 désignant l'ensemble des matrices diagonales)
cond (D 1 AD 2 ) = inf cond (Ll 1 ALl 2 ),
Lilt Ll 2 EØ
relativement à une norme matricielle déterminée. Cette opération étant supposée effectuée,
la résolution du système linéaire Au = b se fait en résolvant Ie système
(D 1 AD 2 )1J = D1b,
puis en calculant
u = D 2 v.
Le problème de l'équilibrage est très important en pratique, mais nous ne l'aborderons
pas ici; nous renvoyons les lecteurs intéressés aux Commentaires Bibliographiques.
Reprenons l'exemple numérique du début de ce paragraphe, en effectuant les calculs
pour les normes II · 11 2 . Les valeurs propres de la matrice
A=
10 7 8 7
756 5
8 6 10 9
7 5 9 10
ont pour valeurs numériques approchées :
ÂI -:- 0,01015 -< Â 2 -:- 0,8431 -< Â3 : 3,858 -< Â4 : 30,2887,
de sorte que
Â4
cond 2 (A) = T : 2 984.
1
Par ailleurs,
u=
ðu -
8,2
-13,6
3,5
-2,1
b=
32
23
33
31
ðb =
0,1 \ )
-01
,
,
0,1
-0,1
de sorte que
I/ ðu I12...:- 16,397 : 8,1985,
" u 11 2 ' 2
II ðb 11 2 0,2
cond 2 (A) II b 11 2 -;- (2984) X 60,025 -;- 9,9424,
et on voit qu'on n'est pas loin de l'égalité !
On aura noté que Ie calcul précédent du nombre cond 2 (A) repose sur la connaissance
préalable des valeurs propres extrêmes de la matrice A. En l'absence de cette information,
la norme matricielle (non subordonnée) II · liE peut s'avérer utile, puisque facile à calculer
d 'une part, et puisque
II A 11 2  II A liE  Y;; II A 11 2 ,
d'autre part (cf. théorème 1.4-4), à condition toutefois qu' on connaisse fa matrice A-I. . .

34
ANALYSE NU1ÉRIQUE MA TRICIELLE
Dans l'eXCl11ple qui nous intéresse, on obtiendrait de cette façon ]cs 111ajorations
II A 11 2 = À4 : 30,2887  30,5450 : II A liE,
1
II A-I 11 2 == T : 98,5222  98,5292 : II A-litE.
1
cond 2 (A) : 2 984  3009 : II A liE II A -1 I IE .
REMARQUE. Au vu des valeurs propres de la matrice A. il était prévisible que ces majora-
tions allaient être très satisfaisantes. Pourquoi ? II
2.3. Conditionnement d'un problème de va leurs propres
Considérons la matrice d'ordre Il :
A(e) = (
\
ê
o
1 0
· 1
o
Toutes les va leurs propres de A(ê) sont égalcs à 0 pour ê = o. Par contre, pour n = 40
et ê = 10- 40 , les valeurs propres ont toutes Ie même module 10- 1 (ce sont les racines
n-ièmes du nombre ê). Autrement dit, la variation des valeurs propres (mesurée par
la distance dans Ie plan complexe) est égale à la variation du paramètre ê, multipliée
par 10 39 !
Un autre aspect "inquiétant" du phénomène est Ie suivant : Ie nombre ê = 10- 40
étant automatiquement remplacé par zéro dans l'ordinateur (car c'est un nombre trop
petit, ct. paragraphe 2.1), Ie calcul des valeurs propres de la matrice A(10-40) pour
n = 40 est donc nécessairenzellt entaché d'une erreur de 10- 1 !
On est ainsi de nouveau en présence d'un problème où une "petite" variation sur les
données (ici : les éléments de la matrice) entraîne une très "forte" variation sur Ie résul-
tat (ici : les valeurs propres de la matrice). On voit donc apparaître la nécessité de mesurer
Ie conditionnement d'un problènze de valeurs propres,. c'est l'objet du théorème 2.3-1,
où l'on se borne à considérer les matrices diagonalisables et des normes matricielles
particulières, et du théorème 2.3-2, qui "améliore" Ie théorème 2.3-1 dans Ie cas des
matrices symétriques ou hermitiennes.
Théorème 2.3-1. Soit A une matrice diagonalisable, P une matrice telle que
P-1AP = diag (Â i ),
et II · II une norme matricielle telle que
II diag(di) II == Max I d i I
i
pour toute matrice diagonale. Alors, pour toute matrice ðA,
n
sp(A+ðA)c U Di,
i=l
où
Di = {zE C; I z-Âil  cond (P) II ðA II}.
DÉMONSTRATION. 'Soit  une valeur propre de la matrice (A +ðA). Si Å = Åj pour
un indice j, Ie résultat est évident.

CONDITIONNEMENT D'UN PROBLÈME DE V ALEURS PROPRES
35
Si }II 7- Àj, 1  j  n, la matrice (D-ÀI) est inversible et }'on peut écrire
P-l(A+ðA-ÀI)P == D-ÀI+P-l(ðA)P == (D-ÀI) {I+(D-ÀI)-lp-l(ðA)P}.
La matrice (A +ðA -ÀI) étant singu1ière, la matrice
{I +(D-ÀI)-IP-l(ðA)P}
l'est aussi, et par conséquent (théorème 1.4-5)
1  II (D-ÀI)-lp-l(ðA)PII  II(D-ÀI)-lllllp-lllllðAIIIIPII.
Comme
II (D-ÀI)-lll == 1
min I Àj-À I '
d'après l'hypothèse faite sur les normes matricielles considérées, i1 existe au moins un
indice i tel que
! À-À; I  "p- 1 1111 ðA 1111 P II == cond (P) II ðA II.
II
REMARQUES. (1) Les normes matricielles II . 111' II. II 2' II . 1100 vérifient l'hypothèse
de )'énoncé du théorème.
(2) Le théorème ci-dessus est connu sous Ie nom de théorème de Bauer-Fike.
(3) Un complément à ce théorème est donné à l'exercice 2.3-1. _
Si Ie conditionnement d'un problème de valeurs propres dépend encore du condition-
nement d'une matrice, if ne s'agit plus de celui de la matrice du problème (comme dans
Ie cas des systèmes linéaires), c'est-à-dire celle dont on cherche les valeurs propres :
c'est Ie conditionnement des matrices de passage à une matrice diagonale qui intervient.
De façon plus précise, il résulte du théorème 2.3-1 que, si A est une matrice diagonalisable,
n
sp (A+ðA)c U {zEC; I z-À i I r(A) II ðA II},
i=1
où
r(A).== inf {cond (P) ; P-lAP == diag (À;)}.
C'est pourquoi Ie nombre r(A) défini ci-dessus est appelé Ie conditionnement de la
matrice A, relativement au calcul de ses valeurs propres. II résulte du théorème 2.3-1
que les matrices normales sont très bien conditionnées pour Ie problème des valeurs propres.
Puisqu'elles sont diagonalisables par une matrice unitaire (théorème 1.2-1), on a en
effet
def
AA* == A*A =>- r 2 (A) == inf {cond 2 (P); P-lAP == diag (À i )} == 1,
de sorte que
n
AA* == A*A =>- sp (A +ðA) c U {zEC ; I z-À i I  II ðA 11 2 }.
i=1
Considérons maintenant Ie cas d'une matrice A symétrique, de valeurs propres 1 
 a: 2  . ..  n' et soit ðA une matrice de "perturbation", symétrique elle aussi.
Soit ßI  ß2  ...  ßn les valeurs propres de la matrice "perturbée" B == A +ðA.
Étant donné la k-ième valeur propre ßk de la matrice B, i1 résulte de ce qui précède
(une matrice symétrique est une matrice normale particu1ière) qu'il existe au moins une
valeur propre i de A telle que
Ißk-i I  II ðA 11 2

36
ANALYSE NUMÉRIQUE MATRICIELLE
(ce résultat ne suppose pas la matrice ðA symétrique ; par contre, cette hypothèse
joue un rôle essentiel dans ce qui va suivre).
Le théorème ci-dessous conduit à un résultat plus "fort", à savoir que précisémenl la
k-ième valeur propre (Xk vérifie l'inégalité ci-dessus.
Théorème 2.3-2. Soit A et B = A+ðA deux matrices symétriques ou hermitiennes, de
,a leurs propres
al  a2  ...  an, et ßI  ß2  · ..  ßn,
respecti,ement. Alors
lak-ßklllðAI12' lkn.
DÉMONSTRA TION. Désignons par Vk Ie sous-espace engendré par les vecteurs propres
de la matrice A correspondant aux valeurs propres (Xi, 1  i  k, et par (() k l'ensemble
des sous-espaces de dimension k. Par applications répétées du théorème 1.3-1,
ßk = min max RB(V)  max RB(v) = max(RA(v)+RðA(V)) 
UEmk vE U vE Vk vE Vk
 max RA(v)+max RðA(V) = (X,k+maxRðA(V) (X,k+max RðA(V) (X,k+11 ðA 11 2 ,
VEVk vE Vk vE Vk vEKn
pUlsque
max RðA(V) = max Å;(ðA)  e(ðA) =s; II ðA 11 2 .
vEKn i
Échangeant les rôles de A et B, on obtiendrait de la même façon
(X,k  ßk+ max R(_ðA)(V)  ßk+1I ðA 11 2 ,
vEKn
et Ie théorème est démontré.
II
On trouvera quelques indications sur Ie conditionnement d'un problème de vecteurs
propres aux exercises 2.3-4 et 2.3-54

3
ORIGINE DES PROBLÈMES DE
L'ANALYSE NUMÉRIQUE
MATRICIELLE
Introduction
Si ce chapitre ne prétend nullement être exhaustif, on s'est cependant efforcé d'y
donner une idée de la grande variété des problèmes qui conduisent à la résolution de
l'un des deux problèmes fondamentaux de l'Analyse Numérique Matricielle, en insistant
particulièrement sur l' approximation des équations aux dérivées partielles linéaires de
la Physique.
A cet égard, i1 ne nous a pas paru inutile de donner quelques brèves indications sur
l'aspect physique des problèmes, sur leur analyse mathématique, et sur leur analyse
numérique, notamment lorsque cette dernière repose sur l'analyse matricielle. C'est
ainsi que dans Ie cas des problèmes aux limites en dimension un (introduits au paragraphe
3.1), on établit la convergence des méthodes d'approximations envisagées (cf. théorèmes
3.1-2 et 3.4-3).
On considère aux paragraphes 3.1, 3.2 et 3.3 des exemples simples de prob/èmes
aux Iimites (équation de Poisson, équation de la chaleur, équation des ondes), pour
lesquels on décrit la méthode des différences jinies. Son application conduit à la réso/u-
tion de J'}'stèmes Iinéaires à matrices très "creuses", dont les zéros sont disposés de façon
tout à fait remarquable, puisqu'il s'agit d'exemples de matrices tridiagonales, ou tridiago-
nales par blocs. Des matrices analogues, et de surcroît toujours symétriques, se retrouvent
lors de l' approximation variationnelle de ces mêmes problèmes (paragraphes 3.4 et 3.5).
Des problèmes de calcul de valeurs propres et de vecteurs propres de matrices se ren-
contrent dans I'approximation des "mouvements stationnaires", ou des "petits" mo-
uvements, de divers systèmes physiques. Nou. montrons à cet égard au paragraphe 3.6
que ces problèmes apparaissent Ie plus souvent sous forme de problèmes "généralisés" de
valeurs propres.
D'autres sources de systèmes linéaires sont les problèmes d'interpolation de données
par des fonctions "polynômiales par morceaux", notamment les fonctions splines,
ou encore les problèmes d'approximation au J'ens des moindres carrés : Ces problèmes
sont abordés au paragraphe 3.7.
Mentionnons enfin d'autres exemples, considérés ultérieurement dans cet ouvrage :
- solution des systèmes d'équations non linéaires, où l'emploi de la méthode de
Newton conduit à la résolution d'une suite de systèmes "tangents" d'équations linéaires
(paragraphe 7.5) ;

38
ORIGINE DES PROBLÈMES
- problèmes de minimisation d'une jònctionnelle quadratique en présence de contraintes
linéaires (paragraphe 7.2) ;
- mise en ceuvre de la méthode d' Uzawa (paragraphe 9.4) ;
- mise en ceuvre de la méthode du simplexe (paragraphe 10.3).
Certains résultats de ce chapitre font appel à des notions dont certaines (dérivabilité,
espaces préhilbertiens) seront précisées plus loin, d'autres (équations aux dérivées partiel-
les) sortent du cadre de l'ouvrage. Les lecteurs en difficulté à cet égard pourront se repor-
ter utilement à l'!ndex et aux Commentaires Bibliographiques.
3.1. La méthode des différences finies pour un problème
aux limites en dimension un
Dans ce qui suit, on désignera par @m (I) l'espace vectoriel des fonctions réelles m
fois continûment dérivables sur un intervalle 1 c R, m entier  O. Par ailleurs, on
notera I', I", et f(n) pour n  3, les dérivées successives d'une fonction d'une variable
réelle.
Considérons Ie problème suivant : étant donné deux fonctions c, fE @O([O, 1]) et
deux constantes  et ß, trouver une fonction u E (22 ([0, 1]) qui vérifie
{ - u"(x)+c(x)u(x) = f(x), 0 <:: X -< 1,
u(O) = x, u(1) = ß.
Un tel problème est appelé problème aux limites, car la fonction inconnue doit sat is-
faire les conditions aux limites u(O) =, u(1) = ß posées à la frontière de l'intervalle
ouvert sur lequell'équation diffé-
rentielle doit être satisfaite.
þ p
Un exemple de situation phy-
sique où il est rencontré est celui
du fléchissement d'une poutre de
longueur 1, étirée selon son
axe par une force P, soumise à
une charge transversale f(x) dx
par unité de longueur dx, et
simplement appuyée à ses extrémités 0 et 1 (figure 3.1-1). Alors Ie moment fléchissant
u(x) au point d'abscisse x est solution d'un problème aux limites du type ci-dessus,
P
avec c(x) = ( , où E est Ie module d'Y oung du matériau constituant la poutre
EJx)
et I(x) Ie moment principal d'inertie de la section de la poutre au point d'abscisse x,
et avec  = ß = O.
Si l'on suppose la fonction c  0 sur l'intervalle [0, 1] (nous ferons d'ailleurs cette
hypothèse tout au long de ce paragraphe), on peut montrer (exercice 3.1-1) que ce
problème a une solution et une seule, qui sera notée rp.
-p -
o

dx
y
1

F{x)dx
FIG. 3.1-1.
REMARQUE. La condition c  0 n'est nullement nécessaire pour l'existence et l'unicité
d'une solution, qui sont (par exemple) garantis sous l'hypothèse plus faible
-n 2 <: inf {c(x) ; 0  x  1},
ou encore si
-(k+l)2n 2 <: inf {c(x) ; 0  x  I}  sup {c(x) ; 0  x  1} -< - k 2 n 2 ,
pour un entier k  1. On retiendra simplement que, contrairement aux équations
différentielles du second ordre associées à des conditions initiales, c'est-à-dire des condi-

MÉTHODE DES DIFFÉRENCES FINIES EN DIMENSION UN
39
tions du type u(O) =, u'(O) =', l'existence et l'unicité d'une solution ne sauraient
être assurées dans tous les cas. On s'en convainc déjà facilement dans Ie cas d'équations
différentielles à coefficients constants (exercice 3.1-2). II
Sauf dans quelques très rares cas, on ne connaît pas de "formule)' qUI permenrait de
calculer directement la valeur de la solution en un point quelconque de l'intervalle
[0, 1]. Le problème se pose donc de trouver un moyen d'approcher les valeurs de la solu-
tion d'aussiprès qu'on veut. Une méthode pour y parvenir est la méthode des différences
finies, que nous allons maintenant décrire.
Étant donné un entier N  1, on pose
1
h=
N+1
et on définit un mail/age uniforme de pas h de l'intervalle [0, 1] comme étant l'ensemble
des points Xi = ih, 0  i  N + 1 (remarquer que Xo = 0, XN+1 = 1), appelés les næuds
du maillage. II est entendu une fois pour toutes que [e pas h est destiné à tendre vers zéro,
ce qui signifie qu'il peut être rendu aussi petit qu'on veut (en principe !). La méthode des
différences finies est un moyen d' obtenir une approximation de la solution cp aux næuds
du mail/age. Autrement dit, on cherche un vecteur
u 1
u 2 ERN,
Uh =
UN
tel que Ui .5'Oit "voisin" de cP (Xi) pour i = 1, 2, . . ., N (on connaît déjà les valeurs cp(X o ) =
= (X et CP(XN+ 1) = ß), [a qualité de ['approximation étant d'autant meilleure que Ie pas
h est petit (si possible !).
REMARQUE. Par constraste, la méthode d'approximation variationnelle, que nous
étudierons au paragraphe 3.4, fournit une approximation en tous les points de l'intervalle
[0, 1]. II
Supposons la solution cp quatre fois continûment dérivable sur l'intervalle [0, 1].
La formule de Taylor permet d'écrire, pour i = 1, 2, ..., N,
h 2 h 3 h 4
CP(Xi+ 1) = CP(Xi) +hcp'(Xi) + -- CP"(Xi) + - cp(3)(Xi) +- cp(4)(Xi +Ot h),
2 6 24
h 2 h 3 h 4
CP(Xi 1) = cp(xi)-hcp'(Xi)+- CP"(Xi)-- cp(3)(Xi)+- cp(4)(Xi+ O i h ),
- 2 6 24
avec -1 <: OJ <: 0 <: Ot <: 1,
d'où ]'on déduit
-tp(Xi+l)+ 2q.>(Xi)-tp(Xi_t) = -h 2 q.>"(Xi)- : {q.>(4)(Xi +et h) +q.>(4)(Xi +eï h)}.
D'après Ie théorème des valeurs intermédiaires,
(p(4)(Xi+ O th)+q/4)(Xi+ O i h ) = 2p(4)(Xi+ O i h ), avec IOil  max{Ot, -OJ} <: 1,

40
ORIGINE DES PROBLÈMES
de sorte qu'on obtient finalement
" ( ) _ -q>(Xi_1)+2q>(Xi)-q>(Xi+1) h 2 (4
-q> Xi - h 2 + u- q> )(Xi+Oi h ), avec I Oi 1<: 1, 1  i N.
Posons, pour alléger l'écriture,
q>i = q>(Xi), Ci = C(Xi), Ii = I(xi), 1  i  N,
et exprimons que la fonction q> est solution du problème aux points Xi, 1  i  N,
en remplaçant les valeurs - q>" (x;) par les expressions ci-dessus et en tenant compte
des conditions aux limites :
(X 2rpl-rp2 _ h 2 (4) 0
- h2 + h 2 +C 1 rpl - 1 1 - 12 q> (Xl + 1 h ),
- q>i-1 +2<P;-q>i+ 1 + c . m . = f, - h2 m(4) ( x.+O.h ) 2  i  N -1 ,
h2 'T" 12 r , "
I - q>N-1 +2rpN ß h 2 4
h2 - h 2 +CNq>N = IN - 12 q>( )(XN+ONh).
Le système d'équations ci-dessus s'écrit sous la forme matricielle
Ahq>h = b h +eh(q>),
en posan t
2 + c 1 h 2 -1
-1 2 -t- c 2 h 2 -1
1
Ah =-
h 2
-1 2+CN_ 1 h 2 -1
-1 2+CNh2
CPl 11 +(X/h 2 q>(4)(X1 +Olh)
q>2 1 2 h 2 q>(4)(X2 +02h)
CPh = b h = eh(rp)=- - .
12
CPN -1 IN_1 q>(4)(XN_1 +ON_1 h )
q>N IN+ß/h 2 rp(4)(XN +ONh)
La méthode repose sur la remarque heuristique suivante : Ie vecteur eh(q>) étant d'autant
plus "petit" que Ie pas h est petit (du fait du facteur h 2 ), on est naturellement onduit à
Ie négliger et à définir Ie problème discret, associé au problème aux limites considéré et
correspondant au pas h : trouver un vecteur Uh E RN solution de l' équation matricielle
A/Zuh = bh'
REMARQUE. Naturellement, Ie caractère "petit" du vecteur eh(q>) lorsque Ie pas h tend
vers zéro a besoin d'être précisé, puisqu'il dépend essentiellement de la norme vectorielle
choisie. C'est ainsi que, la fonction q> étant supposée quatre fois continûment dérivable
sur l'intervalle [0, 1], on obtient selon la nOTme choisie,
1/ eh( q>) 111 = O(h), II eh( q>) 11 2 = O(h 3 / 2 ), II eh( q>) 1100 = O(h 2 ),
ces différences entre les estimations asymptotiques provenant naturellement de la variation
avec h du nombre des composantes du vecteur eh(rp). II

MÉTHODE DES DIFFÉRENCES FINIES EN DIMENSION UN
41
II est essentiel de remarquer que les éléments de la matrice A h , aussi bien que les compo-
santes du vecteur b h , sont directement calculables à partir des données, ce qui n' est pas Ie cas
pour Ie second membre du système AhCPh == b h +ch(CP).
Au passage, nous sommes en mesure d'expliquer la terminologie "différences finies" :
la méthode revient en effet à remplacer la dérivée CP'(Xi) par l'un des quotients "aux diffé-
rences finies":
q;(Xi+ 1)- q;(Xi)
Xi+1- Xi
CPi+ 1 - CPi
h
ou
CPi -CPi-1
h
une itération de ce procédé remplaçant la dérivée seconde CP"(Xi) par Ie quotient "aux
différences finies":
 { CPi+ cP; _ cp;-t-1 } =
CPi-1 - 2CPi +CPi+ 1
h 2
Sous des hypothèses convenables portant sur les données, nous sommes donc conduits
à établir que :
(i) Le problème discret AhUh == b h a une solution et une seule, c'est-à-dire que la matrice
Ah est inversible ;
(ii) La méthode converge lorsque Ie pas h tend vers zéro, c'est-à-dirc que Ie vecteur
(Uh-CPh) tend vers zéro, au sens d'une norme idoine.
En ce qui concerne la question (i), l'identité
vTAh V = f c;vr+  { vi+VÃr+ f (V;-IL1'f } ,
;=1 h i=2
vraie pour tout vecteur v ERN, montre que la matrice symétrique Ah est définie positive
si la[onction c e,lt o.
En ce qui concerne la question (ii), on peut déjà observer que, si la solution cP du problè-
me aux limites vérifie cp(4)(x) == 0, 0 <:: X <:: 1 (cp est un polynôme de degré 3), alors
U; == q;(Xi), 1  i  N, puisque Ie vecteur ch(CP) correspondant est nul: voici effective-
ment un cas où la convergence est sûrement assurée, puisqu'on a même exactement
Uh == CPh pour tout h !
Pour la démonstration dans Ie cas général, introduisons les notions suivan(t=s : une
matrice A == (a,j) est dite positive si tous ses éléments at} sont o; en particulier, un
vecteur v == (Vi) est positlf si toutes ses composantes 1'i sont o. On notera en abrégé
A == (aij)  0 et 1) == (v,)  o.
Enfin, une matrice carrée réelle A est dite monotone si elle est inversible et si la matrice
A -1 est positive.
Théorème 3.1-1. On suppose c  O. Alors la nlatrice All est monotone.
DÉMONSTRATION. (i) Commençons par établir une caractérisation très utile: une matrice
réelle Ad' ordre N e,lt monotone si et seulement si l'inclusion
{vERN;AvO} C{vERN ;vO}
est satijfaite. En effet, si la matrice A est monotone et si Ie vecteur Av est O, on déduit
v == A -l(Av)  O.

42
ORIGINE DES PROBLÈMES
Réciproquement, Supposons l'inclusion satisfaite. Alors
Av = 0  A( + 1.,')  0  + '1.,'  0  V = 0,
ce qui montre que la matrice A est inversible. Par ailleurs, Ie j-ème vecteur colonne de Ia
matrice A-I n'est autre que Ie vecteur b j = A -l ej , où ej est Ie j-ème vecteur de base.
Comme Ie vecteur Ab j = ej est  0, il en résulte b j  0, ce qui montre que la matrice
A-I est positive.
(ii) D'après ce qui précède, il suffit d'établir que
AhV  0 v  o.
Étant donné un tel vecteur v, soitp E {I, . . ., N} un entier vérifiant
t'p  Vi pour i = 1, . . ., N.
On a donc
o  (2+c 1 h 2 )V 1 -V 2  (1 +c 1 h 2 )V 1 si p = 1,
o -vp_1 +(2+cph2)Vp-tp_1  cph2p, Sl 2  P  N-I,
o -VN_1 +(2+c N h 2 )VN  (1 +c N h 2 )VN Sl p = N,
ce qui montre que min Vi  0 si Ci:> 0, 2  i N-1.
liN
II reste donc à envisager Ie cas où l'un (au moins) des nombres Ci, 2  i  N-I, est
nul. Or, d'après ce qui précède, la matrice (Ah +'Xlh)(IJ; : matrice unité de RN, N + 1 = 1/ h)
est monotone pour tout 'X :> o. Comme la matrice Ah est inversible (on a établi plus haut
qu'une telle matrice est définie positive) et com me les éléments des matrices (A h +(Xlh)-l
sont des fonctions continues de 'X  0, on en déduit Ah"l  O. _
REMARQUE. Le caractère monotone de Ia matrice Ah s'interprète comme l'analogue
discret de la propriété dite du "principe du maximum", vérifiée par Ie problème aux limi-
tes considéré, et pour lequel nous renvoyons à I'exercice 3.1-3. _
Nous sommes maintenant en mesure d'établir la convergence de la méthode, au sens
de la norme vectorielle 11./100 et de Ia norme matricielle subordonnée correspondante.
La démonstration repose de façon essentielle sur Ie fait que les normes 11.1100 des inverses
des matrices Ah sont bornées indépendamment de h (c/. partie (i) de la démonstration ci-
dessous) : il s'agit là d'un exemple d'une notion fondamentale en Analyse Numérique,
appeIée la stabilité d'une famille de méthodes d'approximation.
Théorème 3.1-2. On suppose la fonction c  O. Si la solution (p du problème aux limites
,érijie
cp E (24([0, 1 J),
on a la majoration :
Max 1 ui - CP(Xi) I = II uh - f{Jh II 00  {  sup I q:;(4)(X)I } h 2 .
liN 96 Oxl
ÐÉMONSTRATION. (i) Montrons pour commencer que
1 1
II Ah" 1100  S'

MÉTHODE DES DIFFÉRENCES FINIES EN DIMENSION UN
43
Introduisons pour cela la matrice
2 -1
1 -- 1 2 -1
Aoh == -
h 2 . .
-1 2 -1
-1 2
qui n'est autre qu'une matrice Ah particulière, correspondant au cas où la fonction c est
identiquement nulle. D'après Ie théorème 3.1-1,
A};l  0 et A;l  o.
L'hypothèse c  0 entraînant également
Ah-Aoh == diag(c;)  0,
on déduit
A -l-A-l - A-l ( A -A -l ) A-l  0
oh h - oh h oh h.......,
et donc, d'après l'expression de la norme matricielle 11.1100(11 (bij) 1100 =max L Ib;ll;
; j
ct. théorème 1.4-2),
"Ah"ll1oo  II Allloo ,
puisque les matrices A};l et A;"t sont o.
II suffit donc de trouver une majoration de la norme II A;h 1 1100. Or on remarque, d'une
part, que
A-;;,t  0 => II Alll 00 = II Ale 1100,
où e est Ie vecteur de RN dont toutes les composantes sont égales à 1, et, d'autre part,
que Ie vecteur A;le n'est autre que la solution du problème discret associé au problème
aux limites particulier
{ -u"(x) = 1, 0 <: X <.. 1,
u(O) == u(t) == O.
. x(l- x)
La solutIon 1p(x) == de ce probIème ayant une dérivée troisième nulle, on a
2
exactemen t
(A;le); = 1p(Xi)' 1  i  N,
puisque êh( 1p) = O. Dans ces conditions,
1
1/ A;"te 1100 == max 11p(Xi) I  sup 11p(x) I == - ,
liN Oxl 8
ce qui démontre l'assertioß.
(ii) Des équations AhCPh == b h +êh( cp) et Ahuh = b h , on déduit
h 2
f{Jh-Uh == AJ;l êh (cp), avec êh(CP) ==-12(f{J(4)(x i +O i h))f=1.
Par suite,
II CPh-Uh 1100  II A};ll1oo " êh(CP) 1100 ,
1
et il reste à combiner la majoration II AJ;l 1100  8" avec l'inégalité
h 2
l/êh(CP) 1100 - t max I cp(4) (x) I.
2 Oxl
II

44
ORIGINE DES PROBLÈMES
Le théorème ci-dessus, connu sous Ie nom de théorème de Gerschgorin, montre que
la méthode des différences finies appliquée au problème aux limites considéré conduit à
une convergence d'ordre h 2 , en ce sens que l'erreur, mesurée ici par la norme ".1100 du
vecteur Uh - CPh, a pour expression asymptotique
II Uh - CPh 1100 = 0(h 2 ).
Cet exemple très simple de méthode d'approximation nous permet d'introduire
quelques idées générales en analyse numérique d'équations différentielles et aux dérivées
partielles.
(i) L'erreur ne peut en général se définir correctement qu' après l'analyse de la méthode
en question. Par exemple, pour Ie problème qui nous a intéressé ici, il n'était nullement
évident a priori que la norme II. 1100 fût une norme appropriée à l'étude du comportement
asymptotique de l'erreur. C'est la stabilité, c'est-à-dire la majoration uniforme des normes
II . 1100 des matrices AI; 1 , qui nous a guidés vers ce choix.
(ii) La démonstration du théorème précédent montre que la convergence dépend non
seulement de la stabilité, mais aussi du comportement asymptotique de l' erreur de consis-
lance, mesurée ici par la norme
II ( )11 - { _ " ( . )+ ( . ) ( . )} _ { -CP(Xi_l)+(2+C(Xi)h2)CP(Xi)-CP(Xi+l) }
Eh cP 00 - max cP x, c X, cP x, 2 .
1  i N h
La convergence vers zéro (avec h) de cette norme ne fait que traduire une idée très natu-
relle, à savoir que l'expression aux différences finies considérée est effectivement une appro-
ximation de l'équation différentielle considérée (au moins pour des fonctions suffisam-
ment régulières ; cf.le point (iii)).
(iii) Le comportement asymptotique de l'erreur II Uh-CPh 1100 dépend de la régularité
de la solution (qu'il est en général possible de prévoir à partir de celIe des données), par
l'intermédiaire du comportement asymptotique de l'erreur de consistance. C'est ainsi
que si la solution était "seulement" trois fois continûment dérivable, on obtiendrait
II Uh-CPh 1100 = O(h) ; à cet égard, on se reportera utilement à l'exercice 3.1-4.
(iv) La démonstration de la relation lIuh-cphlloo = 0(h 2 ) devrait être complétée par la
preuve qu'elle est la meilleure possible (on a vu' qu'on pouvait avoir Uh-CPh = 0), c'est-à-
dire qu'on peut trouver des exemples où, la solution cP étant quatre fois continûment
dérivable, une égalité de la forme
II Uh-CPh 1100 = Ch 2 (1 +ð(h)), C::> 0, lim ð(h) = 0,
h-O
peut effectivement être établie. C'est Ie cas ici, comme Ie montre l'exercice 3.1-5.
(v) Le comportement asymptotique de l'erreur peut se découvrir de façon "empirique".
Considérons par exemple Ie problème aux limites
{ -u"(x)+xu(x) = (1 +2x-x 2 )e x ,
u(O) = 1, u(l) = 0,
dont la solution est cp(x) = (l-x)e x . L'application de la méthode des différences finies
conduit aux résultats numériques suivants :
1 I
N h = N+l II Uh-(j?h 1100 (II U h -CPhll oo ) (N+ lr
I
1 1/2 0,01433 0,05732
3 1/4 0,003657 0,05X51
7 1/8 0,0009192 0.05X83
15 1/16 0,0002326 0.05955
31 1/32 0,00005852 0,05992

MÉTHODE DES DIFFÉRENCES FINIES EN DIMENSION DEUX
45
On note qu'effectivement Ie produit de I 'erreur II Uh - C{Jh 1100 par h- 2 se comporte "très
vite" comme une constante, au vu de la colonne de droite du tableau ci-dessus. On pour-
rait aussi s'en apercevoir en portant l'erreur en fonction de h sur un graphique a coordon-
nées en échelle logarithmique : 11 est alors remarquable de voir les points s'aligner très
précisément sur une droite de pente 2. On ne saurait d'ailleurs trop conseiller aux lecteurs
de construire leurs propres exemples et de les analyser "expérimentalement" de cette
f açon.
3.2. La méthode des différences finies pour un
problème aux limites en dimension deux
Considérons Ie problème physique suivant : Une membrane élastique s'appuie SUi"
un contour dont la projection sur Ie plan "horizontal" engendré par les deux vecteurs de
base e 1 et e 2 , est la frontière r d'un ouvert
Q connexe et borné de ce même plan. On
suppose cette membrane soumise à I 'action
d'une force verticale donnée í/(x)dx par
élément de surface du plan horizontal, où
í est la tension de la membrane (il est
commode de faire apparaître la constante
physique í dans l'expression de la densité
de force). On se pose Ie problème de déter-
miner la déflexion verticale u(x), x EQ, des
points de la membrane sous l'influence de
cette force (c/. figure 3.2-1).
Moyennant certaines hypothèses simp-
lificatrices, on montre alors que la fonc-
tion inconnue U doit vérifier l'équation aux
dérivées partielles
'tF(x)ax
e 3
9<Y)
U(x)
-L1u(x) = I(x)
ô 2 ô 2
pour xEQ, où L1 =  2 +,
uX 1 UX 2
.a
.
FIG. 3.2-1.
qui s'appelle l'équatioll de Poisson, ou !'équation de Laplace si 1= O. L'opérateur L1
s'appelle Ie Laplacien (ici, en dimension deux). On est donc amené à trouver une fonction
u : Q -+ R solution de
{ -L1u(x) = I(x),
u(x) = g(x),
xEQ,
xE r,
où la fonction g, qui représente la cote du contour de la membrane, est une donnée.
II s'agit d'un nouvel exemple de problème aux Iimites, la fonction inconnue devant satis-
faire la condition aux 1if11ites u = g à la frontière de l'ouvert sur lequel l'équation aux
dérivées partielles doit être satisfaite.
On démontre (mais c'est beaucoup plus délicat qu'en dimension un) q'!e si les données
let g sont suffisamment régulières, ainsi que la frontière r, ce problème a une solution et
une seule, continue sur Q et deux fois continûment dérivable sur Q (pour fixer les idées).
N ous noterons C{J cette solution.
Comme en dimension un, la f11éthode des différences finies fournit une approximation
de la solution en un nombre fini de points de l'ouvert Q. Pour cela, on commence par
établir un mail/age ulllforme du plan, de même pas h dans les deux directions (il est
parfois utile de considérer des maillages non uniformes ; nous ne Ie ferons pas ici), dont

46
ORIGINE DES PROBLÈMES
les næuds sont les points (ih, jh), i, j E Z. Appelons flit l'ensemble des nreuds du maillage
qui appartiennent à Q, et r h l'ensemble des points du plan qui sont à l'intersection de la
frontière r et d'une ligne horizon tale ou/et verticale du maillage. Attention! : sauf cas
particulier, il n'y a aucune raison pour que les points de Fit soient des nreuds du maillage
(cf. figure 3.2-2).
Le problème discret consiste à trouver une approxÎlllatioll de la solutioll aux poilltj' de fJ h .
Pour commencer, on numérote ces points de la gauche vers la droite et du haut vers Ie bas,
comme indiqué à la figure 3.2-2 sur un exemple. Alors qu'il ne semble pas a priori que
l'ordre dans lequel on numérote ces points ait de lïnlportance, cet ordre joue un rôle
fondamental pour la résolution pratique du problème discret associé. On reviendra sur
ce point.
P2
h2,
h3 h.
P3 P p.
"4
P4
FIG. 3.2-3.
FIG. 3.2-2.
La première étape de la méthode consiste à obtenir une expression approchée du
Laplacien aux nreuds P E Qh en remplaçant les dérivées partielles par des quotients
"aux différences finies" appropriés. Soit P un point de fJ h , et soit Pi, 1  i  4, les quatre
points de l'ensemblefJ h U r h "les plus voisins dans les quatre directions", disposés comme
à la figure 3.2-3. On notera hi la distance du point P au point Pi.
. h I .. â 2 p ) ,... (
Sl par exemple hI = 3' 'approxImatIon de- (P est toute trouvee, a savolr se
oX I
reporter au paragraphe précédent):
-f{J(P 3) + 2p(P)- p(P 1)
h 2
1
Sinon, on cherche une combinaison linéaire des trois valeurs p(P 3)' p(P), p(P 1)' de telle
façon que
C%11p(P 1 )+aIp(P)+a 3 q:;(P 3 ) =- 2 (P)+{termes avec dérivées d'ordre 3}.
oX I
En supposant la solution p suffisamment régulière, on peut écrire :
âp h 2 â 2 p h 3 â 3 p
p(P 1) = p(P) +hl â (P) + - (P) +  -- (Ql)' Ql E ]P, P 1['
Xl 2 âxf 6 âx
âp h5 â 2 p h â 3 p
p(P 3 ) = p(P)-h 3 âX 1 (P) + 2- âxi (P)-6 âxf (Q3)' Q3 E ]P, P 3 [.

MÉTHODE DES DIFFÉRENCES FINIES EN DIMENSION DEUX
47
On est ainsi conduit à résoudre Ie système linéaire
(%1 +(% + CX 3 == 0
{coefficient de cp(P)},
{coefficient de ::1 (P>}.
{coefficient de  (P)}.
tX1h1-(X3h3 == 0
h 2 h 2
1 3
Xl 2--+ X3 -2 ==-1
de solution
2
Xl ==-
h1(h 1 +h3)'
2
, X==--,
hlh3
CX3 == -
2
h 3 (h 1 +h 3 )
On obtient de cette façon
8 2 2 2
- ôXI (P) =- h 1 (h 1 +ha) qJ(P 1 )+ h1 h a qJ(P) - h a (h 1 +ha) qJ(Pa)
hi 8 3 cp h5 8 3 cp
- 3(h; +h 3 ) - 8xf (Q1) + 3(h 1 +h3) 8xf (Q3)'
alnsl qu'une expression analogue pour la dérivée partielle - 8 8 2 (P). On s'aperçoit
x 2
au passage qu'il est inutile d'aller jusqu'aux dérivées quatrièmes dans les développements
de Taylor lorsque hI  h 3 , car dans ce cas les termes comportant les dérivées troisièmes
ne s'é1iminent pas.
En négligeant, comme en dimension un, les termes faisant intervenir les dérivées
d'ordre 3 de la fonction qJ, on définit Ie Laplacien approché comme l'opérateur 1inéaire
Ah qui, à toute fonction u définie sur fensemble Qh u r  associe la fonction Ahu définie
sur l'ensemble.Qh par
déf 2 2 2
AhU{P)= h 1 (h 1 +h a ) u{P 1 )+ U{P 2 ) + u(Pa)
h 2 (h 2 +h4) h 3 (h 3 +h 1 )
+ 2 U(P4)- { - +._ } u(P), PE.Qh,
h 4 (h4 +h 2 ) hIh3 h2 h 4
définition qui se simplifie en
L1hU(P) ==
u(P 1) +u(P 2) +u(P 3) + U(P4)- 4u(P)
h 2
lorsque hI == h 2 == h3 == h4 == h. Pour des raisons évidentes, les formules ci-dessus sont
fréquemment appelées de façon imagée des approximations à 5 points du Laplacien. Une
fois Ie Laplacien approché défini, Ie problème discret associé au problème aux limites
considéré et au maillage choisi consiste à trouver une fonction Uh définie sur l'ensemble
discret.Qh U r h telle que
{ -L1hUh(P) == f(P), P E.Qh,
Uh(P) == g(P), P Er h -
Dès que l' on a choisi un numérotage des noeuds de .Qh, les deux relations précédentes
s'écrivent sous la forme d'un système linéaire
Ahuh == b h ,

48
ORIGINE DES PROBLÈMES
Ie vecteur uh ayant pour composantes les valeurs Uh(P), P EQh, rangées dans l'ordre
considéré. Par exemple, dans Ie cas de la figure 3.2-2, on obtient la matrice
. . .
. . . .
. . . .
. . .
. . .
. . . .
. . . . .
. . . . .
. . . . .
. . . .
. . .
. . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . .
. .
. . .
. . . . /
. . . . .
. . . . .
.
. . .
I . . .
An=
où nous avons représenté par des points les éléments non nuls.
Revenant au cas général, passons en revue les propriétés "immédiates" de la matrice Ah'
C'est une matrice creuse, puisque chaque ligne com porte au plus cinq éléments non nuls.
De plus, au numérotage des points de Qh choisi correspond une décomposition par blocs
tout à fait remarquable de la matrice A h , puisqu'elle est tridiagonale par blocs. Chaque
bloc diagonal correspond à l'ensemble des équations -lfhUh(P) == !(P) associées aux
points P d'une même ligne du maillage, disons la p-ème pour fixer les idées. Les seuls
éléments non nuls associés à un tel point P correspondent (avec les notations de la
figure 3.2-3) aux points PI et P 3 d'une part, ce qui montre que les blocs diagonaux sont
des matrices tridiagonales, et aux points P 2 et P4, d'autre part, ce qui correspond à un
élément non nul de la sous-matrice Ap_1,p et à un élément non nul de la sous-matrice
A p + l'p ; ceci explique la structure tridiagonale par blocs.
On ne saurait trop insister sur l'intérêt pratique de ce résultat : Comme on Ie verra au
chapitre 5, il existe en effet des méthodes de résolution de systèmes linéaires particulière-
ment bien adaptées aux matrices tridiagonales par blocs. Par ailleurs, les lecteurs devrai-
ent se convaincre par eux-mêmes qu'un numérotage "que Icon que " des points conduit à
une matrice (évidemment toujours aussi creuse), mais sans structure particulière.
Si la matrice Ah a une "structure symétrique'\ en ce sens qu'un élément (Ah)ij est non
nul si et seulement si l'élément (Ah)ji est également non nul, e/le n'est paj' symétrique en
général, sauf si la seconde expression du laplacien approché est la seule utilisée ; cette
dernière éventualité correspond au cas (très) particulier OÙ l'ensembJe r est un polygone à
côtes parallèles aux axes de coordonnées.
REMARQUE. Par contraste, les méthodes d'approximation variationnelle conduisent
toujours à des matrices symétriques (se reporter aux paragraphes 3.4 et 3.5). II
Nous laissons en exercice l'étude de la convergence de la méthode (exercice 3.2-2);
com me en dimension un, elle repose de façon essentielle sur Ie caractère monotone de la
matrice Ah (exercice 3.2-1).
3.3. La méthode des différences finies pour les problèmes
aux limites d'évolution
Considérons une barre de longueur I portée par un axe entre les points d'abscisse
o et I, dans laquelle la chaleur se transmet par conduction. On suppose que les échanges
de chaleur avec l'extérieur proviennent de sources de chaleur disposées Ie long de la

OIFFÉRENCES FINIES POUR LES PROBLÈMES O'ÉVOLUTION
49
barre, la quantité de chaleur fournie au point d'abscisse x à I'instant t ayant une densité
f(x, t). On suppose enfin qu'il n'y a pas d'échange de chaleur par rayonnement ou con-
vection. Dans ces conditions, la température u(x, t) au point d'abscisse x et à l'instant
f vérifie I'équation aux dérivées partielles suivantes :
ôu ô 2 u
a 81- (x, t)-y 8 x 2 - (x, t) = f(x, t)
(a = chaleur spécifique linéaire ; y = conductibilité calorifique), et s'appelle l'équation
de la chaleur en dimenj'ion un.
Si l'on suppose connue la température u(x, 0) = uo(x), 0  x  I, de la barre à
l'instant "initial" t = 0 et les extrémités de la barre maintenues à températures connues
pour t  0, on est amené à trouver une fonction u(x, t) définite pour 0  x  I et t  0
Jolution de
au ô 2 u
a ôt (x, t)-y ôx 2 - (x, t) = f(x, t), 0 <:: X <:: I, t >- 0,
u(x, 0) = uo(x), 0  x  I,
u(O, t) = a;(t) et u(l, t) = ß(t), t  O.
Supposant sans restreindre la généralité a = y = I = 1, et a;(t) = ß(t) = 0 pour
I  0 (soustraire la fonction (1 - x)(t) + xß(t)), on est conduit à trouver une fonction
u(x, t), définie pour 0  x  1 et t  0, qui vérifie
ôu ô 2 u
-ô i - (x, 1) - Ô x 2 (x, 1) = f (x, t), 0 <:: X <:: 1, 0 <:: t.
u(x,O) = uo(x), 0  x  1,
u(O, 1) = u(l, t) = 0, t  O.
II s'agit là d'un nouvel exemple de problème aux Iimites, puisque les relations u(O, t) =
= u(l, t) = 0 pour t  0 sont effectivement des conditionj' aux Iimites. Mais on notera
que ce problème est assorti de surcroît de la con-
dition initiale u(x, 0) = uo(x), 0  x  1, carac-
téristique d'un problème d'évolution, c'est-à-dire
où Ie temps intervi{nt.
On démontre que si les données f et U o sont n
suffisamment régulières (et si la fonction U o sat is-
fait la condition naturelle de compatibilité
uo(O) = u o (1) = 0) que ce problème admet une
solution et une seule, continue sur l'ensemble
[0, 1]XR+et suffisamment régulière sur l'ensemble
]0, 1[ X {t E R, t :> O} pour que l'équation aux
dérivées partielles considérée y ait un senSe On
notera cp cette solution. 6.
Pour discrétiser ce problème par une méthode
de différences fillies, établissons un maillage de
pas h = -- ---, N : entier  1, pour la variable
N+l
x, et de pas lit pour la variable t (figure 3.3-1). Les paj' h et At j'ont dej,tinés à tendre
vers zéro.
Notant u'l une approximation (à trouver) de la solution au point (ih, llL1t), les considé-
rations du paragraphe 3.1 nous conduisent à approcher
àt lih,nà)
t Xi_ih
o t x H x N + t
O 1
h
FIG. 3.3-1.
ô 2 cp
- --- ( ih nllt ) P ar
ôx 2 '
n +2 n n
-u i - 1 ui -Ui+l
h 2

50
ORIGINE DES PROBLÈMES
ct
r u'!+ 1_ U'J
â j I At I (schéma I),
Ô (ih, n.1t) par ou LJ
n u'! -1
u.- .
I I .1/ (schéma II).
Leproblèmediscret associé au schéma I s'écrit : trouver des nombres u'/, 0  i  N+l,
n  0, solutions de
U7+- t u'/ + ( -u'/-1 + h 2 2 u'f- U '/+1 )
LJ = I (ih, nL1t),
u? = u o(ih), 1  i  N,
UÖ = UN+l = 0, n  O.
1  i  N, 11  0,
Définissant les vecteurs
un = (u'/)1 ERN et In = (I (ih, IlAt))1 ERN,
Ie probIème discret s' écrit sous la forme ma tricielle : trou ver des vecteurs un, 11  0,
vérifiant
I un+un +Au n = I", II;;" 0,
U O donné,
où la matrice A d'ordre Nest donnée par l'expression familière
2 -1
-1 2 -1
1
A h 2
-1 2 -1
-1 2
REMARQUE. Afin de ne pas alourdir l'écriture, on omet volontairement la dépendancc
1
sur h = des vecteurs un, In et de la matrice A. II convient cependant de ne pas
N+l
I'oublier ! II
Le vecteur u n + 1 est donc donné explicitement à partir du vecteur u n + 1 par la formule
u n + 1 = (I - L1t A)u n +L1t In, n  O.
Defaçon plus précise, chaque composante uj+l du vecteur u n + 1 est obtenue exp1icitement
à partir des seules composantes u7-1' u7, u+1 du vecteur un supposé déjà calculé (on
rappelle que uö = u;;+ 1 = 0) : on dit que Ie schéma I est explicite.
Le schéma II s'écrit de la même façon
u7-u'/-1 ( -u7-1 +2u'/-U'/+I ) = I( . h A )
.d t + h2 I , nL t ,
u? = uo(ih), 1  i  N,
1  i  N, n  ],
uö = u;; + 1 = 0, It  0,

DIFFÉRENCES FINIES POUR LES PROBLÈMES D'ÉVOLUTION
51
soit encore, sous forme matricielle,
I un_un-l +Au n = In 11  1,
.1t '
u O donné.
Contrairement au cas du schéma I, on ne peut pas calculer directement une composante
u'/ du vecteur un puisque la relation où elle apparaÎt fait également intervenir les compo-
santes u'/-l et u7 + 1 du même vecteur : on calcule Ie vecteur un à partir du vecteur u n - 1
en résolvant un système linéaire, à savoir
(I +.1t A)u n = u n - 1 +.1t In ,
et c'est la raison pour laquelle Ie schéma II est dit implicite. La mise en æuvre du schéma
II conduit donc à la résolution d'une suite de sYJ'tèmes linéaires, de même matrice (I +
+.1t A), tridiagonale symétrique définie positive (cette dernière propriété résultant du
caractère défini positif de la matrice A établi au paragraphe 3.1).
Nous ne dirons rien ici sur l'étude de la convergence de tels schémas, renvoyant pour
cela aux ouvrages spécialisés, cités notamment dans les Commentaires Bibliographiques.
Mentionnons simplement que Ie schéma implicite II est meilleur que Ie schéma explicite I
du point de vue de la "stabilité", ce qui est finalement très "moral ", dans la mesure où
il nécessite davantage de travail numérique.
On pourrait également considérer Ie problème de la détermination de la température
à l'intérieur Q d'une surface de R 2 , ou d'un volume de R 3 , de frontière T. On est alors
conduit à trouver une fonction u(x, t) définie pour x E Q et t  0, solution de
ôu
(J ôt (x, t)- y.1u(x, t) = f(x, t), x E Q, t:> 0,
u(x, 0) = uo(x), x E Q (condition initiale),
u(x, t) = g(x, t), x Er, t  0 (condition aux limites),
les fonctions f, uo, g étant données. On peut encore approcher de tels problèmes aux limites
d'évolution par des méthodes de difTérences finies, l'approximation du Laplacien L1 se
faisant alors comme il a été indiqué au paragraphe 3.2 en dimension deux.
Considérons ensuite une corde homogène de section constante, de longueur I, tendue
entre deux extrémités fixes placées Ie long d'un axe, l'une étant à l'origine 0 et l'autre
au point d'abscisse /. La corde est soumise à l'action d'une force verticale tf(x, t) dx par
élément de longueur dx (í = tension de la corde), et on se propose d'étudier les "petits"
mouvements transversaux de la corde dans Ie plan vertical; autrement dit, on cherche une
fonction u(x, t) définie pour 0  x  I et t  0, qui représente à l'abscisse x et à
l'instant t la déformation verticale de la corde. On montre alors que la fonction u doit
vérifier l'équation aux dérivées partielJes suivante :
1 ô 2 u ô 2 u
-2- -2 (x, t)- (x, t) = I (x, t), 0 <: X <: I, t:> 0,
c vt vX
OÙ C = ýile (e : densité linéaire de la corde), qui s'appelle l'équation des ondes en di-
mension un.
On suppose connue la forme de la corde à l'instant "initial" t = 0, ainsi que la distribu-
tion des vitesses "initiales" Ie long de la corde ; autrement dit, on connaît les fonctions
ôu
u(x,O) = uo(x) et ôt - (x, 0) = u 1 (x) pour 0  x  I (par exemple, si la corde est sim-
plement lâchée à partir d'une position donnée, on a u1(x) = 0 pour 0  x  I). Enfin,
on doit avoir u(O, t) = u(l, t) = 0 pour t  0 puisqu'on suppose que les extrémités de
la corde sont fixes.

52
ORIGINE DES PROBLÈMES
On est donc amené à trouver une lonction u(x, t) définie pour 0  x  I et t  0
qui soil une solution de
r 1 ô 2 u ô 2 u
(x,t)- 2 (x,t)=/(x,t), O<x<l, t>O,
c vt vX
u(O, t) = u(l, t) = 0, t  0 (condition aux limites),
) u(x, 0) = uo(x) , 0  x  I (condition initiale),
t : (x, 0) = u 1 (x), 0  x  I (condition initiale).
II s'agit donc d'un nouvel exemple de problème aux limites d'évolution, assorti cette
fois de deux conditions initales. Pour discrétiser ce problème par une méthode de dif-
férences finies, on établit Ie même maillage qu'à la figure 3.3-1 (en supposant I = 1).
La discrétisation la plus "naturelle" consiste à trouver des nombres u'/, 0  i  N + 1,
n  0, solutions de
1 u+l- 2u'! + u,!-1 ( - u + 2u'!-u )
_ I I I + 1-1 I 1+1
c 2 L1t 2 h 2
u? = uo(ih), 1  i  N,
ut = u o (ih)+L1t u 1 (ih), 1  i  N,
l U ö = uN = 0, n  0,
= I (ih, nL1t), 1  i  N, n  1,
soit encore, sous forme vectorielle (avec les mêmes notations que précédemment),
1 1 un+1- 2u n +u n - 1
-"2 L1 2 +Au n = In, n  1,
c t
u O , u 1 donnés.
Au schéma explicite ci-dessus, on préfère généralement un schéma implicite, par
exemple
1 1 un+1- 2u n +u n - 1 1
-- +-- (Aun+1+2Aun+Aun-1) = In, n  1,
c 2 L1t 2 4
u O , u 1 donnés,
dont la progression requiert la résolution d'une suite de J:vJ,tèmes linéaires de même
matrice (I +- c2t2 - A)' à nouveau tridiagonale symétrique définie positive.
On pourrait de la même façon considérer les petits mouvements d'une membrane non
pesante s'appuyant sur un contour de R 3 dont la projection horizon tale est la fontière
r d'un ouvert Q du plan, soumise à l'action d'une force verticale Tf(x)dx par unité de
surface projetée dx (r : tension de la membrane). Appelant x = (Xl' x 2 ) un point quel-
conque de l'ouvert Q, la déformation verticale de la membrane vérifie Ie problème aux
Iimites d' évolution :
f 1 ô 2 u
-c 2 ôt 2 - (x, t)-L1u(x, t) = I(x), x EQ, t > 0,
j u(x, 0) = uo(x), x E Q (condition initiale),
ôu
a- (x, 0) = u 1 (x), X E Q (condition initiale),
t t u(x, t) = g(x), x E r, t;;.o 0 (condition aux limites),

APPROXIMA TION VARIA TIONNELLE EN DIMENSION UN
53
où c est une constante physique du problème (comme dans Ie cas de la corde), et la
fonction connue g représente la cote du contour de la membrane. L'équation aux dérivées
partielles de ce problème s'appelle l'équation des ondes en dimension deux. On peut encore
approcher ce type de problème par des méthodes de différences finies, en utilisant Ie
Laplacien approché décrit au paragraphe 3.2.
3.4. Approximation variationnelle d'un problème
aux limites en dimension un
Reprenons Ie problème considéré au paragraphe 3.1 : étant donné deux fonctions
c, IE (Qo ([0, 1]), trouver un 1Onction u E (Q2 ([0, 1]) qui vérifie
{ - u"(x)+c(x)u(x) == f(x),
u(O) == u(l) == O.
o <: X <: 1,
C'est par commodité que nous supposons ici les conditions aux limites homogènes, et
ce n'est pas une restriction. En effet, si elles sont posées sous la forme u(O) == IX, u(l) == ß,
il suffit pour s'y ramener de faire un changement de fonction inconnue en soustrayant
la fonction {a(l-x)+ßx}.
Introduisons l'espace vectoriel V formé des fonctions continues sur I'intervalle [0, 1],
nulles aux points 0 et 1, et une fois continûment dérivables par morceaux sur ce même
intervalle, c'est-à-dire dérivables en tout point de l'intervalle [0, 1] sauf en un nombre
fini de points Xi de l'intervalle ]0, 1[, la dérivée coïncidant sur chaque intervalle ouvert
entre deux points Xi consécutifs avec la restriction d'une fonction continue sur l'inter-
valle fermé correspondant (Ie nombre et la position des points Xi varient avec la fonction
considérée). Muni de l'application
vE V -+ II v II v = U> v' 1 2 +1 v 1 2 )dX) l ,
cet espace vectoriel est normé (c'est même un espace préhilbertien).
Pour la mise en reuvre et l'analyse de la méthode que nous avons en vue, il est essentiel
de poser Ie problème aux limites sous une forme différente, appelée formulation variation-
nelle : c'est I' objet du résultat qui suit.
Théorème 3.4-1. (1) Si u est solution du prohlème aux limites, alors
a(u, v) = f(v) pour tout vE V,
où la forme bilinéaire a : V X V -+ R et la forme linéaire f: V -+ R ont respectivement pour
expressions
a(u. r) = I: (u'v' + cUP) dx. f(v) = f:f D dx.
pour des fonctions quelconques u, vE V.
(2) On suppose c  O. Une fonction uE Vest solution des équations a(u, v) == (f, v)
pour tOlit v E V si et seulement si
J(u) == iDf .l(v),
vE v
déf 1
où J(v) == 2 a(v, v) - f(v).
DÉMONSTRATION. (i) Soit l' une fonction arbitraire de l'espace V. Notant Xi, 1 :::s:; i  N,
les points, supposés rangés par ordre croissant, où la dérivée de la fonction v n'est pas

54
ORIGINE DES PROBLÈMES
définie, et posant 0 = xo, 1 = XN+1' on peut écrire
J l N J Xi+l
u"(x) v(x)dx = .L u"(x)v(x)dx
o 1=1 Xi
N ( J ltXi+l )
=  - . u'(x)v'(x)dx+{u'(x)v(x)}+l
i -1 Xl
= - J: u'(x)v'(x)dx,
la dernière égalité ci-dessus provenant de la continuité des fonctions u' et v sur l'inter-
valle [0, 1] et des relations v(O) = v(l) = o.
(ii) Démontrons l'inégalité suivante, qui nous servira à plusieurs reprises par la
suite: en supposant la fonction c  0, i1 existe une constante IX :> 0 telle que
IX " v II}  a(v, v) pour tout v E v.
Pour cela, il suffit d'établir que
ex II v 11i-",-;; J: I v' 1 2 dx pour tout v E V.
Or on peut écrire, pour tout x E [0, 1],
J x I J l (J l ) l
I v(x) I = I 0 v'(t) dt I""" 0 I v'(t) I dt ",-;; 0 I v'(t) 1 2 dt 2
d'après l'inégalité de Cauchy-Schwarz pour les fonctions. Dans ces conditions, l'inéga-
lité annoncée est satisfaite avec IX = 1/2.
(iii) La caractérisation du point (2) se démontre à partir de l'identité (de vérification
immédia te) :
1
J(u+v)-J(u) = {a(u, v)-f(v)} +2 a(v, v) Dour tout u. v v.
En effet, on en déduit, d'une part
J(u+v)-J(u) =  a(v, v) ;;.:  II v IIi-;;.: 0 pour tout v E V,
dès que a(u, v)- f(v) = 0 pour tout v E V. Par ailleurs, pour v E V fixé, l'inégalité
0 2
o  J(u+Ov)-J(u) = O{a(u, v)- !(v)}+T a(v, v) pour tout 0 ER,
entraîne nécessairement a(u, v) = f(v).
II
REMARQUES. (1) Lorsque la fonction c est O, la démonstration ci-dessus fournit une
nouvelle preuve de l'unicité de la solution u (déjà signalée, notamment à l'exercice
3.1-3). II en résulte en effet que
vE V et a(v, v) = 0  II v Ilv = 0  v = 0,
de sorte que
v  0  J(u+v)-J(u):> o.

APPROXIMATION VARIATIONNELLE EN DIMENSION UN
55
(2) L'expression {a(ll, 1')- f(l')} n'est autre que la dérivée de la fonction J au point u,
appliquée à la fonction 1\ ce qui explique la caractérisation du minimum par l'annulation
de la "première variation" de la fonction J (ces notions seront précisées au chapitre 7) ;
c'est pourquoi les relations "a(ll, I') = f(c) pour tout v E V" sont appelées des équations
variat iOl1llelles.
(3) Réciproquement, on peut définir Ie problème aux limites directement par l'une
des formulations variationnelles (1) ou (2) du théorème 3.4-1. La première difficulté consiste
ensuite à démontrer l'existence d'une solution, car celle-ci ne peut être établie en toute
généralité que dans un espace complet, à savoir la complétion de l'espace V pour sa
norme (qui est ici l'espace de Sobolev Hå(O, 1)). Si Ie résultat "abstrait" d'existence
est relativement facile à démontrer (c/. théorème 8.2-3), c'est l'étude des espaces complétés
qui est délicate (surtout en dimension  2, où toutes ces idées se généralisent).
Une seconde difficulté consiste à démontrer que la solution ainsi obtenue est suffisam-
ment régulière pour être également une solution au sens "classique" où nous l'avons
entendu jusque là. _
La méthode d'approximation var:"ationnelle consiste à approcher, de la façon la plus
naturelle qui soÏt, la formulation variationnelle d'un problème aux limites : pour Ie
problème qui nous intéresse, on se donne un sous-espace Vh de dimension jinie de l'espace
V, et Ie problème discret associé consiste à trouver une fonction u"E V h telle que
a(uh, 'Vh) = /( Vh) pour tout l'h E Vh .
On a alors Ie résultat très simple suivant d'existence, d'unicité, de caractérisation de la
solution approchée Uh, et enfin de comparaison avec la solution "exacte" u :
Théorème 3.4-2. On suppose la fonction c  O. (1) Étant donné un sous-espace Vh de
dimensionfinie de I'espace V, il existe un et un seul élément uhE V h qui vérifie
a(u h , v h ) = !(v h ) pour tout Vh E Vh.
(2) Cet élément est également caractérisé comme la solution unique du problème:
trouver uhE V h tel que
J( Uh) = inf J( v h ).
VAE VA
( 3) Enfin, il existe une constante C, indépendante du sous-espace considéré et de la solu-
tion u, telle que
II U-Uh II v  C inf II U-Vh II v.
vAE V h
DÉMONSTRATION. (i) La recherche de la solution du problème discret équivalant
à la résolution d'un système linéaire à matrice carrée, l'existence et l'unicité sont alors
des propriétés équivalentes ; vérifions la seconde :
a(uh' Vh) = 0 pour tout vhE Vh => a(uh, Uh) = 0 => Uh = 0,
puisque a(v, v) = 0 => v = 0 (c/. partie (ii) de la démonstration du théorème 3.4-1).
La caractérisation du point (2) se démontre exactement comme la caractérisation corres-
pondante du théorème précédent.
(ii) Par application de l'inégalité de Cauchy-Schwarz pour les fonctions, puis pour
les vecteurs de R 2 , on obtient l'inégalité
f:(U'V' +uv) dx (I:I u' 1 2 dX) i (f:1 v' 1 2 dX)  + (J:I U 1 2 dX)  (I:IVI 2 dX) 
 II U Ilv II v Ilv pour tout u, vE V,

56
ORIGINE DES PROBLÈMES
d'où l'on déduit ensuite
la(u, v)1  Mil ullv II vii v,
avec
Des relations
M == max { I, sup c(x) } ,
Oxl
pour tout U, '1' E V.
a(u,v) == f(v) pour tout v E V, a(Uh, 'Uh) == f (Vh) pour tout Vh E Vh,
et de l'inclusion Vh c V, on déduit par ailleurs
a(u - Uh, Wh) == 0 pour tout Wh E Vh.
Par suite,
IX II U-Uh II  a(u-uh' U-Uh) == a(u-uh, U-Vh+Vh-Uh)
== a(u-uh, U-Vh)  Mllu-Uhllv Ilu-1)hllv pour tout vhEVh,
M
et l'on obtient l'inégalité annoncée avec C == ---.
x
II
Considérons maintenant des exemples de sous-espaces de l'espace V utilisés en
1
pratique: étant donné un entier N  1, on pose h == - - -, et on considère un maillage
N+l
uniforme de pas h de l'intervalle [0, 1], formé des næuds Xi == ih, 0  i  N + 1. Étant
donné par ailleurs un en tier m  0, on définit l'espace
Vel == {vE (Qm([o, 1]) ; v(O) == v(l) == 0 ; V I[Xi' xi+d E P 2m + 1 ([Xi, Xi+l])' 0  i  N},
en notant en général par Pk (I) l'espace vectoriel formé par les restrictions à un intervalle
Ie R des polynômes de degré  k, et par 1) I / la restriction de la fonction v à I'ensemble I.
On rappelle qu'un polynôme de degré
 2m + 1 est déterminé de façon unique par
ses valeurs, ainsi que par les valeurs de ses
dérivées jusqu'à I'ordre  m, en deux points
distincts. L'espace Ví: l est effectivement un
sous-espace de l'espace V: puisque l'inclu-
N+4 sion Ví: ' c (Ql([O, 1]) c Vest satisfaite pour
m  1, il suffit de considérer Ie cas où
m == 0 ; or I'espace VJi étant formé des fonc-
tions affines par morceaux, dont la figure
3.4-1 donne un exemple, la conclusion est
immédia tee
Étudions maintenant la convergence du procédé lorsque Ie pas h tend vers zéro.
II est instructif de comparer ce résultat avec celui du théorème 3.1-2 ; voir également
l'exercice 3.4-2.
x.
FIG, 3.4-1.
1
Théorème 3.4-3. On suppose la fonction c  O. Pour tout en tier m  0, il existe une
constante C(m) indépendallte de h telle que, si la solution u du problème aux limite vérifie
II E c2 2m + 2 ([ 0, 1 ]),
alors
"U-Uh Ii V == (J l {I (U-Uk)' 1 2 + I U-Ilk [2} dX )  """ C(m) sup I U,2111+2)(X) [112111+1,
o Oxl
0"" Uh est la solution du problème discret associé au sOlls-espace Vh'.

APPROXIMATION VARIATION NELLE EN DIMENSION UN
57
DÉMONSTRATION. (i) Démontrons pour commencer un résultat d'interpolation, intéressant
par lui-même : soil m un entier  0 ; étant donné une /onction uE @2 m +2([a, b]), [a, b] :
intervalle de R d'intérieur non vide, désignons par II u : [a, b]  R la fonction définie de
façon unique par le.S' relation.S'
{ IIU EP 2 m : l([a, b]),
(llu)(l)(a) == u(l)(a), (Ilu)(I)(b) == u(l)(b), 0  I  m.
Alors il existe deux constante.S' Co(m) et C l(m), indépendante.S' de la fonction u et de l'inter-
valle [a, b], telles que
sup I (u-Ilu) (x) I  C o (nl) sup Ill2m+2)(x) I (b-a)2m+2,
axb axb
sup J (u-!lu)' (x) I  C 1 (nl) sup I u(2m+2) (x) I (b-a)2m1.
axb axb
Pour commencer, on remarque qu'il suffit de démontrer la seconde inégalité, puisque
(llu(a) == u(a) dans tous les cas) :
(u-IIu) (x) = f: (u-IIu)' (t) dr, a  x  b.
Comme la fonction w == u-II u vérifie
w(l)(a) == w(l)(b) == 0, 0  I  m,
des applications successives du théorème de Rolle, aux fonctions w, w', . . ., w(2m),
montrent qu'il existe un point Y} vérifiant
a -< r; -< b, et w(2m+l)(r;) == O.
Étant donné un point t E ]a, b[, Ia fonction auxiliaire
déf ( (x-a) (x-b) )
"Pt : xE [a, b] - "Pt(x) == w'(x)- m w'(t)
(t-a) (t-b)
vérifie (les dérivées de la fonction VJ r sont prises par rapport à la variable x) :
"Pr(t) == 0, "Prl)(a) == "Pl)(b) == 0, 0  I  m-1.
Par de nouvelles applications du théorème de Rolle, on conclut à I'existence d'un point 
vérifiant
a -<  -< b, et
(2m) ,
o == "P(7m)() == w(2m+l)()_ . w'(t),
((t-a) (t-b))m
ce qui permet d'exprimer la dérivée w'(t) sous la forme
w'(r) = ((t-a)(r-b))m w(2m+1)()
(2m) ! '
et d'en déduire la majoration (prolongée par continuité aux points t == a et b) :
1 ( b-a ) 2m
I w'(t) I  -  , - sup I w(2m+l>() I,
(2m). 2 a!;b
a  t  b.
Comme W(2 m +l)(Y}) == 0, et comme w(2m+2) == u(2m+2) (la fonction II u est un polynôme
de degré  2n1 + I ), on peut écrire
w(2m+l)() == f  U(2m + 2)('Y]) d'Y],
1J

58
ORIGINE DES PROBLÈMES
d'où l'on déduit la majoration
I w(2m+1)():  (b-a) SUp I u(2m+2)(X) /, a   :::s; b,
axb
et 1 'assertion est établie.
(ii) Notons IIhu : [0, 1] -+ R la fonction définie (de façon unique) par les relations
{ IIhuE Vzr '
(II h u)(I) (Xi) == u(l) (Xi)' O:::s; l :::s; m, O:::s; i :::s; N + 1,
où u désigne la solution du problème aux limites. En "'recollant" les inégalités précéden-
tes, et en combinant avec la définition de la norme de l'espace V, on obtient
i I U-llh U II v = (f: (I u-llh u )'I2 +(U-llh U ) 12) dX) 
:::s; sup I (u-IIhu)' (X) I + sup I (u-IIhu) (X) I
Ox1 Ox1
:::s; (C O (m)+C 1 (m)) sup I u(2 m +2)(x) I h 2m + 1 .
Oxl
II suffit ensuite d'utiliser l'inégalité
II u - Uh ! ! v  C II u -II h U "v ,
conséquence de la majoration (3) du théorème 3.4-2.
II
Pour terminer, donnons quelques indications sur la mise en æuvre pratique de la mé-
thode. Lorsque m == 0, on choisit comme base de l'espace V2 l'ensemble des fonctions Wi,
1 :::s; i :::s; N, définies de façon unique par les relations
Wi E V2 ' W;(Xj) == ð(;, 1:::s; j :::s; N.
La recherche de la solution approchée
M
Uh == L UjWj
j=1
du problème discret équivaut à la résolution du système Iinéaire
M
L a(wj, w;)Uj == f (Wi), 1:::s; i :::s; M,
j=1
où
a(Wj. Wi) = f: {wí w ; +CWjW;} dx. f(w;) = f: fw; dx.
La matrice (a(wb Wi)) est tridiagonale, Ie support de chaque fonction de base Wi étant la
réunion des deux intervalles [Xi -1' X;] et [Xi, Xi +1]' symétrique (puisque a(u, v) =- a(v, u)
pour tout u, vE V) et définie positive, puisque
M ( M M ) 1 M2
 Uia(Wb Wi)Uj == a .L UiWi, .L UjWj  .L U;Wi .
,J=1 ,=1 J=1 I ,=1 I V
On notera que, si la matrice du système linéaire est également symétrique définie positive
pour tout autre choix de base, et même pour tout autre choix de sous-espace Vh de di-
mension finie, son caractère tridiagonal est lié de façon essentielle au choix de la base.

APPROXIMA TION V ARIA TIONNELLE EN DIMENSION UN
59
A titre d'exemple, écrivons Ie système linéaire correspondant au cas où les fonctions
c et f sont constantes :
C 2
-1+-h
6
C 2
-1+-h
6
f
2c
2+-h 2
3
C 2
-1 +- h
6
2c
2+-h 2
3
U 1
f
U2
1
h
==h
C 2
-l+-h
6
2c
2+-h 2
3
C 2
-l+-h
6
2c
2+-h 2
3
f
UN_l
f
C 2
-1 +- h
6
UN
On ne manquera pas de noter l'analogie avec Ie système linéaire obtenu par application
de la méthode des différences finies (paragraphe 3.1), analogie d'autant plus "troublante"
que les inconnues Uj représentent précisément les va leurs de la solution approchée aux
nreuds Xi. Les fonctions Vh de l'espace vg vérifient en effet l'identité
M
Vh == L 'h(Xi)Wi'
;=1
Lorsque m == 1, on choisit comme base de l'espace Vll'ensemble des fonctions
1  i  N, et wl, 0  i  N + 1, définies de façon unique par les relations
o
Wi'
w? E Vl,
wl E Vl,
w(Xj) == ð ib
w ( x . ) == 0
I J '
1  j  N, (w?)' (Xj) == 0,
1  j  N, (w})' (Xj) == ðij'
0jN+1,
OjN+1.
Là encore, les composantes du développement d'une fonction de V sur la base ont une
signification remarquable, puisque l'identité
N N+l
Vh == L Vh(XJWP + L v(xi)wl
;=1 ;=0
est valable pour toute fonction Vh E V.
f
,W o
Xo Xi
FIG. 3.4-2.
Les fonctions de base ayant encore un "petit" support (cf. figure 3.4-2), on peut
s'attendre à une structure de matrice-bande, en ordonnant toutefois les fonctions de
base dans l'ordre "naturel"
1 0 1 0 1 0 I 1
w o , WI' WI' W 2 , w 2 ' . . ., WN' WN' WN +1 .
C'est ainsi que la matrice correspondant au cas où C == 0 (la forme bilinéaire se rédui-
sant à a(u, v) = I: u'v' dx) a pour expression

60
ORIGINE DES PROBLÈMES
4h 2 -3h -h 2
72 0 -36 3h
_ h 2 0 8h'1 -3h _h 2
-36 -3h 72 0 -36 3h
3h -h 2 0 8h 2 -3 h -h

A= 30h
,
J
J
L____
"'---1
,
I
I
I
I
-36 -3h 72 0 3h
3h _hI. 0
3h
C'est donc un nouvel exemple de matrice tridiagonale par blocs, caractéristique qui,
jointe au caractère symétrique et défini positif, facilite la résolution des systèmes linéaires
associés, comme on I 'a déjà signalé.
Si les fonctions de base étaient rangées dans l'ordre (somme toute aussi "naturel'
que Ie précéden t ...) :
00 01. 1 1 11
WI' W 2 , ..., WN' W o , WI' W 2 , . . ., WN' WN+I'
on obtiendrait la matrice
72. -36
-36 72. -3'
-3h 0 3h
-3h 0 3h
N
lisnes
. . .
.
-36 72 -3h 0 3"
A- 1 -3h 4h'1 -h'1
-30h
0 -3h -hi Bh'1-h!1
311 0
. -3h
-3h .
0
3h
N+2.
lisnes
qui a complétement "perdu" la structure tridiagonale par blocs !
3.5. Approximation variationnelle d'un problème aux
limites en dimension deux
N ous allons décrire l'application de cette méthode au problème de la membrane con-
sidéré au paragraphe 3.2, en suivant une démarche analogue à celIe du paragraphe précé-
dent, mais sans donner aucune démonstration (les lecteurs intéressés les trouveront en
consultant les références indiquées dans les Commentaires Bibliographiques). On rappelle
que ce problème consiste à trouver une solution u : Q -+ R du problème aux limites :
{ -LJu(x) == f(x), xED,
u(x) == 0, xEF,
en supposant la condition aux Iimites homogène pour simplifier. On montre alors (essen-
tiellement après une intégration par parties convenablement interprétée ; comparer avec
Ie théorème 3.4- I) que la solution de ce problème vérifie
a(u, v) == f(v) pour tout vE V,

APPROXIMATION VARIATIONNELLE EN DIMENSION DEUX
61
où
déf i { au ov au OV } déf i
a(u, v) == - -+ --- -- dx,f(v) == fv dx,
Q oX 1 oX 1 oX 2 oX 2 Q
et Vest un espace convenable de "fonctions" définies sur l'ensemble Q et nulles (dans un
certain sens) sur la frontièrer de celui-ci (il s'agit de l'espace de Sobolev HA(Q)). De façon
équivalente, la solution vérifie
J(u) == inf J(v), où
vE V
1
J(v) == - a(v, v)- f(v).
2
REMARQUE. Du point de vue de la Mécanique, la fonction J n'est autre que l'énergie du
système physique que constitue la membrane, tandis que les équations variationnelles
"a(u, v) == f(v) pour tout v E V" traduisent Ie principe des travaux virtuels. II
Cette formulation variationnelle du problème aux limites considéré permet de définir la
méthode d'approximation variationnelle, appelée encore nléthode de Galerkin, ou méthode
de Ritz: étant donné un sous-espace Vh de dimension finie de l'espace V, la solution ap-
prochée est la solution (unique) du problème discret : trouver Uh E Vh tel que
a(uh, Vh) == f(Vh) pour tout Vh E Vh,
ou, de façon équivalente, tel que
J(Uh) == inf J( vh).
LhEV h
Montrons que ceci revient encore à résoudre un
système linéaire : soit (Wi)t!1 une base de l'espace
Vh. Écrivant
M
Uh == L UiWi,
;=1
Ie vecteur u == (Ui)f!l apparaît comme la solu-
tion du système linéaire
Au == b, où A == (a(Wj, Wi)), b == (j'(Wi))'
On obtient ainsi une matrice symétrique et définie FIG. 3.5-1.
positive.
Un cas particulier très important de la méthode d'approximation variationnelle est
constitué par la méthode des éléments finis, que nous allons brièvement décrire dans un cas
très simple. Supposons que la frontière r soit un polygone, ce qui permet d'établir une
triangulation de I'ensemble Q, comme indiqué à la figure 3.5-1.
Le sous-espace Vh "Ie plus simple" associé à une telle triangulation est constitué par
les fonctions affines sur chaque triangle, continues sur Q, et nulles sur r. Numérotant les
points comme sur la figure 3.5-1, on construit une base de l'espace V h en associant à
chaque sommet i de la triangulation intérieur à Q la fonction de V h qui vaut 1 au som-
met i et 0 aux autres sommets. Avec ce numérotage, la matrice A == (a(wj, Wi)) correspon-
dante a I'allure indiquée ci-dessous ; les points représentent les éléments non nuls.
. . . .
. . . . .
. . . .
. . .
. . . . . .
. . . . . . .
. . . . . . .
. . . .
. . . . . .
. . . . . . .
. . . . . . .
. . . . . .
. . .
. . . . .
. . . . .
. . . . .
. . .
A==

62
ORIGINE DES PROBLÈMES
En effet, on constate que les éléments (A)ij non nuls correspondent soit au cas où
i = j, soit au cas où les sommets i et j sont deux sommets d'un nlême triangle, puisque ce
sont les seuls cas où l'intersection des supports des fonctions de base associées est de
mesure non nulle. C'est donc un nouvel exemple de matrice tridiagonale par blocs.
Cet exemple très simple met en évidence les trois caractéristiques essentielles des mé-
thodes d'éléments finis:
(i) existence d'une triangulatioll :
(ii) construction d'un espace Vh dont les fonctions sont 'polynÔ/11iales par lnorceaux"
(cf. l'exercice 3.5-1 pour un autre exemple) :
(iii) existence d'une base "canonique" de l'espace V" dont les éléments ont des "petits"
supports, propriété qui entraîne une structure de 111atrice-bande pour la matrice du système
linéaire associé.
Des indications sur la convergence de la méthode sont données à l'exercice 3.5-2.
REMARQUE. S'il est courant d'approcherla "partie spatiale ,. (-; , Ju, ...) des pro-
blèmes aux limites d'évolution (tels que ceux considérés au paragraphe 3.3) par des mé-
h d ' .. .. II I . ( au a 2 u )
toes d approxImatIon vanationne e, a "partIe temporelle" at' -a-t 2 est Ie plus
souvent uniquement approchée par une méthode de diftërences finies. II
3.6. Problèmes de valeurs propres
Revenant au problème des petits mouvements d'une corde (considéré au paragraphe
3.3), on peut, ell I' absence de force (f = 0), chercher les /11011Vemellt s stationnaires de la
corde, c'est-à-dire les mouvements dans lesquels la solution U(x, t) est Ie produit d'une
fonction de x par une fonction de t :
U(x, t) = ll(X) c(t).
Bien entendu, on écarte les solutions identiquement nuIles. L'équation des ondes en
dimension un devien t alors
1
u"(x) o(t) = 2 ll(X) v"(t),
C
ce qui conduit à deux équations différentielles pour les fonctions u et I) :
-u"(x) = Àu(x) et - v"(t) = Àc 2 r(t),
ì. étant une constante à déternliner. Comme
U(O, t) = U(/, t) = 0 pour tout t
(les extrémités de la corde sont fixes), on est conduit à trouver les nombres réels Å et les
fonctions u non identiquement nulles telles que
{ ' - u"(x) = ).u(x),
u(O) = u(1) = 0,
o  x  I,
ce qui constitue un problème de valeurs propres pour I' opérateur dérivée seconde. II est ici
facile de voir que Ie problème ci-dessus a pour seules solutions
k 2 n 2 knx
Àk = f2 f{Jk(X) = C k sin I ' k = 1, 2,

PROBLÈMES DE V ALEURS PROPRES
63
(C k : constante arbitraire non nulle), de sorte que les solutions correspondantes pour la
fonction l' sont
knct knct
"k(t) == C]k COS -- +C 2k sin - -
I I
(C lk et C 2k : constantes arbitraires). On obtient ainsi les solutions
knx ( knct . knct )
Uk(x, t) == sin - C lk cos --+C 2k SIn -- ,
I I I
k == 1, 2,
On parvient aux mêmes solutions en cherchant a priori des solutions de la forme :
U(x, t) == u(x)e ipt , fl: constante à déterminer.
On trouve alors que les seules valeurs possibles de fl sont
flk ==
k 2 n 2 c
== Â kc ,
/2
k == 1, 2, . .. .
2n
Remarquons que les nombres - ne sont pas autre chose que les périodes des mouve-
flk
ments stationnaires.
On peut également s'intéresser au même problème pour une membrane, en cherchant
des solutions du type
U(x, t) == u(x) v(t),
en supposant encore f == O. La même analyse conduit à trouver des nombres réels Å et des
fonctions u non identiquement nulles telles que
{ -l1u(x) == ÅU(x), xEQ,
u(x) == 0, xEr.
II s'agit là d'un prob/ème de va/eurs propres pour l'opérateur -L1. Chaque solution Å
s'appelle une valeur propre et la fonction u non identiquement nulle correspondante
s'appelle une fonction propre.
On peut approcher de tels problèmes aussi bien par des méthodes de différences finies
que par des méthodes d'approximation variationnelle. Par exemple l'application de la
première méthode au problème des mouvements stationnaires d'une corde de longueur
1 == 1 conduit à trouver des vecteurs de composantes Uj, 1  i  N, (les approximations
des valeurs des fonctions propres aux nreuds du maillage) et des nombres Å h (les approxi-
mations des valeurs propres) tels que
-1 2-1
-1 2
u l
u2
== Åh
u 1
u2
1
h 2
2 -1
-1 2 -1
UN_l
UN
UN_l
UN
On vérifie facilement que les valeurs propres de cette matrice sont les nombres
4 kn
Å == - sin 2 1  k  N ,
k h h 2 2(N + 1) ,

64
ORIGINE DES PROBLÈMES
associés aux vecteurs propres (C k : constantes arbitraires non nulles) :
Uk == (C k uj)f:l'
où
k . kni
u. == SIn -
, N+l
1  i  N.
Dans ces conditions, on obtient la majoration (pour N  k) :
., " _ 2 2 4 . 2 kn r 2
o <:: ^k-Âkh - k 7r -- SIn ----- -  kh
h 2 2( N + 1) ,
où la constante r k dépend de I'entier k mais non du pas h, ainsi que les relations
({Jk(Xj}-uj == 0, 1  i  N,
ce qui établit la convergence du procédé, pour k jixé, dans ce cas particulier (les dernières
relations sont évidemment tout à fait exceptionnelles !).
De la même façon, Ie problème de la membrane conduit à la recherche des solutions
(Uh, Àh) de l'équation
AhUh == )"hUh,
la matrice Ah étant du même type qu'au paragraphe 3.2. II s'agit dans les deux cas d'un
problème de valeurs propres, pour une matrice réelle symétrique définie positive dans Ie
premier cas, non nécessairement symétrique dans Ie second. Naturellement, la conver-
gence du procédé est plus délicate à établir que pour Ie premier exemple !
La méthode d' approximation variationnelle appliquée à de tels problèmes porte Ie
nom de méthode de Rayleigh-Ritz. Elle conduit encore à des problèmes de valeurs propres,
mais faisant en général intervenir deux matrices: Considérons pour fixer les idées I'un
ou I'autre problème aux limites onsidérés dans ce paragraphe. Raisonnant com me aux
paragraphes 3.4 et 3.5 (et avec les mêmes notations), on montre que la formulation
variatiolll1elle d'un tel problème consiste à trouver des nombres réels )" et des fonctions
u E V non identiquement nulIes telles que
a(u, v) == À(u, 1') pour tout nE V,
où
a(u, /1) = f: u'v' dx, (u, I') = f: U/1 dx,
pour Ie premier problème, et
a(u, v) == r ( __  _ + _u _O ) dx,
J!J ôX l ôX l ÔX2 ÔX2
(u, IJ) == r u l' dx,
J!}
pour Ie second.
Étant donné un sous-espace V h de dimension finie de l'espace V, Ie problème discret
associé consiste à rouver des nombres À et des fonctions Uh E V h qui vérifient
a(uh' 'Vh) == À(Uh, 'l'h) pour tout Vh E Vh .
Étant donné une base (Wi)f!l de l'espace V h , posons
M
Uh == L U,Wi.
i=1
Le vecteur u == (Ui)l doit être solution de l'équation matriciell
Au == À Bu, où A == (a(wj, Wi)) et B == ((Wi' Wi)).

PROBLÈMES DE VA LEURS PROPRES
65
II s'agit d'un problème généralisé de valeurs propres, car la matrice B n'est pas diagonale
en général. Par exemple, Ie problème discret correspondant au premier problème (en
dimension ut:1) et au sous-espace v2 introduit au paragraphe 3.4 s'écrit
2 -- 1 u 1 4 1 u 1
-1 2 -1 u 2 1 4 1 u 2
1 h
- == À--
h 6
-1 2 -- 1 uN_l 1 4 1 uN_l
-1 2 UN 1 4 UN
II est facile de voir que la matrice symétrique Best toujours définie positive, puisque
les fonctions Wi sont linéairement indépendantes. On pourrait donc songer à se ramener
à un problème de valeurs propres sous la forme usuelle :
B-1Au == Àu.
Mais ce faisant, on détruit la symétrie (la matrice B-IA n'est pas symétrique en géné-
ra)). Or il est plus avantageux de conserver la symétrie des matrices considérées toutes les
fois c'est possible, comme on l'a indiqué au chapitre précédent ; c'est pourquoi on effectue
pour commencer une factorisatioll de Cholesky de la matrice B. Ainsi qu'on Ie montrera
u1térieurement (théorème 4.4-1), on peut en effet écrire toute matrice symétrique définie
positive B comme Ie produit
B == CCT ,
où la matrice C est triangulaire inférieure. Écrivant Ie problème sous la forme
C-1A(CT)-1 (CT u ) == ÀCT u ,
on est cette fois ramene a un problème habituel de valeurs propres pour la matrice
symétrique C-IA(CT)-l, les vecteurs u cherchés étant ensuite obtenus à partir des vec-
teurs propres de la matrice C-IA(CT)-l par résolution de systèmes linéaires à matrices
triangulaires.
Pour terminer, considérons Ie calcul des périodes des "petits" mouvements, au voisi-
nage d'une position d'équilibre, d'un système mécanique ayant un nombre fini n de degrés
de liberté. L'équation différentielle d'un tel système est de la forme
Ax"{t) + Bx'(t) +Cx(t) == 0,
où x(t) est un vecteur f('ction du temps t, dont les composantes sont les degrés de liberté
x (t), 1  i  n, du s 3teme, et A, B, C sont des matrices réelles d'ordre n. La matrice
A est la matrice "de l'énergie cinétique" et, pour cette raison, elle est symétrique et définie
positive. La matrice C est la matrice "de rappel" ; elle correspond aux forces qui dépen-
dent de la position. Enfin la matrice Best la matrice "d'amortissement" ; elle correspond
aux forces qui dépendent des vitesses.
On cherche des solutions de l'équation différentielle ci-dessus sous la forme
x(t) == e!1 t u,
où u est un vecteur non nul de RIl indépendant du temps, et fl une constante réelle ou
complexe. On est ainsi conduit à trouver des scalaires fl et des vecteurs correspondants
u :;z!:. 0 tels que l' on ait
(fl 2 A+flB+C)u = O.
A chaque solution fl de ce problème est associée une solution de période T == 2n(Jm fl)-l,
où Im(fl) désigne la partie imaginaire du nombre complexe fl. 11 s'agit là d'un nouvel
exemple de problème généralisé de valeurs propres.

66
ORIGINE DES PROBLÈMES
Pour qu'un scalaire /1- soit solution, il faut et it suffit que la matrice (,u2A +,uB+C)
soit singulière, autrement dit que
2n-l
dét (/1-2A +,uB+C) = ,u2n dét (A) + L r:1.JLk = O.
k=O
On voit ainsi que Ie problème aura au plus 2n solutions (distinctes ou non) et exactement
2n solutions si et seulement si la matrice A est inversible, ce qui est Ie cas pour Ie problème
que nous consïdérons. Mais si cette observation permet de prévoir l'existence de 2n "valeurs
propres généralisées", elle ne donne pas de renseignements sur la façon pratique de ré-
soudre Ie problème. Comme on peut Ie prévoir, l'idée consiste à se ramener à un problème
usuel de valeurs propres pour une matrice d'ordre 2n, à déterminer. On suivra pour cela
les indications de l'Exercice 3.6-1.
3.7. Problèmes d'interpolation et d'approximation
Soit Xi des points distincts de R, en nombre fini. A chacun des points Xi est associé
un nombre Ci E R, qui peut être (par exemple) soit une valeur expérimentale, soit la
valeur U(Xi) d'une fonction connue. On peut alors se poser l'un des problèmes suivants :
(i) Faire passer une courbe d'un type donné par les points (Xi, Ci); il s'agit d'un problè-
me d'interpolation (c/. figure 3.7-1(a)), la fonction représentée par la courbe étant appe-
lée fonction d'interpolation.
(ii) Construire une courbe d'un type donné qui, dans un sens à préciser, approche
les valeurs Ci aux points Xi ; il s'agit d'un problème d'approximation (c/. figure 3.7-1(b)).
Dans un cas comme dans I' au tre,
on entend par "courbe d'un type
donné" une courbe très "simple
à calculer", c'est-à-dire, pratique-
ment, polynômiale, ou polynômiale
par morceaux (au sens entendu ci-
dessous ).
Pour résoudre Ie premier prob-
lème, l'idée la plus "immédiate"
consiste à faire passer un polynôme
de degré m par les points Xi,
supposés être en nombre (m + 1) : il
en existe un et un seul PmU, appelé
polynôme d'interpolation. Ce procédé est pourtant généralement à déconseiller, car il
introduit des oscillations indésirables, dues au caractère analytique des fonctions
polynômes. On peut en effet construire des exemples de fonctions u (pourtant très réguliè-
res) sur un intervalle [a, b] telles que
lim sup I (u-Pmu)(x) I = + 00,
m-+ 00 axb
c,
.
X.
I
'X.
I
(8)
(b)
FIG. 3.7-1.
.
lorsque Ie nombre de points Xi augmente indéfiniment dans l'intervalle !
C'est pourquoi on résout plutôt un problème d'interpolation en utilisant des polynômes
d'interpolation par morceaux, c'est-à-dire des fonctions dont les restrictions à chaque
intervalle [Xi, Xi+l] sont des polynômes qui se "recollent" convenablement aux points Xi.
Supposons pour fixer les idées que les points X, soient les næuds d'un maillage uniforme
de pas h de l'intervalle [0, 1] :
Xi = ih, 0  i  N + 1,
1
avec h =
N+l '

INTERPOLA TION ET APPROXIMATION
67
cette hypothèse, qui ne restreint en rien la généralité, ayant pour seul but de simplifier
la présentation.
Étant donné un entier m  0, on peut alors définir d'une seule façon une fonction
d'interpolation IIhu par les conditions :
I IIhuE @m([o, 1]),
IIhul [Xi, x,+l] E P2m+l([Xj, Xj+l])' 0  i  N,
(IIhu)(l) (Xi) == U(l) (Xi)' 0  I  m, 0  i  N + 1.
On reconnaît là un type de fonctions déjà utilisées (aux conditions aux limites près) pour
l'approximation variationnelle des problèmes aux limites à deux points (paragraphe 3.4).
Leur construction se fait immédiatement à partir de la connaissance de bases "canon i-
ques", dont nous avons donné des exemples pour m == 0 et 1. II résulte par ailleurs de la
démonstration du théorème 3.4-3 que ce procédé est convergent, lorsque h tend vers zéro
(au moins pour des fonctions régulières), puisqu'on y a établi les majorations
sup I (u-IIhu) (x) I  Co(m) sup I u 2m + 2 (X) I h2m+2,
Oxl Oxl
sup I (u-IIhu)' (x) I  C l(m) sup I u 2m + 2 (X) I h 2m + 1 .
Oxl Oxl
Alors que, dans Ie cas m == 1, la consryçtion de la fonction d'interpolation requiert la
connaissance des valeurs des dérivées 'premières u'(x;), il est remarquable que l'on
puisse encore définir une fonction d'interpolation polynômiale de degré 3 par morceaux
sans utiliser les valeurs des dérivées premières u'(Xj) (excepté aux extrémités de l'inter-
valle). Ce faisant, on gagne du même coup sur la régularité de la fonction d'interpolation,
qui peut en effet être rendue deux fois continûment dérivable sur l'intervalle [0, 1], alors
que la fonction IIhu pour m == 1 est seulement une fois continûment dérivable. De façon
plus précise, établissons Ie résultat d'existence suivant :
Théorème 3.7-1. II existe une et une seule fonction ShU: [ 0, 1]  R ayant les propriétés
sui,antes :
ShU E @2([ 0, 1 ]),
Sh U I [x"x d 1-1 E P3[Xi, Xi+ 1], 0  i  N,
ShU(Xi) = U(Xi), 0  i  N+1,
(ShU)' (0) = u'(O), (ShU)' (1) = u'(l).
DÉMONSTRATION. Soit Pj, 1  i  N, des paramètres réels quelconques. II existe une et
une seule fonction w: [0, 1]  R vérifiant les propriétés suivantes (une telle fonction
dépend à la fois de la fonction donnée u et des paramètres Pj) :
wE @1([0, 1]).
w I [x" Xå+I] E P3([Xj, Xj+1])' 0  i  N,
W(Xi) == U(Xi), 0  i  N + 1,
w'(O) = u'(O), w'(I) = u'(l), W'(Xi) = Pi, 1  i  N.
Pour démontrer Ie théorème, on va établir qu'il existe un et un seul choix des para-
mètres Pi pour lequel la fonction west deux fois continûment dérivable sur l'intervalle
[0, 1]. Pour cela, il suffit d'écrire que
lim w"(x) = lim w"(x), 1  i  N.
x-+ xi"" x-+ xt
On est ainsi amené à exprimer ]es dérivées secondes d'un polynôme de degré 3 aux
bornes d'un intervalle de longueur h, Ie polynôme étant lui-même déterminé par ses

68
ORIGINE DES PROBLÈMES
valeurs, ainsi que celles de sa dérivée première, aux bornes du même intervalle. Or un
simple calcul montre que tout polynôme r de degré 3 sur un intervalle [Xi, Xi+l] s'écrit
( 23_3h2+h3 ) ( -23+3h2 )
r(x) = r(xJ h 3 + r(Xi + 1) h 3
, ( 3_ 2h2 +h2 ) , ( 3_ h2 )
+r (Xi) h 2 +r (Xi + 1) h 2 '  = X-Xi,
d'où l'on déduit aisément les relations
r"(x) = 6 2 {r(xj + I) - rex)} - {r'(xj+!)+ 2r'(xj)} ,
h h
r"(xj+!) = 6 2 {r(xj) - r(xi+ I)} + {r'(x;)+ 2r'(xj + I)} .
h h
Dans ces conditions, la continuité de la dérivée seconde de la fonction w aux nreuds
se traduit par les égalités :
3
4Pl +P2 == h {U(X2)-U(O)}-u'(O),
3
Pi_l+ 4 Pi+Pi+l = -,;{U(Xi+1)-U(Xi_ 1 )}' 2  i N-l,
3
PN-l +4PN = h {u(l)-U(XN_l)}-u'(l).
La matrice symétrique tridiagonale d'ordreN :
/ 4 1
141
A=
1 4 1
1 4
étant inversible (raisonner par exemple comme pour la matrice Ah du paragraphe 3.1),
on en déduit l'assertion.
La fonction ShU ainsi définie s'appelle la /onction spline cubique d'interpolation de la
fonction u. Contrairement aux polynôme d'interpolation par morceaux considérés plus
haut, sa connaissance nécessite la solution d'un système linéaire, comme l'a montré la
démonstration précédente ; c'est donc là une nouvelle source de systèmes linéaires.
REMARQUES. (1) De façon plus générale, on peut définir des fonctions splines d'interpola-
tion de degré supérieur. Les fonctions splines cubiques sont cependant les plus utilisées.
(2) II est remarquable que les majorations d'erreur soient identiques à celles obtenues
pour les polynômes d'interpolation cubiques par morceaux ; on trouvera des indications
à cet égard à l'exercice 3.7-1.
(3) Contrairement à l'interpolation précédente, cette interpolation n'est plus "locale",
en ce sens que la fonction d'interpolation sur un intervalle [Xj, Xj+ d donné dépend de
toutes les valeurs u(x;). C'est pour cette même raison qu'est apparue la nécessité de résou-
dre un système linéaire. II
Passons maintenant à la deuxième catégorie de problèmes introduite au début de ce
paragraphe. Étant donné m points distincts Xi, 1  i  m, de R et des valeurs numériques

INTERPOLATION ET APPROXIMATION
69
associées ci, il peut s'avérer trop coûteux, ou simplement indésirable pour diverses raisons
(mesures trop dispersées, manifestement entachées d'erreur, etc.), de faire passer une
courbe exactement par les points (Xi, Ci)' Dans ce cas, on remplace un problème d'inter-
polation par un problème d' approximation: on se donne un espace de dimension finie,
dont la dimension n est en général "beaucoup plus petite" que Ie nombre m de points X;,
et l'on cherche une fonction U de cet espace qui approche "aussi bien que possible" les
valeurs données, puisqu'il n'est plus question de vérifierexactement les égalités U(Xi) == Cj,
1 .::::::; i .::::::; m.
De façon plus précise, soit (Wj)j=l un ensemble de n fonctions réelles linéairement indé-
pendantes, définies sur un ensemble contenant les points Xi' Le problème consiste à
déterminer une fonction
n
U == L UjWj,
j=l
telle que les égalités U(Xi) == Ci, 1 .::::::; i .::::::; m, soient approchées "au mieux". La façon la
plus commune de réaliser cette approximation consiste à approcher les égalités U(Xi) == C;,
n
1 .::::::; i .::::::; m, au sens des moindres carrés : on cherche une fonction U == L UjWj qui rend
j=l
minimum Ie nombre
m n 1 2
jl jl 1!j W i X j)-Cj I' lorsque Ie vecteur (Vj)l=l décrit Rn.
I
L'avantage déterminant de l'approximation au sens des moindres carrés, est son carac-
tère linéaire. Pour Ie voir, on remarque qu'elle s'écrit également sous la forme: trouver u
tel que
uE Rn et II Bu-c 1/2' m == inf 1/ Bv-c 1/ 2 , m ,
VERn
où 11,11 2 , m désigne la norme euclidienne de Rm, B == (bij) désigne la matrice de type
(m, n) d'éléments bij == Wj(Xi), et c == (Ci)l E Rm. Or un simple calcul (dont la justi-
fication sera donnée au paragraphe 7.4 ; ce n'est autre qu'un développement de Taylor)
montre que, si u et W sont deux vecteurs quelconques de Rn,
II B(u+w)-c 1I,m == II Bu-c 1I,m+2(BTBu-BTc, w)n+11 Bw 11,m'
où ( ., ')n désigne Ie produit scalaire de Rn.
Dans ces conditions, il est clair qu'un vecteur de Rn est solution du problème si et seule-
ment si if est solution du système linéaire
BTBu == BTc,
dont les n équations sont appelées équations normales, associées au problème d'approxi-
mation au sens des moindres carrés considéré.
Supposons la matrice B de rang n ; c'est Ie cas par exemple si Wj(x) == xj-l, 1 .::::::; j  n.
Alors la matrice symétrique BTB est définie positive (elle est positive dans tous les cas),
car
BTBv == 0 => vTBTBv == II Bv II, m == 0 => Bv == 0 => v == o.
Dans ce cas, les équations normales ont donc une solution et une seule.
REMARQUES. (1) Par un abus de langage très suggestif, on dit parfois que Ie vecteur u
trouvé ci-dessus est la solution du système linéaire Bu == c au sens des moindres carrés.
(2) On montrera au paragraphe 8.1 que, dans tous les cas, les équations normales ont au
moins une solution. La lectrice, ou Ie lecteur, peut d'ores et déjà essayer d'établir ce résul-
tat ; c'est un excellent exercice !

70
ORIGINE DES PROBLÈMES
(3) Naturellement si m = n, et si la matrice Best inversible, la solution des équations
norm ales coïncide avec la solution du système linéaire Bll = c.
(4) L'approximation au sens des moindres carrés n'est évidenlment pas la seule à
laquelle on puisse penser. On pourrait, par exemple, chercher à rendre minimum I'une
quelconque des normes II Br- clip, 1 .:::::; p .:::::; ex:>. Mais ce faisant, on perd pour p  2
la linéarité de l'application c -. II (ce qui n'est d'ailleurs pas évident à démontrer), et
donc la simplicité des calculs. II

4
MÉTHODES DIRECTES DE RÉSOLUTION
DE SYSTÈMES LINÉAIRES
Introduction
Le problème que nous allons maintenant considérer est celui de la résolution numérique
d'un système linéaire Au = b, dont la matrice A est inversible.
Le principe des méthodeJ' directes étudiées dans ce chapitre revient à la détermination
d'une matrice M inversible telle que la matrice MA J'oit triangulaire Jupérieure (théorème
4.2-1) ; c'est ce qui correspond à la procédure d' élimination. II reste ensuite à résoudre Ie
s ystème linéaire
MAu = Mb,
par la méthode de remontée, décrite au paragraphe 4.1 (dans les calculs effecllfs, on ne
calcule pas explicitement la matrice M, mais seulement 1a matrice MA et Ie vecteur Mb).
Ce principe est à la base de la méthode de Gauss pour les systèmes linéaires à matrices
"quelconques" et de la méthode de CholeJky pour les systèmes linéaires à matrices
symétriques définies positives, que nous décrivons aux paragraphes 4.2 et 4.4, respective-
ment. N ous étudions au passage Ie calcul des déterminants des matrices carrées, Ie cas
particulier (très important dans les applications) des matriceJ' tridiagonaleJ' pàr points
ou par blocs, ainsi que la méthode de Gauss-Jordan, que l'on peut considérer comme une
variante de la méthode de Gauss, particulièrement bien adaptée au calcul de l'inverse
d'une matrice donnée. Insistons à cet égard sur l'inutilité du calcul de l'inverse d'une matrice
pour la résolution d'un sYJ,tème Iinéaire, comme nous l'indiquons dès Ie paragraphe 4.1.
L'interprétation matricielle de la méthode de Gauss est la factorisation LV d'une
matrice (théorème 4.3-1). Ce résultat trèJ' important, notamment par ses applications
variées en Analyse Numérique Matriciclle, montre que, à des permutations éventuelles
de lignes près, toute matrice inversible peut s'écrire comme Ie produit d'une matrice
triangulaire inférieure L par une matrice triangulaire supérieure U. Cette factorisation se
simplifie quelque peu dans Ie cas des matriceJ' symétriques définies positives; elle devient
alors Ja factoriJ'ation de CholeJky (théorème 4.4- t), à la base de la méthode de Cholesky,
déjà signalée.
Alors que les méthodes de Gauss et de Cholesky sont basées sur la factorisation de la
matrice du système linéaire en un produit d'une matrice triangulaire inférieure par une
matrice triangulaire supérieure, la méthode de Householder est associée à la factorisation
d'une matrice (non nécessairement symétrique) en un produit d'une matrice orthogonale
Q par une matrice triangulaire supérieure R. N ous décrivons cette méthode au para-
graphe 4.5, où nous montrons qu'un telle factorisation QR peut être etfectuée de façon

72
MÉTHODES DIRECTES
ingénieuse à l'aide de matrices orthogonales "élmentaires" particulières, appelées
matrices de Householder.
Signalons que la factorisation QR d'une matrice interviendra com me étape essentielle
de calcul dans la "méthode QR" d'approximation des valeurs propres d'une matrice
quelconque (paragraphe 6.3), et que les matrices de Householder seront à nouveau
utilisées pour la réduction à la forme tridigonale d'une matrice symétrique (paragraphe
6.2).
4.1. Deux remarques concernant la résolution des systèmes linéaires
Contrairement à ce qu'une analyse sommaire pourrait laisser supposer, la j'o/ution
d'un système Iinéaire Au == b, A : matrice inverj'ible, ne s'obtient pas en calculant la
matrice A-I, puÒ'en ca/culant Ie vecteur A -lb (première remarque). Le calcul de la matrice
A-I est en effet équivalent à la résolution des n systèmes linéaires (n : ordre de la matri-
ce A) :
AUj == ej, 1  j  n,
où ej est Ie j-ème vecteur de la base de Kn. Autrement dit, on remplacerait par une telle
méthode la résolution d'un système linéaire (Ie problème donné) par la résolution de n
systèmes linéaires, suivie de la multiplication de la matrice A-I par Ie vecteur b !
Les méthodes que nous allons étudier sont basées sur la deuxième remarque évidente
suivante : si la matrice inverj'ible A est triangulaire supérieure (ou triangulaire inférieure),
la ré-folution numérique d'un système Iinéaire Au == best immédiate ; il s'écrit en effet
a 11 u 1 +
+a 1 , 11-1 u n-l +aln u n == b 1 ,
a u l +a 1 u == b 1
n-l, n-l 11- n- , r. n n-'
ann Un == b n ,
et puisque a 11 a 22 . . . ann == dét (A)  0, on résout Ie système en calculant Un de la
dernière équation, puis u n _ 1 de l'avant dernière. etc., ce qui donne
- -l b
Un - ann n,
U - a-I ( b -a u )
11-1 - n-l, 11-1 n-1 11-1, n n ,
.
.
U 1 \== ali I (b 1 -a I 2 u 2- ... -al,n_l u n_l- a ln u n)'
Chaque composante Ui apparaissant ainsi comme une fonction linéaire de bi, b i + 1 , . . ., b n ,
ceci montre au passage que I'inverse d'une nlatrice triangu/aire est une nlatrice triangulaire
du même type (supérieure ou inférieure).
La méthode ci-dessus, appelée méthode de remontée, nécessite donc au total
l1(n-1) dd "
1 +2+ . .. +(n-l) == ----- a lttons,
2
n( n - 1)
1 + 2 + . . . +(n-l) == -- multiplications,
2
In divisions.
La méthode de rémontée s'étend aux matrices triangulaires par blocj'. Ainsi par exemple
la résolution du système linéaire

MÉTHODE DE GAUSS
73
se ramène-t-elle à la résolution des systèmes linéaires successifs
A 33 U 3 = b 3 ,
A 22 u 2 = b 2 - A 23 U 3 ,
A 11 U 1 = b 1 - A 12 U 2- A 13 U 3'
Naturellement, ceci suppose que I'on sac he résoudre les systèmes linéaires dont les matri-
ces sont les søus-matrices diagonales Au .
Dans I'étude des méthodes de résolution de systèmes linéaires (aussi bien directes qu'ité-
ratives), nous utiliserons fréquemment l'écriture matricielle. En particulier, nous cons i-
dérerons des systèmes linéaires "intermédiaires", disons Cu = d, que noü:; "résoudrons"
so us la forme u = C-ld, ce qui semble être en contradiction avec la première remarque
énoncée plus haut.
En fait, ceci n'est qu'une commodité d'écriture, et si on regarde les choses de plus près,
on s'apercevra que la matrice C est triangulaire, par points ou par blocs, de sorte que l'on
résout Ie système Cu = den utilisant la méthode de rémontée, sans calculer explicitement
la matrice C-l. C'est pourquoi I'on dit parfois, avec abus évident de langage, que de telles
matrices C sont "faciles à inverser".
4.2. La méthode de Gauss
La méthode de Gauss est une méthode générale de résolution d'un système linéaire
Au = b, A: matrice inversible.
Elle com porte trois étapes :
(i) une procédure dite d'élirnination (successive des inconnues) équivaut à déterminer
une matrice inversible M telle que la matrice MA soit triangulaire supérieure ;
(ii) on calcule simultanément Ie vecteur Mb :
(iii) on résou t Ie système linéaire
MAu = Mb,
à matrice triangulaire supérieure. par la méthode de rémontée décrite au paragraphe
précédent.
REMARQUE. En pratique, on ne calcule pas explicitement la matrice M, mais seulement la
matrice MA et Ie vecteur Mb. L'introduction de la matrice M n'est qu'une commodité
d' écriture. II
Décrivons la prel11ière étape de l'élÙninatiol1. L'un au moins des éléments ail' 1  i  n,
de la prerrlÌère colonne de la matrice A = (au) est différent de zéro, sans quoi la matrice
serait singulière. On choisit alors l'un des coefficients nOlll1uls de la première colonne de A
(nous examinerons ultérieurement comment on choisit effectivelnent cet élément non
nul; pour l'instant, Ie choix effectif n'a pas d'importance), qu'on appelle Ie premier
pivot de l'élimination.
Ensuite, Oil échange la Iiglle du pivot a'ec la première liglle, ce qui, en écriture matricielle,
revient à multiplier la matrice A à gauche par une matrice de permutation P particulière.
On vérifie en effet que I'échange des io-ème et il-ème lignes d'une matrice équivaut à la

74
MÉTHODES DIRECTES
multiplier à gauche par la matrice de tranJposition (en supposant io <:: i 1 pour fixer les
idées) :
io
I
i 1
j
0..-..-------------------1-------------
1
---io
1
1
T(io. i I ) =
1
1
1 - - - - - - - - - - - - . - . - . - - . - - . - 0- - - - - . - . - . - . -. . - . - -
I

i 1
1
1
On notera au passage que
dét (T(i o ' i I )) = - 1.
On posera donc
{ I si all est Ie pivot, et alors dét (P) = 1 ;
p=
T(l, i) si ail' i  1, est Ie pivot, et alors dét (P) = - 1,
et la ma trice
PA = (ex i )
ainsi obtenue est telle que
XII  0,
par construction. Par des combinaiJ'onJ' /inéaireJ' appropriéeJ' de la première /igne et des
autres /ignes de la matrice P A, on annule enJuite tous leJ' éléments de la première colonne
de la matrice P A situés sous la diagonale, la première ligne restant inchangée.
En écriture matricielle, ceci revient à multiplier la matrice P A à gauche par la matrice
1
:n; = XII'
E=
1
-1
-:n; X21
-]
-:n; a;31
1
-1
-:n; a;nl
1
de sorte que la matrice
B = EP A
est de la forme
a;11 a;12
b 22
b 32
a; 13 . · . X In
b 23 ... b 2n
b 33 · . · b 3n
B=
b n2 b n3 . · · b nn

MÉTHODE DE GAUSS
75
REMARQUE. On ne saurait trop insister sur la simplicité des opérations effectuées
(échange de deux lignes, combinaisons linéaires de lignes), quelque peu "masquée"
par l'écriture matricielle. II faudrait être bien naïf pour croire que l'on calcule effective-
ment les matrices P, E et que l'on effectue ensuite les produits de matrices PA, EPA . . . .
A cet égard, l'exemple numérique détaillé plus loin devrait être instructif. II
Comme
dét (E) = 1,
on a donc
dét (B) = dét (E) dét (P) dét (A) = :f: dét (A),
selon que l'on a, ou non, effectué un échange de lignes, ce qui montre au passage que
la matrice B est encore inversible. Par conséquent l'un au moins des éléments b i2 ,
2  i  n, est différent de zéro, et tout naturellement, la seconde étape de l'élimination
consiste à effectuer les mêmes opérations que précédemment, mais seulement sur la
sous-matrice (bij), 2  i, j  n, en laissant inchangée la première ligne, et ainsi de
suite ... .
N otant désormais
A = Al = (a}j), P = Pl' PlAl = (tj)'
E = E I , B = A 2 = ElPlAl = (a),
on obtient de proche en proche com me résultat de la (k-1)-ème étape de l'é!imination,
2  k  n, une matrice
Ak = Ek-IPk_1 ... E2P2EIPlAl'
qui est de la forme
ati at2
k
a 22
k
ain
k
a 2n
11 12
2
1
In
2
2n
Ak =
k k
akk ... akn
k k
akk ... akn
. .
k k
ank . .. ann
.
k k
an k . · · ann
la seconde expression rappelant que les i premières !ignes restent inchangées ap,.ès la
i-ème étape.
Décrivons alors la k-ème étape de l'é!imination. Puisque dét (A k ) =:f: dét (A), la
matrice Ak est inversible, et donc l'un au moins des éléments afk, k  i  n, est différent
de zero. On choisit l'un de ces éléments non nuls comme pivot, et l'on échange la ligne
du pivot avec la k-ème ligne de la matrice Ak' En écriture matricielle, ceci revient à
multiplier la matrice Ak à gauche par une matrice P k qui est soit l'identité, soit une
matrice de transposition, de sorte que, par construction, l'élément k de la matrice
PkAk = (cx)
est différent de zéro.

76
MÉTHODES DIRECTES
L'élimination proprement dite équivaut à la multiplication de la matrice PkAk à
gauche par la matrice
1
1
Ek ==
-1 k 1
-1'lk a.k +1, k
1'lk == a%k,
-1 k
-1'lk ank
1
opération qui ne modifie pas les k premières lignes de la matrice PkAk'
Après la {n- l)-ème étape, la matrice
An == En_1 P n_1 ... E 2 P 2 E 1 P 1 A
est donc triangulaire supérieure ; on a ainsi trouvé une matrice inversible
M == En_1 P n_1 ... E 2 P 2 E 1 P 1
telle que la matrice MA soit triangulaire supérieure, ce qui était, rappelons-Ie, l'objectif
"matriciel" de la procédure d'élimination. Observons que
{ + 1 si l'on a etfectué un nombre pair d'échanges de lignes,
dét (M) ==
- 1 si l'on a effectué un nombre impair d'échanges de lignes,
de sorte que, comme "sous-produit" de la procédure d'élimination, on obtient un procédé
particulièrement rapide du calcu/ du déterminant de la matrice A, qui n'est autre, au signe
près, que Ie produit des pivots, puisque
, dét (An) 1 2
det (A) == dét (M) == + a11 a 22
n
. .. ann'
en convenant que cxn == {An)nn est Ie n-ème pivot.
L'aspect matriciel de la procédure d'élimination se trouve résumé dans Ie résultat
suivant :
Théorème 4.2-1. Soit A une matrice carrée, inversible ou non. II existe (au moins)
une matrice inversible M telle que la matrice MA soit triangulaire supérieure.
DÉMONSTRATION. Ce résultat est déjà démontré lorsque la matrice A est inversible.
Or, la matrice A est singulière si et seulement si les éléments afk, k  i  n, de la ma-
trice Ak sont nuls pour au moins une valeur de l'entier k. Mais dans ce cas, la matrice
Ak est déjà de la forme Ak+1' et il suffit de considérer que P k == Ek == I. _
Voici un exemple numérique d'application de la méthode de Gauss à la résolution
d'un système linéaire. On a entouré de crochets les pivots, et on a indiqué en marge les
combinaisons linéaires de lignes ; les notations sont celles introduites précédemment.

MÉTHODE DE GAUSS
77
,...- --....... ........- --....... 
'1""""1 N '1""""1 '1""""1 '1""""1 0\ Itr) '1""""1 '1""""1 O\I
N \0 N N 00 N 00
I I 00 Itr) I
'1""""1
tr) tr) 
I tr) tr)
"'-- -------  """-- -------
II II II
 C\J M
< < <
II
<

'1""""1 
'1""""1
'1""""1
'1""""1 O\I
'1""""1 '1""""1 Itr)
'1""""1
"""-- ------- '-- -------
II II
 C'J
 
.. ..
 
II II
 C'J
 
^
N
'1""""1
'1""""1
II
I
II
M

M

N
+
C'J

N
+


+
C'J

\0
I


tr)
,......,
tr)
........,
..-.


'-'
..-.



'-'
, r
^

  Itr)
I
II II II
II
M

M

M

M

0\1tr)
+
+
C\J

N
+



I
++
C'J C'J C'J
  
N ,......,
 'I Itr)
 ........,
tr)
..-.


""""4
""""4
'-'
..-. ..-.
C'J C'J
""""4 
'-'ö
II II
..-.
C'J

""""4
""""4
'-'
..-. ..-.
 
""""4 
'-'
'-'
+
..-.


'-'
I
..-.



""""4
'-'
+
..-.


'-'
Itr)
"' ,
N 
'1""""1 '1""""1
I
II II
M M
 
++
C'J C'J
 
Noo
+1


tr)
II
..-. ..-.
M M
 """"4
'-' """"4
'-'
II II
..-.
C'J ..-.
 C'J
'-' 

'-'
^
NI
II
M

O\I
..-.
M



'-'
II
..-.
C'J



'-'
+
..-.
C'J


'-'
O\j

78
MÉTHODES DIRECTES
La matrice A3 étant triangulaire, la résolution du dernier système s'etfectue inlmédiate-
ment par la méthode de remontée, ce qui donne
113 = 3, u'.!. = 2. III = 1.
Par ailleurs,
dét (A) = a l 1 1 a.)a:.) = 5X(-8)X 9_ =-90.
-- ,),) 4
REMARQUE. On peut évidemment ca/culer la matrice
1
-1 1
M = E'.!.El = 7 9
- - 1
20 20
ce qui permet d'écrire
1 5 2 1 . 2 I
-1 1 5 -6 2 -8 1
MA = A 3 , soit 9
7 9
---- - 1 -4 2 1 -
20 20 4
mais en général, /'expression de la 111atrice M Il'est d'allclille utilité. Comme on Ie verra,
c'est au contraire la 111atrice M-l qui présente de )'intérêt ; it se trouve d'ailleurs que
cette matrice M-I s'écrit Î/nf'nédiatef'nent à partir de I'expression des matrices Ek (lorsqu'il
n'y a pas eu d'échanges de lignes) alors que, pour Ie calcul de la matrice M, il faut effec-
tuer Ie calcul explicite du produit des matrices Ek. II
Donnons ensuite quelques précisions quant au choix du pivot à chaque étape de
l'élimination. Naturellement, si au départ de la k-ème étape, l'élément aZk de la ma-
trice Ak est différent de zéro, rien ne s'oppose théoriquelnellt à ce qu'il soit choisi comme
pivot (alors P k = I).
Mais, à cause des erreurs d'arrolldi, cette façon de procéder est, dans certains cas,
complètement déconseillée. A cet égard, l'exemple numérique suivant (tiré de (1), page 35)
est à la fois spectaculaire et instructif. Supposons les calculs effectués en virgule flottante,
avec une mantisse à trois chiffres, et dans Ie système décimal (pour fixer les idées et,
surtout, pour faciliter les calculs...) ; autrement dit, les données et les résultats de
ca/cu/s intermédiaires sont arrondis aux trois premiers chiffres significatifs (se reporter
à la discussion du paragraphe 2.1). Considérons alors Ie système "exact"
(11) [10- 4 ] u l +u 2 = 1,
(111) ul +u 2 = 2,
dont la solution "exacte" est
U 1 = 1,00010 . .. : 1 , u 2 = 0,99990 . .. : 1.
On peut prendre Ie nombre all = 10- 4 comme pivot puisqu'il n'est pas nul, ce qui
conduit à la procédure suivante d'élimination :
(11) = (1 2 ) 10- 4 Ul +u 2 = 1,
-10 4 (1 1 )+(11 1 ) = (11 2 ) -9990u2 =-9 990,
(I) FORSYTHE G. E., MOLER C. B. - Computer Solution of Linear Algebraic Systems, Prentice-Hall,
Englewood Cliffs, 1967.

MÉTHODE DE GA uss 79
puisque les nombres (-10 4 + 1) == -9 999 et (-10 4 +2) == -9 998 sont arrondis
chacun au même nombre - 9 990. La "solution" trouvée de cette façon
u 2 == 1, u 1 == 0,
est très éloignée de la véritable solution !
Par contre, si I'on commence par échanger les deux équations, c'est-à-dire si Ie pivot
est I'élément a21 == 1, on est conduit aux calculs suivants :
(I) [1] u 1 +u2 == 2,
(II) 10- 4 u 1 +u 2 == 1,
(I) == (I) u 1 +u2 == 2,
- 1 0-4(I) +(II) == (II) 0,999u 2 == 0,999,
pu isque les nombres (- 10- 4 + 1) == 0,9999 et (- 2 X 10- 4 + 1) == 0,9998 son t arrondis
au même nombre 0,999. La "solution" correspondante :
U 2 == 1, U1 == 1,
est cette fois très satisfaisante !
Cet exemple montre que des erreurs d'arrondis à l'effet désastreux proviennent de la
division par des pivotj' "trop petits". C'est pourquoi, pratiquement, on utilise l'une des
deux stratégies suivantes, au début de la k-ème étape, 1  k  n-l, de l'élimination :
-Stratégie du pivot partie!. Le pivot est l'un des éléments a7k, k  i  n, vérifiant
I ak I == max I a;k I ;
kpn
- Stratégie du pivot total. Le pivot est I'un des éléments at, k  i, j  n, vérifiant
I at I == max I a;q I.
k p, qn
Si Ie pivot choisi par cette stratégie n 'est pas dans la k-ème colonne, il faut done également
effectuer un échange de colonnes (en plus d'un échange de lignes). Cette stratégie est
donc semblable, mais non identique, à la procédure d'élimination que nous avons décrite,
puisqu'une telle opération équivaut à multiplier la matrice Ak également à droite par
une matrice de transposition (à cet égard, une indication est donnée à l'exercice 4.3-4).
Renvoyant les lecteurs intéressés par ce genre de questions aux ouvrages spécialisés
cités dans les Commentaires Bibliographiques, nous retiendrons simplement ceci:
une stratégie de pivot (partiel ou total) est indispensable si l' on veut éviter de trop grandes
erreurs d' arrondi lors de l' application de la méthode de Gauss à des systèmes linéaires de
matrices "quelconques". Par contre, dans certains cas particuliers, il est inutile d'avoir
une stratégie de pivots; c'est Ie cas notamment des systèmes linéaires à matrices symé-
triques définies positives (voir notamment (1), page 220), que nous étudions au paragraphe
4.4.
Comptons enfin Ie nombre d'opérations élémentaires requises dans la méthode de
Gauss.
(i) Élimination. Pour passer de la matrice Ak à la matrice A k + l' 1  k  n-1, on
effectue (n-k) divisions, (n-k+1)(n-k) == (n-k)2+(n-k) additions et multipli-
cations, soit au total
f (n-l)2+(n-2)2+
+1 2 +(n-1)+(n-2)+
+1
n 3 -n
3
additions,
(n-l)2+(n-2)2+
+1 2 +(n-1)+(n-2)+ ... +1 -
n(n - 1)
2
n 3 -n
3
multiplications,
(n-1)+(n-2)+ ... + 1 -
divisions.
(1) WILKINSON J. H. - The Algebraic Eigenvalue Problem, Clarendon Press, Oxford, 1965.

80
MÉTHODES DIRECTES
(ii) Pour paj'ser du vecteur Ek -1 P k -1 . . . E 1 PI b au vecteur Ek P k . . . E 1 PI b, on effectue
(n-k) additions et multiplications, soit au total
l1{n- 1)
(n-1) +(11- 2) + + 1 - -- additions,
2
11(11-1)
(n-1) +(n- 2) + ... + 1 == -- 2- multiplications.
(iii) La remontée nécessite (cf. paragraphe 4.1)
r n(n 2 - 1)
additions,
J n(n 2 - I)
1 multiplications,
l n divisions.
En fin de compte, la méthode de GaUSj nécej'site donc de I' ordre de
r n 3 3
- additions,
n 3
mul tiplica tions,
3
n 2
divisions.
2
REMARQUE. Dans l'estimation du temps total de calcul (on rappelle à cet égard qu'on
a donné au paragraphe 2. I des ordres de grandeurs des durées comparées de chaque
opération élémentaire), il faut également prendre en compte Ie temps dû à la recherche
du pivot, notamment lorsqu' on emploie la j'tratégie du pivot total. II
2n 3
On a cru pendant un certain temps que la fonction - - était une borne inférieure
3
de la partie principale du nombre total d'opérations élémentaires nécessaires à la
résolution d'un système linéaire quelconque par une méthode directe (queJIe qu'elle
soit). Bien que la question ne soit pas encore complètement résolue à rheure actuelle,
il semble néanmoins que l'exposant 3 n'est pas loin d'être optimal, et c'est précisérnent
cette observation qui justifie I' emploi de la méthode de Gauss dans tous lej' cas où la 111atrice
du systéme est quelconque". A cet égard, voir Pan (1984).
11 est très instructif de comparer Ie nombre d'opérations élémentaires de la méthode
de Gauss avec Ie nombre des opérations élémentaires nécessaires à l'application des
formules de Cramer:
U.
I
dét (BJ
dét (A) ,
où B j ==
a 11 .. . aI, i-I b 1 a!, i + 1 ... a In
an . .. a2, i-I b 2 a2, i+l a2n
anI . . . an, i-I b n an, i+ 1 . . . ann
pour lesquelles on doit évaluer (n + 1) déterminants et effectuer 11 divisions. Or Ie calcul
"brutal" d'un déterminant exigeant {(n!)-l} additions et (n-l)n! multiplications,
l'utilisation des formules de Cramer recquiert donc de l'ordre de
I (n + I)! additions,
(n + 2)! multiplications,
n divisions.

MÉTHODE DE GAUSS
81
Pour n 10 par exemple, on obtient environ :
I 700 opérations pour la méthode de Gauss,
400000000 opérations pour la méthode de Cramer.
No comment. . .
On retiendra que la méthode de Gauss est la méthode la plus couramment utilisée
pour résoudre les systèmes linéaires dont les matrices n' ont pas de propriétés particuli-
ères. En particulier cette méthode s'emploie pour les systèmes à matrices pleines.
Une méthode voisine dans son principe de la méthode de Gauss est la méthode de
GauJ'j'-Jordan : au lieu de chercher une matrice M telle que la matrice MA soit triangu-
, -
laire supérieure (A : matrice inversible donnée), Oil cherche une matrice M telle que la
matrice MA soit diagonale. Le résultat de la (k-l)-ème étape est alors une matrice de
la forme (comparer avec la procédure d'élimination de la méthode de Gauss):
k k k
all alk aln
a2 k an
Comme dans la méthode de Gauss, I'un des éléments a7k, k  i  n, est différent de
zéro (la matrice A étant inversible) et on Ie choisit comme pivot, ce qui revient à multi-
plier la matrice à k à gauche par une matrice de permutation Pk telle que l'élément (Xk
(c'est-à-dire Ie pivot choisi) de la matrice (xt ) == PkÃk soit différent de zéro. La matrice
Èk est alors de la forme
-1 k
-nk (Xlk
- - -
Ak == Ek-tPk_I
E2P2EIP1A ==
k k
akk akn
.k .k
ank . .. ann
1
1 -1 k
-nk Xk-l. k
Èk ==
1
-1 k 1
-'Jtk k+], k
-1 k 1
-nk rJ..nk
de sorte qu'après la (n-l)-ème étape, la matrice
...."...." ...."...."...."
An == MA, avec M == En_lPn_l
E 2 P 2 E 1 P l,
nk == (Xk'
es t diagonale.
La méthode de Gauss-Jordan eJ't utilisée pour Ie calcul de I'inverse d'une matrice donnée
on résout sinlultanéfnent les n systèmes linéaires
AUj == ej, 1  j  n,

82
MÉTHODES DIRECTES
en appliquant à chaque second membre ej les transformations (échanges et combinaisons
linéaires de lignes) représentées par les matrices P k et tk. On obtient ainsi
- -
Anuj = Mej, 1  j  n,
et chacun de ces systèmes est de résolution immédiate puisque la matrice Ãn est diagonale.
4.3. La factorisation LV d'une matrice
Supposons qu'on ne s'intéresse plus à l'effet des erreurs d'arrondi dans la méthode
de Gauss et que, par conséquent, on ne cherche pas à appliquer de stratégie particu-
lière de pivot. Autrement dit, si l'élément all de la matrice Al = A est différent de zéro,
on Ie prend comme pivot; si l'élément a2 de la matrice A 2 = EIAI (ici PI = I) est
différent de zéro, on Ie prend comme pivot; et ainsi de suite. . . . S'il est possible de
choisir de proche en proche PI = P 2 = ... = P n-l = I (les pivots étant par conséquent
les éléments a: Ie des matrices Ale)' la matrice
M = En_1 . .. E2E],
produit de matrices triangulaires inférieures, est elle-même triangulaire inférieure (véri-
fication immédiate), ainsi que la matrice
déf ]
L = M-
(cf. paragraphe 4.1), et la matrice A J"écrit comme Ie produit A = LV d'une matrice
triangulaire inférieure L et d'une matrice triangulaire J'upérieure U. En résumé,
PI = P 2 = ... = Pn-I = I ==> A = LV, avec
{ L = (E n _ 1 ... E 2 E 1 )-1,
U = (E n _ 1 . . . E 2 E 1 )A.
REMARQUE. Les notations L et U sont d'origine anglo-saxonne : "L" pour "lower"
(triangular) et "V" pour "upper" (triangular). _
On sait déjà comment effectuer Ie calcul de la matrice U, puisque
V = An
1 1
all a12
2
a 22
1
a in
?
a 2n
n
ann
où (rappel) :
(at) = Ek_l . . · E2 E IA = A k , 1  k  n-1.
II est tout à fait remarquable que la matrice L J'e calcule immédiatement à partir des
matrices E k , 1  k  n-l. Celles-ci étant en effet de la forme
1
1
déf dtk
avec l " k k + 1  I .  n,
I = -k- ,
akk
Ek =
-lk+l.k 1
.
.
-Ink
1

FACTORISATION LV D'UNE MATRICE
83
it est facile de vérifier que (attention aux changements de signes sur les éléments lik !)
1
(E k )-1 == 1
lkfl,k 1
.
Ink 1
1 \
1 21 1
L == (E 1 )-1(E 2 )-1 . . . (E"_l)-1 == 1 31 1 32 1
. . . .
lnl ln2 In3 . . 1
Ainsi, dans l'exemple numérique du paragraphe 4.2 (où iI n'y a pas eu d'échanges de
lignes), on a trouvé
1 1 5 2 1
-1 1 1 -8 1
E 1 == 4 E 2 9 A3 == 9
- 1 - 1 -
5 20 4
ce qui permet d'écrire
1 5 2 1
A == (E 2 E 1 )-1A 3 == 1 1 -8 1
== LV.
4 9 9
-- -- I -
5 20 4
Attention! Si la matrice L s'obtient immédiatement à partir des matrices E k , il n'en
va pas de même de la matrice M == L -1 == En_I' . . E 2 E 1 , pour laquelle il n'existe pas
d'expression simple des éléments à partir de ceux des matrices Ek' Mais, comme on l'a
déjà signalé, il n'y a pas de raison de calculer la matrice M ... .
II reste à donner des conditions suffisantes pour qu'il n'y ait pas lieu d'effectuer d'échan-
ges de lignes dans la méthode de Gauss, c'est-à-dire pour qu'on puisse "factoriser'
une matrice sous la forme du produit d'une matrice triangulaire inférieure L par une
matrice triangulaire supérieure U. On va même établir qu'une telle factorisation LV est
unique si l'on impose la valeur 1 aux éléments diagonaux de la matrice L (c'est précisé-
ment la valeur trouvée avec la construction précédente), ce qui permet de définir sans
ambiguïté une telle factorisation (pour un complément, voir l'exercice 4.3-1).
Théorème 4.3-1 (factorisation LU d'une matrice). Soit A = (aij) une matrice carrée
d'ordre n telle que les n sous-matrices diagonales
( a.II · · · 1k )
å k ==: :'
akl · · · akk
1 .:::::: k .:::::: n,
soient inversibles.

84
MÉTHODES DIRECTES
Alors il existe une matrice triangulaire inférieure L = (/ij) avec Iii = 1, 1  i :::::; n,
et une matr;ce triangulaire supérieure V telles que
A = LV.
De plus, une telle factorisation est unique.
DÉMONSTRATION. Puisque all  0 ; on peut choisir Pj = I. Supposons qu'on ait pu
choisir
PI = P 2 = ... = Pk-l = I,
de sorte que l'égalité
(E k _ l . . . E 2 E l )A = Ak
s'écrit
1 all alk I X 1
all -
X 1 . I
{Ll k
. . -
X X . . . 1 akl akk
.
. . .
X X . 1 X . X
alk . .. X
k
akk
.
X X
Vtilisant les règles de la multiplication par blocs des matrices en tenant compte de la
forme particulière des matrices, on obtient
dét (Ll k ) = all . . . aZk'
Comme Ll k  0 par hypothèse, on déduit que l'élément aZk est non nul. On peut donc Ie
choisir comme pivot, ce qui équivaut au choix P k = I.
L'exiJ'tence d'une factorisation LV possédant les propriétés annoncées dans Ie théorème
se trouve donc établie en posant
-1 déf
A = (En_I' . . E 2 E l ) (En_I' . . E 2 E l A) = LV.
Démontrons son unicité : de l'existence de deux telles factorisations
A = LIV I = L 2 V 2 ,
on déduit
1 X X. X
L 2 l L l = X 1 X X V 2 U1"1.
. .
X X 1 X
Or cette égalité de matrices n'est possible que Sl Li 1 L 1 = U 2 V1"1 = I, soit Ll = L 2
et V I = V 2' II
Un cas important où les conditions d'application du théorème précédent se trouvent
vérifiées est celui OÙ la matrice A est symétrique définie positive, mais comme on va Ie voir,
on profite de la symétrie pour modifier légèrement (en la simplifiant) la factorisation LV.
C'est pourquoi nous traitons ce cas séparément, au paragraphe suivant.
Un intérêt majeur de l'existence d'une factorisation LU est Ie suivant : si l'on a à
résoudre plusieurs systèmes linéaires correspondant à la même matrice A, il suffit de con-
server l'expression des deux matrices L et U une fois celles-ci calculées "une première

FACTORISATION LV D'UNE MATRICE
85
fois ", c'est-à-dire lors de la résolution du "premier" système linéaire. Oil réJ'out ensuite
chaque sYJ,tème Iinéaire A'1' = b en résolvant deux systèmes linéaires à matrices triangu-
laires :
Lw = b, pUIS Uv = w.
REMARQUE. Si la condition suffisante du théorème 4.3-1 n'est pas satisfaite, on peut néan-
TTtoins toujours s'y ramener après des permutations préalables de lignes de la matrice
(c/. exercice 4.3-4). De ce point de vue, la factorisation LV des matrices inversibles est
donc toujours possible. II
Examinons enfin Ie cas des matrices tridiagonales, qui admettent une factorisation LU
particulièrement simple. On notera au passage la conservation de la structure de matrice-
bande, qui est ici un exemple d'une circonstance générale (c/. exercice 4.3-5). Le cas des
matrices tridiagonales par blocs est considéré à l'exercice 4.3-2.
Théorème 4.3-2. Soit
b] CI
a2 b 2 C2
A=
an-I b n - I Cn-l
an b n
une matrice tr;diagonale. On définit la suite
ð o = 1, ð l = b h ð k = bkðk_I-akck_Iðk_2' 2  k  n.
Alors
a2
b 2
C2
1  k  n,
b i CI
ð k = dét(ð k ), où ð k =
ak-I b k _ 1 Ck-I
ak b k
et, s; les non,bres ð k , 1  k  n, sont tous diJférents de zéro, la !actor;sat;on LU de la
matrice A est
1
ð l
ð o
Cl
ð o
a2---
ð l
1
ð 2
ð l
C2
...u=
ð 1
a3-
ð 2
ð 3
ð 2
1
C n -l
ð n - 2
a ---
n ð n - I
1
ð n
ð n - I
DÉMONSTRATION. Pour commencer, on vérifie facilement (par récurrence) que ð k =
= dét (Lt k ), en développant ce déterminant par rapport à sa dernière ligne.

86
MÉTHODES DIRECTES
Si done ð" :F 0, 1  k  n, Ie théorème 4.3-1 garantit rexistence et runicité de la fae-
torisation LV et il suffit de vérifier que la faetorisation proposée convient efTectivement.
Or Ie calcul des éléments de la matrice LV montre que
(L U h . " + 1 == c" . 1  k - /1- 1.
Dl a"c" _I ð " _'2 +ch
(LU)ll == T == bI (LUh" ==
Un ð" - 1
2k
 11,
(LU)k'''_I==a". 2klI.
(LU)"I == 0 pour I k -II ?- 2.
ce qui, compte-tenu de la formule de récurrence établie pour les déterminants ð", démontre
1 'assertion. _
On déduit du théorènle ci-dessus un proct?dt? parTiclllièrel11e/1T si/nple de rt?,5'OIIiTioll d'ul1
systèl11e Iilléaire Ai' == d dOIlT la l11lurice A eST Tridiagollale. à cOl1ditiol1 llatllrelle/11e/1t que
les déte,.,l1illallTS D/.:, 1  k  11, soiel1T TOllS difjereliTs de =t?ro. Pour cela il est commode
d' "intercaler" la matrice L1 == diag ( ðði ) dans la factorisation LU de la matricc A,
1-1
ce qui conduit à la factorisation
--1
Zl
C 1
C.)
11,!
A == (L.d) <- 1-1 U) ==
- .)
C n
Zn_l
an
...
-n
/
avec
C 1 Dk_1
Z1==- b ,Zk==Ck'
1 Uk
Alors la solution du système linéaire AI' == d s'obtient en construisant successivement
les trois suites :
2.  k  11.
r Zl = b C1 , Zk == Ck k ==2, 3, ...,11,
j 1 b,,-akZk_l
d 1 Zk dk-akWk_1
WI == b 1 , W k == --- (d k - a k W k - 1) == , k == 2, 3, ..., 11,
Ck bk-akzk-l
ll'n = W n , I'k =Wk-Zkl'kl' k = II-I, 11-2,.." I,
qui équivalent respectivement à la relation de récurrence Do == 1, D 1 == b 1 , Dk == bkDk-1
-akck-lDk-2' 2  k  11, du théorème 4.3-2, à la solution du système linéaire L/lw == d,
et enfin à la solution du système linéaire I1- 1 U/' == w.
Cette méthode requiert
13(11-1) additions,
l 3(Il-l) multiplications,
2/1 divisions.
soit 8n-6 opérations au total, ce qui constitue une réductioll cO/1sidérable par rapport au
211 3
nombre d'opérations (de l'ordre de -3) de la méthode de Gauss pour une matrice
quelconque.

F ACTORISA TION ET MÉTHODE DE CHOLESK Y
'ð7
4.4. La factorisation et la méthode de Cholesky
On va établir qu'une matrice sYl11étriqlle défillie positire vérifie les conditions d'appli-
cation du théorème 4.3-1 ; une telle matrice admet donc une factorisation LU unique.
Mais il y a plus: il se trouve en effet qu'il existe une factorisation analogue mais plus
simple, car elle ne fait intervenir qu'lll1e selile matrice. De façon plus précise, on va montrer
au théorème ci-dessous qu'on peut écrire une telle matrice A sous la forme
A == BBT, B: 111atrice réelle trianglilaire il1fériellre,
cette égctlité constituant une factorisation de Cholejky de la matrice A.
Théorème 4.4-1 (factorisation de Cholesky d'une matrice). Si A est une matrice symétrique
définie positive, if existe (all moins) une matrice réelle triangulaire infériellre B telle que
A =-- B B T .
De plus, on peut inlposer que les éléments diagonaux de la matrice B soient tous :> 0,
et la factorisation A ::-:. BBT correspondante est alors unique.
DÉMONSTRATION. Notons I1 k les sous-matrices (symétriques) d'éléments aij, I  i, j  k 
de la matrice A == (aij). Si w == (wi)f=1 est un vecteur quelconque de Rk, on peut écrire
wTLlkw == I,T AI', avec I' == (/';)7=1 ERn, I'i == Wi pour 1  i  k, et I'i == 0 pour
k + I  i  11, ce qui montre que les n sous-matrices ,If" sont définies positives, et done
inversibles.
Par application du théorème 4.3-1, on peut écrire
1 X X
A == LU X 1122 . .X
.
. .
X X 1 II nll
et tous les nombrcs Uii sont :> 0 puisque
k
n Ui; == dét Clf k ) :> 0, 1  k  11.
i= 1
Si I'on "intercale" la matrice (réelle) A == diag (JÍil) dans cette faclorisation LU, on
obtient
A == (LA) (A -lU) ==
JI
X
V/l 1
X
X
X
.
X
y 11 22 .
JI U .).)
.
X
.. Y 1I1111
. .
,--
V 11 1111
Posant
B == LA C == A -lU
, ,
la symétrie de la matrice A entraÎne BC == CTBT, c'est-à-dire encore
C(BT)-l ==
X . . . X 1
1 . . . X X
. .
1
.. .
X X...1
== B-1CT.
Or cette égalité de matrices n'est possible que si C(BT)-l == B- 1 CT == J, c'est-à-dire SI
C == BT, ce qui démontre l'existellce d'(au moins) une factorisation de Cholesky.

88
MÉTHODES DIRECTES
Démontrons maintenant l'unicité d'une telle factorisation A == BBT lorsque les élé-
ments diagonaux b ti de la matrice triangulaire inférieure B == (bij) sont tous :> 0, ce qui
est effectivement Ie cas de la construction précédente. La factorisation
déf
A == (B!1- 1 ) (LlBT), OÙ A == diag (b jj ),
n'est autre que la factorisation LV de la matrice A, avec L == B,;j-I, U == .:1BT. Une telle
factorisation étant unique,
A == BIBI == B2BJ ==> B I A I 1 == B 2 .12"1 et /l I BT == /1 2 BI '
en posant Lla; == diag((B)ii), x == 1, 2. L'égalité des éléments diagonaux des matrices
/l I BI et 112BJ s'écrit
(BI)ri == (B 2 )n, 1  i  n,
ce qui montre que 11 1 == l1 2 , parcequ'on a fait l'hypothèse (B)ii :> 0, X == 1, 2. On en
déduit BI == B 2 . II
REMARQUES. (1) On peut présenter Ie résultat précédent comme une condition nécessaire
et suffisante : si une matrice A s'écrit sous la forme A == BBT, B : matrice inversible
(peu importe ici que la matrice B soit triangulaire), il est clair qu'el1e est symétrique d'une
part, et définie positive de l'autre, puisque
v T Av == (Bv)TBv :> 0 Sl l'  O.
(2) La factorisation de Cholesky est parfois appelée "factorisation LLT" (L pour
"lower"), mais nous éviterons cette appellation puisque la "nouvelle" matrice L ne coin-
cide pas en général avec la matrice L de la factorisation LV de la même matrice. II
Pratiquelnent, on procède de la façon suivante : on pose a priori
b ll
B== b 21 b 22
. . .
bnl b 112 . . . b nn
De l'égalité A == BBT on déduit les relations
n min {i,j}
aij ==(BBT)ij == L bikb jk == I bikbjk,
k=l k=l
 i, j  II,
puisque b pq == 0 si 1  p <: q  n. La matrice A étant symétrique, it suffit que les rela-
tions ci-dessus soient vérifiées pour i  j par exemple, c'est-à-dire que les éléments bij
de la matrice B doivent satisfaire les relations
i
aij == L bikb jk , 1  i  j  11.
k=l
Faisant i == 1, il vient :
(j == 1) a 11 == (b 11)2,
(j == 2) a 1 2 == b 11 b 2I ,
.
d'où
d'où
b I ! == ý '
b 21 == aI2/ b I1'
.
(j == n) aVI == b 1I b Jl !, d'où b nl == ain/b ll ,

FACTORISATION ET MÉTHODE DE CHOLESKY
89
ce qui détermine la première colonne de B. De proche en proche, on détermine la i-ème
coloßne de la matrice B par les relations:
b u = 1 r au _ if (b i k)2.
V k=1
;-1
ai, ;+1 - L bikb;+l, k
k=1
ti == i+l) aj,i+l == b il b i -;-l,l + ... +b ii b i +1.i d'où bi+l,i == b u
(j == i)
an == b i1 b il + . .. + bub ii ,
d'où
.
(j == Il)
ai" == b il b nl + . .. + bub n ; ,
d'où
;-1
ain - L bikb nk
k=l
b ii
b ni ==
après avoir déterminé les (i-I) premières colonnes.
11 résulte du théorème 4.4-1 qu'il est possible de choisir tous les éléments bu">O. Un tel
;-1
choix assure que toutes les quantités all' . . ., aii- L (b ik )2,... figurant sous les radicaux
k=1
sont "> 0 (ce qui n' était nullement évident a priori).
La rnéthode de Cholesky, pour résoudre un système linéaire Au == b dont la matrice A
est symétrique définie positive, consiste à calculer la factorisation A == BBT de Cholesky
de la matrice, puis à résoudre successivement les deux systèmes linéaires à matrices
triangulaires :
Bw == b et BTu == w.
Comptons Ie nombre d'opérations élémentaires rencontrées dans l'application de cette
méthode :
(i) Factorisation. Le calcul de la matrice B à l'aide des formules ci-dessus nécessite :
r II extractions de racines carrées,
I n(n-l)
(n-l) +(n- 2) +. . · + 1 == 2 - divisions,
I (n-l)+2(n-2)+... +(1I-2)2+(n-l) = ,!3 6 n
l (n-1) + 2(11- 2) + · . . +(n- 2)2 +(n-l) = !!3- 6 
addi tions,
multiplica tions.
(ii) Résolution deJ' deux J'YJ'tèmes lilléaires Bw == b et BTu == w. Comme on l'a déjà vu,
ces résolutions nécessitent :
/ Il(n-l) additions,
n(n-l) multiplications,
2n divisions.
Au total, la méthode de C holesky llécessite de l' ordre de :
f ,!3_ additions,
I :'
J -6 multiplications,
1 n 2
I --2-- divisions,
l n extractions de racines carrées,

90
MÉTHODES DIRECTES
3 3 2
ce qui se compare très favorablement aux  additions.  multiplications. et  divisions.
de la méthode de Gauss. II y a done a\'antage à appliquer la méthode de Cholesky plutõt
que la méthode de Gauss pour résoudre un systèn1e Iinéaire à matrice symétrique déjinie
positive.
Enfin. on notera que Ie calcul du déterminant d'une matrice symétrique définie positive
est immédiat à partir de sa factorisation de Cholesky A = BB T puisque
dét (A) = (hI 1 h 22 . . . h nn )2 .
4.5. La [actorisation QR d'une matrice et
la méthode de Householder
On appelle matrice de Householder une matrice de la forme
1_'''*
H( v) == 1-2 ," : vecteur non nul de Cn .
r* l'
De plus, nous conviendrons de considérer la matrice unité également com me une matrice
de Householder, afin de simplifier la présentation de certains énoncés (mais naturelle-
ment, c'est une convention légèrement abusive ...).
De telles matrices (dont l'interprétation géométrique est donnée à l'exercice 4.5-1)
sont à la fois unitaires et hermitiennes (vérification immédiate) ; leur intérêt en Analyse
Numérique Matricielle provient du résultat suivant :
n
Théorème 4.5-1. Soit a = (a;)7 = 1 un vecteur de en tel que L I a; I > O. II existe deux matrices
;=2
de Householder H tel que les (n -1) dernières composantes du vecteur Ha soient nulles.
Defaçon plus précise, soit  ERtel que a l = e '7 I a l I. Alors,
H(a + II a 112 e ;7. e l)a = - II a II 2 e l' et H(a - Ii a 11 2e Ï7. e I)a = II a 11 2 e 1 ,
où el désigne Ie premier ecteur de base de cn .
n
DÉMONSTRATION. On note déjà que la condition L I a; I :> 0 entraîne que les vecteurs
;=2
(a + II a 11 2 e 1 ) ne sont sûrement pas nuls (condition nécessaire à la définition des matrices
de Householder correspondantes). Posant i I. :: 2 == Ii .11 pour alléger I'écriture, vérifions
que les matrices de Householder proposées conviennent effectivement (pour une approche
plus "naturelle". se reporter à rexercice 4.5-2) lorsque a 1 > 0 (pour fixer les idées  les
calculs sont analogues dans les autres cas) :
H( II II )a == _ 2(a + II a lIe t ) (a* + II a lIe)a
a + a e. a * * .
- (a + llalle 1 ) (a + llalle))
Or,
(a:t II all e l ) (a* + II a lIe:)a == II a 11(11 a II + a 1 ) (a + II all e 1 ),
(a*:t II all e;) (a + II all e 1 ) == 211 a /1(11 a II + a l ).
II
n
REMARQUE. Si L I a; I == 0, on a encore (on rappelle que la matrice unité est une matrice
;=2
de Householder particulière) :
Ia==llall2 e l Sl alO,
H(a-llaIl 2 el)a == IIal1 2 el Sl a l -< o.

FACTORISATION QR ET MÉTHODE DE HOUSEHOLDER
91
Donc, si Ie vecteur a est réel, la première composante du vecteur Ha peut être choisie  O.
LÏntérêt de cettc rcmarque n'apparaissant que dans la démonstration du théorème 4.5-2,
elle peut être provisoirement ignorée.
Pratiquement, on procède de la façon suivante : on calcule la norme II a 11 2 (c'est la
seule extraction de racine carrée nécessaire), puis Ie vecteur v = a + II a 112 eiae l' puis Ie
nombre
,,* l'
2
= II a 11 2 ( II a 11 2 + I a 1 I).
Si b est un vecteur de en, Ie calcul du vecteur Hb s'effectue en calculant d'abord Ie
produit scalaire v*b, puis Ie vecteur
(v*b)
Hb = b---- v.
(v*1'/2)
Dans Ie cas réel, Ie choix du signe (devant Ie vecteur II a 112el) est guidé par la présence
de l'expression (v*v) au dénominateur : pour éviter des divisions par des nombres trop
"petits" (ce qui peut avoir des conséquences désastreuses, com me on l'a vu au para-
graphe 4.2 à propos de la méthode de Gauss), on choisit v = a+11 a 112el si al :> 0 et
'V = a-II a 11 2 e 1 si a l <:: O.
La méthode de Householder pour la résolution d'un système linéaire Au = b équivaut
à trouver (n-1) matrices de Householder HI' H 2 , .. ., Hn-l telles que la matrice Hn-l
. . . H2HlA soit triangulaire supérieure. II reste ensuite à résoudre Ie système
Hn_l ... H2 H lAu = Hn_l ... H2H l b
par la méthode de remontée.
Posant A = AI' chaque matrice
Ak = Hk-l . . . H 2 H l A, k  1,
se présente sous la forme
X X X X X X X X
X X X X X X X
X X X X X X
-
Ak = X X X X X -+- k-ème ligne
( X X X X X
X X X X X
ak X X X X X
X X X X X
-
t
k-ème colonne
REMARQUE. La répartition des zéros est donc la même que dans la matrice trouvée après
la (k-l)-ème étape de I'élimination dans la méthode de Gauss, mais Ie procédé de passage
de la matrice Ak à la matrice Ak + 1 est différent, com me on va Ie voir. On notera aussi que,
à la différence de la méthode de Gauss, seules les (k-1) premières lignes de la matrice Ak
se retrouvent inchangées dans la matrice Ak +1. II
Désignons par ak Ie vecteur colonne de e n - k + 1 de composantes les éléments a7k,
n
k  i  n, de la matrice Ak = (at). Si I I aik 1>0, i1 existe d'après Ie théorème 4.5-1
i=k+ 1
un vecteur Vk E e n - k + 1 tel que Ie vecteur H(Vk)ak E e n - k + l ait toutes ses composantes
nulles sauf la première.

92
MÉTHODES DIRECTES
Notons Vk Ie vecteur de en dont les (k-l) premières composantes sont nulles et les
(n- k + 1) dernières celles du vecteur Vk. Dans ces conditions, la matrice
( I Ik_I I 0 ' )
Hk = 1 0 -1 H(Vk) I '
Ik_I == matrice unité d'ordre (k-l),
n'est autre que Ia matrice de Householder H(Vk) et la matrice Ak+I == HkAk == (at+ 1 )
est telle que d[k+ I == 0 pour i == k + 1, . . ., n. N aturellement, si ark == 0 pour i == k + 1,
· · ., n, la matrice Ak est déjà de la forme A k + l' et il suffit de poser Hk == I. On continue
de la sorte jusqu'à la matrice
An == Hn_1 · .. H 2 H I A,
qui est triangulaire supérieure par construction.
On notera au passage que Ie conditionnement de la matrice du système n'est pas
modifié puisque (théorème 2.2-3)
cond 2 (An) == cond 2 (A) ;
c'est Ià un avantage, du point de vue de la "stabilité numérique", de la méthode de
Householder par rapport à la méthode de Gauss, compensé néanmoins par un nombre
sensiblement double d'opérations élémentaires (c/. exercice 4.5-3).
La méthode de Householder permet d'évaluer simplement Ie déterminant de la ma-
trice A. En effet, Ie déterminant d'une matrice de Householder différente de la matrice
unité étant égal à (-1) (c/. exercice 4.5-1),
dét (A) == + ail a2 ... a:n'
selon Ia parité du nombre de matrices de Householder (différentes de la matrice unité)
rencontrées.
L'interprétation matricielle de la méthode de Householder conduit à un résultat
remarquable de factorisation' des matrices carrées :
Théorème 4.5-2 (factorisation QR d'une matrice). Étant donné une matrice A d'ordre n,
il existe une matrice unitaire Q et une matrice triangulaire supérieure R telles que
A == QR.
De plus, on peut s'arranger pour qlle les éléments diagonaux de la matrice R soient tous
 O. Si la matrice A est inversible, la factorisation A = QR correspondante est alors
unique.
DÉMONSTRATION. Observant que l'existence des matrices de Householder HI'
H 2 , . . ., Hn_I est en fait indépendante du caractère éventuellement singulier de la
matrice A, on a déjà établi que toute mat rice carrée A s'écrit sous la forme
A == (Hn_1 ... H 2 H 1 )-lA n ,
Ia matrice
déf
R == An
étant triangulaire supérieure. La matrice
déf -1
Q == (Hn_I · .. H 2 H 1 ) == H 1 H 2 ... Hn_I
étant unitaire (on rappelle que les matrices de Householder Hk vérifient Hk"1 == HZ ==
= H k ), l' existence d'(au moins) une factorisation QR est établie la matrice Q étant Ie pro-
duit de (n - 1) matrices de Householder.

FACTORISATION QR ET MÉTHODE DE HOUSEHOLDER
93
One telle factorisation A =QR étant obtenue. soit lljER des nombres vérifiant
(R)jj=ei<<jl(R)jjl. I jn. et soit D=diag(ei<<J). Alors la matrice Q=QD est encore
unitaire; la matrice R = D - 1 R est encore triangulaire supérieure, et de plus ses éléments
diagonaux sont tous O. L'existence d'(au moins) une factorisation A =QR avec (R)jjO
est done éta blie.
Si la matrice A est inversible, il existe donc au moins une factorisation A = QR
telle que (R)ii:> 0, 1  i  n. Démontrons alors l'unicité d'une telle factorisation.
Des égalités
A = Q1 R 1 = Q2R2'
on déduit
* -1 déf A
Q2Q1 = R 2 R 1 = LJ.
Par suite,
L1*L1 = Q:Q2Q;Q1 = I
n'est autre qu'une factorisation de Cholesky de la matrice unité, puisque la matrice
L1 est triangulaire supérieure (comme produit des matrices triangulaires supérieures
R 2 et R11). Comme
(R 1 )ii :> 0 et
(R 2 )u
(R 2 );; >- 0 => (,1);; = ) >- 0,
(R 1 ii
l'unicité d'une telle factorisation de Cholesky (établie dans Ie cas réel au Théorème
4.4-1 ; l'extension au cas complexe est immédiate) entraîne L1 = I. _
REMARQUES. (1) Si la matrice A est réelle, les matrices de Householder HI' H2' ...,
Hn - 1 sont tous réelles (cf théorème 4. 5-1); il en résulte que la matrice Q, et done aussi
la matrice R = Q-IA, est réelle, la matrice Q étant de surcroît orthogonale.
(2) Si l'on n'impose plus la restriction (R)ii :> 0, 1  i  n, i1 est facile de VOIr
comment diffèrent deux factorisations QR d'une même matrice A, soit
A = QI R I = Q2R2 ·
II résulte en effet de la deuxièmeégalité que la matrice unitaire Q;Q1 est égale à la matrice
triangulaire supérieure R2Rll. Mais toute matrice unitaire triangulaire étant diagonale
(si L1 est une telle matrice, écrire que (L1* L1)ij = 0 pour i  j), on déduit que
Q;Ql = R2 R li = diag (d i ), avec I d j I = 1.
II
Indiquons pour terminer une interprétation remarquable de la factorisation QR
d'une matrice inversible A. Notant aI' a2' ..., an et ql' q2' ..., qn les vecteurs colonnes
des matrices A et Q respectivement, la relation A = QR s'écrit aussi
al = r 11 Ql'
.a2 = r12ql +r22Q2,
an = rlnql +r2r.Q2+ ... +rnnqn'
en désignant par rij les éléments de la matrice triangulaire supérieure R. Or, les vecteurs
qj formant un ensemble orthonormal (c'est une autre façon d'exprimer Ie caractère
unitaire de la matrice Q), les relations ci-dessus équivalent au procédé d' orthonormalisation
de Gram-Schmidt. On pouvait d'ailleurs songer à les utiliser pour une construction plus
"directe" des matrices Q et R (des indications à cet égard sont données à l'exercice

94
MÉTHODES DIRECTES
4.5-4), mais cette méthode, pourtant "naturelle", est à écarter en règle générale, car
elle conduit à des propagations parfois désastreuses d'erreurs d'arrondi : on lui préférera
done sans hésiter la méthode basée.sur l'utilisation des matrices de Householder.

5
MÉTHODES ITÉRA TIVES
DE RÉSOLUTION
DES SYSTÈMES LINÉAIRES
r ntrod uction
Ce chapitre ne donne qu'un bref aperçu des méthodes itératives de résolution de
systèmes linéaires, pour lesquelles nous nous sommes limités à quelques méthodes
"exemplaires ". Celles-ci se présentent sous la forme
Uk+ 1 = BUk +c, k  0, U o : vecteur arbitraire,
la matrice B et Ie vecteur c étant construits à partir de la donnée d'un système linéaire
Au = b (la matrice B dépend seulement de la matrice A).
On commence par établir au paragraphe 5.1 des résultats généraux de convergence
(conditions suffisantes pour que lim Uk =u), et de comparaison (évaluation des "vitesses
koo
de convergence ") de méthodes itératives (c/. théorèmes 5.1-1, 5.1-2 ; voir aussi Ie théorème
5.3-1), puis on décrit au paragraphe 5.2 quelques méthodes très couramment employées :
les méthodes de Jacobi, de Gauss-Seidel, de relaxation (dont la méthode de Gauss-
Seidel est un cas particulier), par points ou par blocs.
On donne enfin au paragraphe 5.3. quelques résultats précis de convergence et de
comparaison de vitesses de convergence, applicables aux méthodes décrites ci-dessus,
notamment dans Ie cas de systèmes linéaires dont la matrice A est syméfrique définie
pOsifi'e et fridiagonale par blocs (théorème 5.3-6). Ce cas particulier est très important,
puisqu'il se rencontre dans les méthodes d'approximation de problèmes aux limites
elliptiques vues au chapitre 3.
5.1. Généralités sur les méthodes itératives
Étant donné une matrice inversible A et un vecteur b, on souhaite calculer la solution
u du système linéaire
Au = b.
Supposons qu'on ait trouvé (par exemple, par l'un des procédés décrits au paragraphe
suivant) une matrice B et un vecteur c tels que la matrice (I - B) soit inversible, et tels
que la solution unique du système linéaire
u = Bu+c

96
MÉTHODES ITÉRA TIVES
soit également la solution dc All == b. La forme du système u == Bu + c suggère la défi-
nition d'une 111éthode itérative de résolution du système linéaire Au == b : On se donne
un vecteur initial U o arbitraire, et on définit la suite de vecteurs (Uk)kO par
Uk+ 1 == BUk +c, k  O.
On dit alors (définition tout à fait naturelle !) que la méthode itérative est con,'ergellte si
lim Uk-== u pour tOllt vecteur initialu o .
k -+ C'O
Le résultat suivant donne Ie critère fondamental de convergellce des méthodes itérativcs.
On notera qu'il ne fait intervenir que la matrice B, appelée la lnatrice de fa 111éthode
itérative considérée.
- Théorème 5.1-1. Les propositions suivantes so nt éqllivalentes :
(1) la méthode itérative est convergente ;
(2)
e(B) -< 1;
(3) II B II -< 1 pour au moins une norme matricielle II. I!.
DÉMONSTRATION. Dire que la méthode el convergente revienl à dire que
lim ek == 0 pour tout vecteur eo == 110 -ll,
k-+oc
où
déf
ek = Uk-U == Bke o , k  0,
est Ie k-ième vecteur erreur. Les équivalences cherchées résultent alors du théorème
1.5-1. II
REMARQUE. La méthode itérative définie plus haut n'est autre que la ,néthode des
approxbnations succes.Jb'es, dite encore nléthode de Picard, pour trouver un point fixe
de l'application
f: v E Kn -+ f(v) == (B1'+C) E Kn,
qui est une contraction lorsque la propriété (3) est satisfaite: la démonstration du thé-
orème 1 .4-3 montre en erret que la norme matricielle II . II pour laquellc II B II < I' peut
être choisie subordonnée à une norme vectorielle II . II. de sorte que
II f(v)-f(u) II  II B I1II 1)-U II.
II
Comment choisir entre plusieurs méthodes itératives convergellteJ' pour résoudre un
même système linéaire Au == b ? Pour fixer les idées, supposons la matrice B normale.
Alors (théorème 1.4-2)
II keo 1/ 2  II Bk 11 2 1/ eo 11 2 == (e(B))k II eo 11 2 ,
et cette inégalité est la meilleure possible, en ce sens que, pour tout entier k  0, il
existe un vecteur eo(k)  0 pour lequel elle devient une égalité. Dans Ie cas des matrices
normales, la méthode est donc d'autant plus rapide que e(B) est plus petit, puisque
sup II Bke o 1I/k == e(B) pour tout k  O.
Ile o 11 2 =1
Dans Ie cas général (matrice B quelconque, norme vectorielle quelconque), la conclu-
sion est identique : asymptotiquement, Ie vecteur erreur ek == Bke o se comporte "au pire"
comme (e(B))k, comme Ie précise Ie résultat qui suit.

MÉTHODES DE JACOBI, DE GAUSS-SEIDEL, DE RELAXATION
97
Théorème 5.1-2. (1) So;t ! . II une norme ,ectorielle quelconqlle, et soit u tel que
u = Bu+c.
On considère la méthode ;térat;ve
uk+l =-= BUk+ C , k  o.
Alors
lim { SUP II Uk -u I ll/k } = e(B).
k-f">C II Uo-U II =1
(2) Soit Ii .llune nornte ,ectorielle quelconque, et soit u tel que
- -
u = Bu+c = Bu+c.
On cons;dère les méthodes ;térat;ves
ù k + 1 = BÙ k + è, k  0, Uk + 1 = BU k + C, k.  0,
avec p(B) < p(B), U o = Îio .
A lors, quel que so;t Ie nomhre e >- 0, if ex;ste un en tier I(e) tel que
{ - } llk -
k I II Uk- U II =>= e(B)
 ==> sup --
II Uo-U 11=1 "Uk- U II e(B)+e
DÉMONSTRATION. Soit II' I! la norme matricielle subordonnée. Pour tout entier k,
on peut écrire
(e(B))k == e(Bk)  "Bk II == sup II Bke o II,
II eo II =1
de sorte que
e(B)  sup II Bke o III/k == II Bk IIIlk ,
II eo 11=1
et rassertion (1) découle du théorème 1.5-2. D'après Ie même résultat, étant donné ê >- 0,
if existe un entier I(F) tel que
k  I ==> sup II Bke o III/k(e(B)+ê).
II eu II = 1
Par ailleurs, pour tout en tier k  I, il existe un vecteur eo == eo(k) tel que
I; eo 'i == 1 et II Bke o IIllk == II Bk "I/k  e(B),
et I'assertion (2) se trouve démontrée.
II
L'étude des méthodes itératives repose donc sur la solution des deux problèmes
suivants :
(1) étallt donné line 111éthode itératb'e de 111atrice B, déterminer J'i fa méthode est con-
vergente, c'est-à-dire si (!(B) -< 1, ou de façon équivalente, s'il existe une norme matricielle
telle que II B " <: 1 (théorème 5.1-1) :
(2) étant donné deux fflét/zodes itérativeJ' convergenteJ', les comparer: la méthode
itérative la plus "rapide" est celIe dont la matrice a Ie plus petit rayon spectral (théorème
5.1-2).
5.2. Description des méthodes de Jacobi, de Gauss-Seidel,
de relaxation
Les méthodes que nous allons décrire sont des cas particuliers de la méthode suivante :
étant donné un système linéaire Au == b, supposons que l'on puisse écrire la matrice
inversible A sous la forme d'une décOfflpo,Jition
A == M-N,

98
ÉTHODES ITÉRA TIVES
où M est une matrice inrer,Jible et "facile à inrerser", c'est-à-dire, pratiquenlent, diagonalc
ou triangulaire, ou encore diagonale ou trianguJaire par blocs. Naturellement, quand
nous disons que la matrice M est facile à inverser, no us ne roulon,J pas dire que I'on calcule
effectivement la matrice M- 1 . Ce que nous aurons à calculer, c'est la ,Jolution de systè/11eS
Iinéaire,J dont la /11atrice eoSt M.
On a donc les équivalences :
Au :=: b <:::::> Mu :=: Nu +b  u == M-l Nu + M-1b.
La dernière équation étant de la forme u == Bu +c, on lui associe la méthode itérative
(suivant les considérations du paragraphe précédent) :
M -I Nll k + M -l b, k 0 t b t
Uk+ 1  , u(): vec eur ar i raire,
dont la matrice est
B :=: M-1N == I-M-1A.
ce qui montre au passage quc la matrice (1- B) = M - 1 A cst inversiblc. Pratiquement, on cst
donc amené à résoudre les systèmes linéaires succesifs :
MUk+] == NUk +b, k  o.
Dans Ie cas des deux premières méthodes (de Jacobi et de Gauss-Seidel), la décom-
position A :=: M - N de la matrice A == (aij) est telle que
(M)ij :=: aij ou 0, selon les valeurs du couple (i, j),
ce que nous représenterons, avec un (léger) abus de notation, par I 'égalité
A
pour bien montrer que les matrices M et N sont "disjointes". On voit ainsi, d'une façon
trè,J imagée, que la méthode itérative correspondante consiste en gros à "n'inverser que
la partie M de A".
Intuitivement, il semble que, plus M comprend d'éléments non nuls de la matrice
A, meilleure devrait être Ie méthode (ce sera utile pour comparer heuristiquement les
méthodes de Jacobi et de Gauss-Seidel introduites ci-après), puisque si l'on considère
Ie cas "limite" où M == A (donc N == 0), on trouve la solution exacte en résolvant la
première équation de la méthode itérative. D'autres décompositions A == M- N ne
sont pas du type ci-dessus, en ce sens que les matrices M et N "se chevauchent ", comme
dans Ie cas de la méthode de relaxation par exemple, que nous décrivons plus loin.
Commençons par la méfhode de Jacobi. Soit A == (aij) une matrice d'ordre Il telle que
au  0,
1  i -:;- n,
et posons
A=
0 13
a 1n
a 21l
a31
-F
a31l
.
==D-E-F
,
. -E
aliI On2 a n3
ce que nous appellerons décompo,Jition A == 0- E- F par points de la matrice A.

MÉTHODES DE JACOBI, DE GAUSS-SEIDEL, DE RELAXATION
99
REMARQUES. (1) Naturellement, l'écriture ci-dessus constitue à nouveau une notation
abusive (mais suggestive !), les ]ettres D, E, F désignant des matrice,J d'ordre n vérifiant
respectivement
(D)jj == aijðij,
( - E)ij == au si i >- j, () autrement,
( - F ) .. - a.. si i -< J " , 0 autrement.
IJ - IJ
(2) Contrairement aux matrices M et N qui, elles, "varient' d'une méthode à I 'autre,
on doit considérer ici la décomposition A == D- E- F comme fixée, tout au moins
pour les méthodes "par points" que nous décrivons actuellement. _
La première décomposition A == M - N que l'on va considérer est "]a plus simple
possible", puisque la matrice M est égale à la matrice D == diag (aii) ; c'est pourquoi
d'ailleurs on a supposé aii  0, 1  i  n. On écrit donc les équivalences
Au == b <=} Du == (E + F)u +b .ç)- U == D-1(E + F)u + D- 1 b,
ce qui conduit à la nléthode itérafive de Jacobi (par points) :
Dllk+l == (E+F)Uk+bllk+1 == D-l(E+F)Uk+D-1b, k  O.
La matrice de cette méthode itérative est par conséquent
J == D-1(E+F) == I-D-IA,
et s'appelle la 111atrice de Jacobi (par points).
Les ca]culs effectifs se présentent de la façon
llk+l == (1l7+ 1 )f=1 :
a [ Uk + 1 ]
11 1
[ k+l 1
a 22 u 2
suivante, en posant Uk == (0)7= 1 et
k
- a 21 11 1
k k
- aI2u2-aI3u:
k
- a23 11 a
-a 
1. n-1 n-1
-a 
2, n-1 n-1
-aIl1
- a2n
+b 1
+b 2
[ uk + 1 ] - a k k
a 11- 1, n - 1 n -1 - - n - 1, Ill] - a 11 - 1, 11- 2 U n - 2
ann[U+I] -an1ut -an2U -an, n-lU-1 +b ll ,
OÙ nous avons entouré de crochets les composantes successivement ca]culées. Pour cal-
cu]er une composante quelconque u7+ 1 du vecteur Uk+ l' on utilise donc (n-1) des
composantes du vecteur Uk, qll'i! jàut donc garder en mémoire pendant tout Ie calcu/ du
vecfeur Uk+ l' Autrement dit, une itération de la méthode immobilise 2n mémoires de
]'ordinateur, Jl mémoires pour ]es n composantes du vecteur Uk, et n mémoires pour les
Il composantes du vecteur Uk+ l'
Par ailleurs, il apparaÎt qu'on pourrait probablement améliorer la méthode en utilisant
"mieux" les quantités déjà calculées. Ainsi par exemple, pour calculer la deuxième
composante u+ 1 du vecteur Ilk + l' pourquoi ne pas utiliser la "nouvelle" valeur Uf+1
plutôt que l"'ancienne" valeur u1, et ainsi de suite? Cette remarque conduit alors à
remplacer Ie système précédent par Ie suivant :
a 11 [ut+ 1] -a1211 -aI3
022[1l+1] -021 11 t+ 1 -a23u
-an_I, 11
+b n _ 1
k
-aI' n-l u n-1
k
-a 2 , n-lun-l
k
-a 1n u n
+b t
+b 2
- a 2fi t!:,
o [ Uk + ) ]
n_ 1, fl-1 n-1
a [ u k + 1 ]
nn n
k -I 1 _k + 1 k
-Oll_J,l u l ... -a ll - 1 ,n-2";'-2 -a r _ 1 ,y,u n
-a n1 u 1+ 1 -a1l2u+] -an, n-I:l
+b ll _ 1
+b n .

100
MÉTHODES ITÉRA TIVES
Ceci définit une nouvelle méthode itérative, qu'on appelle la rnéthode itérative de
Gauss-Seidel (par points), et qui s'écrit en notation matricielle :
DUk+1 == EUk+1+Fuk+b{:::>Uk+1 == (D-E)-lFuk+(D-E)-lb, k  o.
La matrice (D- E) est inversible puisque au  0, 1  i  n. La matrice
.12 1 == (D-E)-1F
s'appelle la matrice de Gauss-Seidel (par points) ; on verra plus loin la raison de la nota-
tion .12 1 '
Un des avantages de cette méthode par rapport à celle de Jacobi réside dans Ie fait
que pour calculer une composante Uf+1 du vecteur Uk+ l' on n'a besoin que des (n-1)
k k k+1 k+1 D d . . .,. d I '
composantes U i + l' . . ., Un' U 1 . . ., Ui-1 . ans ces con ttlons, une IteratIon e a me-
thode immobilise seulement n mémoires de l'ordinateur, au lieu de 2n mémoires pour la
méthode de Jacobi. C'est déjà un avantage déterminant pour les "grands systèmes".
Par ailleurs, les considérations heuristiques du début de ce paragraphe suggèrent une
éventuelle supériorité de cette seconde méthode, dans la mesure où "davantage" d'é-
léments de la matrice sont pris en compte par la matrice M. C'est précisément ce
que nous établirons dans un cas particulier (théorème 5.3-4), mais on ne peut pas toujours
conclure dans Ie même sens (c/. exercice 5.2-2).
On vient de voir qu'une itération de la méthode de Gauss-Seidel consiste à résoudre
Ie système linéaire
(D-E)Uk+1 == FUk+ b .
Si la méthode de Gauss-Seidel converge, on peut songer à introduire un paramètre
réel w  0, de telle façon que Ie système linéaire précédent soit remplacé par un système
du type
{ - - E }Uk +1 = fonction de (Uk, lù).
Autrement dit, "on fait passer une partie de la matrice D dans la matrice N". On obtiendra
ainsi une méthode itérative qui converge déjà pour w == 1 et, avec un peu de chance,
on peut donc espérer obtenir une plus grande vitesse de convergence pour w  1, par
continuité du rayon spectral de la matrice de la méthode itérative en fonction de w(cf.
exercice 5.2-1), tout au moins dans un voisinage de w == 1 (Ie cas défavorable étant celui
où w == 1 est un minimum de ce même rayon spectral). Ce raisonnement heuristique
sera effectivement confirmé par Ie théorème 5.3-5, dans un cas particulier.
D
La décomposition A == M - N correspondant au choix M == - - - E étant
w
A ={  -E}- F ú  D+F}'
une itération de la méthode itérative associée à cette décomposition s'écrit
{  -E }Uk+1 = F lù lù D+F }Uk+ b . k;;.. O.
C'est la méthode itérative de relaxation (par points), qui n'est définie que pour les valeurs
non nul/es du paramètre de relaxation w. La matrice de cette méthode est la matrice de
relaxation (par points)
{ D } -1 { 1-W }
J2 w == w- E w D+F == (D-wE)-l{(l-w)D+wF},

MÉTHODES DE JACOBI, DE GAUSS-SEIDEL, DE RELAXATION
101
et, comme il se doit, elle coïncide avec la matrice de Gauss-Seidel pour w = 1 (ce qui
explique la notation J!.1 pour cette dernière). Si l'on emploie cette méthode itérative
avec un paramètre (J) >- 1, ou w <.: 1, elle est dite méthode de sur-relaxation, ou de
sous-relaxation, respectivement.
L'étude de cette méthode consiste donc à déterminer successivement (s'ils existent) :
- un intervalle I c R (ne contenant pas l'origine) tel que
w E I  e(J2 w ) <.: 1 ;
- un paramètre de relaxation optimal (1)0 E 1, tel que
e(1?wJ = inf e(cP w )'
wEl
II est essentiel de noter que, contrairement aux apparences (la matrice J2 w a I'air nette-
ment plus "compliquée" que la matrice J2 1 ), une itération de la méthode de relaxation
est (une fois Ie paramètre w déterminé) tout à fait analogue, en ce qui concerne les calculs
à effectuer, à une itération de la méthode de Gauss-Seidel. Dans les deux cas, on résouf
un système linéaire à matrice triangulaire inférieure, (D- E) et{ - - E} respectivement
D
(les relations au  0, 1  i  n, équivalent encore à l'invertibilité de la matrice -- E,
w
w :;r!; 0). De façon plus précise une itération correspond à la résolution des éq uations
suivantes
a 11 [ut+ 1 ] = a 11 ut-w{a 11 t4 +a12t4 +a13u + ...
a22[u+1] = a22u-w{a21ut+l + a22u +a23u + ...
+aln-bl}
+a2n-b2}
.
ann[u+l] = ann-w{anlut+l+ ... +a n ,n-l u:  +annu:-b n }.
REMARQUE. Si l'on peut s'attendre, pour certaines valeurs du paramètre de relaxa-
tion, à une convergence plus rapide (donc à un temps de calcul moindre) que pour la
méthode de Gauss-Seidel, il ne faut pas oublier de prendre en compte Ie temps consacré
à l'estimation préliminaire du paramètre de relaxation (optimal, par exemple) si I'on
veut comparer l'efficacité des deux méthodes. Un exemple de valeur du paramètre opti-
mal est donné au théorème 5.3-6. II
Nous avons dit que les méthodes précédentes étaient des méthodes par points. On
peut en effet définir des méthodes analogues, mais par blocs: Supposons en effet la
matrice A du système linéaire décomposée en blocs, et posons, avec l'abus commode
(déjà signalé) d'écriture :
A=
=D-E-F,
ce que nous appelerons une décomposition A = D- E - F par blocs de la matrice A.
En supposallt encore la matrice D inversible ou, ce qui revient au même, les sous-
matrices diagonales A ii , 1  i  N, inversibles, on définit les méthodes itératives et les
matrices de Jacobi, de Gauss-Seidel, et de relaxation, par blocs (sous-entendu: associées à
la décompositiol1 A = D-E - F par blocs ci-dessus) par les mêmesformules que précédem-

-r
102
MÉTHODES ITÉRA TIVES
ment, les Jettres D, E, F représentant cette fois les "nouvelles" ma1rices apparaissant dans
la décomposition par blocs considérée.
Selon les considérations heuristiques du début de ce paragraphe, i1 semble a priori
que les méthodes par blocs doivent être meilleures (plus rapides) que les méthodes par
points correspondantes. Cependant, il faut noter qu'à chaque itération, on doit résoudre
N systèmes linéaires dont les matrices sont les sous-matrices Au, 1  i  N. Dans ces
conditions, on utilisera une méthode par blocs de préférence à la méthode par points
correspondante seulement si l'accroissement de la durée d'une itération, dû à la résolu-
tion de ces N systèmes linéaires, est suffisamment compensé par l'accélération de la
convergence.
Écrivons par exemple les systèmes linéaires correspondant à une itération de la méthode
de Gauss-Seidel par blocs lorsque N = 4 (on notera que les quantités uf+l et b i sont
maintenant des vecteurs) :
Al1'[U+1] -A 12 t4 -A13U -A14u+bl'
A 22 [u+l] =-A 21 uf+ 1 -A 23 t4 -A 24 u 1+ b 2'
A33 [t4+ 1 ] =-A31U+1_A32U+1 -A34u+b3'
A44 [t4+ 1 ] =-A41uf+l_A42U+1_A43u+1 +b 4 .
Le tableau suivant résume les principales caractéristiques des méthodes (par points
ou par blocs) que nous venons de décrire.
Nom
de la
méthode
Décomposition
A = M-N
(par points ou par blocs)
Matrice M-IN de la
méthode itératÍ\'e
Description
d'une itération
Jacobi A = D-(E+F) J = D-I(E+F) = I-D-IA DU k + 1 = (E+ F)uk+b
Ga llSS- A = (D-E)-F .J2 1 = (D-E)-IF (D-E)U k + 1 = Fuk+b
Seidel
Relaxa - A = {  -E} - f w w D + F }, {D r1c-w } { D -E}UHl = f -w D+F}uk+l
tion .J2 w = W - E -----oJ D + F (jJ OJ
w;éO
5.3. Convergence des méthodes de Jacobi,
de Ga11ss-Seidel, de relaxation
Pour fixer les idées, les résultats de ce paragraphe sont énoncés dans Ie cas complexe.
Nous commençons par établir une condition suffisante (également nécessaire; ct.
l'exercice 5.3-1) de convergence d'une méthode itérative associée à une décomposition
A = M-N quelconque d'une matrice hermitienne définie positive. Nous appliquerons
ensuite ce résultat à la méthode de relaxation.
Théorème 5.3-1. Soit A une matrice hermitienne définiepositi,e, décomposée sous laforme
A = M - N, M : matrice in,ers;ble.
S; la matr;ce hermitienne (M* + N) est définie positi,e, alors
e(M-IN) <.: 1.

CONVERGENCE DES MÉTHODES
103
DÉMONSTRATION. La matrice M* + Nest effectivement hermitienne puisque (A == A *) :
M*+N == A*+N*+N == A+N+N* == M+N*.
Nous allons établir I'inégalité I; M-1N II <: I, où II . 'I désigne ]a norme matricielle
subordonnée à l'application
Ii . II : I' E en -- Ill': I == (/'* AI')! ,
qui est ici une norme vectorielle, puisque la matrice hermitienne A est définie positive
(c'est ici qu'intervient cette hypothèse). Puisque
Ii M-1N II == 'I I-M-1AII == sup {1I/'-M-1Acil ; '11'11 == I},
on est conduit à évaluer I'expression ! i 1'- W II, où w == M-IA v et II I' " == I
,!1'-wi!2 == l-I'*Aw-w*A/'+w*Aw
== 1-w*M*w-w*Mw+w*Aw
1-w*(M*+N)w.
Par suite,
:i I'li == 1 ==> 11/'-M-1A/'11 <: 1,
puisque, la matrice (M* + N) étant définie positive par hypothèse,
I'  0 ==> w == M-1AI'  0 ==> w*(M*+N)w :> O.
La fonction
" E en -- il/'- M-IA/'" E R
étant continue (par composition d'applications continues) sur Ie compact {I' E en ;
II v II == I}, atteint sa borne supérieure sur ce même compact, ce qui achève Ia démons-
tration. II
Dans la suite de ce paragraphe, on associe à une matrice A inversible d'ordre n donnée
une décomposition A == D- E- F satisfaisant aux conditions du paragraphe précédent :
la matrice D, supposée inversible, est formée à I'aide des éléments diagonaux de la matrice
A (méthodes par points) ou des sous-matrices diagonales de la matrice A (méthodes par
blocs), la matrice E est triangulaire inférieure et la matrice Fest triangulaire supérieure
(par points ou par blocs, selon Ie cas). Les méthodes itératives considérées sont ensuite
définics à partir d'une telle décomposition A == M - N comme it a été indiqué au para-
graphe précédent (se reporter au tableau).
Le théorème 5.3-1 fournit un critère simple de convergence de la méthode de relaxa-
tion (et de celie de Gauss-Seidel comme cas particulier) connu sous Ie nom de théorème
d'Oj.trowski-Reich :
Théorème 5.3-2 (condition suffisante de convergence de la méthode de relaxation). Si la
matrice A est hermitienne définie positive, la méthode de relaxation par points ou par blocs
converge si 0 <: (J) <: 2.
DÉMONSTRATION. La décomposition A == M - N associée à Ia méthoc:te de relaxa-
tion s'écrit
A = M-N ={  --E}-{ -or D+F}.
de sorte que
D l-w 2-w
M*+N == ---E*+- D+F == ---- D,
Q\ W W

104
MÉTHODES ITÉRA TIVES
puisque D = D* et E* = F (west un nombre réel non nul). La matrice D est elle auss i
définie positive; en effet, appelant Au, 1  i  N, les sous-matrices diagonales, d'ordre
ni, intervenant dans la décomposition par blocs de la mat rice A, on' a
N
sp (D) = U sp (A ii ),
;=1
et d'autre part, la matrice A étant définie positive,
v. E Cni- { O }  vA..v. = VAV. :> 0
I I II I I I ,
les vecteurs Vi E C n étant obtenus en complétant par des zéros les composantes des
vecteurs Vi.
La matrice (M* + N) est donc définie positive si et seulement si 0 <.: w<.: 2. II suffit
ensuite d'appliquer Ie théorème précédent. II
Observons au passage que les méthodes d' approximation variationnelles, et de diffé-
rencesfinies dans certains cas, de problèmes aux limites elliptiques, conduisent effectivement
à des systèmes linéaires dont les matrices sont symétriques définies positives (c/. chapitre 3).
REMARQUE. L'application du théorème 5.3-1 à la méthode de Jacobi ne donne pas
de condition facilement "exploitable" en général. Voici cependant un cas particulier où
jl s'applique : Si
2 -1
-1 2 -1
A=
. .
-1 2 -1
-1 2
(on a déjà vérifié au paragraphe 3.1 que cette matrice est définie positive), un simple
calcul montre en effet que, pour la décomposition A = M - N associée à la méthode
de Jacobi par points,
n-1
vT(MT +N)v = vr+v+ L (Vi+ V i+1)2:> 0 Sl V  O.
;= 1
On retrouvera aussi ce résultat com me conséquence du théorème 5.3-6.
II
Nous allons main tenant établir que, indépendamment de toute hypothèse, la condition
lO E ]0, 2[ est également nécessaire pour Ia convergence de la méthode de relaxation.
Théorème 5.3-3 (condition nécessaire de convergence de la méthode de relaxation). Le
rayon spectral de la matrice de relaxation par points ou par blocs vérifie toujours l'inégalité
eC2w)  1(0-11, (0  0,
Par conséquent, la méthode de relaxation, par points ou par blocs, ne peut con verger que
si (0 E ]0, 2[ .
DÉMONSTRATION. On remarque que
n
n Å i (J2 w )
;=1
dét (J2 w )
( I-W )
dét -;;;- D + F
dét(  -E)
= (l-w)n,

CONVERGENCE DES MÉTHODES
105
compte tenu de Ia structure particulière des matrices D, E, F. Par suite,
n , 'l/n
eCJ2 w )  IT Åi(Jl w ) = Il-w I,
;=1 I
I
avec égalité si et seulement si toutes les valeurs propres ont Ie même module Il-w I. II
Nous allons voir ensuite comment l'éventualité de l'existence d'une structure tridiago-
nale, par points ou par blocs, de la matrice A permet, indépendamment de toute autre
hypothèse, de comparer de façon très précise les rayons spectraux des matrices de Jacobi
et de relaxation, aussi bien dans les cas de convergence que de divergence. Le cas w  1
étant techniquement plus difficile que Ie cas w = 1, commençons par la comparaison des
seuls rayons spectraux e(J) et e (J2 1 ).
Théorème 5.3-4 (comparaison des méthodes de Jacobi et de Gauss-Seidel). Soit A une
matrice tridiagonale par blocs.
Alors les rayons spectraux des matrices de Jacobi et de Gauss-Seidel par blocs corres-
pond antes sont liés par la relation
e<-12 1 ) = (e( J))2,
de sorte que les deux méthodes convergent ou divergent simultanément ; lorsqu'elles con-
vergent, la méthode de Gauss-Seidel converge plus rapidement que la méthode de Jacobi.
DÉMONSTRATION. (i) Commençons par un résultat pré/iminaire:
scalaire  0) une matrice tridiagonale par blocs de la forme
B 1 f.L- 1C l
flA2 B 2 f.L -IC 2
.
soi t A(f.L) (f.L :
. .
f.LAN-l BN_l
f.LAN
.
-I C
f.L N-l
BN
A(f.L) =
Alors
dét{A(fl)) = dét(A(l)) pour tout f.L  O.
Si l'on introduit en effet la matrice diagonale
f.Ll l
N-II
f.L N-l
f.LNI N
fl2I2
Q(fl) =
chaque matrice Ij étant Ia matrice identité du même ordre que celui de la matrice Bj,
on vérifie facilement que
A(f.L) = Q(f.L) A(l) {Q(f.L)}-I,
ce qui démontre la relation cherchée.
(ii) Les valeurs propres de la matrice de Jacobi J = D-l(E + F) sont les zéros du
polynôme caractéristique
PJ(Â) = dét (D-l(E+F)-ÅI) ;
ce sont donc aussi les zéros du polynôme
déf
qJ(Â) = dét (ÀD-E-F) = dét (-D)PJ(À).

106
MÉTHODES ITÉRA TIVES
De Ia même façon, les valeurs propres de la matrice de Gauss-Seide1 Jl I == (D- E)-IF
sont les zéros du polynôme caractéristique
P..eI(À) == dét ((D-E)-IF-ÀI) ;
ce sont donc aussi les zéros du polynôme
') déf ')  ')
q..e I(A) == dét (AD-AE- F) == dét (E- D)P..f2I(A).
Compte-tenu de la structure tridiagonale par blocs de la matrice A, une app1ication
du résultat préliminaire (avec I-l == À -:;r:. 0) montre que
Q..f2I(À2) == dét (À 2 D-À2E- F) == dét (À 2 D-ÂE-ÀF) == ÂnqJ(À),
pour tout À E C, cette relation étant aussi valable pour À == 0 par continuité. De cette
relation fonctionnelle, on déduit les implications
ß -:;r:. 0 et ß E sp (-2 1 ) => {ßi,-ßi} E sp(J),
{a; E sp (J) <=> -a; E sp(J)} ==> a;2 E SP(I)'
en désignant par ßi l'une quelconque des deux racines du nombre complexe ß, ce qui
termine la démonstration. II
REMARQUE. La démonstration ci-dessus établit donc une bijection entre les valeurs
propres non nulles de la matrice J2 1 et les paires de valeurs propres opposées non nulles
de la matrice J. II
Théorème 5.3-5 (comparaison des méthodes de Jacobi et de relaxation). So;t A une matrice
tridiagonale par blocs, tel Ie que toutes les valeurs propres de la nlatrice de Jacobi par blocs
correspondante soient réelles.
4lors la méthode de Jacobi par blocs, et la méthode de relaxation par blocs pour
o <: OJ <: 2, convergent ou divergent simllltanément ; lorsqu'elles convergent, la fonction
OJ E ]0, 2 [  (!(J2 0 )) a l'allure indiquée à la figure 5.3-1.
P (JeCA))
1
P()=(P(J))2.
C4>o-1
I
I
---------------------
I "
I ' I
, I
: " " I
" I
I " I
I" I
I " " I
I " I
1 ./ 2
==_ 2
1 + J1 - (peJ))2
FIG. 5.3-1.
CA)
DÉMONSTRATION. (i) Raisonnant comme dans Ia précédente démonstration, com-
mençons par étab]ir une relation fOllcfionnelle entre Ie polynôme
qJ(Â) == dét (ÀD- E- F) == dét (- D)PJ(À)

CONVERGENCE DES MÉTHODES
107
et Ie polynôme
déf ( À+w-1 ) ( D )
q.l2 w (À) == dét w D-ÀE-F == dét E- w P.I2 w (À),
où
P.ew(Å) = dét {(  -E) -1 C-:,W D+F)-ÅI}
désigne Ie polynôme caractéristique de la matrice J2 w . La structure tridiagonale par
blocs de la matrice A permet d'écrire (par application du "résultat préliminaire" établi
dans la demonstration du théorème 5.3-4) :
( À2+W-l ) ( À2+W-l ) ( Â2+W-l )
q.l2 w (À2) == dét w -À 2 E-F == dét w -ÀE-ÀF ==ÀnqJ Âw '
pour tout  E C-{O}. Par suite,
{ ß+w-l ß+w-1 }
ß r! 0 et ß E sp(.12 w ) => ßiw ' - ßi w C sp(J).
{ex E sp(J)  -ex E sp(J)}  {!L+(ex, w), !L-(ex, w)} c sp(J2 w ),
où
1 a.,w
!L+(ex, w) == 2 (ex 2 w 2 -2w+2)+Z (2W2_4w+4)1/2,
1 exw
!L-(ex, w) == 2 (ex 2 w 2 -2w+2)-Z (ex 2 w 2 -4w+4)1/2,
sont les carrés des deux racines de l'équation du second degré (en Â) :
À2+ w -l
À2-Àw+(w-l) == 0 .þ Àw == ex pour   o.
On notera que la relation fonctionnelle établie plus haut n'étant pas valable pour  == 0,
la seconde implication n'est pas valable pour w == 1, mais ce cas a été précisément consi-
déré au théorème précédent.
(ii) On a donc
e(J2 w ) == max {max (I !L+(ex, w) I, I !L-(ex, w) I)}.
txESp (J)
Dans ces conditions, si l'on fait l'hypothèse supplémentaire que toutes les valeurs propres
de la matrice J sont réelles, on est conduit à étudier la fonction
déf
M : (ex, w) ER+X]O, 2[ -+ M(ex, w) = max { I !L+(ex, w) I, I !L-(ex, w) I}.
II est en effet inutile d'étudier la fonction M pour ex <: 0 puisque M( -ex, w) = M(ex, OO),
ou pour w  ]0, 2[, ce dernier cas ayant été réglé par Ie théorème 5.3-3.
(iii) Supposons tout d'abordO  ex <: 1. Poura., = 0, on voiïdéjà que
'"
M(O, w) = I oo-ll.
Pour 0 <.: ex <: 1, Ie trinðme w -+ ex 2 oo2-4w+4 a deux racines réelles OOo(ex) et OOl(a.,) véri-
fiant
2
1 <: ooo() == <: 2 <: OOl(ex).
1 + Ý l-ex 2
Si donc wo(ex) <: oo <: 2, les nombres complexes !L+(ex, oo) et !L_(ex, oo) sont conjugués.
Comme ce sont les carrés des racines du trinôme À -+ À2_Âexoo +(oo-I), Ie produit des
racines étant (oo-I), on déduit que
1 <: wo(ex) <: oo <: 2  M(a." oo) = I !L+(ex, oo) I = I !L_(ex, oo) I = oo-l.

108
MÉTHODES ITÉRA TIVES
Supposons ensuite 0 < w  wo(rx). Alors on vérifie facilement que
M(rx, w) = 1L+(rx, w) = v 2 (rx, w),
où l'on a posé
2v(rx,w) =XW+(rx 2 w 2 -4w+4)i.
De la sorte,
aM av { vrx-1 }
-aw = 2v -aw = 2v 2 v -rxw
pour 0 < w < wo(rx).
Comme
O<:rx<l
1 rxw
et 0 < w < 2 ==> v 2 = - (rx 2 w 2 -2w+2)+--- (rx 2 w 2 -4ú)+4)i
2 2
1 2 W
< - (w -2w+2)+- (2-w) = 1,
2 2
lim v(rx, w) = 1, lim v(rx, w) = wo(rx) = {w o (rx)-l}i >- 0,
W  0+ wwo(Q:)- 2
on a, d'une part,
j 2v-rxw = (rx 2 w 2 -4w+4)i >- 0 pour 0< W < wo(rx),
lim (2v-w) = 0, lim (2v-rxw) = 2,
W-+Wo(Q:)- w-+o+
et, d'autre part,
j 2V(vrx-l) < 0 pour 0 < W <: wo(rx),
Iim {2v(vrx-l)} < 0, lim {2v(vrx -I)} < O.
W-+Wo(Q:)- w-+o+
Comme enfin la fonction
rx >- 0  M(rx, w), pour w >- 0 fixé,
est strictement croissante (se reporter à l'expression de la fonction v), on a tous les éléments
nécessaires au tracé des familIes de courbes M(rx, co) pour 0  rx < 1 et 0 < w < 2
(c/. figure 5.3-2).
M (OC,w)
1
, / I (&)0
C (wo(<I.,)
(a)o(O(,,)
FIG. 5.3-2.
2
CA)
On notera en particulier que
e(J) < 1 ==> e(J2 w ) = M(e(J), w) < 1 pour 0 < W <: 2,
et que
e(J2 wo ) = inf e(J2 w ) = wo-I,
O<w<2

CONVERGENCE DES MÉTHODES
109
avec
2
W o = w(Q(J)) = .
1 + ( e(J))i
(iv) Supposons enfin a  1. Alors Ie trinôme W -+ a 2 w 2 -4w +4 est toujours O, et
1 aw
1L+(a, w) ="2 (a 2 w 2 -2w+2)+ 2 ÜX 2 w 2 -4w+4)i
1 2 W
 -- (w -2w+2)+-- (2-w) = 1 pour 0 <: W <: 2,
2 2
ce qui montre en particulier que
e(J)  1 => e(J2 w )  1 pour 0 <: W <: 2.
-
Rassemblant Ies résultats des théorèmes 5.3-2 et 5.3-5, nous obtenons un résultat
d'intérêt double: premièrement, c'est un exemple où l'on est en mesure de com parer de
facon très précise les rayons spectraux des trois matrices J, .J2 1 , Jl. wo ; deuxièmement, ce cas
particulier est effectivement rencontré dans la discrétisation des prob/èmes aux limites,
par des méthodes d'approximation variationnelle ou de différences finies (chapitre 3).
Théorème 5.3-6. Soit A une matrice hermitienne définie positive, tridiagonale par blocs.
Alors les méthodes par blocs de Jacobi, de Gauss-Seidel, et de relaxation pour 0 <: 00 <: 2,
convergent, la lonction 00 E ]0, 2 [ -+ e(J2 w ) ayant I'allure indiquée à la figure 5.3-1. II existe
notamment un et un seul paramètre de relaxation optimal :
2
000=
1+ Ý 1-(e(J))2
tel que
e(.J2 wo ) = iof e(J2 w )=OOo--1 <: eCJll)= (e(J))2 <: e(J)
0<w<2,
si e(J) :> 0 ; si e(J) = 0, 000 = 1 et e(.J2 1 ) = e(J) = O.
DÉMONSTRATION. Pour pouvoir appliquer Ie théorème 5.3-5, il faut vérifier en particulier
que les valeurs propres de la matrice J = D- 1 (E + F) sont réelles. Or
D-l(E + F)v = av => (E + F)v = aDv 
 Av = (l-a)Dv  v* Av = (1 -a)v*Dv.
Les matrices A et D étant hermitiennes définies positives, les nombres v* Av et v*Dv sont
:>Osiv  O,etdonc
a E sp (J)  x E R.
D'après Ie théorème 5.3-2,
e(Ji w ) <: 1 pour 0 <: W <: 2.
On est donc dans Ie cas où les méthodes de Jacobi et de relaxation convergent simulta-
nément, et les conclusions découlent du théorème 5.3-5 et de sa démonstration. II
REMARQUES. (1) Lorsqu'on ne connaît qu'approximativement Ie paramètre optimal
wo' i1 est clair qu'on aura intérêt à Ie surévaluer plutôt qu'à Ie sous-évaluer, puisque
lim
d{e(J2 w )}
dw =+00,
d{e(J2 w )} = 1
dw
pour
W :> W o .
(0-+ W 
(2) Les résultats des théorèmes 5.3-5 et 5.3-6 s'appliquent en particulier aux matrices
tridiagonales "usuelles". Qui peut Ie plus peut Ie moins . . . _

6
MÉTHODES DE CALCUL
DES V ALEURS PROPRES
ET DES VECTEURS
PROPRES
Introduction
Pour calculer des approximations de l"ensenlb]e des valeurs propres d'une matrice A,
une idée couramment exploitée consiste à construire une suite de matrices (Pk)kl telle que
les matrices Pk"l AP k "convergent" (dans un sens à préciser : en effet, il ne s'agit pas
toujours d'une véritable convergence) vers une matrice de valeurs propres connues,
c'est--dire diagonale ou triangulaire.
Cette idée est à la base de la Inéthode de Jacobi pour les matrices synléfriques (c/.
paragraphe 6.1), où les matrices P k sont des produits de matrices orthogona]es "élémen-
taires" très simples à construire. On peut alors montrer que (théorème 6.1-2)
lim pk"lAPk == diag (Î- i ),
Å._('X"
où les nombres Î- i sont les valeurs propres de la matrice A (à une permutation près).
Lorsque ces dernières sont toutes distinctes, on établit que les vecteurs colonnes des
matrices P k constituent de surcroît des approximations des vecteurs propres de la matrice
A (théorème 6.1 -3).
Pour des matrices quelconques, la remarquable ll1éthode QR, dont Ie principe est
décrit au paragraphe 6.3, relève de la même idée. Utilisant à chaque itération de la
méthode la factorisation QR des matrices (c/. paragraphe 4.5), on construit une suite
de matrices (P k ) telle que, moyennant certaines hypothèses assez restrictives (c/. théorème
6.3-1),
lim (Pk"lAP k )ij == 0 pour j <: i,
k_oc
I . -1 ...
1m (P k APk)n == 1_;,
k_oc
les scalaires Î' i étant les valeurs propres de la matrice A, sans qu'on puisse rien dire de la
convergence des éléments (Pk1AP k ), i <: j : il s'agit donc seulement d'une "pseudo-
convergence" de la suite (klAPk). On trouvera éga]ement au paragraphe 6.3 quelques
compléments sur la convergence de la méthode (sans démonstration) et sur sa mise en
æuvre pratique (mise préliminaire sous forme de Hessenberg, méthode QR avec transla-
tions, etc.).

MÉTHODE DE JACOBI
111
On notera l"absence de méthodes de calculs de I'ensemble des valeurs propres des
Jllatrices quelconques à partir du polynôI11e caractéristique. C'est d'ailleurs exactenlent
/'inrerse qui se produit : pour calculer l'ensemble des racines d'un polynôme de degré
élevé, il est en effet courant d'appliquer la méthode QR à sa compagne (qui est précisé-
ment déjà une matrice de Hessenberg : cf. paragraphe 2.1) !
D'autres méthodes permettent de calculer seulement certaines valeurs propres sélection-
nées. C'est Ie cas notamment de la 111éthode de Givens-Householder que nous étudions au
paragraphe 6.2, et qui s'applique au x matrices symétriquej' : on commence par réduire une
telle mat rice à la forme tridiagonale à I'aide de matricej'de Householder (introduites au
paragraphe 4.5), puis un ingénieux procédé de Givens permet Ie calcul approché, avec une
précision arbitraire, d'une valeur propre de rang donné d'une te)]e matrice.
On décrit enfin au paragraphe 6.4 un procédé très répandu de calcu] d'un vecteur
propre correspondant à une valeur propre particulière dont on connaît déjà une approxi-
mation, appelé méfhode de la puissance inverj'e, et on donne (Théorème 6.4-1) des con-
ditions suffisantes pour sa convergence.
6.1. La méthode de Jacobi
Cette méthode s'emp]oie lorsque I'on cherche toutes les valeurs propres, et (éventuelle-
ment) tous les vecteursproprej', d'une matrice jymétrique. Elle s'applique bien aux matrices
pleines.
Une matrice symétrique A est diagonalisable : il existe une matrice orthogonale 0 telle
que (théorème 1.2-1)
OT AO == diag (Â 1 , }.2' ..., ).n),
où les nombres Î. i sont les vnleurs propres, multiplicités comprises, de la matrice A.
On rappelle que les vecteurs colonnes de la matrice 0 forment un ensemble orthonormal
de vecteurs propres, Ie i-ème vecteur colonne étant un vecteur propre associé à la valeur
propre  i .
Partant de la matrice A == AI' la méthode de Jacobi consiste à construire une suite
(Qk)kl de matrices orthogonales "élémentaires" (dont la forme, très simple, est donnée
au prochain théorème), en s'arrangeant pour que la suite de matrices (encore symétriques)
A k + 1 == QIAkQk == (QI Q 2 . . . Qk)T A(QI Q 2 . . . Qk), k  1,
converge vers la matrice diag (À i ), à une permutation des indices près (théorème 6.1-2).
On peut alors s'attendre (au moins dans certains cas; cfthéorème 6.1-3) à la convergence
de ]a suite des matrices orthogonales
Ok ==QI Q 2 ... Qk
vers une matrice orthogonale dont ]es colonnes forment un ensemble orthonormal de
vecteurs propres de la matrice A.
Le principe de chaque transfornlation
Ak  Ak+l == QIAkQk, k  1,
est d'annuler deux éléments hors-diagonaux en position symétrique, soit (Ak)pq et (Ak)qp,
de la matrice A k , suivant un procédé très simple, que nous allons décrire et étudier.
Pour alléger I 'écriture, nous posons "provisoirement"
Ak == A == (aij), Ak+ 1 == B == (bij), Qk == Q.
Le choix effectlfdu couple (p, q) sera décrit plus loin.

112
VALEURS PROPRES ET VECTEURS PROPRES
Théorème 6.1-1. So it p et q deux en tiers vérijiant 1  p <: q  n, et (J un nombre réel,
allxquels on associe la matrice orthogonale
p q
t +
1
1
1
cos (J sin (J p
Q= 1
1
1
(-sin (J) cos (J q
1
1
(1) Si A = (au) est ulle matrice symétrique, la matrice
B = QTAQ = (bij),
également symétrique, vérijie
n
 b?
 IJ
i, j= 1
n
L
i, j= 1
2
aU'
(2) Si a pq -:;r!:- 0, il existe une et une seule valeur du nombre (J dans I'ensembl e
1't 1't
] - "4' 0 [ U ] 0, 4-] telle que
b pq = 0;
c'est la seule solution, dans Ie même ensemble, de I'équation
cotg 2(J =
aqq-a pp
--- -
2a pq
Le nombre (J étant ainsi choisi,
n
 b?
 II
;=1
n
 2 
 au + 2a pq .
;=1
DÉMONSTRATION. (1) II est facile de vérifier que la matrice Q est orthogonale. La norme
II. liE étant invariante par transformation orthogonale (théorème 1.4-4),
La = IIAII = IIOTAOII = 'Lb't.
;,j i, j
(2) On remarque ensuite que la transformation portant sur les éléments d'indices
(p, p), (p, q), (q, p), (q, q) s'écrit sous la forme
( b pp
b qp
b pq ) = ( cos 0
b qq sin 0
- sin 0 ) ( app
cos 0 a qp
a pq ) ( cs 0
a qq - SIn 0
sin 0 ) ,
cos 0
et Ie même raisonnement qu'en (1) montre que
2 2 2 2 - b 2 b 2 2b 2
app+a qq + a pq - pp+ qq+ pq

MÉTHODE DE JACOBI
113
pour toute valeur du nombre Ð. Comme
Ð app-a qq . e
b pq = b qp = a pq cos 2 +---- SIn 2 ,
2
Ie choix du nombre Ð indiqué dans l'énoncé entraîne
b b 0 t d 2 + 2 +2 2 - b 2 +b 2
pq = qp = , e onc a pp a qq a pq - pp qq'
Comme par ailleurs aii = b ii pour i  p et i  q, la démonstration est complète. _
REMARQUES. (1) La matrice Q représente une rotation d'angle Ð dans Ie plan des p-ème
et q-ème vecteurs de base, ce qui est une autre façon de voir qu'elle est orthogonale.
(2) On note également que seules les p-ème et q-ème lignes et colonnes de la matrice A
sont modifiées dans la transformation A  B = QT AQ. De façon plus précise, pour
toute valeur de l'angle Ð,
bij = aij SI i  p, q et j  p, q,
bpi = api cos Ð- aqi sin e SI i  p, q,
b qi = api sin Ð +aqi cos Ð SI i  p, q,
b pp = a pp cos 2 Ð +a qq sin 2 Ð-a pq sin 2Ð,
b qq = a pp sin 2 Ð +a qq cos 2 Ð +a pq sin 2Ð,
a -a
b pq = b qp = a pq cos 2Ð + - sin 2e.
t 2
(3) Grâce aux relations existant entre les fonctions trigonométriques, les éléments
de la matrice B sont, malgré les apparences, déterminés par des relations algébriques à
partir des éléments de la matrice A ; on calcule successivement les quantités suivantes :
x = a qq - a pp (= cotg 2Ð) ,
2a pq
ou bien
t = la racine de plus petit module (car t = tg 8 et
du trinôme t 2 +2xt-l = 0,
181 : )
Sl x  0,
ou bien f = 1 SI X = 0
1
Y 1 + (2
t
S = -- (= sin Ð).
Ý 1 + t 2
c=
(= cos Ð),
Les formules donnant les éléments de la matrice B peuvent alors être réécrites sous la
forme suivante (Ie vérifier)
bpi = capi- saqi' i  p, q,
b qi = caqi +sapi, i  p, q,
b pp = a pp - ta pq ,
b qq = a qq + ta pq ,
-

114
V ALEURS PROPRES ET VECTEURS PROPRES
Décrivons main tenant une étape de la méthode de Jacobi. La matrice Ak == (at)
étant connue, on choisit un couple (p, q), p  q, pour lequell'élément aq n'est pas nul;
puis on construit la matriceQk comme la matrice Q du théorème 6.1-1, l'angle ()k étant
:r; ;r
choisi dans l'ensemble ] - -, 0 [U ] 0, -] de telle façon que
4 4
cotg 2()k ==
k k
aqq-a p p
2a;q
et l'on pose
Ak+1 == QI AkQk == (at+ 1 ).
On distingue trois stratégies pour Ie choix du couple (p, q).
(i) Méthode de Jacobi Cla.l.lique : on choisit l'un des couples pour lesquels
k I k'
, a ' I == max a " J "
I pq
i.,rj
Bien entendu, les couples (p, q) ainsi déterminés rarient arec I'elltier k : c'est uniquement
pour alléger I'écriture que nous ne rappelons pas cette dépendance.
(ii) Méthode de Jacobi cyclique: la recherche du plus grand module des éléments
hors-diagonaux prenant un temps assez long dans la méthode de Jacobi classique, on
annule successivement tous les éléments hors-diagonaux par un balayage cyclique, tou-
jours Ie même: par exemple. on choisit les couples (p. q) dans rordre suivant :
(1,2), (1,3), ..., (1, n); (2,3), ..., (2, n); ...; (11-1, n).
Naturellement, si l'un des éléments "ba]ayés" est déjà nul, on passe au suivant (du point
de vue matriciel, ceci équivaut au choix f)k == 0, soit Dk == I).
(iii) Méthode de Jacobi avec o5'euil : on procède comme dans Ie cas de la méthode de
Jacobi cyclique mais on omet d'annuler les éléments hors-diagonaux dont Ie module est
inférieur à un certain seui], qui diminue avec l:haque balayage ; il semble en effet inutile
d'annuler des éléments hors-diagonaux "déjà" très petits en valeur absolue, alors que
d'autres sont encore d'un ordre de grandeur beaucoup plus élevé.
Attention! Quelle que soit la stratégie choisie, il est bien évident que les éléments annulés
à une étape donnée peuvent être ensuite remplacés par des éléments non nuls. Sinon, on
obtiendrait la réduction à une matrice diagonale en un nombre fini d'itérations, ce qui
est impossible, comme nous I'avons déjà indiqué au paragraphe 2.1.
Nous allons étudier la convergence de la méthode de Jacobi en nous bornant au cas
Ie plus simple (celui de la méthode classique) et sans chercher d'estimations de I'erreur;
les lecteurs intéressés par des compléments concernant la convergence des méthodes de
Jacobi classique et cyclique se reporteront avec profit aux articles (1 )(2)(3)(4). On peut d'ores
et déjà remarquer que la convergence est rendue possible par Ie fait que la somme des
carrés de tous les éléments deo5' nlatriceo5' Ak reo5te constante, alors qu' à chaque étape la
somme des carrés des élément o5' diagonaux 05" augmente de la somme des carrés deo5' deux
éléments annulés (c'est ce qu'exprime Ie théorème 6.1-1). On peut donc espérer que les
matrices Akvont converger vers une matrice diagonale, et que cette matrice diagonale
(1) HENRICI, P., On the speed of convergence of cyclic and quasicyclic Jacobi methods for com
puting eigenvalues of Hermitian matrices, J. Soc. Indust. Appl. Math., 6 (1958), 144-162.
(2) HENRICI, P. ; ZIMMERMANN, K., An estimate for the norms of certain cyclic Jacobi operators,
Linear Algebra and Appl., 1 (1968), 489-501.
(3) van KEMPEN, H. P. M., On the convergence of the classical Jacobi method for real symmetric
matrices with non-distinct eigenvalues, Numer. Math., 9 (1966), 11-18.
(4 van KEMPEN, H. P. M., On the quadratic convergence of the special cyclic Jacobi method,
Numer. Math., 9 (1966), 19-22.

MÉTHODE DE JACOBI
115
sera précisément la matrice diag (ÀJ à une permutation des indices près ; c'est effective-
ment ce que nous démontrons dans Ie théorème qui suit (l'appr oximation des vecteurs
propres est examinée séparément).
Pour éviter des situations triviales, on suppose dans ce qui suit que max I at I ::> 0
ij
pour tout entier k  1. On rappelle que @;n désigne l'ensemb]e des permutations de
l'ensemble {I, 2, . . ., n}.
Théorème 6.1-2 (convergence des valeurs propres pour la méthode de Jacobi classique).
La suite (Ak)k  1 de matrices obtenues par la méthode de Jacobi classique est convergente,
et
lim Ak = diag (Âa(i))
k-+oo
pour une permutation con venable a E CS n .
DÉMONSTRATION. (i) Commençons par démontrer un lemme, qui joue un rôle essentiel
dans la présente démonstration aussi bien que dans celie du prochain théorème : soit X
un espace vectoriel normé de dimension finie, et (Xk) une suite bornée dans X, admettant un
n0l11bre fini de valeurs d' adhérence, et telle que lim II Xk + 1 - Xk II = O. Alors la suite
k-+oo
(Xk) est con'ergel1te (vers l'une de ses valeurs d'adhérence, naturellement .. .).
Soit en effet all' 1  ft  M, les valeurs d'adhérence de la suite. Pour tout E :> 0, il
existe donc un entier I(E) tel que
M
k  I(E) => Xk E U B(a,u ; E),
1l=1
en natant B(a ; e) = {x EX; II x-a II <: Q}. Sinon, il existerait une suite extraite (Xk')
.
telle que
Xk'  tQ B(a l " e)} pour tout k'  1,
Comme cette suite extraite est encore une suite bornée d'un espace de dimension
finie, il exis terait une nouvelle suite extraite (Xk") qui convergerait vers un point
x"  { u B(a l < ; F) } . Mais alors x" sera it une valeur d'adhérence de la suite (Xk) dis-
Il=l
tincte des points all' ce qui contredit l'hypothèse.
Le choix particulier
\
montre l'existence d'un entier 10 tel que
1 .
EO = - mln II all-ap.,11 :> 0
3 ll>' 1/
k  I ==> I Xk E U B(a ll ; eo)'
o p=l
Il x k+l- X kll  EO'
De ]a sorte,
Xk E B(a IJ ; EO) ==> Xk+l E B(a IJ ; EO) pour tout k  1 0 ,
et Ie ]emme est démontré.
(ii) Revenant à la démonstration proprement dite de la convergence de la méthode de
Jacobi classique, posons, pour tout entier k  1,
Ak = (at) = Dk+Bk'
déf. k
avec Dk = dlag (au),

116
VALEURS PROPES ET VECTEURS PROPRES
et montrons dans un premier temps que lim Bk = O. Les nombres
k-+oo
êk = L latl 2 = IIBklli, k  1,
irf:j
vérifient d'une part (c/. théorème 6.1-1)
êk + 1 = êk - 2 I a;q 1 2 ,
et, d'autre part (par définition de la stratégie adoptée dans la méthode de Jacobi classique),
êk  n(n-l) I a;q 1 2 ,
puisqu'il y a n(n-l) éléments hors-diagonaux. Combinant ces relations, on obtient
Ek+l  ( 1 - n(n 2 _1) ) Ek.
ce qui montre que lim êk = o.
k -+ 00
(iii) Montrons que la suite (D k ) n"a qu"un nombre jini de valeurs d"adhérence" qui son!
nécessairement de la forme diag (Àa(i))' (] E <5n. On rappelle que À1' À 2 , ..., Àn désignent
les n valeurs propres de la matrice A, supposées rangées une fois pour toutes dans un
ordre déterminé, mais arbitraire.
Si (Dk') est une suite extraite convergeant vers une matrice D, alors on a aussi
lim A k , = D car A k , = D k , + B k " et lim B k , = 0,
-+oo -+oo
et donc (conidérer les coefficients du polynôme caractéristique)
dét (D-ÀI) = lim dét (Ak,-ÀI) pour tout À E C.
k' -+ 00
Comme
dét (Ak,-ÀI) = dét (A-ÀI) pour tout À E C,
puisque les matrices A k , et A sont semblables, on déduit que les matrices A et D = lim D k ,
k' -+ 00
ont Ie même polynôme caractéristique, et donc mêmes valeurs propres, multiplicités
com pnses.
Comme 0 est une matrice diagonale (c"est la limite d"une suite de matrices diagona-
les), il existe une permutation (] E <5n telle que
D = diag (Àa(i)).
(iv) Montrons que lim (D k + 1- D k ) = O. On vérifie que
k-+oo
aJ:..+1- a J:.. = { -t g eO k ak ::
II 11 pq
tg ()ka;q Sl
i -:;z!: p, q,
i = p,
i = q.
Comme
n
I()kl -
4
et I a;q I  II Bk liE avec lim Bk = 0,
k-+oo
la conclusion s'en déduit.

MÉTHODE DE JACOBI
117
(v) Conclusion. La suite (D k ) est bornée, puisque
II Dkil E  IIAkllE == II AilE
(cf. théorème 6.1-1). Alors d'après Ie lemme (partie (i) de la démonstration), la suite
(D k ) converge, et sa limite, qui est l'une de ses valeurs d'adhérence, est nécessairement de
la forme diag (Å(J(;))' (] E 6n (cf. (iii)). Comme Ak == Dk + B k , on déduit que la suite
(Ak) est également convergente, avec lim Ak == lim Dk. II
k-+-oo k-+oo
Passons maintenant à la convergence des vecteurs propres. On rappelle les relations
Ak+1 == ill Akilk == OIAO k , où Ok == il 1 il 2 . · · ilk.
Théorème 6.1-3 (convergence des vecteurs propres pour la méthode de Jacobi classique).
On suppose que toutes les valeurs propres de la matrice A sont distinctes.
Alors la suite (Ok)k1 de matrices construites dans la méthode de Jacobi classique con-
verge vers une matrice orthogonale dont les vecteurs colonnes constituent un ensemble
orthonormal de vecteurs propres de la matrice A.
DÉMONSTRATION. Le lemme établi au point (i) de la démonstration précédente va à
nouveau jouer un rôle crucial.
(i) Montrons que la suite (Ok) n' a qu'un nombre fini de valeurs d' adhérence, qui sont
nécessairement de la forme
( I :f:Pu(l) :f:PU(:- . . . \ :f:Pu(n) I ), (] E 6no
où PI' P2' . . ., Pn désignent les vecteurs colonnes de la matrice orthogonale 0 intervenant
dans la relation
OT AO == diag (ÅI' Å 2 , ..., Ån).
Soit (Ok') une suite extraite de la suite (Ok) convergeant vers une matrice (orthogonale)
0'. D'après Ie théorème précédent, il existe une permutation (] E 6n telle que
diag (Å(J(;)) == lim A k , == lim (Ol,AO k ,) == (O')T AO',
k' -+- 00 k' -+- 00
et l'assertion est démontrée. On notera que l'hypothèse selon laquelle les valeurs propres
de la matrice À sont toutes distinctes est utiIisée de façon essentielle pour conclure à
l'existence d'un nombre fini de valeurs d'adhérence.
(ii) Montrons que lim (Ok+l-0k) == O. Par construction, f'angle Ok vérifie
k -+- 00
tg 20 k ==
2q
k k'
aqq-a pp
IOkl
n
-
4 ·
Utilisant Ie théorème précédent et (de nouveau) Ie fait que toutes les valeurs propres de
la matrice A sont distinctes, on conclut à l'existence d'un entier l tel que
k k 1."
k";:f!:::.l=> l a -a ! ";:f!:::.-mm l /\,.-/\,. I >O
qq pp 2 I J
;:;éj

118
V ALEURS PROP RES ET VECTEURS PROPRES
(comme les couples (p, q) varient avec l'entier k, on ne peut pas affirmer que les suites
(a;p) et (aq) convergent). Comme par ailleurs lim a;q == 0.. on a donc établi que
k-+oo
lim Ok == 0, et donc
k-+O
lim Qk == I
k-+oo
(se reporter à l'expression de la matrice Ok en fonction de l'angle Ok). Comme enfin
Ok+I-Ok == Ok(Qk+l- I),
l'assertion en découle, puisque la suite (Ok) est bornée (on rap pelle que la norme " . 11 2
d'une matrice orthogonale vaut 1). On dispose donc de tous les éléments nécessaires à
l'application du lemme, ce qui termine la démonstration. II
Les démonstrations des théorènles 6.1-2 et 6.1-3 données ci-dessus sont dues à
Michel Crouzeix.
6.2. La méthode de Givens-Householder
C'est une méthode particulièrement bien adaptée à la recherche de valeurs propres
sélectionnées d'une matrice symétrique, par exemple toutes les valeurs propres situées
dans un intervalle déterminé à l'avance, ou bien les valeurs propres d'un rang donné
(en les supposant ordonnées par ordre croissant), etc. . De plus, cette méthode permet
d'approcher chaque valeur propre avec une précision variable, selon Ie rang de la valeur
propre considérée, au gré de l'utilisateur. Par contre, cette méthode ne fournit pas les
vecteurs propres correspondants, qu'il faudra chercher par des moyens séparés (cf.
paragraphe 6.4).
La méthode de Givens-Householder comprend deux étapes :
(i) Étant donné une matrice symétrique A, on détermine une matrice orthogonale P
d'un type particulier telle que la matrice symétrique pT AP soit tridiagonale. Cette étape,
qui ne nécessite qu'un nombre fini d'opérations élémentaires, constitue la méthode de
Householder de réduction d'une matrice symétrique à la jòrme tridiagonale.
(ii) On est ainsi ramené au calcúl des valeurs propres d'une matrice symétrique tridiago-
nale, qui s'effectue par la méthode de Givens appelée encore méthode de bissection.
Commençons par la description de la méthode de Householder. Étant donné une
matrice symétrique A == AI' on détermine de proche en proche (n- 2) matrices orthogo-
nales HI' H 2 , ..., Hn-2 telles que les matrices
Ak == HI-IAk-IHk-l == (H I H 2 .. . Hk_I)T A(H I H 2 .. · H k _ I ),
1 ::::; k ::::; n - 2
,
soient de la forme
X X
X X X
X X X T
X X X r ak
Ak = X X X X X X X -+ k -ème ligne
X X X X X X
X X X X X X
".+ X X X X X X
(
ak X X X X X X
X X X X X X

k-ème colonne

MÉTHODE DE GI\ ENS-HOUSEHOLDER
119
De la sorte, la matrice (encore symétrique)
A l1 _] == (HIH . . . Hn_2)T A(HIH . .. Hn_2)
est tridiagonale d'une part, et semblable à la matrice donnée A, d'autre part, la matrice
orthogonale P cherchée étant Ie produit P == HIH2 . . . Hn-2'
Dans la présente méthode, chaque transformation Ak -+ Ak+l == HI AkHk est effec-
tuée à l'aidc d'une matrice de la forme
Hk = ( _ !; -
o
I), Ik = matrice unité d'ordre k.
Hk
Dans ces conditions, les propriétés de la multiplication par blocs des matrices montrent
que )a matrice HI AkHk est de la forme (Ie vérifier)
x X
X X X
X X X T-
X X X r ak Hk
HIAkHk X X X X X X X, -+ k-ème ligne
X X X X X X
X X X X X X
X X X x, X X
-T ( X X X X X X
Hkak
I X X X X X

k-ème colonne
où ak désigne Ie vecteur colonne de Rn-k de composantes les éléments ate, k + 1  i  /1"
de la matrice Ak == (at), ]es éléments at, 1  i,.i  k, de la matrice Ak restant inchangés.
II suffit donc de s' arranger pour que Ie l'ecteur HI ak E Rn-k ait toutes .res compoj'antes
nullej'saul la première, la matrice Hk étant orthogonale et "aussi simple que possible à
construire" .
Cet objectif va être atteint très simplement à l'aide des matrices de Householder
introduites au paragraphe 4.5 et qui, rappelons-le, sont des matrices à la fois symétriques
et orthogonalesde la forme particulière :
vv T
H(/)) == 1-2 -, Ii: vecteur non nul.
vTv
n
Si L I afk I :> 0, il résulte en effet du théorème 4.5-1 qu'il existe un vecteur
i=k+2
Vk E Rn-k tel que Ie vecteur H(Vk) ak E Rn-k ait toutes ses conlposantes nulles sauf la
première. On posera donc Hk == H(Vk)' Naturellement, si afk == 0 pour i == k+2, . . ., n,
-
on choisit Hk == I (on rappelle qu'on a convenu de considérer la matrice unité égaIe-
ment comme une matrice de Househo]der).
On dispose maintenant de tous les éléments nécessaires à la description du passage de
la matrice Ak à la matrice Ak-+-l == HIAkHk : si afk == 0 pour i == k +2, ..., n, la ma-
trice Ak est déjà de la forme Ak+l, et il suffit de poser Hk == I. Dans Ie cas contraire, on
construit la matrice Hk à l'aide de la matrice Hk == H(Vk), comme indiqué précédem-
men 1.

120
V ALEURS PROPRES ET VECTEURS PROPRES
II est d'ailleurs loisible de considérer la matrice Hk comme étant elle-même une
matrice de Householder:
T
vkvk
Hk = H(vk) = I-2,
vkvk
Ie vecteur Vk E RII ayant ses k premières composantes nuIles, les (n-k) dernières étant
celles du vecteur Vk E Rn-k.
De ces considérations et du théorème 4.5-1, il résulte qu'il existe deux choix possibles
pour Ie vecteur v k, à savoir
o
o
( n ) 1/2
Ok == aZ+1, k + L I afk 1 2
i=k+1
k
ak+2, k
.
k
ank
Ie choix effectif du signe dans l'expression de la (k + 1)-ème composante étant celui
de l' élément aZ+ 1 , k (pour éviter des dénominateurs trop "petits ").
Une fois Ie vecteur v" déterminé, les éléments at+ 1 , k+1  i,j  n, de la matrice
Ak+1 = (at+ l ) sont obtenus de la façon suivante: on calcule successivement les vecteurs
Wk = (vJ Vk)-1/2 vk,
qk = 2(1- wk}A;I) Akwk'
de composantes (wf) et (qf), respectivement. Alors la matrice A k +1 prend la forme
Ak+1 = Ak-wkqI -qkwI '
de sorte que
k+1 _ k k k k k k+1 ..
aij - aij-wi qj - qi Wj'  1, }  n.
REMARQUE. Le conditionnement cond 2 (A) n'est pas modifié par cette méthode:
cond 2 (A) = cond 2 (A k ) pour k == 1, ..., 11-1,
puisqu'il est en effet invariant par transformation orthogonale (théorème 2.2-3) ; c'est
là un intérêt de la méthode, du point de vue de la "stabilité numérique". II
Notons au passage Ie résultat suivant, qui résume l'application de la méthode de
Householder :
Théorème 6.2-1. Étant donné une nlatrice symétrique A, il existe une matrice P, produit de
(n - 2) matrices de Householder, telle que la matrice pT AP soit tridiagonale. II
Passons ensuite à la description de la ,néthode de Givens de recherche des valeurs
propres d'une matrice symétrique tridiagonale
b i C 1
C 1 b 2 C2
B==
C n _2 b n - I Cn_l
Cn-l b n

MÉTHODE DE GIVENS-HOUSEHOLDER
121
On observe tout d'abord que si l'un des éléments c , est nul, la matrice Best déjà décom-
posée en deux sous-matrices diagonales du même type. On peut donc supposer, sans
restreindre la généralité, que
Ci  0, 1  i  n-l.
Nous allons commencer par établir que les racines des polynômes caractéristiques des
sous-matrices
b i C I
CI b 2 C 2
B i - 1 i  n,
Ci-2 b._ 1 Ci-I
Ci-l b i
ont des propriétés d'''emboîtement'' tout à fait remarquables, illustrées à la figure 6.2-1
ci-après.
Théorème 6.2-2. Les polynômes Pi(Â,), Â, E R, défin;s pour; = 0, 1, . . ., n, par les formules
de récurrence :
Po(Â,) == 1,
Pl(Â,) == b 1 - Â"
p;(Â) == (b i - Â)Pi-l(Â,)-c7-1Pi-2(Â,), 2  ;  n,
ont les propr;étés su;vantes :
(1) Le polynôme Pi est Ie polynôme caractér;st;que de la matr;ce B j , 1  ;  n ;
(2) Iim Pi ( Â,) == + 00 , 1  ;  n ;
Â-oo
(3) PI(Â,O) = 0 => Pi-l(Â,O)Pi+l(Â,O) <: 0, 1 ;  n-l ;
(4) Le polynôme Pi possède ; rac;nes réelles d;st;lIctes, qui séparent les (;+ 1) rac;nes du
polynôme Pi+h 1  ;  n -1, comme l';nd;que lafigure 6.2-1.
Po
-

PI :b
----r--- t
, I 
P2 : I :
:/
I 
II I
II I
II I
II I
I
-
---
P i - t
I I I I
I I I I I I I
I I I I I, I I I
P . I I I I I I I I
(I impair) I '-.....  I 
  -
I I I : I
Pi..: : I  I
' J' "'- 'L
I  
FIG. 6.2-1.

122
VALEURS PROPRES ET VECTEURS PROPRES
DÉMONSTRA TION. (1) Cette propriété se vérifie en développan t Ie déterminant dc
la matrice (Bi-ÎwI) par rapport à Ia dernière ligne (ou colonne).
(2) On voit aisément par récurrence que Ie monôme de plus haut degré du polynôme
Pi est (-1)i ÎJ.
(3) Supposons que p,(Î. o ) == 0 pour un en tier vérifiant 1  i  11-1. De la relation
de récurrence, on déduit
.. 2),
Pi+l(/. o ) =-CiPi-l( '0)'
ce qui entraîne (on a supposé Ci  0) :
{ ou bien Pi -1 (Îwo) Pi + 1 (Î. o ) <: 0,
ou bien Pi-l(Î. O ) = p,(Î. o ) = Pi+l(Î"O) = 0 .
Dans la seconde éventualité, la relation de récurrence (jointe à nouveau à l'hypothèse
Ci  0, 1  i  n-1) montre que
Pi(ÎwO) = Pi -1 (iwo) =
= PI (i.o) = Po(Îwo) = 0,
ce qui est exclu puisque Po(i.) = 1.
(4) Cette propriété est une conséquence des propriétés (2) et (3).
II
Une suite de polynômes vérifiant les conditions (2), (3), (4) du théorème précédent est
appelée J'uite de Sturm. La méthode de Givens repose sur une propriété tout à fait
remarquable d'une te11e suite, qui est de permettre un calcul immédiat du nombre des
racines <: 11, I-" E R donné, de chacun des po]ynômes de la suite, comme Ie montre ]e
résultat ci-dessous.
Théorème 6.2-3. So;t ; un ent;er vérifiant 1 ;  n. Étant donné un nombre pER, on
pose
{ signe de pj(p)
sgn Pi(P) =
s;gne de Pi-l(P)
s; Pi(P)  0,
s; Pi(P) = O.
Alors Ie nombre N(;; p) de changements de s;gnes entre éléments consécutifs de l'ensemble
ordonné
E(; ; p) = {+, sgn Pl(P), sgn P2(P,), · · ., sgn p,(p)}
est égal au nombre de racines du polynôme Pi qui sont <: p.
DÉMONSTRATION. On vérifie pour commencer que l'expression sgn Pi(À) est définie
sans arr.biguïté dans tous les cas puisque p,(Îw) = 0 => Pi_1(i.)  0 d'après Ie théorème
précéden t. Puisq ue
I-"  b 1 :=:)0 E 1 (,u) = {+, +} => N(1 ; 1-") = 0,
b 1 <: I-" :=:)0 E 1 (1-") = {+, -} :=:)0 N(1 ; 1-") = 1,
l'assertion est vraie pour i = 1.
Supposons la propriété vraie pour les entiers 1, 2, . . ., i et montrons qu'elle est encore
vraie pour l'entier (i + 1). Appelant ).L . . ., ).1 et Îwi+1, . . ., Î.:tlles racines, rangées par
ordre croissant, des polynômes Pi et Pi +1 respectivement, nous avons
). <: ... <: )'}..,(i;P) <: I-"  ÎW(i ;p)+1 <: ... <: }.f,
par définition de l'entier N(i ; 1-"), et par ai11eurs
Ài ),;+1 ),i
N(i; p) <: 'N(i; p)+1 <: 'N(i; P)+I'

MÉTHODE QR
123
d'après Ie théorème précédent. II suffit alors d'examiner les différents cas possibles (cf.
figure 6.2-1) :
Âßv{i; I) <: #  Å1i\ ,u)+l :=:)> sgn Pi+l(P) = sgn Pi(P) :=:)> N(i+1 ; fl)= N(i; fl) ;
Atl; ,u)+1 <: fl <: Â(i ; ,u)+1  sgn Pi+l(fl) =-sgn P;{fl) :=:)> N(i+ 1 ; fl) = N(i, fl)+ 1 ;
Å(i;,u)+l = fl => sgnPi(/-l) = sgnpi-l(fl) = -sgnpi+I(fl):=:)>N(i+1; fl) =N(i,p,}+l
(dans la dernière implication, on utilise de façon essentielle la propriété (3) du théorème
précéden t). II
REMARQUE. Appelons M(i; fl) Ie nombre de paires consécutives de même slgne
({ +, +} ou {-, -}) trouvées dans l'ensemble ordonnéE(i; fl) ; parexemple, si
E( 1 0 ; fl) = {+, +, -, +, -, -, +, -, -, -, +},
M(10 : 11-) = 4, tandis que N(10 ; fl) = 6. On vérifie d'ailleurs facilement que
M(i; fl)+N(i; fl) = i, pour i = 1, ..., n,
de sorte que Ie nombre M(i ; fl) est égal au nombre de racines du polynôme Pi qui
sont  fl. II
Le résultat du théorème 6.2-3 permet d'approcher daussi près qu'on veut les valeurs
propres de la matrice B = Bn, et même de calculer directement une valeur propre de rang
donné. Supposons en effet qu'on souhaite approcher la i-ème valeur propre Å i = Å7
de la matrice B, l'entier i étant fixé (on suppose comme précédemment les valeurs propres
Å I , . . ., Ân rangées par ordre croissant; on rappelle qu'elles sont toutes distinctes d' après
Ie théorème 6.2-2).
On commence par déterminer un intervalle [ao' b o ] dans lequel on est sûr de trouver
cette valeur propre ; par exemple, on choisit a o = - b o = II B" I OU "B 1100 (théorème
1.4-3), ou bien on utilise Ie théorème de Gerschgorin (exercice 1.1-5). On note ensuite
Co Ie milieu du segment [ao, b o ] puis on calcule l'entier N(n ; co) (avec les notations du
théorème 6.2-3 ; on rappelle que Pn n'est autre que Ie polynôme caractéristique de la
matrice B) ; alors
- ou bien N(n; co)  i et Å i E [ao, cor,
- ou bien N(n; co) <: i et Å i E [co' b o ],
de sorte que l'on connaît un intervalle [aI' bI]' de longueur moitié de celle du précédent,
dans lequel se trouve la valeur propre Ai.
On détermine ainsi de proche en proche une suite d'intervalles emboîtés [ak, b k ],
k  0, tels que
Åi E [ak, b k ] et bk-ak = 2-k(bo-ao), k  0,
de sorte que l'on peut effectivement encadrer la i-ème valeur propre Å i avec une précision
(théoriquement) arbitraire.
6.3. La méthode QR
La méthode QR, due à J. C. F. Francis et à V. N. Kublanovskaya, est la méthode
la plus couramment utilisée pour Ie calcul de l'ensemble des valeurs propres d'une
matrice quelconque, notamment non symétrique. Naturellement, elle s'applique a fortiori

124
V ALEURS PROPRES ET VECTEURS PROPRES
aux matrices symétriques, pour lesquelles elle est au moins autant efficace que la méthode
de Jacobi.
Nous décrivons ci-dessous la méthode sous une forme volontairement simplifiée, pour
laquelle nous établirons un résultat de convergence (théorème 6.3-1) qui est loin d'être
Ie plus général, mais dont la démonstration a l'avantage de la simplicité. Nous indiquerons
ensuite quelques compléments, concernant notamment la mise en reuvre pratique de la
méthode.
Soit donc A = Al une matrice carrée quelconque ; on écrit sa factorisation QR
(théorème 4.5-2), soit Al = QIR l , puis on forme la matrice A 2 = RIQI ; on écrit la
factorisation QR de la matrice A 2 , soit A 2 = Q2R2' puis on forme la matrice A3 = R 2 Q2'
et ainsi de suite :
A { Factorisation QR: A = Al = QI R I ;
1 -+ A 2
on pose : A 2 = RIQI ;
A { Factorisation QR: Ak = QkRk
k -+ Ak+l
on pose : A k + l = RkQk
On obtient ainsi une suite de matrices Ak qui sont toutes semblables à la matrice A,
pUlsque
A 2 - RIQl = QiAQl'
Ak+l - RkQk = Q:AkQk
· .. = (QIQ2 ... Qk)* A(QIQ2 .. · Qk)'
Sous des hypothèses assez restrictives, nous établissons dans Ie théorème ci-dessous
que les matrices Ak "deviennent" triangulaires supérieures, en ce sens que lim (Ak)ij == 0
k-+oo
pour j <: i, tandis que les éléments diagonaux des matrices Ak convergent vers les valeurs
propres de la matrice A. Mais attention ! on ne peut rien dire de la convergence éven-
tuelle des éléments (Ak)ij pour i > j et donc de la suite (A k ). Cette observation est néan-
moins sans importance du point de vue pratique, dans la mesure où l'objectif recherché,
c'est-à-dire une approximation des valeurs propres, est effectivement atteint.
On rappelle que dans la factorisation QR d'une matrice (théorème 4.5-2), la matrice
Q est unitaire et la matrice R triangulaire supérieure et que, si la matrice A = QR est
réelle, les matrices Q et R sont réelles, la matrice Q étant de ce fait orthogonale.
Théorème 6.3-1 (convergence de la méthode QR). On suppose que la matrice A est inver-
sible, et que ses valeurs propres sont toutes de modules dijférents. II existe donc (au moins)
une matrice inversible P telle que
A = PAP-I, avec A = diag (Ål1 Å2, ..., Å n ), et IÅII > IÅ21 > ... > IÅnl >0,
et I'on suppose que la matrice p-l admet unefactorisation LU (cf. paragraphe 4.3).
Alors la suite de matrices (Ak)kl est te/le que
lim (Ak)u = Åi, I:==:; i E:; n,
k-+oo
lim (Ak)ij = 0, 1  j <: i :==:; n.
k-+oo

MÉTHODE QR
125
DÉMONSTRATION. (i) Principe de la démonstration : on a déjà observé que
déf
Ak+l = QkAQk, avec Qk = QIQ2 . . · Qk'
L'objectif est alors d'étudier Ie comportement asymptotique des matrices Qk. A cette
fin, if est commode de considérer les puissances successives Ak, kl, de la matrice A, pour
lesquelles une factorisation QR particulière est déjà donnée sous la forme
Ak = QkQk, avec Qk = Rk ... R 2 R 1 ,
pUIsque
Ak = Ql(R 1 Ql) (R 1 · · . Ql) (R1Ql) Rl = QIQ2(R 2 Q2) ... (R 2 Q2) R2 R l =
· .. = (QIQ2 ... Qk) (Rk ... R 2 R 1 ).
Vtilisant la factorisation LV de la mat rice p-1, on va par ailleurs obtenir une autre
factorisation QR des mêmes matrices Ak, et la comparaison de ces deux factorisations
conduira à une expression des matrices Qk particulièrement commode pour leur étude.
(ii) Autre expression des matrices Qk. Appelant
P = QR et p-1 = LV
les factorisations QR et LV des matrices P et p-1, respectivement, l'hypothèse selon
laquelle la matrice A est inversible permet d'écrire
Ak = pAkp- 1 = QR(AkLA-k)AkV,
en notant A-k la matrice diag (Ai k ). L'intérêt de faire apparaÎtre la matrice AkLA-k
est la connaissance de son comportement asymptotique : la matrice L étant triangulaire
inférieure avec (L)u = 1, 1  i  n, on a en effet
0 Sl i <: j,
(AkLA-k)ij = 1 Sl i = j,
( Àor
À (L)ij Sl i >- j,
de sorte que
lim (AkLA-k) = I,
k --.- 00
grâg à /'hypothèse [aile sur les modules des valeurs propres de la matrice A (c'est la seule
fois où cette hypothèse est utilisée). Posant
AkLA-k = I+F k , avec lim Fk = 0,
k --.- 00
on peut écrire
R(AkLA-k) = (I+ RF k R - 1 )R.
Pour des valeurs suffisamment grandes de l'entier k, les matrices (I+RFkR-1) sont
inversibles, puisque lim Fk = 0 (théorème 1.4-5) ; elles admettent donc une et une seule
k --.- 00
factorisation QR du type (c/. théorème 4.5-2) :
I+RFkR -1 = ÔkRk avec (R k );; >- 0, 1 =s:; i =s:; n.
Les matrices Ôk étant unitaires, la suite (Õk) est bornée (11Ô k 112 = 1 ; ct. théorème
1.4-2). On peut donc extraire une suite, soit (Ôk'), qui converge vers une matrice Q,
également unitaire. Comme
Rk' = ÕZ,(I+RF k ,R-1),

126
V ALEURS PROPRES ET VECTEURS PROPRES
on déduit que la suite extraite (R k ,) converge vers une matrice i{, également triangulaire
supérieure, avec (ã.)u  0, 1  i  n. En passant à la limite pour la suite extraite consi-
dérée, on obtien t
I = QR,
ce qUI Impose (R);; ::> 0, 1  i  n. D'après l'unicité d'une telle factorisation QR
(théorème 4.5-2), on déduit Ô = R = I.
Le même raisonnement pouvant être reproduit pour toute suite extraite des suites
(Õk) et (Rk), l'unicité des limites montre que les deux suites "complètes" convergent:
lim Ôk = I,
k-+oo
lim Rk = I.
k-+oo
On notera au passage l'importance de l'existence et de l'unicité de factorisations QR
avec (R);; ::> 0, qui permettent, d'une part, de définir sans ambiguité les matrices Õk
et Rk, et, d'autre part, de démontrer la convergence des deux suites.
En conclusion, on a obtenu
Ak = (QQk) (RkRAkU) = Qk(Qk.
Or, la matrice QÕk étant unitaire, et la matrice RkRAkU étant triangulaire supeneure
(comme produit de matrices de ce type), fa prel11ière expression de fa matrice Ak n'est
autre qu'une [actorisation QR de cette matrice. D'après la deuxième remarque suivant la
démonstration du théorème 4.5-2, if existe alors, pour tout en tier k, une matrice diagonale
Dk avec I (Dk)li I = 1, 1  i  n, telle que
Qk = QÕkDk'
(iii) Comportement asymptotique des matrices
A k + 1 = QZAQk.
Utilisant l'expression trouvée ci-dessus pour les matrices Qk et l'égalité A = QRAR -IQ-l,
on déduit :
*-* A 1-
A k + 1 = DkQk R R - QkDk.
Puisque lim Qk = I, on conclut que
k-+oo
Å 1 X X
Å 2 X
lim (ÕZRAR-1Ôk) = RAR-l
k-+oo
Ån
l'ordre des valeurs propres (par modules décroissants) étant respecté puisque la matrice
Rest triangulaire supérieure. Posant
- * 1-
ø k = Qk RAR - Qk,
on obtient (les matrices Dk sont diagonales):
(Ak+l)ij = (Ok );; (Dk)jj (Øk)ib

MÉTHODE QR
127
de sorte que
(A k +l)ii = (fJ)k)ii, 1  i  115
puisque I (Dk)ii I = 1, 1  i  11. Les conclusions cherchées découlent alors de la rela-
tion lim rJ)k = RAR -1 établie plus haut. II
k_<'X
REMARQUES. (1) Si la matrice A est réelle, I 'hypothèse selon laquelle ses valeurs propres
sont toutes de modules différents entraîne qu'elles sont toutes réelles.
(2) On notera Ie caractère inattendu de l'hypothèse concernant l'existence d'une
factorisation LU de la matrice p-I (une condition suffisante pour une telle factorisation
a été donnée au théorème 4.3-1). Voir à ce sujet I'exercice 6.3-1 qui "atténue" néanmoins
la portée de cette restriction.
(3) Si l'on ne peut démontrer la convergence des é]éments (Ak)ij pour i <: j, il résulte
néanmoins de la dernière partie de la démonstration que leurs module,s' convergent
vers les modules des éléments correspondants de la matrice RAR -I. II
Si plusieurs valeurs propres ont même module (par exemple des valeurs propres mul-
tiples ; ou des valeurs propres complexes d'une matrice réelle), on montre, moyennant
la possibilité d'une factorisation L U, mais "par blocs" cette fois, de la matrice p-l,
que les matrices Ak deviennent "seulement" triangulaires par blocs, chaque sous-
matrice diagonale "limite" correspondant aux valeurs propres d'un même module.
De façon plus précise, si p désigne la somme des multiplicités de toutes les valeurs propres
d'un même module, il apparaÎt dans les matrices Ak une sous-matrice diagonale d'ordre
p, dont les éléments ne convergent pas nécessairement, mais dont les valeurs propres
convergent vers les valeurs propres du module considéré, les sous-matrices diagonales
"limites" étant encore rangées suivant l'ordre décroissant des modules des valeurs
propres. Si par exemple la matrice A a pour valeurs propres À j , 1  i  9, avec I ÀII =
= I À 2 1 = I Å 31 >- IÀ 4 1 >- IÀ 5 1 = IÀ 6 1 = IÀ 7 1 = IÀHI = 1À.9/, l'allure "limite" des ma-
trices Ak est la suivante:
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
Pratiquement, avant d'appliquer la méthode QR, on commence par mettre la matrice
A sous laforme d'une matrice de He,s'senberg supérieure (cf. figure 2.1-1) suivant la méthode
proposée à l'exercice 6.3-2, qui n'est autre que l'extension au cas des matrices non
symétriques (ou non hermitiennes dans Ie cas complexe) de la méthode de Householder
de réduction d'une matrice symétrique (ou hermitienne) à la forme tridiagonale que
nous avons décrite au paragraphe 6.2.
L'intérêt de la mise préliminaire de la matrice A sous forme de Hessenberg est que les
matrices Ak construites dan,s' la méthode QR restent sous fa forme de Hessenberg (c/.
exercice 6.3-3), ce qui réduit considérablement Ie temps de calcul correspondant à une
itération de la méthode.
Présentons enfin une variante très simple, et d'empfoi universel, de la méthode, qui
a pour effet d'en accélérer très notablement la convergence. Pour fixer les idées, supposons
que la matrice A ait toutes ses valeurs propres réelles, et de modules distincts ; on établit
alors (cf. (1), p. 491) que les éléments (Ak),j pour lesquels i >- j convergent vers zéro
(1) WILKINSON J. H. - The Algebraic Eigenvalue Problem, Oxford University Press, London
1965. '

128
VALEURS PROPRES ET VECTEURS PROPRES
À. k
comme À ' les valeurs propres de la matrice A étant encore supposées rangées par mo-
')
dules décroissants, comme au théorème 6.3-1. Si donc l'on prend la précaution préa-
lable de meUre la matrice A sous la forme de Hessenberg, la convergence vers zéro des
, I ' (A ) " )., k
e ements k '.' _ 1 se trouve par consequent gouvernee par les seuls rapports - .
J.., - 1
2  i E:; n. Ce résultat, joint à celui de l'exercice 6.3-4, montre que l'on a intérêt à
remplacer la matrice Ak par des matrices "translatées" de la forme
Ak-skI, Sk E R,
où Ie nombre Sk est une approximation "aussi bonne que possible" de Ia valeur propre
Àn, puisqu'on peut ainsi s'attendre à une convergence vers 0 des éléments en position
(n, n - 1) comme À Àn-Sk k. Cette observation est à l'origine de la méthode QR
n-1 - Sk
avec translations ("shifted QR algorithm" dans la littérature anglo-saxonne): à la
k-ème itération, on effectue la factorisation QR de la matrice Ak-skI, soit
Ak-skI = QkRk,
avec Ie "meilleur choix possible" pour Sk, c'est-à-dire naturellement
Sk = (Ak)nn,
puis l' on pose
A k + 1 = RkQk+sk I = QlAkQk,
de sorte que la "nouvelle" matrice A k + 1 reste encore semblaöle à la mati-ice Ak.
Modifiée de cette façon, la méthode converge plus rapidement, la "première" conver-
gence observée étant celIe des éléments de la dernière ligne de la matrice Ak (on a fait
tout ce qu'il fallait pour cela !). Lorsqu'on juge que l'élément (Ak)n, fl-l est suffisamment
voisin de zéro, ce qui revient à considérer la valeur propre.A n suffisamment approchée par
l'élément (Ak)nn, on continue l'application de la méthode à la seule sous-matrice d'ordre
(n-1) formée des (n-1) premières lignes et colonnes de la matrice A k , et ainsi de suite.
Pour justifier les translations, nous nous sommes placés dans Ie cas particulier où
les valeurs propres étaient réelles et de modules tous différents. II est bien évident que
l'analyse précédente (déjà approximative. ..) ne s'applique pas au cas où Àn et Àn_1
sont deux valeurs propres complexes conjugées d'une matrice réelle puisque, quoique
l'on fasse, les matrices successives Ak sont toutes réelIes et l'élément (Ak)n, n-1 ne saurait
donc tendre vers zéro. On peut, en théorie, éviter cette difficulté en effectuant successi-
vement deux translations complexes conjugées, ce qui conduit à une matrice Ak+2
réelle. Cependant, il faut introduire des nombres complexes dans les calculs et i1 peut
arriver que, du fait des erreurs d'arrondi, certains éléments de Ak+2 aient "encore" des
parties imaginaires non nulles. C'est pourquoi on utilise une méthode particulière, appelée
méthode du double QR, due à J. C. C. Francis, qui combine les deux étapes précédentes
ans faire intervenir de nombres complexes.
Comme Ie dit G. Strang, "[the QR algorithm is] one of the most remarkable algo-
rithms in numerical mathematics" (cf. (1), p. 282). Effectivement, il est remarquable qu'une
méthode, aussi simple à décrire qu'efficace, ait opposé, et continue d'opposer, une grande
résistance à l'analyse mathématique, à telle enseigne qu'aucune démonstration de
convergence dans Ie cas Ie plus général (matrice non hermitienne ; méthode QR avec
(I) STRANG, G. - Linear Algebra and its Applications, Academic Press, New York, 1976.

CALCUL DES VECTEURS PROPRES
129
translations) n'existe à l'heure actuelle, sans qu'il existe non plus de contre-exemple
à la convergence! A titre indicatif, on a établi successivement (par ordre de généralité
"à peu près" croissante) la convergence dans les cas suivants (la liste donnée ci-dessous
n'est pas exhaustive) :
- conditions nécessaires et suffisantes de convergence pour des matrices de Hessen-
berg, sans translations (1) ;
- matrices tridiagonales symétriques, avec stratégie appropriée de translations (2)
(une nouvelle démonstration a été proposée en (3)) ;
- matrices de Hessenberg normales, avec stratégie de translations (4) ;
- matrices de Hessenberg quelconques, avec stratégie de translations (5).
Pour des compléments très utiles et souvent indispensables (par exemple, la mise
à l'échelle préalable de la matrice A) concernant la mise en oeuvre pratique de la méthode,
on consultera (6). On vient par ailleurs de découvrir un lien entre la méthode QR et les
systèmes dynamiques  voir par exemple Watkins (1984).
6.4. Calcul des vecteurs propres
Lorsqu'on souhaite calculer l'ensemble, ou au moins un "grand" nombre, des vecteurs
propres d'une matrice donnée, certains des algorithmes précédemment décrits pour Ie
calcul des valeurs propres fournissent déjà les approximations cherchées. C'est ainsi
qu'on a établi au théorème 6.1-3 la convergence des vecteurs propres pour la méthode
de Jacobi classique appliquée à une matrice symétrique dont toutes les valeurs propres
sont distinctes.
De la même façon, la méthode QR appliquée à une matrice quelconque A, réduite
tout d'abord à une matrice de Hessenberg H = P-lAP, conduit à construire des matrices
A k + 1 = (Q1Q2 . .. Qk)-1 H(Q1Q2 .. . Qk)'
qui "deviennent" triangulaires supérieures (au moins dans certains cas; c/. théorème
6.3-1). Si donc l'on calcule les produits Qk = QIQ2 . . . Qk, on peut espérer en déduire
des approximations des vecteurs propres de la matrice A, à partir du moment où l'on
considère que la matrice Ak est effectivement triangulaire supérieure, c'est-à-dire OÙ
tous les éléments (Ak)ij, j <: i, sont suffisamment petits pour être remplacés par zéro.
Mais on ne perdra naturellement pas de vue que de telles considérations, purement
int.uitives, ne constituent en aucune /açon un début de justification de la "méthode"
proposée.
Raisonnons en effet comme si, pour un entier k approprié, la matrice
Q -l -1 Q déf
k P AP k = T = (tij)
était triangulaire supérieure, et supposons que les nombres tii, c'est-à-dire les nombres
(A k + 1 )ii, soient tous différents (ce sera Ie cas pour une valeur suffisamment grande de
(1) PARLETT B. N. - Global convergence of the basic QR algorithm on Hessenberg matrices,
Math. Comp., 22 (1968), 803-817.
(2) WILKINSON J. H. - Global convergence of tridiagonal QR with origin shifts, Linear Algebra
and Appl., 1 (1968), 409-420.
(3) HOFFMANN W., PARLETT B. N. A new proof of global convergence for the tridiagonal QL
algorithm, SIAM J. Numer. Anal., 15 (1978), 929-937.
(4) BUUREMA H. J. - A geometric proof of convergence for the QR method, Thèse, Université de
Groningen, 1970.
(5) LEBAUD C. - L'algorithme double QR avec "shift", Numer. Math., 16 (1970), 163-180.
(6) WILKINSON J. H., REINSCH C. - Handbook for Automatic Computation, Vol. II, Springer-
Verlag, Berlin, 1971.

130
V ALEURS PROPRES ET VECTEURS PROPRES
l'entier k si les hypothèses du théorème 6.3-1 sont satisfaites). On vérifie alors facilement
que Ie vecteur qi de composantes qJ, 1  j  11, où
qf == 1, q == ... == q == 0 Sl i == 1,
i _
qi+1 -
== q i == 0
n '
i - 1
qi - ,
q  --
] -
t j ,j+1q]+ 1 +
( t ..-t,, )
]] II
+ t.. q !
]1 I
j == (i-I), ...,1,
Sl
i  2,
est un vecteur propre de la matrice T r.orrespondant à la valeur propre tu de cette même
matrice. Les vecteurs qi, 1  i  n, formant ainsi une base de vecteurs propres de la
matrice T, les vecteurs pQkqj, 1  i  n, forment une base de vecteurs propres de la
matrice A.
II arrive également que l'on s'intéresse uniquement au calcul d'ull .leul 'ecteur propre
(ou en tout cas d'un petit nombre), correspondant à une valeur propre d'une matrice
A dont on connaît une approximatioll À, calculée par exemple par l'une des méthodes
décrites au début de ce chapitre. La méthode la plus couramment utilisée est la méthode
de fa puis,s'ance inrer,s'e, appelée encore 111éthode de,s' itération,s' inrer.S"eJ" ("inverse power
method" et "inverse iteration method', respectivement, dans la littérature anglo-saxonne).
Cette méthode itérative est définie de la façon suivante :
(A-ÀI) uk+1 == Uk, k  0, u o : vecteur arbitraire non nul.
On observe déjà que fa méthode n' e,s't pa,s' définie,s'Î; appartient au .spectre de A. On reviendra
sur ce point.
Nous allons maintenant énoncer des conditions suffisantes pour que la méthode four-
nisse une approximation d'un vecteur propre correspondant à la valeur propre de
la matrice A la plus voisine de 1.. :
-fhéorème 6.4-1 (" convergence" de la méthode de la puissance inverse). Soit A une matrice
diagonalisable, et Â, une ,aleur pro pre, simple ou non, de cette matrice. On uppose que Ie
nombre 1 vérifie
1  Â"
et
I - I I - ,
;Â,-Â" <: Â,-p
pour tout
P E {sp (A)-{Â,}},
et que Ie vecteur Uo n'est pas contenu dans Ie sous-espace engendré par les vecteurs propres
correspondant aux valeurs propres dijférentes de Â,.
Alors, si II · II désigne une norme vectorielle quelconque,
- k
. ( (Â, - Â,) Uk )
klm IÂ.-il k " 'I Uk II =q,
où q est un J'ecteur pro pre cor respond ant à la valeur pro pre Â,.
DÉMONSTRATION. Appelons fli, 1  i  m, les valeurs propres de la matrice A
différentes de )'" multiplicités éventuelles comprises, et notons qi les vecteurs propres
correspondants linéairement indépendants. Les hypothèses permettent d'écrire
m
U o == q+ L 'Xiqi, avec q  0,
i=1
Ie vecteur q étant un vecteur propre correspondant à la valeur propre Î.. II s'ensuit que
(on a supposé À  sp (A))
Uk
1 q _ +  'Xi
l.J qj.
(À- À)k i=1 (flj- À)k

CALCUL DES VECTEURS PROPRES
131
Dans ces conditions,
m ( À- ) k
(À - )k Uk == q + L ; - q; ,
;=1 f-Li-
ce qui entraîne
(À- )k Uk = q +ð k , avec lim ð k = 0,
k-+oo
puisque I À-  I <: I f-Li -  I, 1  i  m, par hypothèse ; donc
IÀ-lk"Ukll = 1I(jII+êk, avec lim êk =0.
k-+oo
Par suite, pour des valeurs suffisamment élevées de l'entier k (telles que II Uk II  0),
(À- )k Uk
I À-k I k II Uk"
q+ð k
Ilqll+êk
et l'assertion découle de la relation ci-dessus.
II
REMARQUES. (1) Si la méthode de la puissance inverse est employée en conjonction
avec la méthode de Givens-Householder, il est évidemment préférable de l'appliquer à
la matrice tridiagonale B = pT AP obtenue après la première étape de la méthode plutôt
qu'à la matrice A : il est en effet plus rapide de résoudre des systèmes linéaires à matrices
tridiagonales plutõt que des systèmes linéaires à matrices pleines (cf. paragraphe 4.3).
Une fois trouvé un vecteur propre q de la matrice B, il reste à calculer Ie vecteur Pq,
qui est Ie vecteur propre correspondant de la matrice A.
(2) Si À et  sont réels,
ou bien
lim
Uk
-=q
II Uk"
Sl
 <: Â,
k -+ ex>
ou bien lim (-I)k --- = q Sl À <: ,
k-+oo " Uk II
de sorte que la simple observation de la "convergence" de la méthode permet dans ce
cas de décider-5i  est une approximation de la valeur propre À par défaut ou par excès.
(3) L'hypothese q  0 n'est pas une restriction en pratique car, du fait des erreurs
d'arrondi, il est probable que l'un des vecteurs Uk aura une "petite" composante sur Ie
sous-espace propre correspondant à la valeur propre À ; dès lors, on se trouve dans les
conditions d'application du théorème 6.4-1.
(4) Au vu de l'expression trouvée dans la démonstration précédente pour les vecteurs Uk,
on se convainc facilement que la suite (Uk)kO ne converge pas en général. C'est là la
raison pour laquelle on "normalise" les vecteurs Uk.
(5) On a déjà noté Ie caractère essentiel de la condition À  À, afin que la matrice
(A - I) soit inversible. Mais par ailIeurs il est souhaitable que  soit aussi voisin que pos-
" ( À-À )
sible de A. afin d'accélérer la convergence, les nombres - , 1  i ::s:; m, convergeant
f-Li- À
en effet d'autant plus vite vers zéro que  est voisin de À. On est donc soumis à deux
influences contradictoires : D'une part, si À est très voisin de À, on accélère la convergence;
d'autre part, si  est "trop" voisin de À, la matrice (A-I) est "presque" singulière (cette
notion liée à la présence des erreurs d'arrondi est évidemment purement "numérique").
On trouvera une excellente discussion à ce sujet dans(1). II
(1) PETERS G., WILKINSON J. H. - Inverse iteration, ill-conditioned equations and Newton's
method, SIAM Review, 21 (1979), 339-360.

DEUXIÈME PARTIE
OPTIMISA TION

7
RAPPELS ET COMPLÉMENTS
DE CALCUL DIFFÉRENTIEL.
PREMIÈRES APPLICATIONS
Introduction
L'objectif du présent chapitre est d'amener peu à peu les lecteurs dans Ie "vif du sujet"
de I'Optimisation, en partant du Calcul Différentiel. Les divers résultats qui y sont établis
seront d'un usage constant par la suite.
Pour commencer, on passe en revue au paragraphe 7.1 les principales définitions et les
résultats fondamentaux du Calcul Différen1iel dans les espaces vectoriels normés (déri-
vabilité d'une fonction composée, théorème des accroissements finis, théorème des fonc-
tions implicites, formules de Taylor). On s'est volontairement limité aux dérivées premi-
ères et secondes, puisque nous n'aurons pas l'usage de dérivées d'ordre supérieur.
Après avoir rappelé (théorème 7.2-1) la condition nécessaire d'extremum relatif, ap-
pelée équation d'Euler.
J'(u) = 0,
pour une fonction J définie sur un ensemble ouvert, on examine comment cette condition
doit être modifiée lorsqu'on considère des fonctions définies sur des ensembles non ouverts
particuliers. De façon plus précise, on s'intéresse au problème suivant : trouver des con-
ditions nécessaires, et des conditions sujJisantes, pour qu'un point d'un ensemble U soit
un extremum relatif de la restriction à l'ensemble U d'une fonction J définie sur un en-
semble "plus grand" (par exemple I'espace tout entier, ou, plus généralement, un ouvert).
Un premier exemple est celui des extremums relatifs liés, où l'ensemble U est de la forme
U = {v E Q ;qJ;(v) = 0, 1  i  m}, Q: ouvert deRn,
les fonctions qJi: Q c Rn -+ R étant données. Sous des hypothèses convenables, nous
établissons l'existence des multiplicateurs de Lagrange Å; en un extremum relatif 1ié u,
qui vérifient (théorème 7.2-3)
m
J'(u)+ L Å;qJ;(u) = 0,
;=1
ce résultat étant lui-même obtenu comme Ie corollaire d'un résultat général (théorème
7.2-2).
On montre ensuite comment la prise en compte des dérivées secondes permet, d'une part,
de donner une deuxième condition nécessaire d'extremum et, d'autre part, de donner des

136
CALCUL DIFFÉRENTIEL, PREMIÈRES APPPLIC A TIONS
conditions suffisantes, dans Ie cas de fonctions J définies sur un ourert Q d'un espace
vectoriel normé V: si un point II de Q est un minimum relatif. alors (théorème 7.3-1)
J"(u) (w, w)  0 pour tout w E V.
Iti ersement s'il existe  tel que
 >- 0, J"(u) (w, w)  x!l W !!2 pour tout )t' E V,
ou bien s'il existe un voisinage B de u tel que
J"(v)(w, w)  0 pour tout l' E B, w E v.
alors Ie point u est minimum relatif (théorème 7.3-2).
II est clair que Ia condition nécessaire J'(II) = 0 d'extremum relatif en un point u d'un
ouvert est grossièrement fausse ell gélléral (considérer par exemple la fonction J(v) = v
sur un intervalle [a, b] c R). Un premier exemple de situation où on peut la généraliser
convenablement correspond à des ensembles U définis par des "contraintes" f{Ji(V) = 0,
1  i  m : c'est Ie cas, déjà signalé, correspondant aux multiplicateurs de Lagrange.
Un deuxième exemple, traité au paragraphe 7.4, est celui où les ensembles U sont con-
vexes: si une fonction J admet un minimum relatif par rapport à un ensemble convexe U,
alors (théorème 7.4-1)
J'(u) (r-u)  0 pour tout v E U,
ces conditions, appelées inéquatiolls d'Euler, étant également suffisantes pour l'existence
d'un minimum si Ia fonction Jest elIe-même convexe (théorème 7.4-4).
On notera que la prise en compte des dérivées secondes, comme la prise en compte de Ia
convexité, permet de distinguer entre 111inÙl1U111S et nlaximums, d'une part (et même
parfois de préciser si ce sont, par exemple, des minimums stricts, ou encore des minimums
sur l'ensemble tout entier), et d'énoncer des conditions suffisantes, d'autre part.
Pour terminer, on décrit au paragraphe 7.5 une famille de fnéthodes itératives permet-
tant d'approcher les zéros de la dérivée d'une application J, c'est-à-dire des points u en
lesquels J'(u) = O. II s'agit des méthodes de Newton, dont Ie "prototype" consiste à
définir Ia suite
Xk+l = xk-{f'(Xk)}-l f(Xk), k  0,
pour approcher un zéro d'une application f définie sur un ouvert. Pour cette méthode,
et ses variantes, nous établissons des résultats de convergence et d'existence de zéros
(théorèmes 7.5-1 et 7.5-2). Dans Ie cas de la recherche des zéros d'une dérivée J', ces
méthodes se présentent sous la forme (théorèmes 7.5-3 et 7.5-4)
Uk+l = uk - Ak'l(Uk) J'(Uk), k  0,
où Ies applications linéaires Ak(Uk) sont, par exemple, des "approximations" des dérivées
secondes J"(Uk).
Afin de donner une plus grande généralité aux résultats de ce chapitre, et parce que
les démonstrations sont exactement les nzêmes, nous avons délibérément "abandonné"
Rn pour nous placer dans des espaces vectoriels normés quelconques, ce qui nous con-
duit notamment à utiliser à plusieurs reprises la notion d'espace de Banach, c'est-à-dire
d'espace vectoriel normé complete Le lecteur, ou la lectrice, non averti(e) pourra sans
inconvénient remplacer partout "espace complet" par Rn, "A E J2.(X ; Y)" par "A est
une matrice", "II . 1I.e(x ; Y)" par une "norme matricielle subordonnée", etc.
Dans ce chapitre, tous les espaces vectoriels considérés sont réels.

DÉRIVÉES PREMIÈRE ET SECONDE
137
7.1. Dérivées première et seconde d'une application
Si X et Y sont deux espaces vectoriels normés, on désigne par
.J2(X ; Y), ou simplement .J2(X) si X = Y,
l'espace vectoriel formé par les applications Iinéaires continues de X dans Y. C'est un espace
vectoriel normé par
IIAII == sup /I Axlly ,
{ xE x II x II x
xo
et c'est un espace complet si l'espace Y est complet. Dans Ie cas où X = Y = Rn,
la norme définie ci-dessus n'est pas autre chose qu'une norme matricielle subordonnée
(à une norme vectorielle de Rn). Lorsque Y == R, on écrit généralement
.J2(X; R) = X',
et on appelle l'espace X' Ie dual de X.
De la même façon, on désigne par J2 2 (X ; Y) l'espace des applications bilinéaires conti-
nues de XXX dans Y, c'est-à-dire qui vérifient
B((X,lx I +(X,2x2' x) == xIB(x l , x)+a 2 B(x2' x),
B(x, IXl +(X,2 X 2) = (X,lB(x, xl) +(X,2 B (x, x 2 ),
pour tout x, x l' x 2 E X et pour tout Xl' a 2 E R, et
déf
II B I L.e 2 (x; Y) == sup
{ Xh x2EX
XlO, X20
II B(x l , X 2 ) lIy
<+00.
IIxlllxllx211x
C'est un espace vectoriel normé par l'application II · 11..e 2 (x; Y) définie ci-dessus.
Dans tout ce paragraphe, l'écriture
[:QcX-+Y
signifiera systématiquement que fest une application d'un ouvert Q d'un espace vectoriel
normé X dans un espace vectoriel normé Y.
On dit qu'une application [: Q c X -+ Yest dérivable en un point a E Q s'il existe un
élément, noté f'(a), de l'espace .J2(X ; Y) tel que l'on puisse écrire
f(a+h) == f(a)+f'(a)h+1I h II E(h), lim E(h) = O.
h.-.O
On montre alors facilement qu'un tel élément f'(a) est unique s'il existe, et on appelle
f'(a) la dérivée (première) de l'application f au point a. Dans Ie cas où X = Y = R, on
utilise également la notation f'(a) == _ _df (a).
dx
REMARQUE. C'est en particulier pour assurer l'unicité de la dérivée qu'il est commode
de supposer que Ie domaine de définition de I'application fest ouvert. II
Une application dérivable en un point est continue en ce point. Par ailleurs, on notera que
si f: Q c X.-. Yest dérivable en a E Q, alors, pour tout vecteur h de X,
f'(a+()h)- f(a)
f'(a) h = lim ()
8.-.0

138
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
REMARQUE. lei, eomme ailleurs, on omet de préeiser qu'il faut naturellement se limiter
aux valeurs de () pour lesquelles les points (a+()h) appartiennent au domaine de définition
de f, eeci dans un souci évident d'alléger l'éeriture ! II
On dit que /' application I: Q c X  Yest dérivable dans Q si elle est dérivable en tout
point de Q. On peut alors définir une application
1/ : x E Q c X  I/(x) E J2.(X ; Y),
appelée application dérivée. Si l'application dérivée 1/ : Q c X  Jl.(X ; Y) est continue,
on dit que l'applieation I: Q c X  Yest (une fois) continûment dérivable dans Q, et
on écri t
f E f--?,1(Q).
Par exemp]e, une application affine continue
I: x E X  j'(x) = Cx+d E Y 1
où C E J!(X ; Y) et d E Y, est dérivable dans X 1 et
f'(a) = C pour tout a E X,
puisque f(a+h) = f(a)+Ch. Si BE J2 2 (X ; Y), l'applieation f définie par
j': x E X  f(x) = B(x.. x) E Y.
est dérivab]e dans X, et
f'(a) h = B(h, a) + B(a. h),
pUIsque
f(a+h) =f(a)+B(h, a)+B(a, h)+B(h, 11),
IIB(h, a)+B(a, h) II  211BilllalllllllJ,
II B( h , h) II  II B 1/ II h 11 2 .
Si l'app]ieation bilinéaire Best symétrique, e'est-à-dire si
B(x, y) = B(y, x) pour tout x, y E X,
la formule précédente devient
f"(a) h = 2B(a, h).
Si Z = Z l XZ 2 X . . . XZ p est un produit d'espaces vectoriels normés Zi (I'espace Zest
naturellement muni de la topologje produit), on note
7 -
- -
Z2
Z1
Zi E Zi, 1  i  p,
Zp
un élément quelconque de Z, cette notation étant ]a généralisation naturelle de la notation
matricielle emp]oyée pour les vecteurs usuels. La donnée d'une application
j': Q c X  Y = YtX Y 2 X . . . X Y",

DÉRIVÉES PREMIÈRE ET SECONDE
139
revient à se donner nl applications composanteJ' fi : Q c X  Y i , de telle façon que
I(x) =
pour tout x E Q.
On établit facilement que l'application I est dérivable en un point a E Q si et seulement si
chaque application compoJ'ante ['est aussi, et alors
I'(a) =
I; (a)
I(a)
II (a) E Jl(X; Y;),
1:Z(a)
!'espace J},(X; Y) s'identifiant de façon naturelle au produit des espaces J2(X; Y;).
Considérons ensuite une application
I:Q c X I XX 2 X ... XX n -+ Y
d'un ouvert Q d'un produit d'espaces vectoriels normés: ce que l'on appelle parfois une
"fonction de Il variables". Soit a un point de Q, de composantes aI' a2' . . ., an, et soit
k E {I, 2, . . ., n} l'un des indices. Par définition de la topologie produit, il existe un
ouvert Qk C X k tel que tous les points de composantes aI' . . ., ak-l, Xk, ak+l, · · ., an
appartiennent à l'ouvertQ lorsque Ie point Xk appartient à l'ouvert Qk. Par suite, on peut
étudier la dérivabilité éventuelle de l' application partielle
l(a l , ..., ak-l, ., ak+J, ..., an) :Qk C Xk  Y.
Si cette application est dérivable au point ak E Qk, on note
ôkf(a) E J2(Xk; Y)
sa dérivée, appelée dérivée partielle de la 10llction j' au point a, par rapport à la k-ième
variable.
Si une application
I:Q eX =X 1 XX 2 X...XX n -+ Y
eJ't dérivable ell un point a E Q, on étabIit aisément qu'elle possède des dérivées partielles
par rapport à chacune des variables et que, de plus,
n
f'(a) h = L Ok I(a) h k , pour tout h =
k=1
hI
h 2
EX.
h n
La réciproque est grossièrement inexacte : ainsi la fonction
f: x = (Xl' X 2 ) E R2 -->- { 
Sl X I X2 = 0,
autrement,
possède deux dérivées partielles au point (0, 0) (car les applications partielles y sont
constantes) sans être dérivable en ce point, puisqu'elle n'y est pas continue.
Supposons enfin que
X=X I XX 2 X,.,XX n et Y=Y I XY 2 X...XY m ,

140
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
de sorte qu'une application I: Q c X -+ Yest déterminée par la donnée de m fonctions
Ii : Q c X -+ Y i de n variables. Alors la rela tion
hI k 1
k=I'(a)h, avec h= h 2 EX et k= k 2 EY,
h n
k m
équivaut aux relations
n
k i = L oj/;(a)h j , 1 im.
j=1
Un cas particulier très important pour fa suite est celui où X = Rn et Y = Rm. Alors
les relations précédentes s'écrivent sous la forme matricielle
k 1 0 1 / 1 (a) 02/ 1 (a) On 11 (a) hI
k 2 0 1 / 2 (a) o 2 1 2 (a) ... On/2 (a) h2
-
.
.
k m ollm(a) 02/m(a) ... onfm(a) h n
les nombres Ô j/;(a) étant les dérivées partielles "usuelles". souvent notées ôô; (l!)'
J
La matrice ((0 j/;(a)) représente donc l'application linéaire I'(a) E (Rn; Rm). C'est pour-
quoi on l'appelle, par abus de langage, matrice dérivée de l'application I en a. Si m = n,
son déterminant s'appelle Ie Jacobien de l'application f au point a.
REMARQUE. L'espace .,e(R) s'identifiant à l'espace R, les dérivées partielles 0; f(a) d'une
application I: Q c Rn -+ R peuvent être effectivement considérées comme des nombres
réels. II
On notera au passage que les dérivées partielles o;f(a) d'une fonction f: Q c Rn -+ R
vérifien t
0; f(a) = f'(a) e;,
e; désignant comme d'habitude Ie i-ème vecteur de la base canonique de Rn.
Le résultat suivant, qui permet de calculer la dérivée d'une application composée, est
constamment utilisé.
- Théorème 7.1-1. Soit I: Q c X -+ Y une application dérivable en un point a E Q, et
g : Q' c Y -+ Z uneapplicationdéri,ableaupoint b = f(a) E Q/. On suppose I(U) c U'.
Alors I'application composée
I
h = gf: Q c X -+ Z
est déri,able au point a E Q, et
h'(a) = g'(b)f'(a).
Dans Ie cas d'applications
I: Q c Rn -+ Rm, g: Q/ C Rm -+ R/,
à la composition des déri,ées g' (b) et 1'( a), correspond la multiplication des matrices dérivées
des applications en cause:
( Ôll<a) ... Ô l<a) ) = ( Ôlfl<b) '" ô mr<b) ) ( Ôl?<a) ... Ô nda) ) ,
ol h l(a) ... ônh/(a) ôlg/(b) ... omg/(b) ol/m(a). · · onlm(a)

DÉRIVÉES PREMIÈRE ET SECONDE
141
ce qui peut encore s'écrire:
m
ajhj(a) = L akg;(b) ajfk(a), 1  i  I, 1 j  n.
k=l
II
Pour compléter ces rappels concernant les dérivées premières, nous allons énoncer
deux résultats fondamentaux du Calcul Différentiel (théorèmes 7.1-2 et 7.1-3). Le premier
concerne l'extension de la formule des accroissements finis "usuelle" : étant donné une
fonction réelle continue sur un intervalle [a, b], dérivable sur l'intervalle ]a, b[, il existe
un point c E ]a, b[ tel que I(b)- I(a) = I'(c) (b-a). Cette lormule ne se généralise
pas telle quelle: ainsi, l'application I: t E R -+ I(t) = (cos t, sin t) E R 2 est telle que
f(2 n) - f(O) =(0. 0). sans que la dérivée f'(1) =( - sin t. cos t) s'annule dans l"intervalle
]0.2 n[.
Si l'on ne peut généraliser la formule, on peut par contre généraliser la majoration
I I(b)- I(a) I  sup I 1'(t)11 b-a I
tE]a, b[
qui en découle (Ie cas où sup I I'(t) I = + 00 n'est pas exclu ; il ne donne d'ailleurs
t E ]a, b[
aucun renseignement 0. Si a et b sont deux points d'un espace vectoriel X, on utili-
sera les notations suivantes :
[a, b] = {x = ta +(1- t) b EX; t E [0, I]} ,
]a, b[ = {x = ta+(l-t)b EX; tE]O,l[},
pour désigner Ie segment lermé et Ie segment ouvert, respectivement, d'extrémités a et b.
Théorème 7.1-2 (théorème des accroissements finis). Soit f: Q c X -+ Y, et a et b deux
points de Q tels que Ie segment [ a, b] soit contenu dans Q. On suppose l'application f con-
tinue en tout point du segment fermé [a, b] et dérivable en tout point du segment ouvert
]a, b[. Alors,
Ilf(b)-f(a)lly  sup Ilf'(x)II.e(x;y)llb-alix.
xE ]a, b[
II
On déduit de nombreuses conséquences de ce résultat, notamment : SiX =X 1 XX 2 X
X . . . XX n est un produit d'espaces vectoriels normés, alors l' application 1 est continû-
ment dérivable dans Q si et seulement si les dérivées partielles okl(x), 1  k  n, existent
en tout point xEQ et si les applicationsdérivéespartielles akf': xEQ -+ a k l(x)E.J2(X k ; Y)
sont continues dans Q.
A l'aide du théorème des accroissements finis (et du théorème du point fixe), on dé-
montre également un autre résultat fondamental du Calcul Différentiel (que nous utili-
serons d'ailleurs de façon essentielle dès Ie paragraphe suivant). II s'agit du théorème
des lonctions implicites, qui apporte une réponse au problème suivant : soit Xl' X 2 et Y
trois espaces vectoriels normés, et q; : Xl XX 2 -+ Y une application donnée. Étant donné
un point bEY, il se peut que, pour tout élément xl E Xl' i1 existe un élément X2 E X 2 et
un seul tel que q;(x1' X2) = b, ce qui définit une application I: xl E Xl -+ X2 E X 2' appe-
lée lonction implicite, vérifiant
q;(x1,/(X1)) = b pour tout xl E Xl.
Naturellement, ce genre de circonstance est exceptionnel, et il est Ie plus souvent
illusoire d'espérer démontrer l'existence d'une fonction implicite définie sur l'ensemble
X 1 tout entier. Par contre, il est plus réaliste de chercher un résultat d'existence local:
supposant l'existence d'une solution particulière (a1' a2) de l'équation q;(X1' X2) = b,

142
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
on cherche à queUes conditions on peut définir X2 comme une fonction implicite de Xl
dans un voisinage convenable du point (aI' a2)' C'est l'objet du résultat qui suit, où l'on
étudie également les propriétés de continuité et de dérivabilité de la fonction implicite.
On notera aussi qu'il est essentiel d'avoir une connaissance "préalable" d'une solution
part iculière.
Si X et Y sont deux espaces vectoriels normés, on notera
Isom (X; Y), ou simplement Isom (X) si X = Y,
l'ensemble des applications linéaires continues, bijectives de X sur Y, d' applications
inverses continues.
--. Théorème 7.1-3 (théorème des fonctions implicites). Soit cp: Q c X I XX 2 -+ Y une
application unefois continûment dérivable dans Q, et (ah a2) E Q, bEY, des points tels
que
cp(ah a2) = b, ô2cp(ah a2) E Isom (X 2 ; Y).
On suppose l'espace X 2 complete
Alors il existe un ouvert 01 C Xl, un ouvert 02 C X 2 , et une application continue,
appelée fonction implicite,
{: 0 1 C Xl -+ X 2 ,
tels que (ah a2) E 01X02 C Q et (cf.fig"re 7.1-1)
{(Xh X2) E 01X 0 2 ; CP(Xh X2) = b} = {(Xh X2) E OIXX 2 ; X2 = {(Xl)}.
De plus, l'applicationf est dérivable au point ah et
{'(aI) = -{ô2cp(ab a2)} -1 Ôlcp(ah a2).
II
REMARQUES. (1) Supposant établie la dérivabilité de la fonction implicite au point aI'
la dérivée se calcule par une application du théorème 7.1-1 à la fonction composée
X 2
'
:2.
O 2
X 2
a2,
Ot
x.
3 1 X,
FIG. 7.1-1.
h: Xl E 0 1 -+ {cp(X I , f(X1))-b} = 0 E Y.
II suffit en effet d'écrire
o = h'(a I ) = oICP(al' a2)+ô2CP(a I , a2) f'(a 1 ).
(2) Pour un élément Xl E 0 1 donné, il
peut naturellement exister des éléments
x E X 2 tels que x  X2' (Xl' X) E Q et
CP(Xl' X) = b, mais alors x  O 2 (cf.
figure 7.1-1).
(3) En fait, il existe un ouvert O tel que
a l E O C 0 1 et tel que la fonction implici-
te so it dérivable en tout point de cet ouvert.
(4) On utilise fréquemment Ie corollaire
suivant du théorème des fonctions impli-
cites, appelé théorème d'inversion locale:
Soit g: Q2 C X 2 -+ Xl une application une fois continûment dérivable, et al E X b
a2 E Q2, des points tels que
al = g(a2), g'(a2) E Isom (X 2 ; Xl).
On suppose l'espace X 2 complete

DÉRIVÉES PREMIÈRE ET SECONDE
143
Alors il existe un ouvert 0 1 C X b un ouvert O 2 C X 2 , et une application continue
f: 0 1 C X] -+ X 2 , tels qlle a2 E O 2 C Q2 et
{(x], X2) E 01X02; Xl = g(X2)} = {(Xh X2) E 01X X 2; X2 = {(Xl)}.
De plus, I'application { est dérivable en ab et
{'(al) = {g'(a2)} -1.
II
Passons ensuite à la notion de dérivée seconde d'une application. Soit I: Q c X  Y
une application dérivable dans Q. Si l'application dérivée
I' : Q c X -+ J2(X ; Y)
est dérivable en un point a E Q, sa dérivée, notée
déf
I"(a) = (/')'(a) E .J2(X; .J2(X; Y)),
est appelée la dérivée seconde de l' application I all point a, et on dit que I' application I est
deux lois dérivable au point a.
Utilisant l'isomorphisme canonique entre l'espace (X; .J2(X; Y)) et l'espace .J2 2 (X; Y)
des applications bilinéaires continues de X dans }:', on identifie la dérivée seconde à une
application bilinéaire continue de X dans Y. et on écrit
I"(a) (h, k) = (/"(a) h) k,
pour tout h, k E X. Grâce au théorème des accroissements finis, on démontre que la
dérivée seconde est une application bilinéaire symétrique, en ce sens que
I"(a) (h, k) = I"(a) (k, h)
pour tout h, k E X.
L'applÌcation I est dite deux lois dérivable dans Q si elle est deux fois dérivable en tout
point de Q ; on peut alors définir l' application dérivée seconde
I" : Q c X - J2 2 (X; Y).
Si cette dernière application est continue, l'application I est dite deux lois continûment
dérivable dansQ, et on écrit
f' E @2(Q).
Pour ce qui concerne Ie calcul effectif des dérivées secondes, on utilise constamment Ie
résultat suivant, qui permet de se ramener à des calculs d dérivées premières : étant
donné deux vecteurs quelcollques h, k E X, l'élément I"(a) (h, k) E Yest égal à la dérivée
au point a E Q de l'application x E Q -+ I'(x) kEY, appliquée au vecteur h.
Considérons par exemple une application de la forme
I: x E X -+ I(x) = B(x, x)+Cx+d E Y
où B E J2 2 (X: Y), C E J2(X; Y), d E Y. On a déjà établi que cette application est une
fois dérivable dans X et que
I'(x)k = B(k, x)+B(x, k)+Ck,
pour tout x, k E X. Le vecteur k E X étant fixé, l'application g: x E X  I'(x)k E Y
est ici affine; elle est donc dérivable dans X, et on obtient
I"(a)(h, k) = g'(a) h = B(h, k)+B(k, h),
par application du résultat ci-dessus.

144
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
Dans Ie cas particulier où X = Rn et Y = R, soit h = (h;) et k = (k;) deux vecteurs
de Rn muni de sa base (e;). La dérivée seconde I"(a) étant une application bilinéaire t
I"(a) (h, k) = L h;kjl"(a) (ei' ej),
i,j
où, d'après ce qui précède,
I"(a) (e;, ej) = Ôi(Ô jl) (a) = I"(a) (ej' e;).
Alors les nombres
déf
ôijl(a) = Ôi(Ô jl) (a)
ne sont pas autre chose que les dérivées partielles secondes "usuelles", également notées
Ô ô (a). Si n = 1, on note aussi d 2 { (a) la dérivée seconde f"(a), qui s'identifie
Xi Xj dx
dans ce cas à un élément de R.
Passons main tenant en revue diverses lormules de Taylor. La première formule généra-
lise Ia définition de la dérivée première d'une application, et la seconde généralise Ie
théorème des accroissements finis (théorème 7.1-2). Quant aux troisième et quatrième
formules, elles donnent une expression du "reste", la quatrième généralisant la formule
i a+h (1
f(a+h)-f(a) = a f'(()) d() = J o f'(a+th)h dt
bien connue pour les fonctions réelles de variable réelle. Pour la commodité des lecteurs t
les résultats sont présentés sous forme de deux théorèmes (au prix de redites dans Ie
premier). Enfin, on observera que les formules sont données avec des hypothèses de
plus en plus "fortes".
- Théorème 7.1-4 (Iormules de Taylor pour les fonctions une fois dérivables). Soit f: Q c
c X  Y et [a, a+ h) un segment fermé quelconque contenu dans Q.
(1) Sil est dérivable en a, alors
f(a+h) =/(a)+f'(a)h+llhlle(II), Jim e(h) = O.
h.-..O
(2) Formule des accroissements finis: si 1 E @o(Q) et fest dérivable sur ]a, a+h[ 
alors
II I(a+h)-f(a) II  sup IIf'(x)llh.
x E ]a,a +h[
(3) Forlnulede Taylor-Maclaurin: sif E (0)(Q),1 estdérivable sur ]a, a+h[, et Y = R,
alors
f(a+h) =f(a)+f'(a+Oh)h, 0 <: 0 <: 1.
(4) Formule de Taylor avec reste intégral: si 1 E @l(Q) et Yest un espace complet,
alors
f(a+h) =f(aH f {f'(a+th)h}dt.
II
-
Théorème 7.1-5 (Iormules de Taylor pour les lonctions deux lois dérivables). Soit
I: Q c X .-.. Yet [a, a+h] un segmentfermé quelconque contenu dans Q.
(1) Formule de Taylor-Young: si 1 est dérivable dans Q, et deux fois dérivable en a,
alors
1 
f(a+h) = l(a)+I'(a) h+ 2 I"(a) (h, h)+ II h 11 2 e(h),
Iim e(h) = o.
h.-..O

DÉRIVÉES PREMIÈRE ET SECONDE
145
(2) Formule des accroissementsfinis généralisée: sif E @l(Q) etl est deuxfois dérivable
sur la, a+ h[, alors
1
Ilf(a+h) -/(a)-f'(a)hll  _ 2 sup II f"(x) II 111111 2 .
xE]a, a+h[
(3) Formule de Taylor-Maclaurin: sif E @l(Q),f est deux fois dérivable sur]a, a+h[,
et Y = R, alors
1
f(a+h) =f(a)+f'(a)h+ 2 " f"(a+Oh)(h, h), 0 -< 0 -< 1.
(4) Formule de Taylor avec reste intégral : si fE f!l-(Q) et Yest un espace com-
plet, alors
f(a+h) =f(aHf'(a)h+ f (l-t){f"(a+th)(h,h)}dt.
II
REMARQUES. (1) Alors que la formule (1) du théorème 7.1-4 est exactement la définition
de la derivée première, la formule (1) du théorème 7.1-5 n'est pas équivalente à la défini-
tion de la dérivabilité seconde en un point; voir à ce sujet 1 'Exercice 7.1-1.
(i2) Dans la formule des accroissements généralisée (2), l'expression 1I!"(x)" désigne
naturellement la norme de l'élémentf"(x) de l'espace vectoriel normé J2 2 (X ; Y).
(3) On sait qu'il existe (au moins) un nombre (j E ]0, 1[ tel que les formules de Taylor-
Maclaurin (3) soient vraies mais, en général, on n'a aucun autre renseignement sur (j ; on
rappelle au passage qu'i! est indispensable de se restreindre au cas Y = R (se reporter à
l'exemple donné plus haut).
(4) Pour que les formules (4) aient un sens, i1 faut savoir intégrer les fonctions
t E [0, 1] -+- {l'(a+th) h} E Y,
t E [0, 1] -+- {/"(a+th) (h, h)} E Y;
c'est la raison pour laquelle on suppose ces fonctions continues et l'espace Y complete
II
Pour terminer, précisons quelques notations particu1ièces aux fonctions de la forme
f:Q c Rn -+- R.
En tout point a où cette fonction est une fois, ou deux fois, dérivable, on introduit Ie
vecteur \1 f{a) E Rn et la matrice \12f(a) E dn(R) définis respectivement par les relations
f'(a)h = (\1f(a), h) pour tout h ERn,
f"(a)(h, k) = (\1 2 f(a)h, k) = (h, \1 2 f(a)k) pour tout h, k E R".
( ., .) désignant comme d'habitude Ie produit scalaire euclidien sur Rn. Le vecteur
\1f(a) =
.
'dnf(a)

146
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
s'appelle Ie gradient de l'application/au point a, et la matrice (symétrique)
\12/(a) =
ô 11 /(a) ... ô1nl(a)
ô 21 /(a) ... ô2nf(a)
Ô n 1!(a) ... ônnl(a)
z
s'appelle Ie Hessien de l'applicationj'au point a.
Alors que les dérivées première et seconde f'(a) et ["(a) sont définies de façon "intrin-
sèque" dans les espaces .2(Rn; R) et .2 2 (Rn; R) respectivement (l'espace .2 2 (Rn; R)
étant identifié ici à l'espace .J2(Rn)), on ne doit pas oublier que Ie gradient et Ie Hessien
en sont des représentations particulières, correspondant au produit scalaire euclidien :
Ie choix d'un autre produit scala ire sur Rn correspondrait à un autre vecteur et à une
autre matrice! On notera également que Ie gradient est Ie vecteur transposé de la matrice
dérivée (ici : un vecteur ligne) de l'applicationfen a.
Pour illustrer ces considérations, voici trois façons équivalentes d'écrire (par exemple)
la formule de Taylor-Young pour les fonctions f: Q c Rn -+ R deux fois dérivables :
z
1
f(a+h) = f(a)+I'(a)h +- f"(a)(h, h)+llhllp,(h),
2
1
f(a +h) = f(a) +( \1 f(a), h) +2" (\1 2 f(a) h, h) +(h, h) ë(h),
1
f(a+h) = f(a) + (\1f(a))T h +2" h T \12f(a)h+h T hë(h).
7.2. Extremums des fonctions réelles : multiplicateurs de Lagrange
Soit J: W -+ Rune fonction définie sur un espace topologique W. On dit que la
fonction J admet en un point u E W un minimum relatif (ou un maximum relatif) s'il
existe un voisinage 0 de u tel que
J(u)  J(v) (ou J(u)  J(v)) pour tout v E O.
S'il n'y a pas lieu de distinguer entre Ie maximum, ou Ie minimum, relatif, on dit que Ia
fonction J admet un extremum relati[au point u.
REMARQUE. C'est un abus commode de Iangage (que nous commettrons allègrement) de
dire que Ie point u lui-même est un minimum, ou un maximum, ou un extremum, relatif.
II
Commençons par un résultat bien connu.
_ Théorème 7.2-1 (condition nécessaire d'extremum relatif). Soit n un ouvert d'un espace
vectoriel normé V et J: Q c V -+ Rune fonction. Si la fonction J admet un extremum
relatif en un point u E Q et si elle est dérivable en ce point, alors
J'(u) = O.
DÉMONSTRATION. Soit v un vecteur quelconque de V. L'ensemble Q étant ouvert, i1
existe un intervalle ouvert 1 contenant 0 tel que la fonction
q; : tEl -+ q;(t) = J(u+tv)

MULTIPLICATEURS DE LAGRANGE
147
soit bien définie. Par application du théorème 7.1-1, la fonction q; est dérivable pour
t == 0, et
q;'(O) == J'(u) v.
Pour fixer les idées, supposons que Ie point u soit un minimum relatif. Alors
o  Iim q;(t)-q;(O) = q;'(0) = Iim q;(t)-q;(O)  0,
1-+-0 - t 1-+-0 + t
ce qui montre que
J'(u) v == O.
Com me Ie vecteur vest arbitraire, on déduit que J'(u) == o.
II
La relation J'(u) == 0 est parfois appelée équatioll d'Euler.
REMARQUES. (1) Le fait queQ soit ouvert est évidemment essentiel. Considérer par exemple
la fonction J(v) == v sur l'intervalle [0, 1].
(2) Si V == Rn, la condition J'(u) == 0 équivaut au système d'équations:
I al(Ul' ..., un) = 0,
Ô"J(uJ, ..., Un) == O.
II
Soit maintenant J : Q -+- Rune fonction définie sur un espace topologique Q, et U une
partie 'de Q. On dit que la fonction J admet en un point u E U un minimum relatif (ou un
maximum relatif, ou un extremum relatif) par rapport à l' ensemble U si la restriction de
la fonction J à l'ensemble U, muni de la topologie induite par celle de Q, admet en u un
minimum relatif (ou un maximum relatif, ou un extremum relatif).
Le problème des extremums relatifs Iiés est un exemple de recherche de tels extremums
relatifs pour des ensembles U et Q particuliers : Lensemble Q est un ouverl dun produit
V 1 X V 2 de deux espaces vectoriels normés et r ensem ble U est de la forme
U == {(VI' v 2 ) E Q; q;(v I , v2) == O},
où
q; : Q C VIX V 2 -+- V 2
est une application donnée. Lorsqu'il n'y a pas d'ambiguïté quant à l'ensemble U en
cause, on se contente de dire que la fonction J admet en u un extremum relatif lié.
On notera que l' ensemble U n' est pas ouvert en général (penser à une courbe de R 2
]orsque VI == V 2 == R ; par contre, il est fermé dès que l'application q; est continue).
C'est pourquoi la condition nécessaire établie au théorème 7.2-1 ne s'applique sûrement
pas en général.
Théorème 7.2-2 (condition nécessaire d' extremum relatif lié). Soit U un ouvert d'un produit
V 1 x V 2 d'espaces vectoriels normés, l'espace V 1 étant complet, soit tp : U -+ V 2 unefonction
de classe fG 1 sur U, et soit u = (uu u 2 ) un point de l'ensemble
u = { (VI' 1'2) E U ;
tp(V 1 ,V 2 ) = 0 } c: U,
en lequel
ð 2 tp(U 1 , u 2 ) E 150m (V 2 ).
Soit J : U -+ Rune fonction dérivable en u. Si la fonction J admet en u un extremum
relatifpar rapport à l'ensemble U, il existe un élément l1(u) E .!l'(V 2 ; R) tel que
J '(u) + l1(u) tp'(u) = O.

148
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
DÉMONSTRATION. On a fait les hypothèses qu'il faut pour pouvoir appliquer Ie théorème
des fonctions implicites (théorème 7.1-3) dans un voisinage du point u: il existe un
ouvert 0 1 c V 1 , un ouvert O 2 c V 2 , et une application continue!: 0 1 -.. O 2 , tels que
(u 1 , u2) E 01X02 c Q, et
(01X02)n U = {(v 1 , v2) E 01X02; V2 =!(V1)}.
Par ailleurs, la fonction implicite ! est dérivable au point u1 E 0 1 et sa dérivée a pour
expressIon
! '(u1) =-{ô 2 cp(u)}-1 Ô1CP(u).
Alors la restriction de la fonction J à l'ensemble (01 X 02)n U devient une fonction
"d'une seule variable" :
déf
G : v1 E 0 1 -.. G(v 1 ) = J( V1' !(v 1 )) E R,
à laquelle on peut appliquer la condition nécessaire (théorème 7.2-1)
G'(u 1 ) = 0 ;
en effet, la fonction G admet au point u1 un extremum relatif (utiliser la définition de la
topologie induite par V 1 X V 2 sur U) et elle est dérivable en ce point (théorème 7.1-1),
sa dérivée valant
G'(Ul) = Ô1 J (u)+Ô 2 J(u)!'(u1) = Ô1J(U)-Ô2J(U) {Ô2CP(U)}-1 ô 1 CP(u).
On a donc d'une part,
ô 1 J(u) = Ô2 J (U){Ô2CP(U)}-1 Ô1CP (u),
et puisque
Ô2J(U) = Ô2J(U) {Ô29?(U)} -1 Ô2CP(U)
d'autre part, on obtient la conclusion cherchée en posant
A(u) =-Ô2J(U){Ô2CP(U)}-I.
II
Dans la pratique, Ie résultat précédent s'emploie fréquemment dans la situation sui-
vante : on se donne deux entiers met n vérifiant 1  m <: n, et des fonctions
J : Q c Rn -.. R, et CPi: Q c Rn -.. R, 1  i  m,
définies sur un ouvert Q et on cherche une condition nécessaire d' extremum relatif dt la
fonction J par rapport à /' ensemble
U = {v E Q; CPi(V) = 0, 1  i  m}.
II est clair que ce problème est un cas particulier du précédent (avec V 1 et V 2 identifiés
aux espaces Rn-m et Rm, respectivement), Ie théorème 7.2-2 conduisant au résultat
suivant :
- Théorème 7.2-3 (condition nécessaire d'extremum re/atif lié). Soit U un ouvert de R", soit
qJi : U --+ R, 1  i  m, desfonctions de classe  1 sur U, et soit u un point de l'ensemble
U={VEU;
qJi(V) = 0,
1  i  m } c: U,
en /equelles dérivées qJ(u) E .!l'(R"; R), 1  i  m, sont linéairement indépendantes.

MULTIPLICATEURS DE LAGRANGE
149
Soit J : a --+ Rune fonction dérivable en u. Si la fonction J admet en u un extremum
relatif par rapport à I'ensemble U, il existe m nombres 1i(u), 1  i  m, définis de façon
unique, tels que
J'(u)+lt(u) q>(u)+". +lm(u) q>(u) = o.
DÉMONSTRATION. La condition d'indépendance linéaire des dérivées 9/; (u) revient à dire
que la matrice d'éléments a j9//(U)' 1  i  m, 1  j  n, est de rang m. Supposons (seu-
lement pour fixer les idées) que la sous-matrice d'éléments Oj9/,(u), 1  i,j  m, soit inver-
sible. On se trouve alors exactement dans les conditions d'application du théorème pré-
cédent, avec
V 2 == { .f 11 iei E R m } ,
1=1
VI == { . f Viei E R n-m } ,
I=m+l
m
9/ : v E Q C VI X V 2  9/(V) == L 9/j(V) ej E V 2 ,
j=1
(ej) désignant la base canonique de Rn. II existe donc un élémentA(u) de I' espace (Rm; R)
tel que l'on ait J'(u)+A(u) 9/'(u) == 0; de façon équivalente, il existe m nombres réels
m
Àj(u), 1  i  m, telsque I'onait J'(u) + L À j (u)9/;(u) == o. L'unicité des nombres Àj(u)
;=1
résulte de l'indépendance linéaire des dérivées 9/; (u). II
Les nombres À;(u), 1  i  m, trouvés au théorème ci-dessus sont appelés les multi-
plicateurs de Lagrange associés "à l'extremum lié u" (avec I'abus de langage déjà signalé).
Considérons un exemple : soit à trouver les extremums relatifs de la fonction
J: v == (VI' V 2 ) E R 2  J(v) ==-v 2 ,
par rapport à l'ensemble
{ déf }
U == (VI' V 2 ) E R2; cp(v) == vi +v-l == 0
(c/. fig. 7.2-1(a)). A l'aide d'un peu de géométrie, nous allons d'abord retrouver heuristi-
quement l'existence d'un (ici m == 1) multiplicateur de Lagrange en un extremum lié.
En effet, si nous représentons les courbes de niveau des deux surfaces dans Ie plan V3 = 0
(c/. fig. 7 .2-1(b)), on a l'intuition qu'un point (u 1 ' u 2 ) est un extremum lié seulement si les
I
{VjJ(v)=J(u) }
u
V o
I u'
l{v; cp{v)= O}
(a)
(b)
FIG. 7.2-1.

150
CALCUL DIFFÉRENTlEL, PREMIÈRES APPLICATIONS
tangentes aux courbes lp(v 1 , V2) = 0 et J(vl' V2)- J(u 1 , U2) = 0 coincident au point
(U1' u2). Comme ces tangentes ont respectivement pour équations
{ (VI-Ul)Ôllp(U)+(V2-U2)Ô2lp(u) = 0,
(vI- U 1 ) ÔI J (u)+(V 2 -U 2 ) Ô2J(U) = 0,
il sumt d'exprimer que les coefficients de ces équations sont proportionnels, c'est-à-dire
qu'il existe ÂE R tel que (rhypothèse dindépendance linéaire des dérivées cp;(u) du théo-
rème revient ici à vérifier que les deux dérivées partielles Ôllp(u) et Ô2lp(u) ne sont pas
simultanément nulles)
{ ÔIJ(U)+ÂÔllp(U) = 0,
Ô2 J (U)+Â ô 2 lp(u) = 0,
ce qui est exactement /a condition nécessaire du théorème Adjoignant l'équation
lp(u 1 , u2) = 0, on est donc conduit à résoudre Ie système
{ 2ÂUl = 0,
- 1 + 2Âu2 = 0,
u+-1 = 0,
dont les deux seules solutions sont
Â=
1
2'
(U 1 , U2) = (0, 1),
1
Â' = --, (u, u) = (0, -1).
2
II se trouve, comme on Ie vérifie aisément, que les points U = (u 1 , u 2 ) et u' = (u{, u)
ainsi obtenus sont effectivement des extremums, mais il ne faut pas perdre de vue que les
conditions ci-dessus ne sont que des conditions nécessaires, qu'il faut toujours compléter
par une étude "locale" si l'on veut affirmer que Ies points trouvés correspondent bien à
un maximum, ou un minimum, relatif de la fonction J par rapport à l'ensemble U du
problème.
Pour résoudre un problème posé sous la forme générale du théorème 7.2-3, on procède
de la façon suivante: on écrit que les (m+n) inconnues U;, 1  i  n, et Âj, 1 j  m,
sont solutions du système de (m + n) équations (en général non Iinéaires)
ÔI J (U)+Â 1 Ôllpl(U) + . . . +Âm Ôllpm(u) = 0,
.
ônJ(u) +Âl Ô n lpl(u) + . . . +Âm ônlpm(u) = 0,
lpl(U) = 0,
lpm(U) = O.
Les n premières équations s'écrivent encore, sous forme matricielle :
( 'ð1".(U) ) ( 'ðll(U). .. Ôlm(U) ) ( 1 ) m
. +. · . = \1 J(U) + L Â; \1lp;(u) = O.
· · .. ;=1
ônJ(u) Ô n lpl(U) . .. Ônlpm(U) Âm

PRISE EN COMPTE DES DÉRIVÉES SECONDES
151
On notera à cet égard que c'est la transposée de la matrice dérivée (de l'application cp),
et non la matrice dérivée elle-même, qui intervient.
Pour terminer ce paragraphe, considérons un exemple important, sur lequel nous
reviendrons aux chapitres suivants. Une fonctionnelle quadratique sur Rn est une fonction
de la forme
1
J: v E Rn -. J(v) = - (Av, v)-(b, v),
2
où A E ain(R) est une matrice symétrique donnée, et b E Rn un vecteur donné. Une telle
fonction est dérivable dans Rn, et
VJ(u) = Au-b, pour tout u ERn.
Ce calcul (où la symétrie de la matrice est utilisée de façon essentielle) montre déjà que la
résolution des systèmes linéaires à matrice symétrique équivaut à la recherche des points
où fa dérivée d'une fonctionnelle quadratique s' annule.
Supposons ensuite que l'on recherche les extremums relatifs d'une fonctionnelle quadra-
tique
1
J(v) = - (Av, v)-(b, v)
2
par rapport à un ensemble de laforme
u = {v ERn; Cv = d},
où C E aim, n(R) est une matrice donnée et d E Rm un vecteur donné: on suppose m <: n.
La matrice dérivée de l'application
q; : v E Rn -+ q;(v) = Cv-d E Rm
étant constante et égale à la matrice C, on déduit du théorème 7.2-3 et des considérations
précédentes que, si la matrice C est de rang m, une condition nécessaire pour que la fonctio-
nnelle J admette en un point u E U un extremum relatif par rapport à l'ensemble U
ci-dessus est l'existence d'une solution (u, À) E Rn+m du système linéaire
{ AU+CTÀ = b  (
Cu = d
I
A CT
C 0
) (  ) = ( ij ).
REMARQUE. La contrepartie de la prise en compte de la contrainte Cv = d est donc la
résolution d'un système linéaire "plus gros') que celui associé au cas "sans contrainte".
En effet, on ne peut pas se dispenser de calculer Ie vecteur À E Rm même si, comme c'est
fréquemment Ie cas, on ne s'intéresse quaux seuls extremums relatifs éventuels UE U
l'inconnue À apparaissant alors simplement comme un "intermédiaire" nécessaire de
calcul. II
7.3. Extremums des fonctions réelles :
prise en compte des dérivées secondes
Les résultats qui suivent seront énoncés pour des minimums relatifs, la prise en compte
des dérivées secondes (comme celIe de la convexité au paragraphe suivant) permettant
en effet de préciser la nature (maximum ou minimum) des extremums considérés. Bien
entendu, on pourrait énoncer des résultats analogues pour les maximums relatifs.

152
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
Théorème 7.3-1 (condition néeessaire de minimum relatif). Soit Q un ouvert d'un espaee
veetoriel normé V et J: Q c V -+ Rune lonetion dérivable dans Q, deux lois déri-
vable en un point u E Q. Si la lonetion J admet un minimllm relatif en u, alors
J" (u) (w, w)  0 pour tout w E V.
DÉMONSTRATION. Soit w un vecteur non nul de V. II existe un intervalle ouvert
I c R contenant l'origine tel que
1 E 1 =::} (u+tw) E Q et J(u+tw) ;?; J(u).
La formule de Taylor-Young et la relation J'(u) = 0 (théorème 7.2-1) permettent d'écrire
1 2
o  J(u+tw)-J(u) = - (J"(u)(w, w)+e(t)), lim e(t) = 0,
2 t-+O
ce qui démontre l'assertion (si {J"(u) (w, w)} était -< 0, il en irait de même de la dif-
férence J(U+lw)-J(u) pour t suffisamment petit). II
II n'existe pas de réciproque du résultat précédent, comme Ie montre l'exemple ,de
Ia fonction J(v) = v 3 , V E R. Pour obtenir une condition suffisante de minimum rela-
tif, on est en effet conduit, soit à faire une hypothèse "plus forte" au point u (cas (1)
du théorème qui suit), soit à supposer une propriété analogue, mais vraie dans tout un
voisinage du point u (cas (2)).
Nous aurons également l'usage de la définition suivante : soit J : W -+ Rune fonc-
tion définie sur un espace topoIogique W. On dit que la fonction J admet en un point
u E W un minimum relatif strict (ou un maximum rei at if strict) s'il existe un voisinage
o de u tel que
J(u) -< J(v) (ou J(u) :> J(v)) pour tout v E O-{u}.
Théorème 7.3-2 (conditions suffisantes de minimum relatif). Soit Q un ouvert d'un espaee
veetoriel normé JI, u un point de a, et J : a c: JI -+ Rune lonetion dérivable dans a telle
que J'(u) = O.
( 1) Si la lonetion J est deux lois dérivable en u et s'il existe un nombre << ttl que
a :> 0, et J" (u) (w, w)  a i I w: 1 2 pour tout w E V,
alors la lonetion J ad met un minimum relatif strict en u.
(2) Si lalonetion Jest deuxlois dérivable dans Q, et s'il existe une bOllle B c Q eentrée
en u telle que
J"('J) (w, w)  0 pour tout v E B, w E V,
alors la lonetion J admet un n,inimum relatif en u.
DÉMONSTRATION. (1) La formule de Taylor-Young permet d'écrire, pour tout
vecteur w suffisamment petit,
1
J(u+w)-J(u) = 2 (J"(u)(w, w)+ll w I1 2 e(w)),
1
 -:2 (O! -ë(W)) 1/ W 11 2 ,
lim e(w) = 0,
w-+o
ce qui montre que J(u+w) :> J(u) pour (u+w) E B, où Best une boule centrée en u,
dont Ie rayon rest suffisamment petit pour que II e(w) II -< x pour II w II  r.

PRISE EN COMPTE DE LA CONVEXITÉ
153
(2) La formule de Taylor-Maclaurin montre que
1
J(u+w) = J(u) +2 J"(v)(w, w)  J(u), v E ]u, u+w[,
pour tout (u+w) E B. II
11 n'existe pas de réciproques aux deux assertions de l'énoncé précédent (cl. exercice
7.3-1).
7.4. Extremums des fonctions réelles ·
prise en compte de la convexité
Une partie dun espace vectoriel est dite convexe si, to utes les fois quel1e contient
 deux points u et v, elle contient Ie segment fermé [u, v] qui les joint. Par exemple, un
sous-espace vectoriel est convexe, une boule dans un espace vectoriel normé est convexe
(appliquer l'inégalité triangulaire), une intersection quelconque d'ensembles convexes est
convexe.
Théorème 7.4-1 (condition néeessaire de minimum relatif sur un ensemble eonvexe). Soit
J : Q c Rune lonetion définie sur un ouvert Q d'un espaee veetoriel normé V et U une
partie eonvexe de Q. Si la lonetion Jest dérivable en un point u E U et si elle admet en u
un nJinimum relatif par rapport à l'ensemble U, alors
]/(u) (v - u)  0 pour tout v E U.
DÉMONSTRATION. Soit v = u+w un point quelconque de l'ensemble U. Cet ensemble
étant convexe, les points de la forme (u+Ow), 0  0  1, sont encore dans U. La déri-
vabilité de la fonction J en u permet d'écrire
J(u+Ow)-J(u) = O(J'(u)w+e(O)),
lim e(O) = 0,
(JO
pour tout 0 E [0, 1] (Ie vecteur w étant fixé). Alors Ie nombre J'(u) west nécessairement
;?; 0, sans quoi la différence J(u+Ow)-J(u) serait -< 0 pour 0 :> 0 suffisamment petit. II
REMARQUES. (1) Si l'ensemble U est un sous-espace vectoriel, la condition précédente
devient simplement
J'(u) w = 0 pour tout w E U.
En particulier, si U = V, on retrouve la condition nécessaire J'(u) = 0 du théorème
7.2-1.
(2) D'autres cas particuliers sont proposés à l'exercice 7.4-1. II
Une fonction J : U c V  R définie sur une partie convexe U d'un espace vectoriel
Vest dite convexe sur l' ensemble U si
u, v E U et 0 E [0,1] => J(Ou+(1-0)v)  OJ(u)+(1-0)J(v),
et strictement convexe sur l' ensemble U si
u, v E U, u  v, et 0 E ]0, 1[ => J(Ou+(1-0) v) -< OJ(u) +(1-0) J(v).

154
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
Par exemple, une forme linéaire f: V -+ Rest convexe mais non strictement convexe;
de même une norme II · II : V -+ Rest convexe. Naturellement, si une fonction est (stric-
tement) convexe sur un ensemble convexe U, elle est encore (strictement) convexe sur
toute partie convexe de U.
Une fonction G: U c V -+ R définie sur une partie convexe U d'un espace vectoriel
Vest dite (strictement) concave si la fonction (- G) est (strictement) convexe.
Avant d'appliquer la notion de convexité aux extremums des fonctions, nous allons
la caractériser à l'aide de la dérivabilité première (théorème 7.4-2), ou seconde (théorème
7.4-3).
Théorèmi 7.4-2 (conyexité et dériyabilité première). Soit J: {J c V -+ R line lone-
lion dériyable dans un ouyert Q d'lln espaee yeetoriel normé V, et U une partie eonyexe
de Q.
(1) La lonetion Jest eonyexe sur U si et seulement si
J(v)  J(ll)+ J' (u) (v - u) pour tout u, v E U.
(2) Lalonction Jest strietement eonyexe sur U si et seulement si
J(v):> J(u)+J'(u) (V-II) pour tout u, v E U, u  fJ.
DÉMONSTRATION. Remarquons pour commencer que l'interprétation géométrique
des conditions ci-dessus est claire (figure 7.4-1) : on exprime simplement que la fonction
est située "au-dessus" de son plan tan-
gent. Soit u et v deux points distincts de
U, et () E ] 0, 1[. Si la fonction Jest con-
vexe,
ce qui peut encore s'écrire
u
:(u)+Jtu)(v-u)
I
. . . ... . . . . . . . . T
I \oJ{u)
I
I
I
Vi
.1
J(u+O(v-u))  (1-0) J(u)+OJ(v),
FIG. 7.4-1.
J(u+O(v-u))-J(u) T ( T ( )
o  "1 V)-.,I U ·
Par suite,
J ' ( )( ) I . J(u+O(v-u))-J(u) T ( ) T ( )
U v-u = un 0  "1 V -"1 U .
8-+0
Si la fonction Jest strictement convexe, Ie raisonnement précédent ne permet pas de
conclure puisqu'on ne peut pas affirmer que l'inégalité stricte "passe à la limite". Soit
alors 00 E ]0, I[ un nombre fixé. Comme
00-0 0
u+O(v-u) = u+-(u+oo(v-u)),
00 00
on déduit
00-0 0
J(u+O(v-u)) =E: J(u)+- J(u+oo(v-u)), 0  0  roo
00 00
Par suite, si la fonction est strictement convexe,
J{u+O(v-u))-J(u)
o E:
J{u+oo(v-u))-J(u)
<: J(v)-J(u),
o <: (J =E: ltJ,
(J)

PRISE EN COMPTE DE LA CONVEXITÉ
155
puisque (j) <: 1 par hypothèse ; alors Ie passage à la limite conduit cette fois à l'inégalité
stricte.
Réciproquement, supposons que
J(v)  J(u)+J'(u)(v-u) pour tout u, v E U.
Soit alors u et v deux points distincts de U et 0 E ]0, 1 [ ; on a done, en particulier,
J(v)  J{v+O(u-v))-OJ'(v+O(u-v)) (u-v),
J(u)  J{v+O(u-v))+(1-0)J'{v+O(u-v)) (u-v),
et i1 suffit d'additionner les deux inégalités ci-dessus, multipliées respectivement par
(1- 0) et 0, pour obtenir
J(Ou+(l- 0) v)  OJ(u)+(1-0) J(v),
ce qui établit la convexité de la fonction J, ou la stricte convexité si les inégalités sont
strictes. II
Théorème 7.4-3 (con,ex;té et déri,abilité seconde). Soit J: D c V -+ Rune fonction
deux foi, déri,able dans un ou,ert D d'un espace ,ectoriel normé V, et U une partie con-
,exe de D.
(1) La fonction Jest con,exe sur U si et seulement si
J"(u) (1J-U, v-u)  0 pour tout u, v E U.
(2) Si
J"(u) (v - u, v - u) :> 0 pour tout u, v E U, u =;é v,
la fonction Jest strictement con,exe sur U.
DÉMONSTRATION. Soit u et v deux points distincts de U. Par appJication de la formule
de Taylor-Maclaurin,
1
J(v)-J(u)-J'(u)(v-u) = 2 J"(w) (v-u, v-u)
e 2
= 2 J"(w) (v-w, v-w), w E ]u, v[.
Ie nombre e :> 0 étant défini par l'égalité (v-u) = e(v-w). On déduit alors la convexité,
ou la stricte convexité, par application du théorème précédent.
Pour établir la réciproque de (1), introduisons la fonction auxiliaire
G : v E Q -+ G(v) = J(v)-J'(u)v,
pour un point u E U quelconque, mais considéré comme fixé dans ce qui suit. Un coup
d'æiI à la figure 7.4-1 aura d'ailleurs tôt fait de justifier cette introduction: si Ia fonction
Jest convexe,]a fonction G admet en u un minimum par rapport à f'ensemble U ; en effet,
G(v)-G(u) = J(v)-J(u)-J'(u)(v-u)  0, pour tout v E U,
d'après la condition nécessaire (1) du théorème 7.4-2. La fonction G étant deux fois
dérivable dans Q, et de dérivée G" = J", la formule de Taylor- Young donne, pour
tout v = u+w E U, et pour tout t E [0, 1],
1 2
o  G(u+tw)-G(u) = _ 2 (J"(u)(w, W)+8(t)), lim 8(1) = 0,
1-+0
puisque G'(u) = 0 par construction.
Le raisonnement habituel entraîne alors J"(u) (w, w) ;æ:. o.
II

156
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
REMARQUES. (1) On ne pouvait pas appliquer directement la condition nécessaire
du théorème 7.3-1, établie pour des minimums relatifs par rapport à des ensembles
ouverts.
(2) L'exemple de la fonction strictement convexe J(v) = v 4 , V E R, montre qu'il
ne saurait exister en général de réciproque à la condition (2).
(3) Dans Ie cas particulier d'une fonctionnelle quadratique sur Rn, la réciproque est
vraie : de l'expression J(v) =  (Av, v)-(b, v), A = AT, on déduit en effet
2
1
J(v)-J(u)-J'(u)(v-u) = 2 (A(v-u), v-u),
et Ie théorème 7.4-2 permet de conclure. Rassemblant les divers résultats relatifs à ce
type de fonction, on a donc établi qu'une fonctionnelle quadratique sur R (du type ci-
dessus) est convexe si et seulement si la matrice symétrique A est positive. et strictement
convexe si et seulement si la matrice A est définie positive. II
Alors que nous n'avons envisagé jusqu'ici que des extremums relatijs, la convexité
va nous permettre de nous affranchir du caractère "local" de cette propriété. C'est
pourquoi nous introduisons les définitions suivantes : Soit J: W -+- Rune fonction
définie sur un ensemble W. On dit que la fonction J admet en un point u E W un
minimum (ou un maximunl) si
J(u)  J(v) (ou J(u)  J(v)) pour tout v E W,
et un minimum strict (ou un maximum strict) si
J(u) <: J(v) (ou J(u) >- J(v)) pour tout v E W-{u}.
Enfin, si U est une partie de l'ensemble W, on dit que la fonction J admet en un point
u E W un minimum (ou un minimum strict, etc.) par rapport à I'ensemble U si la
restriction de la fonction J à l'ensemble U admet en u un minimum (ou un minimum
strict, etc.).
Le résultat qui suit rassemble quelques propriétés constamment utilisées des mini-
mums des fonction convexes.
. Théorème 7.4-4. Soit U une partie eonvexe d'un espaee veetoriel normé V.
(1) Si une lonetion eonvexe J: U c V -+- R admet un minimum relatif en un point de U,
elle y admet enlait un minimum, e'est-à-dire par rapport à tOllt l'ensemble U.
(2) Une lonetion J: U c V -+- R strietenlent eonvexe admet au plus un minimuln,
et e' est un minimum strict.
( 3) Soit J : {J c V -+- Rune lonetion eonvexe définie sur un ou)'ert {J de V con tenant U,
dérivable en un point u E U. Alors lafonetion J ad met un minimum en u par rapport à I'ensemble
U si et seulement si
J'(u) (v - u)  0 pour tout V E U.
(4) Si l'ensemble U est ouvert, la condition préeédente équivaut à l'équation d'Euler
J'(U) = O.
DÉMONSTRATION. (1) Soit v = u+w un point quelconque de l'ensemble U. D'après
la convexité de la fonction J,
J(u+Ow)  (1-0) J(u)+OJ(v), 0  0  1,
ce que l'on peut encore écrire
J(u+Ow)-J(u)  O(J(v) - J(u)), 0  (j  1.

PRISE EN COMPTE DE LA CONVEXITÉ
157
Comme Ie point u est un minimum relatif, il existe un nombre 0 0 tel que
0 0 ::> 0 et 0  J(u +Oow)- J(u),
ce qui entraîne J(v)  J(u).
(2) Si la fonction est strictement convexe, Ie même raisonnement conduit aux inégalités
o  J(u+Oow)- J(u) -< Oo( J(v)- J(u)), 0 0 ::> 0, W  0,
ce qui établit Ie caractère strict du minimum, et donc du même coup son unicité.
(3) On a montré au théorème 7.4-1 la nécessité de la condition J'(u) (v-u)  0
pour tout v E U (sans supposer J convexe). Pour établir qu'elle est suffisante, on remarque
que
J(,,)-J(u)  J'(u) (l'-U) pour tout v E U,
d'après Ie théorème 7.4-2.
(4) La dernière propriété est une conséquence immédiate de la propriété (3). II
Les relations "J'(u) (v-u)  0 pour tout v E U" sont fréquemment appelées les
inéquations d'Euler.
Le lecteur, ou la lectrice, intéressé(e) par l'application des théorèmes précédents aux
fonctionnelles quadratiques pourra se reporter à l'exercice 7.4-2 (c'est même un exercice
vivement recommandé).
Com me illustration des résuItats précédents, reprenons Ie problème de la solution
d'un système linéaire au sens des moindres carrés : on se donne une matrice réelle B de
type (m, n), un vecteur c ERin, et on cherche un vecteur u E Rn tel que
II Bu-c 11m == inf II Bv-c 11m,
vERn
où II. 11m désigne la norme euclidienne dans Rm. Introduisons la fonctionnelle
quadratique
déf 1 1
J(v) == 21IBv-cll-2 IIcll
1
== - (Bv, BV)m-(c, BV)m
2
1
== -- (BTBv, v)n-(BT c, v)n, v E Rn,
2
où (., .)m et (., .)" désignent les produits scalaires des espaces Rm et Rn, respectivement.
La matrice symétrique BTB étant positive, la fonction Jest convexe (théorème 7.4-3).
Comme Ie problème considéré équivaut à la recherche d'un vecteur u E Rn tel que
J(u) == inf J(v),
vERn
nous pouvons conclure du théorème 7.4-4 que l'ensemble des solutions coincide avec
l'ensemble des solutions de l'équation
J'(u) == BTBu- BTc == 0,
cest-à-dire des équations normales déjà introduites au paragraphe 3.7. Dans ce même
paragraphe nous avions également utilisé la relation
IIB(u+w)-clll == IIBu-cll+2(BTBu-BTc, w)n+IIBwlll'

158
CALCUL DIFFÉR.ENTIEL, PREMIÈRES APPLICATIONS
qui n'est autre que la formule de Taylor
1
J(u+w) = J(u)+J'(u)w+- (BTBw, w)n,
2
écrite' pour la fonctionnelle quadratique J, dont Ie Hessien est la matrice BTB.
7.5. La méthode de Newton
SoitD un ouvert d'un espace vectoriel normé Vet J : D c V -. Rune fonction donnée.
On rappelle (c/. théorème 7.2-1) que, si la fonction J admet un extremum relatif en un
point u E D et si elle est dérivable en ce point, alors nécessairement J'(u) = O. Dans Ie
présent paragraphe, nous allons nous intéresser à la résolution de cette équation, c'est-
à-dire, en supposant la fonction J dérivable dans D, à la recherche des zéros de l'applica-
tion dérivée
J' : D c V -. V'.
REMARQUE. Une fois trouvés les zéros de l'application J', il convient naturellement de
vérifìer s'il s'agit effectivement d'extremums, par exemple en utilisant les conditions
suffisantes établies dans les paragraphes précédents. II
II est commode de considérer Ie problème sous une forme plus générale, qui présente
l'avantage de s'appliquer à d'autres situations (notamment la résolution de systèmes
d'équations non linéaires ; voir plus loin) : on se donne une application / : Q c X -. Y
d'un ouvert Q d'un espace vectoriel normé X dans un espace vectoriel normé Y, et on
cherche :
- des conditions suffisantes garantissant l'existence d'un zéro de l'application f,
c'est-à-dire d'un élément a E D tel que /(a) = 0 ;
- un algorithme d'approximation d'un tel élément a, c' est-à-dire la construction
d'une suite (Xk) de points de Q telle que lim Xk = a.
k-.oo
Le premier problème fait l'objet du théorème 7.5-1 et Ie second celui des théorèmes
7.5-1 et 7.5-2, qui concernent chacun une généralisation de la méthode de Newton bien
connue pour les fonctions j' : Q c R -. R. Cette
méthode, définie par la suite
!(Xk)
Xk+l=Xk----- kO,
!'(Xk) ,
a
x X2. x,
Xo
FIG. 7.5-1.
Xo E D arbitraire, est susceptible d'une inter-
prétation géométrique immédiate (voir figure
7.5-1), chaque pointxk+l étant l'intersectionde
l'axe avec )a tangente au point Xk.
Ce cas particu I ier suggère la définition sui-
vante de la nléthodt' de Newton pour la recherche
des zéros d'une applicalion j': Q c X -. Y : on
se donne un point Xo E Q arbitraire, et on dé-
finit la suire (Xk )kO par
Xk+l = xk-{f'(Xk)}-l f(Xk)' k  0,
ce qui suppose que tous les points xk restent dans Q (ce point doit faire chaque fois l'objet
d'une vérification), que l'application ! est dérivable dans Q, et enfin que la dérivée f'(x)
est une bijection de X sur Y en tout point x E D.

MÉTHODE DE NEWTON
159
La méthode de Newton s'applique en particulier à la résolution de systèmes d'équations
non /inéaires, qui correspondent à des applications f: Q c R" -. Rn. De façon plus
explicite,
f(a) = 0 <=>
f1(a 1 , a2' ..., ar.) = 0,
!2(al' a2' ..., an) = 0,
h(a 1 , a2' ..., an) = 0,
les applications /'; : Q c R" -. R, 1  i  n, étant données. Dans ce cas, une itération
de la méthode de Newton consiste à résoudre Ie système /inéaire
f'(Xk) ðXk = - f(Xk) ,
de matrice (Ôj/';(Xk)), et à poser ensuite
Xk+l = Xk+ðxk.
REMARQUE. Si l'application f est affine: f(x) = Ax- b, A E dn(R), b E Rn, alors
l'itération décrire ci-dessus se réduit à résoudre Ie système linéaire AXk+l-b = o.
Autrement dit, la méthode converge en une seule itération, ce qui était naturellement
prévisible puisqu'une application affine est con fondue en tout point avec son plan tan-
. -
On conçoit que, pratiquement, iI soit très coûteux à chaque itération de calculer les
éléments de la "nouvelle" matrice (Ôj/,;(Xk)), et de résoudre ensuite Ie système linéaire
correspondant. Par ailleurs, si la méthode est convergente, les vecteurs Xk consécutifs
doivent "peu" différer, de même que les matrices correspondantes. Ces considérations,
pratiques et intuitives, conduisent naturellement à une variante de la méthode de Newton,
"qui consiste à conserver /a même matrice pendant p itérations consécutives (p entier
 2 fixé) :
Xk+l = xk-{f'(xo)}-l f(Xk), 0  k  p-1,
Xk+l = xk-{f'(xp)}-l f(Xk), P  k oE: 2p -1,
.
Xk+l = xk-{f'(xrp)}-l !(Xk), rp  k  (r+ l)p -1,
.
On peut aussi "faire p = 00" ce qui conduit à des itérations du type
Xk+l = xk-{f'(xo)}-l f(Xk), k  0,
ou même carrément remplacer la matrice f'(x o )
par une matrice inversible Ao particulièrement
"facile à inverser" :
Xk+l = Xk_Aõ1 f(Xk), k;æ:. o.
On se convainc d'ailleurs facilement, dans Ie
cas des fonctions f: Q c R -. R, que la con-
vergence peut être obtenue si Ao est suffisamment
voisin de f'(x o ) (figure 7.5-2).
REMARQUE. Dans les deux derniers cas consi-
dérés, il suffit par exemple de calculer une fois
pour toutes la factorisation L U (paragraphe 4.3)
de la matrice représentant les applications li-
a
X" X 2 Xt Xo
FIG. 7.5-2.

160
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
néaires f'(xo) ou Ao (si cette matrice se prête bien à une telle factorisation), et la réso-
lution des systèmes linéaires successifs est alors grandement facilitée. II
Si Ao = I, la méthode, qui s'écrit alors
Xk+l = Xk- f(Xk), k  0,
n'est autre que la méthodedes approximations succej'j'ivej' pour résoudre l'équationf(x) = 0
écrite sous la forme x = x- f(x). Cette méthode itérative particulière nous donne aussi
l'occasion d'illustrer de façon très simple Ie type de difficultés rencontrées dans ce genre
de méthodes. Considérons par exemple la réso-
lution de
'-y=x
y = - x 2 + x -1/4
déf 1
f'(x) = x 2 _ 4 = 0,
1
2
1
)(0 .t/2
de racines
et
-2'
de sorte que
1
f(x) = 0  x = x-f(x) =-x 2 +x+ -.
4
FIG. 7.5-3. On peut représenter très facilement les itérés
successifs de la méthode des approximations
successives (cf. figure 7.5-3), ce qui permet de faire la liste des différentes éventualités :
Xo -< - : la méthode diverge ;
2
1 1
Xo =-- 2 : lim Xk =--
k - 00 2
1
(Xk = - - pour tout k;?; O!) ;
2
1 3. 1
-- -< Xo -< -: 11m Xk = - ;
2 2 k-+-oo 2
3 1
Xo = -: lim Xk = - -
2 k-+-oo 2
1
(Xk = -- pour tout k;?; I!)
2
- -< Xo : la méthode diverge.
2
On voit donc apparaître sur cet exemple. d'une part, Ie fait que fa méthode converge
seulement si la valeur initiale Xo est suffisamment voisine d'une racine, et, d'autre part,
Ie fait que, "pratiquement", la méthode converge toujours vers la même racine : si les valeurs
1 3
initiales sont choisies au hasard, seules deux valeurs (X O =-- ou -) conduisent à la
2 2
. 1 I " 1 . fi . , d I ( 1 3 ) . d . ,
raClne -- , a ors qu 1 y a une In nlte e va eurs -- -< Xo -< -- qUI con ulsent a
2 2 2
1 ] 1 3 [ 1
la racine - . On dit parfois que - -, - est Ie domaine d'attraction de la racine -,
2 2 2 2
et que { -  } U {  } est celui de la racine - . Autrement dit, la racine -  est
2 2 2 2 .
pratiquement "inaccessible" par la méthode considérée.

MÉTHODE DE NEWTON
161
La première observation est d'ailleurs très générale : la principale difficulté dans la
résolution d'équations non linéaires réside essentiellement dans Ie choix d'un "bon"
vecteur initial xo, qui doit être suffisamment voisin d'un zéro, alors qu'en principe on
ignore où se trouvent les zéros de l'application, l'objectif étant précisément de les loca-
liser !
Quoi qu'il en soit, c'est pour prendre en compte l'éventualité de telles variantes de la
méthode de Newton que nous posons la définition suivante d'une méthode de Newton
généralisée pour la recherche des zéros d'une application I: Q c X -+ Y d'un ouvert Q
d'un espace vectoriel normé X dans un espace vectoriel normé Y. On se donne une
lamille d'éléments
Ak(x) E Isom (X ; Y), k entier  0, x E Q,
ainsi qu'un point Xo E Q arbitraire, et on définit la suite (Xk)kO par
Xk+ 1 = Xk-{ Ak(Xk,)}-l I(Xk), k  0,
où, pour chaque entier k, l'entier k' est seulement assujetti à vérifier
o  k'  k.
Naturellement, les applications Ak(x) peuvent aussi dépendre de l'app]ication I (notam-
ment par Ie biais de sa dérivée I'). Par exemple, on peut. avoir
Ak(x) = f"(x), k' = k,
Ak(x) = I'(x), k' = min {rp, k} pour rp  k  (r+ l)p-l, r  0,
Ak(x) = I'(x), k' = 0,
Ak(x) = Ao E Isom (X ; Y),
ces exemples correspondant à la méthode de Newton "originale" et à ses variantes intro-
duites plus haut ; on peut aussi avoir
Ak(x) = AI( E Isom (X ; Y), k  0,
ce qui correspond à la situation envisagée au théorème 7.5-2 ci-après), les applications Ak
étant indépendantes de f, etc.
Le résultat qui suit fournit des conditions suffisantes portant sur les données (Ie point
Xo E Q; l'application I dans un voisinage de xo; la famille Ak(x), k  0, x E Q), qui
garantissent l'existence d'un zéro de/dans un voisinage de Xo, d'une part, et la convergence
de la méthode de Newton généralisée correspondante vers ce zéro, d'autre part. Les hypo-
thèses (1) à (3) traduisent les conditions (somme toute assez naturelles) suivantes:
la "norme de I au départ" II I(x o ) II doit être suffisamment petite; la dérivée I'(x) doit
varier suffisamment peu pour x voisin de Xo ; enfin les applications linéaires Ak(x) et
Ak"l(x) doivent varier suffisamment peu avec k et pour x voisin de x o ' les applications
Ak(x) restant suffisamment voisines de f'(xo).
REMARQUE. Le choix particulier Ak = I'(xo) pour tout k  0 conduit à un résultat
d'existence d'un zéro de l'applicationf, à l'aide d'hypothèses portant sur la seule fonctionl
dans un voisinage du point Xo. On laisse aux lecteurs (ravis de l'aubaine) Ie soin d'énoncer
Ie théorème correspondant. II
- Théorème 7.5-1. On suppose /'espace X complet et la fonction .f: Q c X -+ Y déri,able
dans /'ou,ert Q. On suppose par ailleurs qu'il existe trois constantes r, M, p telles que
déf
r>O, et B={xEX; Ilx-xollr}cQ,

162
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
(1)
sup sup IIAkl(x)IIJ2(X;y)M,
kO xEB
sup sup II f' (x) - Ak (x') 11.e(X ; Y) .....1.- , et fJ -< 1,
kO x, x'EB M
(2)
(3)
r
11!(xo) II  - (1- (J).
M
Alors la suite (Xk)kO définie par
Xk+l = Xk - Ak"l (Xk') !(Xk), k  k'  0,
est entièrement contenue dans la boule B, et con,erge ,ers un zéro de f, qui est Ie seul zéro
de! dons la boule B. Enfin, la con,ergence est géométrique :
I I II " Xl - Xo II Rk
I Xk - a  t' ·
l-ß
DÉMONSTRATION. (i) Préliminaires "techniques" : Montrons que, pour tout entier k  I
U Xk-Xk-l II  Mllf(xk_l) II,
Ilxk-xolIr (Ç:>xkEB),
ß
II f(Xk) II  - "Xk-Xk-ili.
M
Pour eela, eommençons par établir ees inégalités. pour k = 1. Puisque
xl-xo =-Aõl(xo)f(xo)'
on déduit
II Xl -X o \I  Mllf(x o ) II  r(I-ß)  r, par (1) et (3).
Par ailleurs, on peut éerire
f(Xl) = f(x1)- f(xo)- Ao(x o ) (xl- xo)'
et l'applieation du théorème des aeeroissements finis à la fonetion x -+ {f(x)- Ao(xo) x}
donne
II !(Xl) II  sup II f'(x)- Ao(xo) 1111 Xc Xo II ..... L II Xc Xo II, par (2).
xEB AI
Supposons les inégalités démontrées jusqu'à l'entier (k-I). Puisque
Xk-Xk-l =- .Ak1(X(k-l)') f(Xk-l),
on déduit
Ilxk-Xk-lll  Mllf(Xk-l) II par (1),
ee qui démontre la première inégalité pour l'entier k. De la sorte,
Ilxk-Xk-lll ßllxk-l-Xk-211  ... ßk-ll1x1-xoll,
et done
II Xk - Xo II ..... t II Xl- Xl-l II ..... { t ß 1 -l } II xl- Xo II 
1=1 1=1
II Xl-X 1/ M
 l-ß 0  l-ß II !(xo) II r par (3),

MÉTHODE DE NEWTON
163
ce qui montre que Xk E B. Enfin, écrivant que
f(Xk) = f(Xk)- f(Xk-l)- A k -l(X(k-l)') (Xk - Xk-l),
on obtient, d'après (2) et une nouvelle application du théorème des accroissements finis
à la fonction x -+ {f(x)- Ak-l(X(k-l)') x},
II !(Xk) II .,,;; sup II f'(x)- Ak-l(X(k-l)') 1111 Xk- xk-lll .,,;; L II xk-xk-lll,
xEB A1
t la troisièrne inégalité est établie pour l'entier k.
(ii) Montrons ensuite l'existence d'un zéro de lafonctionf dans la boule B. Puis que
/-1 /-1 ßk
II Xk+ 1- Xk II .,,;; .o II XkH+l- xk+.11 .,,;; ßk .o ß. "X 1 - Xo II.,,;; l-ß II Xl- Xo II
pour tout k  0, 1  0, la suite (Xk)kO est une suite de Cauchy. Comme c'est une suite de
points de l'espace complet B (c'est une boule fermée de l'espace complet X), il existe un
point a E B tel que lirn Xk = a. L'application f étant continue dans Q (puisque déri-
k-+oo
vable), on obtient
Ilf(a)11 = lim II f(Xk) 1/ L lim I/xk-xk-lll = 0,
k-+oo M k-+oo
et donc f(a) = o. Faisant tendre 1 vers + 00 dans l'inégalité trouvée plus haut, on obtient
l'inégalité :
ßk
IIxk-all  1-ß II xl- x o ll.
(iii) Montrons enfin l'unicité du zéro a dans la boule B. Soit b E B un autre zéro de f.
Puisque f{a) = f(b) = 0, on peut écrire
b-a = - Aõ 1 (xo) (f(b)- j'(a)- Ao(x o ) (b-a)),
d'où l'on déduit
\I b-a II  1/ Aõ 1 (xo) 1/ sup II f'(x)- Ao(x o ) 1/11 b-a"  ß II b-a II,
xEB
ce qui entraîne a = b, puisque ß <: 1.
II
Dans Ie théorèrne qui suit, nous allons cette fois supposer déjà étab/ie l'existence d'un
zéro a de f, et établir la convergence d'une méthode de Newton généralisée particu/ière
(puisqu'on y suppose les isomorphisrnes Ak(xk') indépendants des points Xk', ce qui
explique la notation A k ), pourvu que les applications linéaires Ak soient suffisamment
voisines de f'(a) et pourvu que Ie point Xo soit suffisarnment voisin du point a (hypothèses
là encore très "naturelles ").
REMARQUES. (1) Dans chacun des deux théorèmes, on suppose l'un des deux espaces
X et Y complets ; alors l'existence d'éléments A E Isom (X ; Y) entraîne que l'autre
espace est également complet (vérification immédiate).
(2) Dans Ie théorème qui suit, on utilise de façon essentielle les implications
{ (I + B) inversible si II B 11J2(x) -< I,
X complet => J2(X) complet => I
et II (/+B)-1 II  I-IIBII '

164
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
la deuxième implication n'étant pas autre chose que la version "en dimension infinie"
du théorème 1.4-5. II
Théorème 7.5-2. On suppose I'espace X complet et la fonction f: Q eX -.. Y une fois
continûment déri,able dans I'ou,ert Q. Soit a un point de Q tel que
déf
f(a) = 0, A == f'(a)E Isom (X; Y),
Â
sup II Ak - A 11.JZ(x ; Y)::::::; "A-III '
kO I ..JZ(Y ; X)
1
et  -< 2.
Alors il existe une bOllle fermée B centrée en a telle que, pour tout point Xo E B, la suite
(Xk)kO définie par
Xk+1 = Xk-A;;l/(Xk), k  0,
est entièrement contenue dans B et con,erge ,ers Ie point a, qui est Ie seul zéro de f dans la
boule B. Enfin, la con,ergence est géométrique : il existe un nombre ß tel que
fJ < 1 et II X k - a II  fJk II Xo - a II, k  o.
DÉMONSTRATION. (i) Préliminaires techniques: dénlontrons l'existence de deux constantes
r et ß telles que
déf
r >- 0, et B == {x EX; II x-a 1/::::::; r} c Q,
sup sup 111- A;; 1 I' (x) 1/ ::::::; ß <. 1.
kO xEB
Pour tout entier k, on peut écrire
Ak == A(I+A- 1 (A k -A)) avec II A- 1 (A k -A)11 ::::::; À -< 1
1
(l'hypothèse À <. - n'est donc pas "complètement" utilisée à ce stade). Par suite, les
2
applications Ak sont des isomorphismes de X sur Yet, de plus,
II Ak I Ii  II (I+A- I (A k -A)t I II II A-III  . IIIA;II ,
1
ce qui montre que I(À -< - par hypothèse)
2
1 1 À déf
111- Ak A 1/ ::::::; II Ak IIII A k - A II ::::::; - - == ß' -< 1.
1-11.
Soit alors ð tel que
L'inégalité
déf
ß' <. ß' +ð == ß <. 1.
III-A;;1 f'(x) II ::::::; III-A;;1AII+1I A;;1(A-I'(x)) II,
jointe aux inégalités précédentes et à la continuité de l'application dérivée I' (on rappelle
que A == I'(a)) montre l'existence d'un nombre r >- 0 tel que
déf
B == {x EX; Ilx-ai/::::::; r} c Q,
sup sup II A k l(A-I'(x)) II ::::::;ð,
kO xEB
et l'assertion est démontrée.

MÉTHODE DE NEWTON
165
(ii) Soit main tenant Xo un point quelconque de la boule B, et (Xk)ka::O la suite définie
par
Xk+l == Xk-A;:l f(Xk), k  0
(l'inégalité établie ci-dessous montre en particulier que tous les points Xk sont dans la
boule B ; la suite est donc bien définie). Puisque l'on peut aussi écrire (f(a) == 0)
xk+l-a == Xk- A;:lf(xk)-(a- A;:lf(a)),
Ie Ithéorème des accroissements finis appliqué à la fonction x -+ {x- A;:lf(x)} montre
que
Ilxk+l-all  sup III-A;:lf'(x)lIll x k- a ll ßllxk-all,
xEB
d'après la partie (i) de la démonstration, ce qui établit la convergence géométrique de la
suite (Xk) vers Ie point a.
(iii) Soit b un autre zéro de f dans la boule B. La suite (Xk) correspondant à Xo == b
est une suite stationnaire, puisque
Xl == xo-Aolj'(Xo) == xo,
et, d'autre part, elle converge vers Ie point a d'après ce qui précède. On en déduit que
a == b. II
II nous reste à "traduire" les résultats précédents dans Ie cas de la recherche des zéros
de l'application dérivée J': Q c V -+ V' d'une fonction J: Q c V -+ R. On obtient
de cette façon les corollaires suivants des deux théorèmes précédents (on rappelle que
l'on peut identifier les espaces J2 2 (V ; R) et J2(V ; V')).
Théorème 7.5-3. Soit Q un ou,ert d'un espace complet V, et J : Q c V -+ Rune fonction
deux fois déri,able dans I'ou,ert Q. On suppose par ailleurs qu'il existe trois constantes
r, M, ß telles que
déf
r>O, et B=={V'EV;llv-uolIr}cQ,
Ak(v) E Isom (V; V') pOllr tout v E B, et
sup sup II A k - 1 (V) 1I.JZ(v'; V)  M,
ka::O vEB
sup sup II J" (11) - A k (11 ') ".e( v ; V')  L , et f:J -< 1,
ka::O v, v' EB M
, r
II J (uo) II v'  - (1 - ß).
M
Alors la suite (Uk)ka::O définie par
Uk+l = Uk-A;;I(Uk,)J'(Uk), k  k'  0,
est tout entière contenue dans la boule B, et con,erge ,ers un zéro de J', qui est Ie seul zéro
de J' dans la boule B. Enfin, la con,ergence est géométrique. II
Théorème 7.5-4. Soit Q un ou,ert d'un espace complet V, et J: Q c V -+ Rune fonction
deux fois continûment déri,able dans Q. So it par ailleurs u un point de Q tel que
I J'(u) = 0, J"(u) E Isom .J2(V; V'), 1
sup II Ak - J"(u) 11.e(v; V')  II (J"( )) II ,et  -< _ 2 ·
k a:: 0 U .JZ( v' ; V)

166
CALCUL DIFFÉRENTIEL, PREMIÈRES APPLICATIONS
Alors il existe Ilne bollie fermée BeY centrée en Il telle fllle, pOllr tOllt point IlO E B,
la sllite (llk)kO défitde par
Ilk+1 = "k - A'k 1J '(llk)' k  0,
est entièrement contenlle dans B et converge vers Ie point u, qui est d' aillellrs Ie seul zéro de J
dans la bOllle B. Enfin, la con,ergence est géométriqlle. II
Dans Ie cas où V = Rn, la méthode de Newton généralisée du théorème 7.5-3 se présente
sous la forme
Uk+1 = uk- A'k 1 (uk') \/ J(Uk), k;a:: k'  0,
où les éléments Ak(Uk') sont des matrices d'ordre n, inversibles (elles peuvent naturellement
dépendre de la fonction J et de ses dérivées), et où \/ J(Uk) désigne Ie gradient de l'appli-
cation J au point Uk (on identifie ici V' à Rn). En particulier, la méthode de Newton
"originale" correspond à
Uk+l = Uk-{\/2J(Uk)}-1 \/J(Uk), k  0,
où la matrice \,72 J(Uk) est Ie Hessien de l'application J au point a.
Par ailleurs, il est remarquable de constater que les méthodes du chapitre suivant
(construites par des voies tout à fait différentes) peuvent être comprises comme autant de
cas particuliers de méthodes de Newton généralisées ; par exemple :
Ak(Uk') = e- 1 / (méthode du gradient à pas fixe),
Ak(Uk') =-e'k 1 / (méthode du gradient à pas variable),
Ak(Uk') = -(e(Uk))-l / (méthode du gradient à pas optimal),
où Ie nombre e(Uk) est déterminé (s'il existe) par la condition
J(Uk-e(Uk) \,7J(Uk)) = inf J(Uk-e \/J(Uk)).
eER
REMARQUE. Si les résultats de convergence des théorèmes 7.5-3 et 7.5-4 sont établis sous
des hypothèses assez restrictives (vecteur U o déjà suffisamment voisin d'un zéro, etc.),
i1 faut néanmoins porter à leur crédit l'absence d'hypothèses telles que la convexité,
l'ellipticité, la coercivité de la fonction J (ces deux dernières notions seront définies plus
loin) qui sont utilisées de façon essentielle dans Ie chapitre suivant. II

8
GÉNÉRALITÉS SUR
L'OPTIMISA TION.
PREMIERS
ALGORITHMES
Introduction
Nous commençons par rappeler, avec quelques-unes de ses conséquences, Ie théorème
de projection dans les espacesde Hilbert (théorème 8.1-1), dont un usage constant em fait
en Optimisation. II nous permettra en particulier d'établir un certain nombre de résultats
directement en dimension infinie.
L'objet principal de l'Optimisation est la construction d'algorithmes permeUant d'ap-
procher une solution d'un problème de la forme: trouver u tel que
(P)
u E U, et J(u) = inf J(v) ,
vEU
où U est une partie donnée d'un espace vectoriel V, et J: V -+ Rune fonction donnée.
C'est pourquoi il est naturel de s'intéresser, et dans l'ordre, aux questions suivantes :
(i) Résultats d'existence, et d'unicité, de la solution du problème (P); c'est l'un des objets
du paragraphe 8.2, où nous démontrons divers résultats d'existence, selon les situations
considérées (dimension finie ou non, fonctionnelles quadratiques ou "elliptiques", etc.).
etc.).
(ii) Caractérisation d'une solution éventuelle du problème (P), c'est-à-dire des condi-
tions nécessaires, et suffisantes dans certains cas, pour qu'un élément u E U soit solution
du problème (P) ; la plupart de ces caractérisations ont été établies au chapitre précédent 9
dont c'était d'ailleurs l'un des objectifs.
Les conditions nécessaires font généralement intervenir la dérivée première de la
fonction J ; c'est Ie cas par exemple de l'équation d'Euler J'(u) = 0 lorsque U = V,
ou des inéquations d'Euler (paragraphe 7.4) lorsque l'ensemble U est convexe. Lorsque
l'ensemble U est de l'une des formes suivantes (d'importances fondamentales dans les
applications) :
u = {v E V; gJ;(v) = 0, 1  i =s:: m} ou U = {v E V; gJj(v)  0, 1  i :E: m}9
ces caractérisations font également intervenir les dérivées premières des fonctions cp;,
par l'intermédiaire des multiplicateurs de Lagrange dans Ie premier cas (paragraphe 7.2)9
ou par I'intermédiaire des relations de Kuhn et Tucker (que nous établirons au chapitre
suivant) dans Ie second.

168
OPTIMISATION. PREMIERS ALGORITHMES
Certaines des conditions précédentes deviennent également suffisantes moyennant
l'hypothèse de convexité de la fonctionnelle (com me nous l'avons indiqué au Paragraphe
7.4). Les conditions suffisantes faisant intervenir les dérivées secondes (vues au parag-
raphe 7.3) sont rarement utilisées.
(iii) Construction effective d' algorithmes permettant d'approcher une solution u du
probJème (P), c'est-à-dire, construction d'une suite (Uk)kO d'éléments de l'ensemble
U ,tels que lim Uk = u, Ie vecteur U o étant choisi arbitrairement ; on notera que, dans
k-+oo
tous les cas, la définition et l'étude de ces algorithmes utilisent de façon essentielle les
caractérisations des solutions, que nous rappellerons à chacune de leurs utilisations.
Après quelques précisions sur 1a terminologie (problèmes de programmation linéaire,
non linéaire, convexe, sans contraintes, avec contraintes, etc. ; ct. paragraphe 8.2)
et quelques indications sur l'origine des problèmes d'optimisation (paragraphe 8.3),
Ie reste du chapitre est consacré à fa description et l'étude des algorithmes "de base" de
/'Optimisation.
Pour les problèmes sans contraintes (U = V), nous étudions successivement les mé1ho-
des de relaxation, de gradient à pas optimal, à pas fixe, à pas variable (paragraphe 8.4),
et du gradient conjugué (paragraphe 8.5). Pour les problèmes avec contraintes, nous
étudions successivement les méthodes de relaxation, et de gradient avec projection
(paragraphe 8.6), dont l'application pratique est limitée à des ensembles U très particuliers,
n
de la forme U = n [ai' b;] c V = Rn.
;=1
N ous donnons des conditions suffisantes de convergence pour chacune de ces méthodes,
Ie plus souvent dans Ie cas des fonctionnelles elliptiques, qui généralisent de façon naturelle
les fonctionnelles quadratiques à matrice symétrique définie positive.
Appliquées au problème sans contraintes (U = V = Rn) associé à une telle fonction-
nelle quadratique, les algorithmes étudiés fournissent autant de méthodes de résolution
du système linéaire associé, l'une d'elles coïncidant d'ailleurs avec la méthode itérative
de Gauss-Seidel vue au chapitre 5. Dans cet esprit; on notera que, à l'exception de la
méthode du gradient conjugué, aucune de ces méthodes n'est directe.
Les problèmes avec contraintes "générales" sont beaucoup plus difficiles à traiter
que les problèmes sans contraintes. D'ailleurs, on s'efforce souvent de les résoudre en
les remplaçant par une suite de problèmes sans contraintes, ou avec des contraintes
faciles à prendre en compte (par exemple U = R). Cette idée est à la base des méthodes
de pénalisation, que nous décrivons brièvement au paragraphe 8.6, et à la base des métho-
des' utilisant la dualité, étudiées au chapitre 9.1 I Dans Ie cas particulier (très important
en pratique) d'une fonctionnelle linéaire associée à des contraintes elles aussi Iinéaires,
signalons enfin la méthode du simplexe, dont l'étude fera l'objet du chapitre 10.
Dans ce chapitre, tous les espaces vectoriels considérés sont réels. Enfin la norme eucli-
dienne sur Rn sera dorénavant notée, soit II . Iin si l'on souhaite faire apparaître expli-
citement la dimension, soit simplement II . II si aucune ambiguïté n'est à craindre.
8.1. Le théorème de projection ; premières conséquences
Soit V un espace vectoriel sur Ie corps R. Un produit scalaire sur Vest une application
(., .): VX V -+ R bilinéaire, symétrique, et définie positive, c'est-à-dire qui vérifie :
(u, .) : V -+ Rest linéaire pour tout u E .V,
( ., v) : V -+ Rest linéaire pour tout v E V,
(u, v) = (v, u) pour tout u, v E V,
(v, v) = 0 .ç? v = 0, et (, v)  0 pour tout v E V.

THÉORÈME DE PROJECTION
169
On appelle eJpace préhilbertien un espace muni d'un produit scalaire. L'application
i I · II définie par
/I v II = Ý ( , v) pour tout v E V,
étant une norme sur l'espace V, un espace préhilbertien est toujours considéré comme
étant muni de cette norme, qui en fait aussi un espace vectoriel normé. S'il est complet
pour cette norme, c'est un espace de Hilbert. Tout espace vectoriel normé de dimension
finie étant complet, l'espace Rn muni du produit scalaire euclidien est un exemple d'espace
de Hilbert.
Notons au passage l'inégalité de Schwarz:
I (u, v) I  II u 1111 v II pour tout u, v E V,
qui sert notamment à démontrer l'inégalité triangulaire pour la norme associée au produit
scalaire. L'inégalité de Cauchy-Schwarz pour Ie produit sca]aire euclidien (paragraphe
1.4) ou l'inégalité de Cauchy-Schwarz pour les jònctions :
1 1
1 uv dx  (1 I u 1 2 dx r (1 I v 1 2 dx r- , I c R,
en sont des cas particuliers. On remarquera que l'inégalité de Schwarz entraîne la
continuité du produit scalaire, considéré comme application du produit VX V dans R.
Enfin on rappelle que cette inégalité devient une égalité si, et seulement si, les deux
vecteurs qui y figurent sont linéairement dépendants.
Le résultat qui suit est essentiel.
Théorème 8.1-1 (théorème de projection). Soit U un sous-ensemble non ,ide, con,exe,
fermé, d'un espace de Hilbert V. Étant donné un élément quelconque w E V, il existe un et
un seul élément Pw tel que
(1)
Pw E U et Ilw-Pwll = inf Ilw-vll.
vEU
Cet é/ément Pw E U ,érifie
(2)
(Pw-w, v-Pw)  0 pour tout V E u,
et, réciproquement, si un élément u ,érifie
u E U et (u - w, V - u)  0 pour tout V E u,
alors u = Pw.
L'application P: V -+ U ainsi définie est te//e que
(3)
II PWI -- PW211  II WI - w211 pour tout W11 W2 E V.
Enfin, I'application P: V  U c Vest linéaire si et seulement si Ie sous-ensemble U est
un sous-espace ,ectoriel, auquel cas les inégalités (2) sont remplacées par les égalités
(4)
(Pw - w, v) = 0 pour tout v E U.
II
Faisons divers commentaires sur ce résultat.
(i) L'application P: V -+ U s'appelle l'opérateur de projection, et l'élément Pw
s'appelle la projection (sur l'ensemble U) de l'élément w, l'interprétation géométrique de

170
OPTIMISATION. PREMIERS ALGORITHMES
VI
Pw
la relation de définition (1) étant claire à cet égard
(figure 8.1-1) : l'élément "projeté" Pw est en effet
l'élément de I'ensemble U "Ie plus voisin" du point
w. De la même façon, les inégalités (2) traduisent la
nécessité, intuitivement évidente, pour l'angle formé
par les vecteurs (Pw-w) et (v-Pw) d'être =E:!!.-
2
pour tous les éléments v E U(figure 8.1-1). On notera
au passage que
w\
w-Pw=OwE U.
(ii) Les lecteurs attentifs rapprocheront les iné-
galités (2) des inéquations d'Euler "J'(u) (v-u)  0
pour tout v E U" du théorème 7.4-4. Effectivement, leur analogie n'est pas une coinci-
dence ; considérons en effet, pour w E V fixé, la fonction
FIG. 8.1-1.
111
J : v E V -+ J(v) = -lIw-vll 2 = - (v, v)- (w, v)+-(w, w).
2 2 2
Cette fonction est dérivable, avec
J'(v)z = (v-w, z) pour tout v, z E V,
et (strictement) convexe (théorème 7.4-3). Par suite, les inégalités (2) expriment simplement
la condition nécessaire et suffisante (3) du théorème 7.4-4, écrite au point u = Pw.
(Hi) L'inégalité (3) entraîne en particulier la continuité de l' opérateur de projection.
On la retient parfois en disant de façon imagée que "la projection n'augmente pas les
distances" (figure 8.1-1).
(iv) La condition (4) traduit l' orthogonalité (au sens défini plus loin) du vecteur
(Pw-w) et des vecteurs de I'ensemble U, lorsque
celui-ci est un espace vectoriel. L'interprétation géo-
métrique est encore évidente (figure 8.1-2).
L'application u E V -+ Uh E Vh C V rencontrée
dans l'approximation variationnelle des problèmes
aux limites (paragraphes 3.4 et 3.5) est un exemple
d' opérateur de projection, linéaire puisque Vh est un
sous-espace vectoriel. Reprenant les notations uti-
lisées dans ces deux paragraphes, on constate en
eifet que l'application a(., .) est un produit scalaire sur l'espace V. Par suite, les rela-
tions (utiIisées dans la démonstration du théorème 3.4-2) :
w
u
o
v
Pw
FIG. 8.1-2.
a(u-uh' Wh) = 0 pour tout Wh E Vh,
montrent que la solution approchée Uh E Vh n'est autre que la projection de la solution
"exacte" u sur Ie sous-espace Vh, au sens du produit scalaire a(., .).
Un autre exemple d'opérateur de projection, cette fois non linéaire, correspond à :
V = Rn muni du produit scalaire euclidien,
déf
U = R = {v E Rn; v  o},

THÉORÈME DE PROJECTION
171
l'ensemble U étant parfois appelé hyperoctant
positif (on rappelle que la notation v  0, déjà
introduite, signifie que toutes les composantes
du vecteur v sont  0). II est à peu près évi-
det géométriquement que I'opérateur de pro-
jection correspondant est défini par
(PW)i = max {Wi, OJ, 1  i  n,
comme Ie suggère l'examen de tous les "cas de
figures" en dimension deux (figure 8.1-3). Pour Ie
démontrer, iI suffit de vérifier la condition né-
cessaire et suffisante du théorème 8.1-1 ; or étant
donné un élément quelconque v = (Vj)7=1 de l'en-
semble U, la définition précédente de l'élément
Pw entraîne effectivement
w'.--------
I P Will
I
I
I
.
,
.
AÞ Will
... Pw"
w" ..........
FIG. 8.1-3.
n
(Pw-w, v-Pw) = L ((PW)i-Wi) (Vi-(PW)i) = - L WiVi  O.
;=1 ;, wi<O
L'extension aux ensembles de la forme
n
U = IT [ai, bi] = {v = (Vi)7=1 E R n ;
i=1
a.  V .  b.
I I I ,
1in}CRn,
les cas où ai = - 00 et/ou b i = + 00 n'étant pas exclus, n'offre aucune difficulté.
Les lecteurs vérifieront par un raisonnement analogue que l'opérateur de projection
correspondant est donné par
{ a; Sl W; <: a;,
(Pw); = min {max {Wi, ai}, bi} = Wi Sl a;  W; E:: bi,
b i SI b i <: Wi.
Comme première application du théorème de projection, reprenons Ie problème de
la solution d'un système linéaire au sens des moindres carrés : trouver u E Rn tel que
"Bu-c 11m = inf II Bv-c 11m,
vERn
où la matrice B E cJl m . n(R) et Ie vecteur c E Rm sont donnés, et II · 11m désigne la norme
euclidienne dans Rm. Le sous-espace vectoriel
1m (B) = {Bv E Rm; v ERn}
étant fermé (on est en dimension finie), Ie théorème de projection entraîne l'existence,
et l'unicité, d'un élément ü vérifiant
ü E 1m (B) et IIü-cll m = inf \lv-cllm.
v Elm (B)
Par suite, Ie problème posé a toujours au moins une solution, à savoir l'un des élé-
ments u E RII qui vérifie
Bu = ü.
Cette solution est unique si et seulement si l'application representée par la matrice B
est injective (ce qui n 'est possible que si m  n), c'est-à-dire si et seulement si 1a matri-
ce symétrique positive BTB est définie, ou encore si et seulement si r(B) = n.

172
OPTIMISATION. PREMIERS ALGORITHMES
Dans Ie n1ême esprit, la caractérisation (4) du theorème 8.1-1, à savoir
(ü-c, v)m == 0 pour tout v E 1m (B),
s'écrit, en notant (., .)m et (., .)n les produits scalaires euclidien de Rm et Rn, respec-
tivement,
(Bu-c, BV)m == (BTBu- BTc, v)m == 0 pour tout v E Rn.
On a ainsi établi que les équations normales
BTBu == BTc,
ont toujours au "loins une solution. Des compléments intéressants (lien avec les valeurs
singulières ; "pseudo-inverse" d'une matrice) à cette question de la solution d'un système
linéaire au sens des moindres carrés sont indiqués à l'exercice 8.1-3.
Étant donné un élément u E V, l'inégalité de Schwarz montre que la forme
(u, .): v E V  (u, v) E R
est continue. II est remarquable que la réciproque soit vraie si l'espace est complet :
toute forme linéaire continue sur un espace de Hilbert peut être "représentée" par un
élément de l'espace, comme Ie montre Ie résultat suivant (dont la démonstration repose
de façon essentielle sur Ie théorème de projection) :
Théorème 8.1-2 (théorème de représentation de Riesz). Soit V un espace de Hi/bert etlun
é/ément que/conque du dual V'de V. A/ors i/ existe un é/ément TI E V et un seu/ tel que
1(.') = (Tf, v) pour tout V E V.
L'app/ication T : V'  Vainsi définie est /inéaire, et c'est une isométrie :
"T/!lv = III II v' pour tout I E V'.
II
L'application 7: s'appelle l'isométrie canonique de Riesz. Une première application
du théorème de représentation de Riesz est l'extension de la notion de gradient: en effet,
si J: V  Rest une fonction dérivable en un point u d'un espace de Hilbert V, la dérivée
J' (u) est, par définition, un élément du dual V'. Par suite, il existe un et un seul élément
de l'espace V, noté V' J(u), et appelé Ie gradient de la fonction J au point u, tel que
J'(u) v == (V'J(u), v) pour tout v E V.
Comme en dimension finie, ce vecteur dépend du produit scalaire choisi.
De la même façon, on peut associer à la dérivée seconde J"(u) E cLZ( V  V') un élé-
ment, noté \72 J(u), de l'espace .iZ( V) tel que
J"(u) (v, w) == (\7 2 J(u)v, w) pour tout v, w E v.
Deux vecteurs u et v d'un espace préhilbertien sont orthogonaux si (u, v) == O. Si Vest
une partie quelconque d'un espace préhilbertien V, on appelle comp/ément orthogonal
de V l'ensemble
déf
U.l == {v E V; (u, v) == 0 pour tout u E V}.
II est facile de voir que l'ensemble V.l est toujours un sous-espace vectoriel fermé. Dans
Ie cas où Vest aussi un sous-espace vectoriel fermé et l'espace est complet, on peut,
grâce au théorème de projection, démontrer ]e résultat suivant :

GÉNÉRALITÉS SUR LES PROBLÈMES D'OPTIMISA TION
173
Théorème 8.1-3. Soit U un sous-espaee ,eetoriel fermé d'un espaee de Hilbert V. Alors
I'espaee Vest la somme direete du sous-espaee et de son eomplément orthogonal:
V = UEB UJ...
II
Autrement dit, tout élément w E V s'écrit d'une et d'une seule façon sous la forme
w = u+u', avec u E U, u' E UJ....
Plus précisément, u = Pw et u' = P' w, où P et P' = I - P désignent respectivement les
opérateurs de projection sur U et UJ...
Étant donné deux espaces de Hilbert V et W, munis de produits scalaires (., .)v et
(., · )w, Ie théorème de représentation de Riesz permet d'associer à tout opérateur
A E ,J2(V ; W) /'opérateur transposé AT E ."Q(W; V) défini par
(Av, w)w = (v, ATw)v pour tout v E V, w E W.
Naturellement, on retrouve ]a définition usuelle d'une matrice transposée lorsque les
espaces V et W sont de dimension finie et sont munis du produit scalaire euclidien. De
la définition ci-dessus et du théorème 8.1-3, on déduit les relations
V = Ker (A)EB 1m (AT), Jf' = Ker (AT)EB Im(A),
où l'on a utilisé les notations habituelles
Ker (A) = {v E V; Av = O}, 1m (A) = {Av E W; v E V},
pour Ie noyau et l'image, respectivement, de l'application linéaire A.
Nous utiliserons ces relations dans ]e cas particulier où les deux espaces Vet W sont
de dimension finie, auquel cas Jes sous-espaces 1m (A) et 1m (AT) sont toujours fermés.
Ccs relations portent alors parfois Ie nom d'alternative de Fredholm en dimension finie,
en raison des conséquences qu'on en déduit pour la résolution d'un système linéaire
à matrice non nécessairement carrée, à savoir :
Soil V et W deux espaces de dimension finie, A une application linéaire de V dans W,
et b U/l vecteur de W. Alors I'une, et /'une seulement, des deux éventualités suivantes a
lieu :
- ou bien Ie système Iinéaire Av = b a au moins une solution:
- ou bien Ie système Iinéaire Av = b n' a pas de solution, et il existe au moins un vecteur
w E W tel que ATw = 0 et (w, b)  0 (par exemple, la projection du vecteur b sur Ie
noyau de l'application transposée AT).
8.2. Généralités sur les problèmes d'optimisation
Un problème d'optimisatio/l se présente sous la forme suivante : étant donné une partie
U non vide d'un espace vectoriel V et une fonction J: V -+- R, il s'agit de trouver un
minimum de ]a fonction J par rapport à l'ensemble U, c'est-à-dire un élément u qui
vérifie
(P)
u E U et J(u) = inf J(v).
vEU
REMARQUE. Pour la définition du problème (P), il est donc suffisant de connaître
la fonction J sur l'ensemble U, mais dans la pratique, ce.lle-ci est généralement connue
sur l'espace V tout entier. II

174
OPTIMISATION. PREMIERS ALGORITHMES
Précisons quelques points de terminologie, essentiellement selon la nature de la fonc-
tion J, qu'on a coutume d'appeler fonctionnelle en Optimisation, et de l'ensemble U.
On distingue les problèmes sans contraintes lorsque U = V, et les problèmes avec
contraintes dans Ie cas contraire. Parmi les problèmes avec contraintes, un cas très
important dans les applications est celui d'ensembles U de la forme
u = {v E V; cp;(v)  0, 1  i  m', cp;(v) = 0, m' + 1  i  m},
les fonctions données cp; : V  R, 1  i  m, étant appelées les contraintes du pro-
lème. Si m' = m, ou si m' = 0, on dit souvent par abus de langage qu'il s'agit d'un
problème avec "contraintes-inégalités", ou avec "con train tes-égalités " , respectivement.
En l'absence d'hypothèses supplémentaires sur les fonctions CPi et J, notamment en
ce qui conceme la convexité et a fortiori la linéarité, Ie problème (P) associé s'appelle un
problème de programmatiJn non linéaire.
Puisque I'on peut toujours remplacer une "contrainte-égalité" cp;(v) = 0 par les
deux "contraintes-inégalités" Cpj(v)  0 et -cp;(v)  0, bornons-nous provisoirement
à considérer les seuls problèmes avec "contraintes-inégalités", correspondant par
conséquent à des ensembles U de la formé
U = {v E V; cp;(v)  0, 1  i  m}.
Si les fonctions J et cp; sont convexes, on dit qu'il s'agit d'un prob/ème de programmation
convexe : on notera que l'ensemble U est alors convexe ; en effet,
cp;(u)  0 ;
cp{v)  0 . }
I ,  cp;(Ou+(l-O)v)  Ocp;(u)+(l-O)cp;(v)  0,
o E [0, 1]
et une intersection d'ensembles convexes est convexe.
Deux cas particuliers très importants de la programmation convexe sont ceux de Ia
programmation quadratique et de la programmation linéaire : dans un problème de pro-
grammation quadratique, la fonction Jest une fonctionnelle quadratique sur V = Rn :
1
J: v E Rn  J(v) = - (Av, v)-(b, v), A = AT E dn(R), bERn,
2
la matrice A étant supposée définie positive (ce qui entraîne la stricte convexité de la
f onction J; cf. paragraphe 1.4), et les eontraintes cp; sont affines (done convexes) :
n
U = {v E Rn; L C;jVj  d;, 1  i  m}.
j=l
Dans un problème de programmation linéaire, la fonction Jest une fonctionnelle
linéaire sur V = Rn :
n
J(v) = L ajVi,
;=1
et l'ensemble U est encore de la forme
n
U={vERn; L cijvjd;, lim}.
j=l
REMARQUE. Si la matrice symétrique intervenant dans Ia définition d'une fonetionnelle
q uadratique est seulement positive, cette dernière est encore convexe ; il serait done
concevable d'appeler encore problème de programmation quadratique Ie problème

GÉNÉRALITÉS SUR LES PROBLÈMES D'OPTIMISATION
175
d'optimisation correspondant. Or, ce faisant, la programmation linéaire apparaîtrait
comme un cas particulier de la programmation quadratique, ce qui est grossièrement
inexact à bien des égards, à telle enseigne d'ailleurs qu'un chapitre séparé devra être
spécialement consacré à la programmation linéaire. II
Examinons maintenant les questions d'existence et d'unicité de la solution du problème
(P). Que l'on soit en dimension finie ou non, l'unicité d'une solution éventuelle est en
général établie indépendamment de l'existence, Ie plus souvent à partir de la convexité
de l'ensemble U et de la stricte convexité de la fonctionnelle (théorème 7.4-4).
Pour ce qui conceme ['existence, commençons par Ie cas de la dimensionjinie. Si U est
une partie fermée bornée de V = Rn et si la fonction J: Rn -.. R est continue, il est clair
que Ie problème (P) a au moins une solution. En vue d'étendre dans un premier temps
ce résultat au cas d'ensembles U non bomés (notamment lorsque U = V = Rn), on
introduit la ntion suivante: une fonction J à valeurs réelles définie sur un espace
vectoriel normé Vest dite coercive si
lim J(v)=+oo.
Ilvllv-" OO
Théorème 8.2-1. Soit U une partie non ,ide fermée de Rn, et J: Rn -+ Rune fonction con-
tinue, coerci,e si l'ensemble U est non borné. Alors il existe IIU moins un élément u tel que
(P)
u E U et J(u) = iDf J(v)
vEU
DÉMONSTRATION. Soit U o un point quelconque de l'ensemble U. La coercivité de la
fonctionnelle J entraîne l'existence d'un nombre r tel que
Ilvll :> r  J(u o ) <: J(v).
Dans ces conditions, l'ensemble des solutions du problème (P) coincide avec celui des
solutions du problème (Po) correspondant à l'ensemble
U 0 = Un {v E Rn; II v II  r}.
On est donc ramené au cas d'un sous-ensemhle non vide (u o E U o )' fermé, borné. II
REMARQUES. (1) Le théorème 8.2-1 fournit une démonstration du théorème de projecIion
(théorème 8.1-1) lorsque l'espace Vest de dimension finie ; iI sumt en effet d'introduire la
fonction (avec les notations du théorème 8.1-1) J(v) = II w-v II qui est coercive puisque
J(v)  II v" -II w II. Mais ce point de vue fait jouer un rôle artificiel à la compacité : la
démonstration du théorème de projection repose en effet d'une part sur Ie caractère
complet de l'espace et d'autre part sur la "géométrie" de l'espace, liée à l'existence d'un
produit scalaire. Par contre, l'avantage de la présente démonstration est de s'appliquer
à une norme quelconque.
(2) On notera que, lorsque l' ensemble U est non borné et la fonctionnelle linéaire, Ie
résultat ci-dessus ne s'applique pas en général. II
C'est la compacité qui intervient de façon essentielle dans la démonstration du théorème
8.2-1. On peut s'en convaincre autrement par la considération d'une suite minimisante
(Uk)kO , c'est-à-dire une suite de points qui vérifie
Uk E U pour tout k  0, lim J(Uk) = inf J( v).
koo vE U
Cette suite étant nécessairement bornée, puisque la fonctionnelle J est coercive, on peut
extraire une suite (Uk') qui converge vers un élémeht u E U (l'ensemble U est fermé).

176
OPTIMISA TION. PREMIERS ALGORITHMES
La fonction J étant continue,
J(u) = lim J(Uk') = inf J(v),
k' -+00 vE U
ce qui fournit une nouvelle preuve de l'existence d'une solution du problème (P).
C'est d'ailleurs ce type de raisonnement qui permet d'étendre Ie résultat au cas de la
dimension infinie, avec néanmoins des hypothèses supplémentaires, et essentielles, de
convexité, aussi bien pour la fonctionnelle J que pour l'ensemble U. La démonstration
reposant sur la compacité "faible" des parties convexes fermées bornées des espaces de
Hilbert (parties (ii) et (iii) de la démonstration ci-dessous)) nous commençons par Ia
définition suivante : On dit qu'une suite (Uk)k;::;O d'éléments d'un espace préhilbertien V
converge faiblement s'il existe un élément U E V tel que
lim (v, Uk) = (v, u) pour tout v E V.
k-+oo
On notera que, si toute suite qui converge au sens de la norme converge faiblement,
l'inverse n'est pas toujours vrai (cf. exercice 8.2-1).
- Théorème 8.2-2. Soit U une partie non ,ide, con,exe, fermée, d'un espace de Hilbert sépa-
rable V, et J: V -+ Rune fonctionnelle con,exe, déri,able, coerci,e si I'ensemble U est non
borné. Alors il existe au moins un élément u tel que
(P)
u E U et J(u) = inf J(v).
vEU
DÉMONSTRATION. (i) Com me dans Ie cas de la dimension finie (théorème 8.2-1), la coerci-
vité de la fonctionnelle permet de se ramener au seul cas d'un ensemble U borné (et
encore convexe puisqu'une boule est convexe ; se reporter à la démonstration du théorè-
me précité).
(ii) Considérons une suite minimisante (Uk)k::;:O :
Uk E U pour tout k  0, lim J(Uk) = inf J( v),
k-+oo vE U
sans exclure à ce stade l'éventualité où inf J(v) =- <x>. La suite (Uk) étant bornée (d'a-
vE V
près (i)), montrons qu'onpeut en extraire une suite qui converge faiblement.
Soit C une constante telle que II uk II  C pour tout k  O. On note pour commencer
que, si vest un élément quelconque de l'espace V, la suite de nombres réels {(v, Uk)}k;::;O
est bornée puisque I(v, Uk) I  Cllvll. L'espace Vétant supposé séparable, soit (Vk)k;::;O
un ensemble dénombrable dense. La suite {(VI, Uk)}k;::;O étant bornée, on peut en extraire
une suite {(VI, Uk)}k1;::;O convergente ; de même, la suite {(V2, Uk1)}k1;::;O étant bornée, on
peut en extraire une suite {(V2, Uk 2 ) }k 2 :?:O convergente, et ainsi de suite.
déf
Considérons la suite "diagonale" (w/)/;::;o, où W/ = u/ l . Par construction, chaque suite
{(Vk, w/)}/;::;o, k  0, a unelimite, qui est lalimite de la suite {(Vk, U/k)}/k:?:O. On va montrer
qu'en fait toute suite {(v, W/)}/;::;O, V E V, a une limite: étant donné un élément quelconque
E
'V E V, soit en effet E >- 0 donné. II existe un élément 1'k tel que II v- Vk II  - . Dans
4C
ces conditions,
I (v, w/)-(v, w m ) I = I (v, W/- w m ) I  I (Vk, W/- w m ) I + I (v- Vk, W,- W m ) I 
E
 I (Vk, W,)-(Vk, W m ) 1+-,
2

GÉNÉRALITÉS SUR LES PROBLÈMES D'OPTIMISA TION
177
puisque II w/-w m II  II w/II + II w m II  2 C. L'élément Vk étant fixé, la suite {(Vk, w/)}/o
converge d'après ce qui précède ; c'est donc une suite de Cauchy. Par suite, il existe un
entier 10 = lo(ë, Vk) tel que
ë
I, k  10 ==> I (Vk, W/)-(Vk, w m ) I  -,
2
et l'assertion est établie.
Définissons une application I: V  R par
I(v) = lim (v, WI) pour tout v E V.
/OO
C'est une application linéaire, et continue puisque
I(v, WI)/  Clivi I pour tout I  1 I(v) 1  Clivi I.
D'après Ie théorème de représentation de Riesz, il existe un élément u E V tel que I(v) =
= (v, u) pour tout v E V; on a donc bien établi la convergence faible de la suite extraite
(WI) = (UI,) vers l'élément u.
(iii) Démontrons ensuite que la limite ''fàible'' u de la suite extraite (w/) appartient à
I'ensemble U. Notons P l'opérateur de projection associé à l'ensemble convexe fermé
U ; d'après Ie théorème 8.1-1(2),
w/ E U ==> (Pu-u, W/- Pu)  0 pour tout entier I.
La convergence faible de la suite (WI) vers l'élément u entraîne
o  lim (Pu-u, w/-Pu) = (Pu-u, u-Pu) =-llu-PuI1 2  0,
/OO
et donc u E U. On a ainsi établi qu'un ensemblefermé convexe est "faiblement" fermé, c'est-à-
dire que la limite "faible" d'une suite faiblement convergente de points d'un tel ensemble
lui appartient.
(iv) Montrons enfin que la fonctionnelle J vérifie
J(v)  lim inf J(v,),
/OO
pour toute suite (VI) convergeant faiblement vers un élément v. La fonction J étant sup-
posée dérivable et convexe, on a en effet (théorème 7.4-2)
J(v) +(\7 J(v), VI-V)  J(v/) pour tout entier I,
et, par définition de la convergence faible,
lim ('7 J(v), VI) = (\7 J(v), v),
Ioo
ce qui établit la propriété annoncée; on l'appelle la faible semi-continuité inférieure séquen-
lielle de la fonctionnelle J.
(v) II est main tenant facile de conclure : la limite faible u E U de la suite extraite (WI) de
la suite minimisante (Uk) vérifie
J(u)  lim inf J(w/) = lim J(Uk) = inf J(v).
Ioo k 00 vE U
II
REMARQUES. (1) Le théorème reste vrai dans les espaces de Banach réflexifs, dont les
espaces de Hilbert (séparables ou non) sont des cas particuliers ; de même, il reste vrai si
on remplace l'hypothèse de dérivabilité de la fonction J par la seule continuité.

178
OPTIMISATION. PREMIERS ALGORIGHMES
(2) La réciproque de la propriété (ii) est vraie (toute suite faiblement convergente est
bornée), mais elle ne peut pas s'établir de façon élémentaire. II
Dans certains cas particuliers, la démonstration de l'existence d'une solution peut
être notablement simplifiée, en évitant notamment tout recours à la convergence faible.
Commençons par une définition : étant donné un espace de Hilbert V, une fonction
J: V -.. Rest appelée fonctionnelle quadratique sur V si elle est de la forme
1
J(v) = - a(v, v)- f(v),
2
où a(., .): VX V -.. Rest une forme bilinéaire, continue, symétrique (a(u, v) = a(v, u)
pour tout u, v E V) et f: V -.. Rest une forme linéaire continue. Cette définition généra-
Iise de façon naturelle celIe d'une fonctionnelle quadratique sur Rn puisque, grâce au
théorème de représentation de Riesz, il existe un opérateur A E J2.(V) et un élément b E V,
tous deux définis de façon unique, tels que
a(u, v) = (Au, v) = (u, Av) pour tout u, v E V,
f(v) = (b, v) pour tout v E V,
en désignant par (., .) Ie produit scalaire de I'espace V.
Le théorème de projection et Ie théorème de représentation de Riesz permettent alors
d'établir simplement un résultat général d'existence pour des problèmes (P) posés avec
de telles fonctionnelles. On notera que Ie cas U = V correspond exactement à la formula-
tion variationnelle des prob/èmes aux limites, brièvement abordée aux paragraphes 3.4
et 3.5.
 Théorème 8.2-3. Soit
1
J: v E V -.. J(v) = 2 a (v, v) -f(v)
une fonctionnelle quadratique sur un espace de Hilbert V. On suppose de plus qu'il existe
un nombre a tel que
a ::> 0 et a(v, v)  all v II} pour tout V E V.
Étant donné Rne partie non ,ide, con,exe,fermée U de V, il existe un et un seul élément u
.érifiallt
(P)
u E U et J(u) = inf J(v).
vEU
Cet élément u ,érijie également
a(u, v-u)  f(v-u) pour tout V E U,
et, réciproquement, si un élément u E V ,érifie les inéquations ci-desslls, c' est la solution du
problème (P). Si U est un sous-espace vectoriel, les inéquations précédentes sont remplacées
par les équations
a(u, v) = f(v) pour tout v E U.
DÉMONSTRATION. La forme bilinéaire a(., .) est également un produit scalaire sur l'espa-
ce V, la norme associée étant équivalente à la norme II. II associée au produit scalaire
( ., .) de l'espace V. En effet, les hypothèses faites entrainent :
Ý  lIvll  ýa(v, v)ÝWllv"

EXEMPLES
179
en désignant par Iiall la norme (dans l'espace .J2 2 (V ; R)) de l'application bilinéaire
a( ., .).
La forme linéairefétant donc encore continue pour cette nouvelle norme, Ie théorème
de représentation de Riesz montre qu'il existe un élément c E Vet un seul tel que
f(v) = a(c, v) pour tout v E V.
Par suite, on peut transformer l'expression de la fonctionnelle, en l'écrivant
1 1 1
J(v) = - a(v, v)-a(c, v) = - a(v-c, v-c)-- a(c, c).
2 2 2
Dans ces conditions, résoudre Ie problème (P) revient à chercher la projection u de
I' élément c sur I' ensemble U, au sens du produit scalaire a(., .). D'après Ie théorème de
projection, il en existe une et une seule, ce qui établit l'existence et l'unicité de la solution
u du problème (P). D'après Ie même théorème, cette solution est également caractérisée
par les inéquations
a(u-c, v-u)  0 pour tout v E U,
ou par les équations
a(u-c, v) = 0 pour tout v E U,
si U est un sous-espace vectoriel, relations qui coincident avec celles de l'énoncé puisque
a(c, v) = f(v) pour tout v E V. _
REMARQUES. (1) Un usage essentiel de la symétrie de la forme bilinéaire a été fait, d'une
part, pour conclure que l'expression a(., .). est un produit scalaire, d'autre part, pour
écrire la nouvelle expression de la fonctionnelle.
(2) Les inéquations a(u, v-u)  f(v-u) sont un cas particulier des inéquations d'Euler
J'(u)(v-u)  0 (théorème 7.4-4) appliquées à la fonctionnelle J, de dérivée donnée par
J'(u) v = a(u, v)- f(v) pour tout v E V.
Une observation analogue (et pour cause. . .) a été faite à propos du théorème de projec-
tion.
(3) On a indiqué aux paragraphes 3.4 et 3.5 les raisons pour lesquelles les relations
a(u, v) = f(v) sont des équations "variationnelles" ; c'est dans Ie même esprit que les
relations "a(u, v-u)  f(v-u) pour tout v E U" sont appelées des inéquations variation-
nelles. _
8.3. Exemples de problèmes d'optimisation
La résolution d'ull système linéaire au sens des moindres carrés (cf. paragraphe 3.7) est
un premier exemple de prob1ème d'optimisation sans conlrainfes, correspondant aux
données suivantes :
1 1
U= V=Rn; J:vERn-.. J(v) =2"Bv-c"-21Icll;,.
Comme
_ 1 T T
J(v) - - (B Bv, v),,-(B C, V)l1'
2

180
OPTIMISA TION. PREMIERS ALGORITHMES
il s'agit d'un problème de prografnnzation quadratique, au sens entendu ici, seulement si la
matrice symétrique BTB est définie positive. On rappelle qu'on a établi au paragraphe 8.1
l'existence d'une solution de ce problème dans tous les cas, y compris celui où la matrice
BTB est seulement positive. Lorsque la matrice BTB est définie positive, l'existence et
l'unicité de la solution peuvent aussi se retrouver à partir du théorème 8.2-3.
Une très vaste source de problèmes d'optimisation est constituée par la résolution des
probfèmes aux limites par fa méthode d'approximation variationnelle. Com me nous l'avons
montré aux paragraphes 3.4 et 3.5 (dont nous reprenons les notations), cette méthode
conduit à chercher Ie minimum d'unefollctionnelle quadratique de la forme
1
Ç} : v E RM -+ Ç}(v) == -- (Av, v)-(b, v),
2
avec
A == (a(wj, Wi)) E dM(R), b == (f(Wi)) E RM,
les fonctions Wi, 1  i  M, étant les fonctions de base de l'espace V h dans lequel on
M
cherche la solution approchée Uh == L lliWi, et a(., .) et f(.) étant respectivement la
;=1
forme bilinéaire et la forme linéaire intervenant dans la formulation variationnelle du
problème aux limites considéré. On a
déjà observé que la matrice A est sy-
métrique, et définie positb'e : il s'agit
donc d 'un deuxième exemple de prob-
lènze de progralnmation quadratique
sails contraintes.
Considérons ensuite une varian te du
problème de la membrane (considéré
aux paragraphes 3.2 et 3.5), dite de fa
membrane s' appuyant sur un obstacle
(figure 8.3-1) : il s'agit de calculer Ie dé-
placement vertical u: Q -+ R d'une
membrane élastique de tension í, tendue
sur la îrontière I' de l'ouvert Q C R2,
soumise à I'action d'une force verticale
de densité íj(X) par élément de surface,
et assujettie à rester au-dessus d'un ob-
stacle représenté par une fonction
X : Q -+ R cOl1nue (pour que Ie prob-
lème sait possible, on suppose la fonc-
tion X  0 sur I). La zone de contact
entre la membrane et l'obstacle n'est pas connue à l' avance.
La formulation variationnelle de ce problème consiste à chercher Ie minimum de l'éner-
gie de la membrane qui, rappelons-Ie, est de la forme
e 3
zone de

cont ac.t:.
't,f(x)dx
FIG. 8.3-1.
1
J(v) == -2 a(v, v)- f(v),
avec
u(u, v) == r ( __ _ ô_v__ + au _ -- ) dx,
J!J ÔX! ÔX! ôX 2 ôX2
f(l') == J Iv dx,
!}
lorsque les fonctions v décrivent Ie sous-ensemble
U == {v E V; v(x)  X(x) pour tout x E Q}

EXEMPLES
181
d'un espace V convenable de fonctions nuUes sur r 01 s'agit de l'espace de Sobolev
HÖ(Q)).
Pour approcher la solution de ce problème, établissons une triangulation de l'ensemble
Q (supposé polygonal; cf. figure 3.5-1), et considérons Ie sous-espace Vh C V (déjà
introduit au paragraphe 3.5) formé des fonctions affines sur chaque triangle de la triangu-
lation, continues sur Q, et nuUes sur 1'. Rappelons que la base "canonique H (W;Jf!l
de cet espace Vh est choisie de teUe façon que la i-ème fonction Wi est nulle en tous les
sommets de la triangulation, sauf au i-ème sommet Si, où eUe vaut un. Dans ces conditions,
les composantes Vi du développement d'une fonction arbitraire Vh E V h sur cette base
ont une signification remarquable puisque
M
Vh = L VjWj  Vi = Vh(Si), 1:::::::: i :::::::: M.
i=1
II est donc naturel de définir Ie prob/ème discret de la façon suivante : Trouver Uh tel que
déf
Uh E U h = {Vh E V h : Vh(Si)  X(s;), 1:::::::: i :::::::: M}, et J(Uh) = inf J(Vh)'
vñE Uñ
On remarquera que l'ensemble U h n'est pas contenu en général dans l'ensemble U.
On est ainsi conduit à chercher Ie minimum de la fonctionnelle quadratique
1
() : V E RM -+ (}(v) = - (Av, v)-(b, v),
2
avec
A = (a(wj, Wi)) E clM(R), b = (f(Wi)) E RM ,
lorsque Ie vecteur v décrit l'ensemble
déf
al = {v = (Vi) E RM; Vi  X(Si), 1:::::::: i :::::::: M}.
II s'agit donc d'un exemp/e de prob/ème de programmation quadratique avec contraintes-
inégalités affines. L'ensemble m étant non vide, fermé, convexe (et non borné), l'existence
d'une solution du problème discret résulte aussi bien du théorème 8.2-1 que du théorème
8.2-3. On notera qu'on peut écrire Ie problème discret sous la forme équivalente : Trouver
Uh tel que
Uh E U h et a(uh, Vh-Uh)  !'(Vh-Uh) pour tout Vh E U h .
L'espace V étant défini comme précédemment, Ie prob/ème de /a torsion é/asto-plastique
d'une barre cylindrique conduit à chercher Ie minimum de la même fonctionnelle
1 1 i { ( av ) 2 ( av ) 2 } i
J(v) =-a(v,v)-j(v) =- --- + --- dx- fvdx
2 2 f} aXI aX2 f}
lorsque les fonctions v décrivent Ie sous-ensemble
U = {v E V; II vv(x) II :::::::: 1 pour presque tout x E Q},
en posan t
Ilvv(x)11 = {( ::1 (x)f + ( :: ; (X)f}  ·

182
OPTIMISATION. PREMIERS ALGORITHMES
Le prob/ème discret associé à l'espace Vh d'éléments -finis introduit plus haut consiste à
chercher Ie minimum de la fonctionnelle J lorsque la fonction V h décrit l'ensemble
déf { 0
Uh = V h E V h ; II VVh(X) II  1 pour tout x E T, T E rzJh},
o
où T désigne l'intérieur de chacun des triangles T de la triangulation rzJ h . II est facile de
voir que l'ensemble Uh est non vide, fermé, et convexe puisque
v, wE U et 0 E [0, 1]  II V(Ov+(1-0)w) (x) II  Ollvv(x)II+(1-0)llvw(x)11  1,
de sorte que Ie problème d'optimisation associé admet encore une solution et une seule,
qu'on peut caractériser de façon équivalente par des inéquations variationnelles. On notera
que l'ensemble U h = un Vh est cette fois contenu dans l'ensemble U.
Soit T un triangle de la triangulation rzJ h , de sommets sl' S2' S3 (pour fixer les idées).
La restriction d'une fonction quelconque v E Vh au triangle T s'écrit
3
v IT = L ViWi IT, avec Vi = V(Si).
i=l
Les fonctions de base Wi étant affines, leurs dérivées premières sont des constantes, de
sorte que l'inégalité II V(v IT) II  1 prend la forme
{ .f (Xi V i } 2 + { .t ßiVi } 2  1,
1=1 1=1
â(WiIT) â(WiIT) , .
les constantes (Xi = â et ßi = â etant des fonctIons connues des coor-
Xl X 2
données des sommets Si. On est donc en présence d'un prob/ème de programmation
quadratique avec m contraintes inégalités quadratiques (m = nombre de triangles de la
triangulation rzJ h ). Les lecteurs intéressés trouveront de nombreux compléments sur ce
problème dans Ie livre(l), où un chapitre entier lui est même consacré.
Ces quelques exemples ne donnent qu'un très bref aperçu de la gran de diversité des
problèmes d' optimisation. Pour des compléments, on se reportera aux exercices de ce
paragraphe, ainsi qu'au paragraphe 10.2 où sont donnés quelques exemples de problèmes
de programmation linéaire.
8.4. Méthodes de relaxation et de gradient pour
des problèmes sans contraintes
Commençons par généraliser la notion de fonctionnelle quadratique sur Rn à matrice
définie positive. Cette extension est en effet bien adaptée à l'étude des méthodes que nous
avons en vue, pour lesquelles eUe conduit à des démonstrations de convergence particuliè-
rement simples.
Une fonctionnelle J: V -+ R définie sur un espace de Hilbert Vest dite elliptique
si elle est une fois continûment dérivable dans Vet s'il existe une constante, qu'on convi-
endra toujours de noter (x, telle que
(X :> 0 et (VJ(v)-V J(u), v-u)  (X II v- u 11 2 pour tout u, v E V.
Le résultat qui suit rassemble diverses propriétés des fonctionnelles elliptiques, qui seront
constamment utilisées par la suite.
(1) GLOWINSKI R., LIONS J. L. , TRÉMOLIÈRES R. - Analyse Numérique des InéquaUons Varia-
tionnelles, Vol. 1 : Théorie Générale ; Premières Applications, Dunod, Paris, 1976.

RELAXATION ET GRADIENT SANS CONTRAINTES
183
Théorème 8.4-1. (1) Une fonctionnelle elliptique J: V -+- Rest strictement con"exe et
coerci"e ; elle "érifie I'inégalité
a
J(v) - J(u)  (V J(u), lí - u)+ 2 /I v - U 1/2 pour tout u, V E V.
(2) Si U est une partie non "ide, con,exe,fermée, de I'espace de Hilbert V, et si Jest une
fonction"elle elliptique, Ie problème : trou"er u tel que
(P)
u E U et J(u) = inf J(v),
vEU
a une solution et une seule.
(3) On suppose I'ensemble U con"exe et la fonctionnelle J elliptique. Alors un élément
u E U est solu(ion du problème (P) si et seulement s'il "érijie
(V J(u), v - u)  0 pour tout V E U,
dans Ie cas général, ou
V J(u) = 0 si U = V.
( 4) Une fonctionnelle deux fois déri"able dans V est elliptique si et seulement si
(V 2 J(u) w, w)  a II w 11 2 pour tout w E V.
DÉMONSTRATION. Une fonctionnelle elliptique étant par définition une fois continûment
dérivable, l'application de la formule de Taylor avec reste intégral (théorème 7.1-4)
permet d' écrire :
J(v)-J(u) = f (\7J(u+t(v-u)), v-u)dt
= (\7J(u), v-u)+ f (\7J(u+t(v-u))-\7J(u), v-u) dt
 (\1J(u), V-U)+ l llXt ll v-u112 dt = (\7J(u), v-u)+':='/I v-u 11 2 .
o 2
De cette minoration, it résulte, premièrement, que la fonctionnelle est strictement
convexe puisque (théorème 7.4-2)
J(v) >- J(u)+('\7J(u), v-u) pour tout u, v E V, u  v,
et, deuxièmement, que la fonctionnelle est coercive, puisque

J(v)  J(O)+(\1J(O), v)+21IvI12

 J(O)-II \1 J(O) 1111 vII +- II v 11 2 .
2
L'existence d'une solution du problème (P) résulte du théorème 8.2-2. que l'on peut
appliquer puisque la fonctionnelle est coercive ; l'unicité résulte de sa stricte convexité.
Les caractérisations du minimum ont déjà été établies au théorème 7.4-4.
Si la fonction J est deux fois dérivable dans Vet elliptique, on peut écrire
2 ( ) ) I . (\1J(u+Ow)-\1J(u), w)
(\1 J u w, w = 1m 0
0-+-0
(\1 J(u+Ow)- \1 J(u), Ow)
= lirn
o -+- 0 0 2
 (X II W 11 2 .

184
OPTIMISATION. PREMIERS ALGORITHMES
Réciproquement, la formule de Taylor-Maclaurin (théorème 7.1-4) appliquée à la
fonction
déf
f: w E V -+ few) == (9J(w), v-u) E R,
les vecteurs u et v étant fixés, montre que
(9J(v)-9J(u), v-u) ==f(v)-f(u)
== f'(u+(}(v-u)) (v-u) (0 -< () -< 1)
= (9 2 J(u+(}(v-u)) (v-u), v-u)  (X II v-u 11 2 .
-
REMARQUES. (1) Dans la dernière partie de la démonstration, il n'était évidemment pas
question d'écrire la formule de Taylor-Maclaurin pour l'application dérivée, puisque
cette formule ne s'appJique qu'aux fonctions à valeurs dans R.
(2) Une fonctionnelle quadratique sur Rn :
1
J: v E Rn -+ J(v) == 2: (Av, v)-(b, v), A = AT,
est elliptique si et seulement si la matrice A est définie positive. II découle en effet du
théorème 1.3-1 que
(9 2 J(u) w, w) == (Aw, w)  À 1 II W 11 2 pour tout u, w E Rn,
où À 1 désigne la plus petite valeur propre de la matrice A. Notons au passage l'inégalité
(9 2 J(u) w, w) == (Aw, w)  Àn II W 11 2 pour tout u, w E Rn,
où Àn = II A 11 2 (théorème 1.4-2) désigne la plus grande valeur propre de la matrice A.
(3) De la même façon, une fonctionnelle quadratique sur un espace de Hilbert V,
1
J: v E V -+ J(v) == - a(v, v)- f(v)
2
est elliptique si et seulement si il existe une constante (X telle que
(X >- 0 et (9 2 J(u)v, v) = a(v, v)  IIvl1 2 pour tout v E V;
c'est précisément sous cette hypothèse qu'avait été établi Ie théorème 8.2-3. _
Passons maintenant à la description, puis à l'analyse, de quelques algorithmes de
résolution d'un problème d'optimisation sans contraintes : Étant donné une fonctionnelle
J définie sur un espace vectoriel V, trouver u tel que
(P)
u E V et J(u) = inf J(v).
vE V
II s'agit de méthodes itératives où, partant d'un vecteur initial U o arbitraire, on construit
une suite de vecteurs Uk, k  O. Naturellement, l'objectif est la construction de méthodes
convergentes, en ce sens que, pour tout vecteur initial u o , la suite (Uk)k:f!::O converge vers
une solution du problème (P).
Pour construire Ie vecteur Uk+ 1 à partir du vecteur Uk, une première idée consiste à se
ramener à un problème "facile à résoudre numériquement", à savoir un problème de
minimisation pour une fonction d'une seule variable réelle. Pour cela, on va :
(i) se donner une direction "de descente" au point Uk, par l'intermédiaire d'un vecteur d k
non nul ;

RELAXA TION ET GRADIENT SANS CONTRAINTES
185
(ii) chercher Ie minimum de la restriction de fa fonctionnelle J à fa droite passant
par Ie point Uk et parallèle au vecteur d k : ceci définit Ie vecteur Uk + 1 seulement si Ie
problème de minimisation à une va-
riable : Trouver e(Uk, d k ) tel que
e(Uk, d k ) E R
\
\
\
\
\
,
,
,
'.....
I
I
I
I
I
I
I
I
I
I
I
I
et
J(Uk +e(Uk, d k ) d k ) = inf J(Uk +edk),
eER
a une solution et une seule (ce sera Ie
cas notamment si la fonctionnelle Jest
elliptique), auquel cas on pose
Uk + 1 = Uk +e(Uk, d k ) d k .
Ces considérations sont illustrées
dans Ie cas de la dimension deux à la
figure 8.4-1. La surface représentant
une fonctionnelle elliptique a alors
l'allure d'une paraboloïde dont les sec-
tions horizon tales ont la forme d'ellip-
ses, ce qui explique d'ailleurs la termi-
nologie "fonctionnelle elliptique".
Uk+t = uk + p(Uk,d k ) d k
uk+2.
d k -t-1
FIG. 8.4-1.
1
Dans Ie cas d'une fonctionnelle quadratique elliptique J(v) = - a(v, v)- f(v), il est
2
essentiel de noter que la détermination du point uk+l est immédiate une fois connu Ie
vecteur d k , puisque la fonction
e 2
e E R -+ J(Uk +edk) = - a(d k , d k ) +e(V J(Uk)' d k ) +J(Uk)
2
est un trinôme du second degré (Ie coefficient a(d k , d k ) est >- 0). Des indications sur la
solution pratique des problèmes de minimisation à une variable pour des fonctions plus
générales sont données à l'exercice 8.4-4.
Dans Ie cas où V = Rn, la façon la plus simple de définir les directions successives de
descente consiste à les imposer à l'avance, un choix "canonique" àcet égardétant naturel-
lement celui des directions des axes de coordonnées, prises de façon "cyclique" ; c'est
là l'idée de la méthode de relaxation: Partant d'un vecteur initial u o , chaque vecteur
uk+l = (Uf+l)i=l est construit (Iorsque c'est possible, naturellement) à partir du vecteur
Uk = (U)i=l en calculant successivement ses composantes par la résolution des problèmes
suivants de minimisation à une variable (on a entouré de crochets chaque "nouvelle"
composan te calculée) :
( J([uf+l] k k u) = inf J(', z4, k u),
, U2' u 3 , . . ., u 3 , . . .,
, l(uf+1, CER
[u k + 1 ] uk . . ., u) = inf J(uf+l, " t4, . . . , u),
2 ' 3'
CER
I l(uf+l, . . ., u k + 1 [u+l]) inf J(u k + 1 . . . , t4f, ,).
n-l' 1 ,
CER

186
OPTIMISATION. PREMIERS ALGORITHMES
II est commode, en vue de la démonstration qui suit, d'introduire les vecteurs "inter-
médiaires" Uk ; I, 0  I  n, définis par
Uk == Uk ; 0 == (uf,
_ ( k+l
Uk ; 1 - U 1 '
, U ),
U, , U ),
_ ( k+l
Uk ; I - U 1 '
k+l k k )
..., UI ' UI+l' ..., Un '
( k+l
Uk ; n == Ul '
k+l )
, Un == Uk+l'
de sorte que les problèmes de minisation ci-dessus s'écrivent sous la forme équivalente :
J(Uk ; 1) == inf J(Uk; 0 + eel),
eER
J(Uk ; I) == inf J(Uk; [-I + eel),
eER
J(Uk ; n) == inf J(Uk; n-l + (!e n ),
eER
où (e[) désigne la base canonique de Rn. Sous réserve de la dérivabilité de la fonction-
nelle J, on en déduit les conditions nécessaires, et suffisantes si elle est de surcroît convexe,
de minimum :
a [J(Uk ; I) == 0, 1  I  n,
en utilisant la notation pour les dérivées partielles premières :
a[J(v) == J'(v)e[ == (\1J(v), e/), 1  I  n.
Examinons maintenant la convergence de la méthode :
Théorème 8.4-2. Si la fonctionnelle J: Rn .-.. Rest elliptique, la méthode de relaxation
con'erge.
DÉMONSTRATION. (i) Chaque fonction
déf
f{Jk ; I : e E R .-.. f{Jk; I(e) == J(Uk ; I-I +ee/)
étant coercive et strictement convexe, admet un minimum et un seul Chaque suite (Uk; l)k:i!::O,
1  I  n, est donc bien définie, en particulier la suite (Uk)k:i!::O. On peut écrire
n
J(Uk)- J(Uk+l) == J(Uk ; 0)- J(Uk ; n) == L (J(Uk; 1-1)- J(Uk ; I))'
1=1
et, d'après l'hypothèse d'ellipticité (théorème 8.4-1) :
(X 2
J(Uk ; 1-1)- J(Uk ; I)  (\1 J(Uk ; I), Uk ; 1-1- Uk ;/) +2 II Uk ; I-I - Uk, 11/ ·
Comme
('\1 J(Uk ; I), Uk ; I-I-Uk; I) == alJ(Uk ; I) (Uf-llf+l) == 0, 1  I  n,

RELAXA TION ET GRADIENT SANS CONTRAINTES
187
et comme
II 11 2 - I k k+1 1 2
uk;l-l-uk;1 - ul- u / '
1 :::::::: I :::::::: n,
on obtient finalement
(X  k k 1 2 (X 2
J(Uk)-J(Uk+l)  - L- Iuy-ul + I = -lluk-Uk+lIJ ·
2 1=1 2
(ii) Comme la suite (J(Uk))kO est décroissante et minorée, on déduit avec (i) :
lim 1/ Uk- U k+lll = 0,
k-+oo
et donc afortiori
lim II Uk ; 1- uk + 111 = 0, 0:::::::: I :::::::: n - 1.
k-+oo
(iii) Utilisant l'ellipticité de la fonctionnelle et la caractérisation \1 J(u) = 0 du mini-
mum U (cf. théorème 8.4-1), on obtient
(X 1/ Uk+l- U 11 2  (\1 J(Uk+l)-\1 J(u), Uk+l- U )
n
= (\1 J(Uk+l)' Uk+l- U ) = L ô I J(Uk+l) (u1+ 1 -UI)'
1=1
d'où l'on déduit, avec les caractérisations 8 I J(Uk ; I) = 0 :
1 n 1 n
lI u k+l- u ll  - L IÔ/J(Uk+l)/ = - L I Ô/J(Uk + 1)-Ô/J(Uk ;/)1.
(X 1=1 (X /=1
(iv) Comme chaque suite (J(Uk ;/))kO est décroissante par construction, chaque suite
(Uk ; /)kO, 1  I :::::::: n, est bornée puisque la fonctionnelle est coercive (théorème 8.4-1).
Comme par ailleurs chaque dérivée partielle première ô IJ est uniformément continue sur
lescompacts deRn,
Jim II uk; /-Uk+ll1 = 0  lim I Ô[J(Uk; /)-ÔIJ(Uk+l) I = 0, 1  I :::::::: n,
k-+oo k-+oo
et la convergence découle alors de (iii). II
REMARQUES. (1) La dérivabilité de la fonctionnelle est une hypothèse essentielle. Suivant
(1), p. 61, considérons en effet l'exemple de la fonctionnelle
J: v = (VI' V2) E R2 -+ J(Vl, V 2 ) = V+V-2(Vl +v 2 )+21 VI-V21,
qui est coercive, strictement convexe, "presque quadratique", mais non dérivable :
avec Ie choix U o = (0, 0) pour Ie vecteur initial, la méthode de relaxation conduit à la
suite stationnaire (0, 0) = U o = ul = ... = Uk = . . ., alors que inf J(v) = J(I, 1).
vER2
On peut néanmoins établir (cf. (1), p. 73) la convergence pour des fonctionnelles non
dérivables du type
n
J(v) = Jo(v)+ L (Xi I Vi I, (Xi  0,
i=1
la fonction J 0 étant elliptique.
(1) GLOWINSKI R., LIONS J. L. , TRÉMOLIÈRES R. - Analyse Numérique des Inéquations Varia-
tionne/les, Vol. 1 : Théorie Générale ; Premières Applications, Dunod, Paris, 1976.

188
OPTIMISA TION. PREMIERS ALGORITHMES
(2) On peut démontrer l'analogue du théorème 8.4-2 sous les hypothèses plus générales
suivantes (mais c'est un peu plus délicat) : la fonctionnelle est une fois continûment déri-
vable, strictement convexe, et coercive. Voir à ce sujet e), p. 61.
(3) C'est l'hypothèse de la dimension finie, qui, par l'intermédiaire de la continuité
uniforme, joue un rôle essentiel dans la démonstration. Sans cette dernière propriété en
effet, les dernières implications de la démonstration ne sont plus nécessairement vraies.
(4) L'estimation obtenue en (iii) fournit une majoration a priori de I'erreur II Uk-U II, en
principe entièrement calculable à partir des données. II
Considérons Ie cas particulier d'une fonctionnelle quadratique
1 1 n n
J(v) = 2 (Av, v)-(b, v) = 2 .  aijVjVj -.L bjVj.
I,J=l 1=1
On peut appliquer Ie théorème 8.4-2 si la matrice symétrique A = (aij) est définie positive.
Puisque
n
'ðrJ(v) = L arjVj-br, 1  I  n,
j=l
on déduit (avec les notations utilisées plus haut)
8 1 J(uk ; 1) = all [uf+lJ +a12 t4 + +a]n u
'ð 2 J(Uk ; 2) = a21 uf+1 +a22 [u:+ 1 ] +a 23 u: +. . . +a2n u
- b 1 = 0,
-b 2 = 0,
ônJ(Uk ; n) = anI uf+1 + +ann-lul +a nn [u+lJ-bn = o.
On constate qu'on retrouve exactement la méthode de Gauss-Seidel pour la résolution du
système linéaire Au = b ; Ie théorème 8.4-2 fournit ainsi une nouvelle démonstration de
la convergence de cette méthode lorsque la matrice A est symétrique définie positive
(c/. théorème 5.3-2).
La méthode de Gauss-Seidel étant un cas particulier de la méthode de relaxation pour
/a résolution des systèmes linéaires (cf. paragraphe 5.2), la terminologie employée se trouve
donc partiellement justifiée. Pour une justification plus complète, on se reportera à
l'Exercice 8.4-1.
Reprenons Ie problème général d'optimisation sans contrainte dans Ie cas où V = Rn :
Trouver u E Rn tel que J(u) = inf J(v). 11 semble intuitivement clair que la convergence
VERn
d'une méthode itérative devrait être d'autant meilleure que les différences {J(Uk)- J(Uk+l)}
sont grandes, et à cet égard, Ie choix imposé des directions des axes de coordonnées n'est
sûrement pas optimal.
Pour rendre la différence {J(Uk)-J(Uk+1)} aussi gran de que possible, l'idée la plus
immédiate consiste en effet à choisir comme direction de descente celIe de plus grande
descente locale, c'est-à-dire celle opposée au gradient 'V J(Uk)' Rappelons au passage la
justification de cette dernière assertion : Par définition du gradient. on peut écrire
J(Uk+W) = J(Uk)+('VJ(Uk), w)+11 wI! ë(W), lim ë(W) = 0,
w....o
de sorte que, si 'V J(Uk)  0, la partie principale de l'accroissement de la fonction J es t
majorée en module par Ie produit II 'V J(Uk) II1I w II (inégalité de Cauchy-Schwarz), avec
égalité si et seulement si les deux vecteurs \1 J(Uk) et w sont proportionnels.
N ous avons donc tous les éléments nécessaires à la définition de la méthode corres-
pondant à ce choix de direction de descente, appelé méthode de gradient à pas optimal :
(I) GLOWINSKI R., LIONS J. L" TRÉMOLIÈRES R. - Analyse Numérique des llléquatiolls Varia-
tionne/les, Vol. 1 : Théorie Générale ; Premières Applications, Dunod, Paris, 1976.

RELAXATION ET GRADIENT SANS CONTRAINTES
189
Partant d'un vecteur initial u o , chaque vecteur Uk + 1 est construit (lorsque c'est possible,
naturellement) à partir du vecteur Uk, k  0, par les relations
I J(Uk-e(Uk) \1 J(Uk)) = inf J(Uk-e \1 J(Uk))'
eER
Uk + 1 = Uk - e(Uk) \1 J(Uk)'
Le signe "moins" devant la variable e rappelle que la direction de descente est dans la
direction opposée à celle du gradient ; on doit s'attendre à une valeur >0 du nombre
e(Uk).
REMARQUE. Contrairement à l'intuition, la direction d k = - \1 J(Uk) n'est pas nécessaire-
ment optimale ; Ie paragraphe 8.5 est très instruct if à cet égard ! II
Avant de passer à l'étude de la convergence de la méthode du gradient à pas optimal,
donnons une définition générale: toute méthode itérative pour laquelle Ie point Uk + 1 est
de la forme
Uk+1 = Uk-ek \1J(Uk)' ek > 0,
est appelée une méthode de gradient. La méthode ci-dessus en est donc un premier cas
particulier ; deux autres sont étudiés plus loin.
Théorème 8.4-3. On suppose V = Rn et la fonctionnelle ellipt;que. Alors la méthode du
gradient à pas optimal con'erge.
DÉMONSTRATION. (i) Sans restreindre la généralité, on peut supposer \1 J(Uk)  0
pour tout k  0 ; sinon la méthode est convergente en un nombre fini d'itérations.
Chaque fonction
déf
C{Jk : e E R -+ C{Jk(e) = J(uK-e \1 J(Uk))
étant coercive et strictement convexe, admet un minimum et un seul, caractérisé par
la relation C{JÍc(e(Uk)) = o. Comme (théorème 7.1-1)
,
C{Jk(e) =-(\7 J(Uk-e \1 J(Uk)) , \1 J(Uk)) ,
on déduit la relation
(7 J(Uk + 1), \1 J(Uk)) = 0,
qui montre que deux directions de descente successives sont orthogonales. Comme Uk + 1 =
= Uk - e(Uk) \1 J(Uk), on a aussi
(\1J(Uk+l), Uk+l-Uk) = 0,
et done, par application de la première inégalité du théorème 8.4-1,
ex; 2
J(Uk)-J(Uk+l)  -ll u k- U k+lll .
2
(ii) Comme la suite {J(Uk)}kO est décroissante (par construction) et minorée (par
J(u)), on déduit
lim (J(Uk)-J(Uk+l)) = 0,
k-+oo
relation qui, jointe à la précédente inégalité, montre que
lim IIUk-Uk+lll = o.
k-+oo

190
OPTIMISATION. PREMIERS ALGORITHMES
(iii) Grâce à l'orthogonaJité des directions de descente consécutives, on peut écrire
II 'VJ(Uk) 11 2 = ('VJ(Uk), 'VJ(Uk)-'VJ(Uk+I))  II 'VJ(Uk) II II 'VJ(Uk)-'VJ(Uk+l) II,
et donc
II 'VJ(Uk)"  II 'VJ(Uk)-\7J(Uk+l) II.
(iv) Comme la suite {J(Uk)}k;!:O est décroissante, La suite (Uk)k,;?::O est bornée puisque la
fonctionnelle est coercive (théorème 8.4-1). L'application dérivée J', continue par hypo-
thèse, est donc unlformément continue sur les compacts. II découle alors de (ii) que
Jim II 'VJ(Uk)-'VJ(Uk+l) II = 0,
k-+oo
et donc, d'après (iii), que
lirn 'V J(u K ) = o.
k-+oo
(v) Démontrons enfin la convergence. On écrit
(X Iluk-ul12  (\7J(Uk)-'VJ(U), Uk- U ) = ('VJ(Uk), Uk- U )  II 'VJ(Uk) II IIuk-ull,
en utilisant successivement l'hypothèse d'ellipticité de la fonctionnelle, puis la relation
'V J(u) = O. De la sorte, on obtient
1
II Uk- U II  -II 'V J(Uk) II,
(X
et la conclusion découle de la propriété établie en (iv).
II
REMARQUES. (1) De même que pour la méthode de relaxation, l'hypothèse de la
dimension finie a joué un rôle essentiel dans cette démonstration.
(2) On peut démontrer l'analogue de théorème 8.4-2 sous les hypothèses plus générales
suivantes : la fonctionnelle est une fois continûment dérivable, strictement convexe, et
coercive; voir (I), page 91.
(3) On peut donner une autre démonstration de la convergence, susceptible de s'ap-
pliquer à des situations plus générales: la suite (Uk) étant bornée, soit (Uk') une
suite extraite convergeant vers un élément u'. De la continuité de 1 'application dérivée,
on déduit
'V J(u') = lirn \7 J(Uk') = 0,
k'-+oo
d'après (iv). Comme la solution du problèrne est caractérisée par la relation 'V J(u) = 0,
on en déduit U = u' d'une part, et la convergence de toute la suite (Uk) d'autre part, la
limite étant unique.
(4) Si la dérnonstration de la convergence donnée à la partie (v) est particulière aux
fonctionnelles elliptiques, eUe a l'avantage de fournir une majoration de L'erreur II Uk- U II,
en principe entièrement calculable a priori. _
Dans Ie cas d'une fonctionnelle quadratique elliptique :
1
J(v) =  (Av, v)-(b, v),
k
(I) CÉA J. - Optimisation, Théorie et Algorithmes, Dunod, Paris, 1971.

RELAXATION ET GRADIENT SANS CONTRAINTES
191
l'orthogonalité des vecteurs 'V J(Uk) et \l J(Uk + 1) peut ëtre mIse à proht pour calculer Ie
nombre (!(Uk). Sachant que \l J(v) = Av-b. on écrit
o = (\lJ(Uk+l), \}J(Uk)) = (A(Uk-(!(Uk)(Auk-b))-b, AUk-b),
d 'où l'on déduit
II Wk 11 2 déf
(!(U/c) = (A ) -, OÙ Wk = AUk- b = \lJ(Uk)'
Wk, Wk
Une itération de la méthode se présente alors sous la forme suivante :
Calcul du vecteur Wk = AUk-b ;
( ) IIwkl12
Calcul du nombre (! Uk =
(AWk, Wk)
Calcul du vecteur Uk + 1 = Uk - (!(Uk) Wk.
On notera au passage qu'il s'agit là d'une nouvelle méthode itérative de résolution d'un
système linéaire Au = b dont la matrice A est symétrique et définie positive. Une telle
méthode peut s'avérer intéressante lorsque Ie calcul d'un vecteur Aw, où west un vecteur
connu, est aisé. C'est essentiellement Ie cas des matrices creuses, spécialement celles qui
sont obtenues lors de la discrétisation des problèmes aux limites. Nous reviendrons
plus en détail sur ce point au paragraphe suivant, à propos de la méthode du gradient
conjugué.
Les méthodes de relaxation et de gradient à pas optimal ont en commun la recherche
de minimums de fonctions d'une variable. C'est notamment pour s'affranchir de cette
obligation qu'on définit la méthode de gradient à pas fixe: partant d'un vecteur initial
U o arbitraire, la suite (Uk) est définie par
Uk+l = Uk-(! \lJ(Uk), k  0,
Uk+l = Uk-(!k \lJ(Uk),
k  0,
\
\
\
\
\
\
...
...
........ ..
Ie paramètre réel (! étant à déterminer
"au mieux". D'une façon plus géné-
rale, on peut définir la méthode de gra-
dient à pas variable, en posant
les paramètres réels (}k étant par exemple
ajustés en cours d'itérations selon des
critères particuliers. On notera que la
méthode de gradient à pas fixe est un
cas particulier de la méthode de gradient
à pas variable.
Donnons maintenant des conditions
suffisantes de convergence pour des
fonctionnelles elliptiques. Leur nature
est d'ailleurs facile à prévoir : Le paramètre (!, ou les paramètres (!k, doivent se trouver
dans un intervalle compact de la forme [a, b], a::> o. Autrement dit, on "descend"
effectivement ((!k  a) et on ne "remonte pas trop" ((!k  b) : C'est ce qu'on essaie de
suggérer à la figure 8.4-2.
Uk...= uk- (' k VJ(Uk)
FIG. 8.4-2.
Théorème 8.4-4. Soit V un espace de Hilbert et J: V  Rune fonctionnelle dérivable
dans V. On suppose qu'il existe deux constantes a et M telles que
<<> 0 et (\7 J(fJ) - \7 J(u), fJ - u) << II fJ - U 11 2 pour tout u, fJE V ,
II \7J(fJ) - J(u) II MII fJ-U II pour tout u, VEV .

192
OPTIMISATION. PREMIERS ALGORITHMES
S'il existe deux nombres a et b tels que
2a
0<: a (!k  b -< - pour tout entier k  0,
M2
la méthode du gradient à pas variable converge, et la convergence est géométrique: il
existe une constante ß = ß(a, M, a, b) telle que
ß -< 1 et II uk- u II  ßk 1/ Uo-U II.
DÉMONSTRATION. Utilisant la caractérisation V J(u) = 0 du minimum, on peut écrire
Uk+l- U = (Uk-U)-ek{VJ(Uk)-VJ(U)}.
Par suite,
II Uk+l- U 1/2 = II Uk- U 112_ 2[!k(VJ(Uk)-V J(u), Uk-U)+e IlvJ(Uk)-V J(u) 11 2
 {1- 2aek+M2eZ} II Uk-U 11 2 ,
en supposant ek:> O. Le trinôme 7:(e) = 1- 2ae + M2e2 ayant l'allure indiquée à la
figure 8.4-3, il est clair que
2 a 2 2  déf { } 
o -< a  ek  b -< M2" ==> (1- 2a ek+ M ek)  ß = (max 7:(a), 7:(b) ) -< 1.
Comme alors
Il u k+l- u l/ ßlluk-ull ßk+ll1uo-ulI,
la convergence géométrique est démontrée. II
o
a
Pk
0(,
M'2.
FIG. 8.4-3.
b
2
M 2
REMARQUES. (1) Contrairement aux démons-
trations des théorèmes 8.4-2 et 8.4-3, la com-
pacité (liée à la dimension finie) n'est pas utilisée
dans la démonstration du théorème 8.4-4. C'est
plutôt Ie caractère complet de l'espace qui im-
porte (il apparaît indirectement dans l'existence
du minimum u). On retrouvera cet aspect dans la
démonstration du théorème 8.6-2, qui fournit
aussi une nouvelle preuve de la convergence de
la méthode du gradient à pas variable.
d'ellipticité n'est plus la seule, puisqu'on a dû lui
(2) On notera que I 'hypothèse
adjoindre l'hypothèse
117J(v)-VJ(U) II  Mil v-ull pour tout u, v E V.
Si la fonctionnelle J est deux fois dérivable, cette condition s'exprime sous la forme
équivalente
sup II v 2 J(v) II  M.
vE V
II
Dans Ie cas d'une fonctionnelle quadratique elliptique
1
J : v E Rn  J(v) = - (Av, v)-(b, v),
2

RELAXATION ET GRADIENT SANS CONTRAINTES
193
une itération de la méthode se présente sous la forme suivante :
Uk+l == Uk-ek(Auk-b), k  0,
et il résulte du théorème précédent que la méthode est convergente si 0 <:: a  ek 
 1
 b  2 Â2 ' en notant  1 et Ân la plus petite et la plus grande des valeurs propres
n
de la matrice symétrique définie positive A. On peut améliorer ce résultat : en effet, de
l'égalité
Uk+l- U == (Uk-U)-ekA(Uk- U ) == (I-ekA)(uk- u ),
on déduit la majoration
II Uk+l- U II  II I-ek A 11 2 11 Uk- U II.
La matrice (I -ekA) étant symétrique, sa norme II. 11 2 a pour expression (théorème
1.4-2) :
III-ek A II 2 == max {ll-ek  l l , Il-ekÂnl}.
L'allure de la fonction (figure 8.4-4)
ft : e E R -+ ft(e) == max {11-e Å 1 1, 11-e Å n I}
o a fk 1 \ b f. 1
^n \ ""n f
2
^f+^'
FIG. 8.4-4.
montre que
_ 2 - déf
o <:: a  ek  b -< T  ß == max {ft(a), ft(b)} <:: 1,
n
et donc que
Iluk+l-ull  ,Blluk-ull  ,Bk+ll1u o -ull.
2Â
Or il est clair que la borne supérieure Å 21 indiquée par Ie théorème est en général
n
2
"beaucoup" plus petite que la borne T ' puisque leur rapport est celui des valeurs propres
n
extrêmes de la matrice A. On notera enfin que les valeurs "optimales" du paramètre
e trouvées par les deux procédés pour la méthode du gradient à pas fixe sont respective-
Å 1 2
ment Â2 et Å Å (c/. figures 8.4-3 et 8.4-4).
n 1+ n

194
OPTIMISATION. PREMIERS ALGORITHMES
REMARQUE. L'amélioration ci-dessus peut être étendue à des fonctionnelles non
nécessairement quadratiques, pour lesquelles on peut établir la convergence dès que
2
Qk E [a, õ], avec b <: -, mais sans pouvoir en établir Ie caractère géométrique ; voir
M
à ce sujet l'exercice 8.4-5. II
Du point de vue "numérique", l'inconvénient des méthodes de gradient est Ie calcul
du vecteur V' J(Uk) à chaque itération qui, rappelons-Ie, sert à déterminer la direction
"suivante" de descente, alors que l'inconvénient des méthodes de relaxation et de gradient
à pa s optimal réside dans la résolution de problèmes de minirrtisation à une variable.
C'est pourquoi Ie choix effectif d'une méthode dépend dans une très large mesure de l'im-
portance relative de ces aspects "numériques" et de la vitesse escomptée de convergence.
8.5. Méthodes de gradient conjugué pour des problèmes
sans contraintes
Considérons Ie problème d'optimisation sans contraintes : Trouver U tel que
u E Rn et J(u) = inf J(v).
vERn
Comme méthodes d'approximation basées sur la minimisation de fonctions à une
variable dans des directions de descente appropriées, nous avons déjà étudié la méthode
de relaxation et la méthode du gradient à pas optimal. La première utilise comme di-
rections de descente successives des directions imposées à l'avance (celles des axes
de coordonnées), indépendamment de la fonctionnelle J. La seconde utilise à chaque
itération une direction "localement optimale" (celle du gradient), cette fois liée à la
fonctionnelle considérée ; on peut donc déjà s'attendre à une convergence plus rapide.
Pour améliorer encore la convergence, il est clair qu'il faut s'efforcer d'utiliser davan-
age d'informations sur la fonctionnelle pour définir la direction des vecteurs (Uk + I - Uk).
C'est Ie cas par exemple de la méthode de Newton (paragraphe 7.5), qui se présente sous
la forme
Uk+l = Uk-{V' 2 J(Uk)}-IVJ(Uk), k  O.
Si cette méthode ne recquiert pas la solution de problèmes de minimisation à une variable,
son inconvénient majeur est la résolution de systèmes linéaires de matrice V'2 J(Uk) à
chaque itération, ce qui est très coûteux numériquement. II est pourtant possible de trouver
des directions de descente améliorées par rapport à celle du gradient sans avoir recours
aux dérivées secondes de la fonctionnelle.
Pour s'en convaincre, considérons Ie cas, très simple mais très instructif, d'une fonction-
nelle quadratique elliptique J : R 2  R de la forme
1 2 2
J(v l , v 2 ) = - ((XlVI +(X2 V 2), 0 <:: (%1 <:: (X2'
2
pour laquelle
J(O) = inf J(v),
vER2
et supposons qu'on applique la méthode du gradient à pas optimal pour résoudre Ie
problème d'optimisation correspondant. Alors, sauf si Ie vecteur initial Uo = (u, ug)
a l'une de ses composantes nulles (auquel cas la méthode converge en une itération),
la méthode ne converge jamais en un nombre /ini d'itérations (cf. figure 8.5-1). On remarque

GRADIENT CONJUGUÉ SANS CONTRAINTES
195
en effet que, si \l J(Uk)  0, c'est-à-dire si Uk == (u, u)  0, une condition nécessaire
et suffisante pour que Ie point Uk + 1 soit la solution du problème est que la droite
{Uk-e \7J(Uk) ; e E R} passe par l'origine, c'est-à-dire qu'il existe un nombre (! tel que
U == (!(Xluf et u == eX211,
ce qui n'est possible que si l'une des deux composantes uf est nulle (on a supposé Xl  (X2)'
Or un simple calcul, utilisant notamment l'expression du nombre e(Uk) donné au
paragraphe précédent pour des fonctionnelles quadratiques quelconques, montre que
X( (X2 -Xl) uf(u)2
U k + 1 -
1 - k
X(ut)2 +X(U2)2
U+l
Xi(1-X2) u(ut)2
X(ut)2 +X(U)2
de sorte que
U  0 et ug  0 ==> ut  0 et u  0 pour tout entier k.
Comment mieux choisir la direction de descente ? De façon équivalente, comment
mieux prendre en compte la géométrie de la surface représentant la fonctionnelle J,
que la méthode du gradient à pas optimal ne "distingue" pas d'une sphère ? Supposons
que Ie point U o n'appartienne pas à l'un des axes de coordonnées, et supposons Ie point
u 1 construit par la méthode du gradient à pas optimal, c'est-à-dire
Iid o l1 2 .
u 1 == U o - (Ado' do) do avec do == \7 J(u o ) == Au o et A == dlag (Xi).
Contentons-nous d'observer que la direction "optimale" de descente d 1 au point u l (qui
n'est autre que celle du vecteur
u 1 ; ct. figure 8.5-1) vérifie
d 1  0 et (Ad 1 , do) == 0,
direction du
gradient
"
et que ces relations définissent de
façon unique la direction du vecteur
d 1 (c'est la direction "conjuguée"
de la direction de dscente précé-
dente do == \7 J(u o )' suivant la termi-
nologie qui sera précisée plus loin).
Les vecteurs \7 J(u o ) et \7 J(u 1 )
étant linéairement indépendants car
orthogonaux (c/. partie (i) de la dé-
monstration du théorème 8.4-3), Ie
point 0 solution du problème peut aussi être considéré comme Ie minimum de la fonc-
tionnelle dans Ie plan passant par Ie point U 1 et engendré par les vecteurs VJ(uo) et VJ(u t ).
C'est cette dernière idée que 1'0n va généraliser au cas d'une fonctionnelle quadratique
elliptique
({ViJ(V)=J<u o ) }
FIG. 8.5-1.
1
J : v E Rn -.. J(v) == - (Av, v)-(b, v).
2
Un vecteur initial U o arbitraire ayant été donné, supposons les vecteurs u l ' u 2 ' . . ., Uk
déjà calculés. On va naturellement faire l'hypothèse
\7 J(u/)  0, 0  I  k,

196
OPTIMISATION. PREMIERS ALGORITHMES
sinon l'algorithme est déjà terminé. Pour I = 0, 1, .. ., k, appelons G/ Ie sous-espace
de Rn, de dimension  (I + I), engendré par les gradients \7 J(Ui)' 0  i  I (on ne sait
pas a priori si ceux-ci sont linéairement indépendants). L'idée essentielle de la méthode
que nous avons en vue cOltsiste à définir Ie vecteur "suivant" Uk + 1 comme Ie minimum de
la re..(.triction de la fonctionnelle J à l' ensemble
Uk+Gk déf {Uk+Vk; Vk E G k } = {Uk+ito (Xi \7J(Ui); (Xi E R, 0  i  k};
autrement dit, Ie point Uk + 1 vérifie
Uk+1 E (Uk+Gk) et J(Uk+ 1) = inf J(v).
VE(Uk+Gk)
L'ensemble uk +Gk étant fermé et convexe (c'est l"'hyperplan" parallèle au sous-
espace Gk qui passe par Ie point Uk), et la fonctionnelle étant coercive et strictement
convexe, Ie problème de minimisation ci-dessus admet une solution et une seule.
On peut donc prévoir d'ores et déjà la supériorité de cette méthode sur celIe du gradient
à pas optimal, pour laquelle Ie minimum est cherché sur la seule droite {Uk - e \7 J(Uk) ;
e E R}. Mais encore faut-il montrer que chacun de ces problèmes de minimisation à
k variables peut se résoudre simplement, ce qui n'est nullement évident a priori. C'est
néanmoins Ie cas, grâce notamment à l'intervention de la notion de directions "conju-
guées" par rapport à la matrice symétrique A, comme nous allons Ie montrer.
Les solutions des problèmes successifs de minimisation
U[+l E (U[+G[) et J(U[+l) = inf J(v) = inf J(Ul+V), 0  I  k,
VE(Ul+G l ) vEG l
vérifien t
(\7 J(u, + 1), w) = 0 pour tout w E G[,
puisque les ensembles G[ sont des sous-espaces vectoriels ; en particulier,
(\7 J(U[ +1), \l J(Ui)) = 0, 0  i  I  k,
ce qui montre que les gradients \7 J(u[), 0  I  k+ 1, sont deux à deux orthogonaux.
REMARQUE. Cette propriété est plus "forte" que celle établie pour la méthode du
gradient à pas optimal, où seulement les gradients consécullfs sont orthogonaux. II
Cette orthogonalité montre deux choses : premièrement, les gradients \l J(U[), 0  I  k,
sont linéairement indépendants (on a supposé qu'ils sont différent de zéro) ; deuxième-
ment, l' algor ithm e se termine nécessairement en n itérations au plus, puisque si les vec-
teurs \l J(u[), 0  I  n-l, sont différents de zéro, Ie gradient suivant \l J(u n ) est for-
cément nul (autrement, on aurait construit un ensemble de (n + 1) vecteurs linéairement
indépendants).
Définissons les (k + 1) vecteurs
déf /
u/ + 1 - U / = L1[ = L ðf \l J(u j), 0  I  k,
;=0
et montrons qu'ils possèdent une propriété tout à fait remarquable, liée de façon cruciale
au caractère quadratique de la fonctionnelle ; celui-ci permet en effet d'écrire
\lJ(v+w) = A(v+w)-b = \lJ(v)+Aw, pour tout v, wE Rn,

GRADIENT CONJUGUÉ SANS CONTRAINTES
197
et en particulier
\7J(U[+l) == \7J(U[+.1/) == \7J(u[)+A.1[, 0  I  k.
De l'orthogonalité des gradients \7 J(u[), 0  I  k + 1, on déduit d'une part
o == (\7J(U[+l), \7J(u[)) = II\7J(u[)11 2 +(A.1[, \7J(u[)), 0  I  k,
et donc (on a supposé \1 J(u[)  0, 0  I  k) :
.1[ -:;i:- 0, 0  I  k,
et on déduit d'autre part pour k  1 :
o == (\7 J(u[ + 1), \7 J(Ui)) == (\7 J(U[), \7 J(u;)) +( A .1b \7 J(Ui))
== (A.1[, \7 J(u;)) , 0  i -< I  k.
Comme chaque vecteur .1 nH 0  m  k - 1, est une combinaison linéaire des vecteurs
\7 J(u;), 0  i  k- 1, on a établi les relations :
(A.1[, .1m) == 0, 0  m <: I  k.
Ceci nous amène à la définition suivante : étant donné une matrice symétrique A,
des vecteurs W[, 0  I  k, avec k  1, sont dits conjugués par rapport à la matrice A si
W/  0, 0  I  k, et (Aw[, w m ) = (Aw m , WI) = 0, 0  m <: I  k.
Naturellement, c'est une notion qui ne fait intervenir que les directions des vecteurs
W[, qui sont dites également conjuguées par rapport à la matrice. A. Notons aussi que,
si la matrice A est définie positive (com me c'est Ie cas ici), des vecteurs conjugés sont
nécessairement linéairement indépendants. En effet,
o = t À/w/ =? 0 = (A ( t À /W/ ) , w m ) = Åm(Aw m , w m ) => Åm = 0,
1=0 [=0
o  m  k,
puisque (Aw m , w m ) :> 0, d'après Ie caractère défini positif de la matrice A.
REMARQUE. L'application (u, v) E Rn -+ (Au, v) E R étant un produit scalaire
lorsque la matrice A est symétrique définie positive, une autre façon d'exprimer que deux
vecteurs sont conjugés par rapport à la matrice A est de dire qu'ils sont orthogonaux
par rapport à ce produit scalaire, l'orthogonalité "usuelle" correspondant au cas parti-
culier de la matrice unité. II
[
Les vecteurs \7 J(u[), 0  I  k, et les vecteurs .1[ == L ð \7 J(Uj), o l k, étant
;=0
linéairement indépendants, l'égalité entre matrices d'ordre (k + 1) :
ðg ðÕ... ð
ðl ... ðt
.10 .1 1 .1k
\7 J(u o ) \7 J(u 1 ) \7 J(Uk)
. .
ð
montre que
ð1  0, 0  I  k.

198
OPTIMISATION. PREMIERS ALGORITHMES
On peut donc écrire a priori la direction de descente en chaque point U[, 0  I  k,
sous la forme
I-I
d l = L À; 'V J(Ui) + 'V J(u[) , 0  I  k.
;=0
REMARQUE. La descente effective se fait dans la direction du vecteur -d" malS
pour des questions de présentation, on a préféré faire apparaître Ie signe "moins"
devant Ie nombre e(Uk, d k ) introduit ci-dessous. II
Revenant au calcul du vecteur uk+l, supposons les composantes Àf, 0  i  k-l,
connues ; on est alors ramené à un problème d' optimisation à une variable: trouver
e(Uk, d k ), tel que
J(Uk-e(Uk, dk)d k ) = inf J(uk-edk),
(>ER
et il est clair que Ie point Uk + 1 coïncide alors avec Ie point Uk - e(Uk, d k ) d k . En fait, pui-
sque
k { k-l ð/f }
L1k = .L. ðf 'V J(ui) = ð .L  'V J(u;) + 'V J(uk) ,
1=0 1=0 Uk
on a nécessairemen t
L1k = ðdk' et e(Uk' d k ) = - ð .
Montrons que Ie calcul effectif des composantes Àf se fait d'une façon remarquablement
simple: pour trouver k équations en les k inconnues Ài, 0  i  k-l, on écrit
o = (Ad k , L1[) = (d k , AL1[) = (d k , 'V J(u[ + 1)- 'V J(u[)), 0  I  k-l,
soit encore
( k-1 )
j À V' J(Uj) + V' J(Uk) , V' J(Uj +1)- V' J(Uj) = 0, 0  I  k-1.
Les gradients V J(u[), 0  I  k + 1, étant deux à deux orthogonaux, les relations pré-
cédentes se réduisent aux équations
-À_III'VJ(Uk_1)112+II'VJ(Uk)112 = 0 pour 1= k-l,
-Àlll 'VJ(uI)11 2 +Àf+111 'V J(UI +1) 11 2 = 0 pour 0  I  k-2 Sl k  2,
dont la solution est
À = II 'V J(Uk) 11 2
I II 'V J(Ui) 11 2 '
o  i  k-l.
Par suite,
kl II 'VJ(Uk) 11 2 J J
d k =;fo II 'V J(u,) 112 'V (Uj) + 'V (Uk)
II 'V J(Uk) 11 2 { k-2 II 'V J(Uk_l) 11 2
= V' J(Uk) + II V' J(Uk -1) 11 2 j II V' J(Uj) 11 2
_ J II 'VJ(Uk) 11 2
- 'V (Uk) + II 'V J(Uk-1) 1/2 d k _ 1 ,
V' J(Uj) + V' J(Uk-l) }
ce qui fournit un procédé très simple de calcul les directions successives de descente,
à sa voir
{ do = 'V J(u o )'
II 'VJ(u[) 11 2
d l = 'VJ(u[)+ II'VJ(u[_1)11 2 d l _ 1 , 0  I  k.

GRADIENT CONJUGUÉ SANS CONTRAINTES
199
II reste à déterminer Ie nombre e(Uk, d k ) qui, rappeions-Ie, est défini par la relation
J(Uk-e(Uk, dk)d k ) = inf J(uk-edk)'
QER
La fonctionnelle J étant quadratique, la fonction à minimiser est un trinôme du second
degré :
e 2
e E R -+ - (Ad k , dk)-e('vJ(uk), dk)+J(uk)'
2
II suffir donc d'annuler la dérivée de ce trinôme, ce qui donne :
( u d ) = ('7 J(Uk), d k )
e k, k (Ad k , d k ) .
Nous avons maintenant tous Ies éIéments nécessaires à la définition d'un algorithme
de minimisation d'une fonctionnelle quadratique elliptique :
1
J : v E Rn -+ J(v) = 2 (Av, v)-(b, v),
appelé méthode du gradient conjugué: partant d'un vecteur initial Uo arbitraire, on pose
do = '7 J(u o )'
"Si V J(u o ) = 0, l'algorithme est terminé. Sinon, on définit Ie nombre
('7 J(u o )' do)
ro =
(Ado, do)
(la distinction entre Ies deux notations do et '7 J(u o ) est évidemment artificielle à ce stade 0,
puis Ie vecteur
U I = uo-rod o .
Supposant construits de proche en proche Ies vecteurs u 1 ' d l , . . ., Uk-I' d k - 1 , Uk, ce
qui sous-entend que Ies gradients '7 J(U[), 0  I  k-l, sont tous différents de zéro,
deux cas peuvent se présenter : ou bien '7 J(Uk) = 0 et l'algorithme est terminé ; ou bien
'7 J(Uk)  0, auquel cas on défìnit Ie vecteur
II '7J(uk)/1 2
d k = '7 J(Uk) + 11'7 J(Uk_l) 11 2 d k - 1 ,
puis Ie nombre
('7 J(Uk), d k )
rk = (Ad k, d k ) ,
puis Ie vecteur
Uk+1 = uk-rkdk,
et ainsi de suite.
Rappeions sous forme d'un théorème la propriété la plus remarquable (et déjà notée
plus haut) de cette méthode très ingénieuse, due à (1).
Théorème 8.5-1. La méthode du gt:adient conjugué appliquée à unefonctionnelle quadratique
elliptique con'erge en n itérations au plus. II
(1) HESTENES M. R. ; STIEFEL E. - Methods of conjugate gradients for solving linear systems,
National Bureau of Standards Journal of Research, 49 (1952), 409-436.

200
OPTIMISA TION. PREMIERS ALGORITHMES
On a donc construit une nouvelle méthode de résolution de système linéaire à matrice
symétrique définie positive (elle a d'ailleurs été initialement conçue comme une méthode
de résolution de système linéaire), et c'est une méthode directe, puisqu'elle conduit à
la solution exacte après un nombre fini d'opérations élémentaires. Effectuons Ie compte
des opérations nécessaires à une itération :
(i) Le calcul des produits scalaires II V J(Uk) 11 2 , (V J(Uk), d k ), (Ad k , d k ) nécessite 3(n-l)
additions et 3n multiplications.
(ii) Le calcul du vecteur Ad k nécessite n(n- 1) additions et n 2 multiplications.
(iii) Le calcul des vecteurs d k , Uk + 1, et V J(Uk + 1) = V J(Uk) - rkAdk nécessite 3n addi-
. 3 I . 1 .. 2 d . . . ( 1 1 I d . II V J(Uk) 11 2
hons, n mu tIp lcatlons, et IVISlons pour e ca cu es quotIents II V J(Uk_l) 11 2 et rk) .
En fin de compte, la méthode du gradient conjugué nécessite donc de I' ordre de
I n3 additions,
n 3 multiplications,
2n divisions,
c'est-à-dire davantage d' opérations élémentaires que la méthode de Cholesky (se reporter
au paragraphe 4.4) ; cela est d'autant plus vrai que la présence inévitable des erreurs
d'arrondi dans les calculs pratiques conduit parfois à continuer Ie procédé au-delà
des n itérations prévues théoriquement. Si la méthode du gradient conjugué n'apparaÎt
donc pas comme la meilleure pour des matrices pleines (encore qu'elle jouisse d'une
"stabilité numérique" quelquefois très bienvenue ; voir à cet égard l'exercice 8.5-3),
elle présente par contre des avantages manifestes lorsqu'elle est appliquée à des matrices
creuses, dont elle permet souvent d'éviter l'enregistrement. En effet, l'examen des formules
de récurrence montre que la matrice A n'intervient que par l'intermédiaire de calculs des
vecteurs Ad k . Cette opération, qui est la plus coûteuse lorsque la matrice A est pleine,
est très simple pour certaines matrices creuses, et notamment celles provenant de la
discrétisation des problèmes aux limites par des méthodes de différences finies ou d'élé-
ments finis : On a vu par exemple qu'en dimension un (cf. paragraphes 3.1 et 3.4),
les composantes du vecteur Av sont de la forme
(AV)i = aVi_l +2bvi+avi+l, Vo = Vn+l = 0 ;
de la même façon, des formules de récurrence analogues (mais un peu plus élaborées,
ce qui est normal), ne sont pas difficiles à trouver en dimension deux ou trois. Enfin,
it arrive fréquemment dans ce genre d'applications que la convergence de la méthode
soit suffisamment rapide pour autoriser une réduction spectaculaire du nombre n d'itéra-
lions prévu théoriquement.
Afin d'adapter la méthode du gradient conjugué à des fonctionnelles non nécessaire-
ment quadratiques, on note que l'orthogonalité des gradients V J(Uk) successivement
rencon trés permet d' écrire
_ J u II '1J(Uk) 11 2
d k - V ( k)+ II'1J(Uk_l)11 2 d k _ 1
= '1J(Uk)+ ('1J(Uk), '1J(Uk)-'1J(Uk_l)) d k _ 1 .
II V J(Uk_l) /1 2
C'est cette dernière expression de la direction de descente qui sert à définir la méthode
du gradient conjugué de Polak-Ribière (1) pour des fonctionnelles J quelconques : partant
(1) POLAK, E., RIBIÈRE G. - Sur la convergence de la méthode des gradients conjugués, Revue
Française d'lnformatique et de Recherche Opérationne//e, 16-RI (1969).

RELAXATION, GRADIENT, PÉNALISATION
201
d'un vecteur initial U o arbitraire, on suppose construits les vecteurs Ul' .. ., Uk, ce qui
sous-entend que les gradients \1 J(UI), 0  I  k-l, sont tous différents de zéro. Deux
cas peuvent alors se présenter : ou bien \1 J(Uk) = 0 et l'algorithme est terminé, ou bien
'\7 J(Uk)  0, auquel cas Ie vecteur Uk + 1 est défini (s'il existe et s'il est unique) par les
relations
Uk+l = uk-rkdk, et J(Uk+l) == inf J(Uk-rdk),
rER
les directions de descente successives dl étant définies par la relation de récurrence
d ( ) d - J(u ) (\1 J(u,), \1 J(UI)- '\7 J(UI_1)) d
O = \1 J U o ' I '\7 I + I 1 ,
- v II \7 J (u 1-1) 11 2 -
1  I  k.
REMARQUES. (1) II eût été tout aussi concevable a priori d'adapter au cas général
la méthode du gradient conjugué sous sa première forme; cette adaptation porte alors
Ie nom de méthode du gradient conjugué de Fletcher-Reeves(I). CelIe de Polak-Ribière
s'avère néanmoins plus efficace dans la pratique.
(2) Lorsque la fonctionnelle est quelconque, il n'y a aucune raison pour que les gra-
dients '\7 J(Uk) obtenus par la méthode de Polak-Ribière soient encore deux à deux ortho-
gonaux, et donc pour que l'algorithme se termine en un nombre fini d'itérations.
(3) Par construction, la méthode de Polak-Robière coïncide avec celle de Fletcher-
Reeves lorsqu'elle est appliquée à une fonctionnelle quadratique.
(4) Des conditions suffisantes de convergence sont indiquées à l'exercice 8.5-4. II
8.6. Méthodes de relaxation, de gradient, et de pénalisation,
pour des problèmes avec contraintes
Dans ce paragraphe, on va s'intéresser à des problèmes avec contraintes qui, rappelons-
Ie, se présentent de la façon suivante : étant donné une partie U d'un espace vectoriel
Vet une fonctionnelle J: V -+ R, trouver U tel que
(P)
U E U et J(u) = inf J(v).
vEU
11 est immédiat d'étendre la définition de la méthode de relaxation (vue au paragraphe
8.4) aux problèmes avec contraintes pour lesquels l'ensemble U est de la forme parti-
culière
n
U = {v = (Vi) E Rn ; ai  Vi  b i , 1  i  n} = n [ai, b;] ,
i=1
sans exclure les cas ai = - 00 etjou b i = + 00. Connaissant Ie vecteur Uk = (ut)'l=l'
on définit Ie vecteur uk+1 = (u7+ 1 )7=1 en résolvant successivement les n problèmes de
minimisation à une variable (on reprend les mêmes notations qu'au paragraphe 8.4) :
J(Uk ; 1) = J([u+l] k k . . ., u) inf J(C, k k u),
U2 ' u 3 ' u 2 , u 3 , . . . ,
al Cbl
J(uk ; 2) = J(ut+ 1 , [u+l], k . . ., u) inf J(ut+ 1 , " z4, u),
u 3 ' . . . ,
a2Cb2
.
. .
J(uk ; n) = J(uf+l, u k + 1 [u +1])  inf J(u+l, k+1 C).
. . . , n-1 ' . . . , U n -1 '
ant.bn
(I) FLETCHER R., REEVES C. M. - Function minimization by conjugate gradients, Computer J, 7
(1964), 149-154.

202
OPTIMISATION. PREMIERS ALGORITHMES
Théorème 8.6-1. Si la fonctionnelle J: Rn -+ Rest elliptique, et si l'ensemble U est de la
forme
n
U = IT I a;, b;], a; = - 00 etjou b i  + 00 non exclus,
;=1
la méthode de relaxation converge.
DÉMONSTRATION. Elle suit celIe du théorème 8.4-2, la seule nouveauté étant Ie remplace-
ment des caractérisations ôIJ(Uk ; I) = 0, 1  I  n, et \7 J(u) = 0 du cas sans contraintes
par les conditions nécessaires et suffisantes de minimum :
{ ÔIJ(Uk ./) (vl-u1+ 1 )  0 pour tout VI E [ai, b l ],
(\7 J(u): v-u) ;;a.. 0 pour tout v E U.
1  I  n,
On vérifie en effet que les inégalités
(X 2
J(Uk ; /-1)- J(Uk; I)  "2 II Uk ; I-I-Uk, III ,
(X II Uk+l- U 11 2  (\7 J(Uk+l), Uk+l- U )'
obtenues respectivement aux étapes (i) et (iii) de la démonstration du théorème précité
ne sont pas modifiées. II
REMARQUE. II n'esf pas possible d'étendre sans précaution la méthode de relaxation
à des ensembles U plus généraux ; par exemple, si
J(V) = (v+v) et U = {v = (VI' v 2 ) E R2; VI +V 2  2},
on se convainc aisément (figure 8.6-1) que, sauf si l'une des composantes du vecteur
initial U o vaut 1, l'a]gorithme défini par
J(u1+ 1 , u) = inf J(C, u),
k
;::o:2-Ul
J(uf+l, u+I) = inf J(uf+l, ),
k
C;::o:2- U 2
u.= u 2 = . ..
"se bloque" sur la frontière de l'ensemble
U. II
GV)=inJ(W)=2.} C1=2}
WEU
FIG. 8.6-1.
Considérons maintenant Ie problème (P)
associé à un ensemble U convexe quel-
conque et à une fonctionnelle convexe.
Un élément U E U est alors solution du
problème (P) s'il vérifie les conditions né-
cessaires et suffisantes (théorème 7.4-4) :
(\7 J(u), V - u)  0 pour tout v E U.
On ne peut manquer de noter l'analogie entre ces conditions et la caractérisation
(théorème 8.1-1)
(U-w, v-u)  0 pour tout V E U,
de la projection U d'un élément w d'un espace de Hilbert V sur une partie U C V non
vide, convexe, fermée. De façon plus précise, désignant par P l'opérateur de projection

RELAXATION, GRADIENT, PÉNALISATION
203
de l'espace V sur l'ensemble U, on ales équivalences suivantes :
u E U et J(u) == inf J(v) <=> u E U et (\7 J(u), v-u)  0 pour tout v E U
vEU
{:::> U E U et (u-{u-e \7J(u)}, v-u)  0 pour tout v E U, e >- 0
<=> u == P(u- e \7 J(u)) pour tout e <: O.
Autrement dit, la solution u apparaÎt, pour tout e >- 0, comme un point fixe de l' application
g : v E V -+ g(v) == P(v-e \7J(v)) E U c V.
II est donc naturel de définir comme méthode d'approximation de la solution du
problème (P) la méthode des approxÙnatiol1S successh'es appliquée à l' application g :
étant donné un élément U o E Varbitraire, on définit la suite (Uk)kO par
Uk + 1 == g(Uk) == P( Uk - e \7 J(Uk)), k  O.
Dans Ie cas OÙ U == V, l'opérateur de projection Pest l'identité, et la relation ci-dessus
se réduit à
Uk+l == Uk-e \7J(Uk), k  O.
On retrouve ainsi la méthode du gradient à pas fixe pour un problème sans contraintes,
étudiée au paragraphe 8.4. C'est la raison pour Iaquelle la méthode que nous venons
de décrire s'appelle la méthode du gradient avec projection à pas fixe.
Pour démontrer sa convergence, il suffit simplement de vérifier que, si Ie paramètre
e >- 0 a été convenablement choisi, alors l'application g: V -+ Vest une contraction,
c'est-à-dire qu'il existe un nombre ß tel que
ß <: 1, et Ilg(v 1 )-g(v 2 ) II  ß \I v 1 -v 2 11 pour tout VI' v 2 E V.
Cette hypothèse entraîne en effet l'existence d'un point fixe et la convergence de Ia méthode
des approximations successives dès que l'espace Vest supposé complet ; c'est pourquoi
la compacité n'intervient pas dans la démonstration. Parce que cela n'introduit aucune
difficulté supplémentaire, on va même considérer la méthode (plus générale) du gradient
avec projection à pas variable, définie par
Uk+l == P(Uk-ek \7J(Uk)), ek >- 0, k  o.
Théorème 8.6-2. Soit V un espace de Hi/bert, U une partie non ide conexe fermée de V,
et J: V -+ Rune fonctionne//e dériab/e dans V. On suppose qu'i/ existe deux constantes a
et M telles que
a >- 0 et (\7J(v) - V J(u), v -u)  a II v -u1l 2 pour tout u, v E V,
IIVJ(v)-VJ(u)IIMllv-ull pour tout u,vE V.
S'i/ existe deux nombres a et b te/s que
2a
o <: a  ek b <: - pour tout entier k  0,
M2
/a méthode du gradient aec projection à pas ariab/e conerge, et /a conergence est géo-
métrique: i/ existe une constante ß = ß(a, M, a, b) te//e que
ß <: 1 et Iluk-ull ßklluo-ull.

204
OPTIMISATION. PREMIERS ALGORIGHMES
DÉMONSTRATION. Pour tout entier k  0, définissons l'application
gk: v E V -+ gk(V) = P(V-ek \7J(v))E u c V.
Du fait que la projection "n'augmente pas les distances" (théorème 8.1-1ì, et des
hypothèses faites sur la fonctionnelle, on déduit les inégalités
Ilgk(V 1 )-gk(v 2 )11 2 = IIP(V1-ek \7J(v 1 ))-P(V 2 -ek \7J(V2)) 11 2
 II (V1-V2)-e(\7 J(v 1 )- \7 J(v 2 )) 11 2
= II v1-v2112-2ek(\7J(v1)-\7J(V2)) VI-V2)+e II \7J(V 1 )-\7J(V 2 ) 11 2
 (1-2(X,ek+M2e) II v 1 -v 2 11 2 ,
en supposant ek :> O. Par ailleurs, on a déjà établi (dans la démonstration du théorème
8.4-4) l'existence d'une constante ß = ß(rx, M, a, b) telle que
1
(1-2(X,ek+M2e)2  ß <: 1 pour tout k  0,
lorsque les nombres a et b vérifient les hypothèses de l'énoncé. Puisque la solution u
du problème (P) est un point fixe de chaque application gk, on peut écrire
1/ Uk+1- U II = IIgk(uk)-gk(u) /I  ß II Uk- U II,
et la convergence géométrique est démontrée.
II
REMARQUES. (1) L'existence du point fixe de l'application g(v) = P(v- \7 J(v)) associée
à la méthode du gradient avec projection à pas fixe, et donc l'existence d'une solution U
des inéquations (\7 J(u), v- u)  0 pour tout v E U fournit une preuve de l'existence d'une
solution du problème (P) associé à un ensemble U et à une fonctionnelle vérifiant les
hypothèses du présent théorème, qui apparaît comme un cas particulier du résultat du
théorème 8.2-2.
(2) Si U = V, on retrouve la convergence de la méthode du gradient à pas variable,
déjà établie au théorème 8.4-4.
(3) Dans Ie cas d'une fonctionnelle quadratique elliptique
1
J: v E Rn -+ J(v) = 2 (Av, v)-(b, v),
A=AT
,
on peut montrer, exactement comme dans Ie cas sans contraintes (se reporter à la dis-
cussion suivant Ie théorème 8.4-4), que la convergence géométrique a lieu pour
(!k E [a, b] C ] 0, n - [ , alors que, dans ce cas particulier, Ie théorème ci-dessus prévoit
] 2À1 [
seulement la convergence pour (!k E [a, b] C 0, - À- (on rappelle que À 1 et Àn désig-
nent les valeurs propres extrêmes de la matrice A). II
Les méthodes de gradient avec projection fournissent donc en principe des méthodes
d'approximations applicables à une large classe de problèmes de programmation convexe,
mais c'est un leurre du point de vue "numérique", pour la simple raison que l'opérateur
de projection sur une partie convexe fermée quelconque n'est pas connu explicitement en
général.
Une exception notable est celle des sous-ensembles U de V = Rn de la forme
n
n [ai, b;] c V = Rn, pour lesquels nous avons déjà construit au paragraphe 8.1 l'opé-
;=1
rateur de projection associé. Par exemple si
U = R'+ = {v E R n ; v  O},

RELAXA TION, GRADIENT, PÉNALISA TION
205
et si cet ensemble U est associé à une fonctionnelle quadratique elliptique
1
J : v E Rn -. J(v) = - (Av, v)-(b, v),
2
Ie vecteur uk+l = (u7+ 1 )7=1 est calculé à partir du vecteur Uk = (Uf)/l par les relations
0+ 1 = max {Uf-ek(Auk-b);, o}, 1  i  n.
Exception faite de tels cas particuliers, les problèmes avec contraintes doivent être
traités par d' autres méthodes. C'est Ie cas notamment des méthodes de pénalisation,
dont Ie principe repose sur Ie résultat suivant :
Théorème 8.6-3. Soit J: Rn -+ Rune fonction continue coercive strictement convexe,
U une partie non vide convexe fermée de Rn, et 1p : Rn -+ R unefonction continue convexe
vérifiant
1p(v)  0 pour tout v E Rn et 1p (v) = 0  v E U.
Alors, pour tout e >- 0, il existe un et un seul élénlent U e vérifiant
déf 1
où Jf:(v) = J(v) + - 1p (v),
e
(Pe)
U e E Rn et Je(u e ) = iof J e (v)
vERn
et Jim U e = U, où u est la solution unique du problème : trouver u tel que
e-.O
(P)
u E U et J(u) = iof J(v).
VEU
DÉMONSTRATION. II est clair que Ie problème (P) et les problèmes (Pf) ont chacun une et
une seule solution. Les fonctionnelles J e sont en effet encore coercives (puisque Je(v) 
 J(v)) et strictement convexes (puisque la somme d'une fonction strictement convexe
et d'une fonction convexe est strictement convexe). Comme
1
J(u e )  J(u e ) +-1p(u e ) = Je(u e )  Je(u) = J(u),
e
on déduit de la coercivité de la fonctionnelle J que Ia famille (ue)e:>O est bornée.
Par compacité, il existe une suite extraite (ue')e':>O et un élément u' E Rn tels que
I ' ,
1m U e ' = U .
e' -.0
Des inégalités J(u e ,)  J(u) et de la continuité de la fonction J, on déduit
J(u') = lim J(u e ,)  J(u).
e' -.0
Puisque
o  1p(u e )  e'(J(u)- J(u e ,)),
et puisque Ia suite (ue')e':>O converge, les nombres {J(u)- J(u e ,)} sont majorés indépen-
damment de e' ; par suite,
o = lim 1p(u e ') = 1p(u'),
e' -. 0
puisque la fonction "p est continue, ce qui montre que u' E U et donc que u = u' puisque
J(u')  J(u), et u est la seule solution du problème (P). L'unicité de cette solution montre

206
OPTIMISATION. PREMIERS ALGORITHMES
également que toute la famille (ue)e>O converge vers l'élément u (on peut en effet reproduire
Ie raisonnement précédent pour toute suite extraite). II
REMARQUE. On démontre que toute fonction convexe C{J: Rn -+ Rest nécessairement
continue (cf Exercice 7.4-6); cette "hypothèse" est donc superflue. II
Comme application, considérons Ie problème de programmation convexe : Étant donné
une fonction J: Rn -+ R strictement convexe et des fonctions C{J; : Rn -+ R, 1  i  m,
convexes, trouver u tel que
u E U = {v E Rn; C{J;(v)  0, 1  i  m}, J(u) = inf J(v).
vEU
Comme fonction 'ljJ satisfaisant aux hypothèses du théorème 8.6-3, on peut prendre par
exemple
m
1p : v E Rn -+ 1p(v) = L max {cp;(v), o}.
;=1
L'objet essentiel d'une méthode de pénalisation est donc de remplacer un problème
d'optimisation avec contraintes par une suite de problèmes sans contraintes (qu'en
principe on sait résoudre), associés aux fonctionnelles pénalisées J e , ê >- O.
REMARQUE. La portée pratique des méthodes de pénalisation est limitée par la difficulté
de construire effectivement de "bonnes" fonctions 'ljJ (par exemple dérivables, ce qui inci-
demment n'est pas Ie cas pour l'exemple ci-dessus) satisfaisant aux conditions de l'énoncé
du théorème. II
Une autre façon de se ramener à la résolution de problèmes sans contraintes est liée à
la notion de dualité. Son étude et la construction de méthodes d'approximation corres-
pondantes font l'objet du chapitre suivant.

9
INTRODUCTION À LA
PROGRAMMATION
NON LINÉAIRE
Introduction
Dans ce chapitre, nous considérons Ie problème de programmation non linéaire :
trouver u tel que
(P)
! u E U déf {v E Rn ; qJi(V)  0, 1  i  m},
J(u) = inf J(v).
vEU
Pour commencer, nous établissons des conditions nécessaires, et suffisantes en program-
m,ation convexe, pour qu'un élément u E U soit solution du problème (P) : i1 s'agit des
relations de Kuhn et Tucker (théorèmes 9.2-3 et 9.2-4), qui expriment l'existence de nom-
bres ,1; vérifiant
m
J'(u) + L ,1;([J; (u) = 0,
i=l
m
,1;  0, 1  i  m, L ,1i([Ji(U) = O.
;=1
On notera l'analogie formelle avec les multiplicateurs de Lagrange trouvés au paragraphe
7.2. Ces relations sont elles-mêmes obtenues comme conséquence du lemme de Farkas-
Minkowski (théorème 9.1-1), dont la démonstration fait l'objet du paragraphe 9.1.
L'idée directrice est ensuite de remplacer Ie problème d'optimisation (P) avec contraintes
par une famille (P,lJ de problèmes d'optimisation sans contraintes, Ie paramètre !-l, appelé
ici la variable duale, parcourant un ensemble convenable. De façon plus précise, on intro..
duit la fonction
m
L(v, !-l) = J(v) + L !-li([Ji(V), pour v E Rn, !-l E R+,
;=1
appelée Ie Lagrangien associé au prob/ème (P), et on montre que, si u désigne la solution
du problème (P), il existe dans certains cas un élément ,1 E R vérifiant
L(u, ,1) = inf L(v, ,1) = sup inf L(v, !-l),
vERn ER vERn
soit encore
L(u, ,1) = sup L(u,u, !-l),
ER

208
PROGRAMMA TION NON LINÉAIRE
où, pour tout I-" E R ' Ie vecteur uJ.L désigne la solution du problème sans contraintes :
(PJ.L)
Up E Rn, L(uJ.L' 1-") == inf L(v,I-").
vERn
On établit également que
L(u, À) == sup L(u,l-") == inf sup L(v,I-"),
,uER vER n ,uER
les points (u, "À) apparaissant ainsi comme des points-selles du Lagrangien L. Dans cette
direction, une relation entre l'ensemble des solutions du problème (P) et l'ensemble des
premiers arguments des points-selles du Lagrangien Lest démontrée au théorème 9.3-2,
où une utilisation essentielle est faite des relations de Kuhn et Tucker.
A l'aide de la fonction
G : I-" E R -+ G(I-") == inf L(v,I-"),
vERn
on peut ensuite définir un problème d'optimisation ne faisant intervenir que fa variable
duale. On remarque en effet que les seconds arguments À E R des points-selles introduits
plus haut sont les solutions du problème, appelé problème dual du problème primal (P) :
1rouver À tel que
(Q)
À E R, G(À) == sup G(I-")'
,uER
C'est pourquoi on établit au théorème 9.3-3 une relation entre les solutions des problèmes
primal e t dual.
Bien que Ie problème dual (Q) soit encore un problème d'optimisation avec contraintes,
il est essentiel de noter que celles-ci sont facHes à prendre en compte numériquement,
puisque l'opérateur de projection de Rm sur R'+ est de forme très simple. Cette observa-
tion suggère I' application de la méthode du gradient à pas constant au problème dual.
C'est Ie principe de la méthode d' Uzawa, qui fournit comme "auxiliaire" (mais c'est là
ce qui est effectivement cherché !) une suite de vecteurs de Rn, obtenus chacun comme la
solution d'un problème d'optimisation sans contraintes, qui convergent (sous certaines
conditions) vers la solution du problème primal (P) (.héorème 9.4-1). La méthode d'Uzawa
s'applique notamment aux problèmes de programmation quadratique avec contraintes.
Dans ce chapitre, tous les espaces vectoriels considérés sont réels.
9.1. Lemme de Farkas-Minkowski
On recommande vivement aux lecteurs d'essayer de trouver par eux-mêmes (c'est-à-dire
sans lire la démonstration proposée. . .) une preuve de l'assertion (i) de la démonstration
ci-dessous ; c'est moins simple qu'il n'y paraît de prime abord.
Théorème 9.1-1 (Iemme de Farkas-Minkowski). Soit a;, i E I, où I est un ensemble fin;
d'indiees, et b des éléments d'un espaee de Hilbert V, de produit sealaire (., .). Alors I'in-
elusion
{wE V; (ai'w)O, iEI}c{wE V; (b,w)O}
est satisfaite si et seulement si :
II existe  i  0, i E I, tels que b == L Âiai.
iE I

LEMME DE FARKAS-MINKOWSKI
209
DÉMONSTRATION. La condition est évidemment suffisante. Sa nécessité est établie en trois
étapes (les deux premières étapes sont indépendantes) :
(i) L'ensemble
c == { L Åjaj E V; 0  Åj, i E I}
iE I
est un cône de sommet l'origine, convexe, fermé dans V. La convexité résulte de l'égalité
o L Åjai +(1-0) I !-ljai == L {OÀ i +(l-O)!-li} ai.
iEI iEI iEI
Supposons les vecteurs ai, i E I, linéairement indépendants. Toute suite (Vk)kO de
points vk == L À7a; de C est en particulier une suite de points du sous-espace vectoriel U
iEI
de dimension finie, donc fermé, engendré par les vecteurs ai' Si elle converge dans V,
elle converge donc dans U, et comme la convergence dans U équivaut à la convergence des
composantes, on déduit que
m
lim Vk == L { lim Å7 } aj E C,
k ....... 00 i = 1 k ....... 00
ce qui montre que l'ensemble C est fermé.
Si les vecteurs ai, i E I, sont linéairement dépendants, il existe des nombres réels !-li,
i E I, tels que
L !-liai == 0, et
iEI
déf
J == {i E I; !-l; -< o}  <1>.
Dans ces conditions, tout vecteur v == L Åiai de C peut aussi s'écrire
iEI
v == L (Åi +t!-li) a;,
iEI
où t déf min { _ À j }  o.
iE J !-lj
Les nombres (Åi+t!-li), i E I, sont tous  0, mais l'un d'eux au moins est nul: on a donc
démontré l'égalité
C == u {v ==
lEI
L
ie(l- {Jl)
Åia;, 0  Å;, i E (I-{j})},
et i1 suffit de recommencer ce raisonnement jusqu'à ce que Ie cône C soit écrit comme une
réunion finie de cônes associés à des vecteurs a; linéairement indépendants, donc fermés
d'après la première partie du raisonnement.
(ii) Soit C une partie convexe /ermée non vide d'un espace de Hilbert V, et b un point de V
qui n'appartient pas à C. Alors on peut trouver, d'une infinité de façons possibles, des
vecteurs u E V et des nombres réels (X tels que
{ (v, u) >-(X
(b, u) -< (X.
pour tout
v E C.
D'après Ie théorème de projection, il existe un élément c E C et un seul tel que (c/.
figure 9.1-2)
/ llb-C 11V == inf Ilb-vllv>-O,
vEC
(v-c, c-b)  0 pour tout v E C.
Par suite,
(v, c-b)  (c, c-b) >- (b, c- b),

210
PROGRAMMA TION NON LINÉAIRE
et l'assertion est démontrée : il suffit de choisir u = (c-b) et n'importe quel nombre (X
vérifian t
(c, c-b) >- (X >- (b, c-b).
(iii) Démonstration du lemme de Farkas-Minkowski proprement dit : tout revient à
montrer que, si Ie point b n' appartient pas à l' ensemble
c = {v = L Å;a;; 0  Å;, i E I} ,
;EI
alors if existe un vecteur u tel que
(ai, u)  0, i E I, et (b, u) <: O.
D'après l'étape (i), l'ensemble C est une partie convexe fermée non vide de V. Si donc
b  C, i1 existe, d'après l'étape (ii), un vecteur u E Vet un nombre réel (X tels que
(v, u) >- (X pour tout v E C, et (b, u) <: (X.
Comme C est un cône de sommet 0,
o E C ==> (X <: 0,
et par suite,
(X
(v, u) >- T pour tout  >- 0 ==> (v, u)  0 pour tout v E C.
On a donc établi que
(a;, u)  0, i E I (puisque ai E C), et (b, u) <: (X <: 0,
ce qUI démontre l'assertion. II
REMARQUES. (1) Contrairement à ce qu'une analyse hâtive pouvait laisser croire, la dé-
monstration de l'étape (i) n'est pas immédiate (l'ensemble C est une image directe - et
non réciproque - d'un fermé de Rm . . .). Lorsque les vecteurs ai sont linéairement dé-
pendants, la difficulté vient de ce qu'une suite de points v k = L Åfa; de C peut fort bien
;EI
converger sans que les suites (Âr)kO, i E I, convergent. L'idée de la démonstration est
cependant clairement suggérée par les deux
cas en visagés à la figure 9.1-1.
(2) Les conclusions de l'étape (ii) sont
équivalentes aux inclusions (figure 9.1-2)
{ C c {v E V; (v,u) >-(X},
{b} c {v E V; (v, u) <: },
qui montrent que l'hyperplan {v E V ;
FIG. 9.1-1. (u, v) = (X} "sépare s trictemen t" les parties
C et {b} de V, ce résultat étant un cas par-
ticulier de théorèmes plus généraux de "séparation d'ensembles con vexes " dans les es-
paces vectoriels normés. Voir par exemple (1), p. 19 et uivantes, (2),  11, (3).
(3) Le lemme de Farkas-Minkowski est susceptible d'une interprétation géométrique
simple, comme essaie de Ie suggérer la figure 9.1-3. II
(1) CÉA J. - Optimisation, Théorie et Algorithmes, Dunod, Paris, 1971.
(2) ROCKAFELLAR R. T. - Convex Analysis, Princeton University Press, Princeton, 1970.
() BRÉZIS, H. - Analyse Fonctionnelle Appliquée, Masson, Paris, 1982.

RELA TIONS DE KUHN ET TUCKER
2] I
(U,V))CX
b
\0
(u,v)<
FIG. 9.1-2.
FIG. 9.1-3.
9.2. Les relations de Kuhn et Tucker
Notre premier objectif (théorème 9.2-1) est de généraliser la condition nécessaire de
minimum relatif "J'(u) (v-u) ;?; 0 pour tout v E U", établie au théorème 7.4-1 dans Ie
cas d'un ensemble U convexe, au cas d'un ensemble U quelconque. C'est pourquoi il est
commode d'introduire en tout point u E U un "cône tangent".
De façon plus précise, soit V un espace vectoriel normé et U une partie non vide de V.
En tout point U E U, Ie cône C(u) des directions admissibles est la réunion de {O} et de
l'ensemble des vecteurs WE V pour lesquels il existe (au moins) une suite de points (Uk)kO
telle que
Uk E U et Uk  U pour tout k ;?; 0, lim Uk = u,
k --. 00
lim uk- U w
W 7f!=. 0,
k --. 00 II uk- U \I "W II
la dernière condition s'écrivant de façon équivalente
W
Uk = U+IIUk-ull Ilwll +IIUk-ul/ ð k ,
II est clair que J'ensemble C(u) est
un cône, non nécessairement convexe
(figure 9.2-1), et de sommet l'origine ;
c'est Ie cône "translaté"
U+C(u) = {(u+w) E V; w E C(u)}
qui a Ie point u pour sommet.
REMARQUE. L'ensemble C(u) con-
tien t en particulier les tangen tes
"orientées" en u aux courbes de
points de U qui passent par Ie point
u(cf. l'exemple de Ia figure 9.2-1).
Si une telle courbe y est représentée
par une application t;?; 0 --. u(t),
avec u = u(O), dérivable en 0 et si
u'(O)  0, on peut en effet écrire
Uk-U = tkU'(O)+tkêk, lim êk = 0,
k --.00
lim ð k = 0,
k --. 00
w  O.
 u
ø .J/!r
, fi:I. .. 'b
 o 
'0
CÞ. (v)= -v.- V 2
<Þ2.(V)::aVt(V+v) - 2(V-Vi)
U-{V;<Pi(V)"1 i-1,2.}
C (0)= {v; "t+V2  0, IV11;.lvtl} C. (O)={v;V.+Vt';aO}
FIG. 9.2-1.

212
PROGRAMMA TION NON LINÉAIRE
avec
Uk = U(tk), tk :> 0, lim tk = 0,
k --. 00
de sorte que
lim Uk- U u' (0)
k --. 00 Iluk-ul/ II u' (0) II
II
Établissons main tenant deux propriétés importantes du cône des directions admissibles.
Théorème 9.2-1. Soit U une partie queleonque non vide d'un espaee veetoriel normé V.
(1) En tout point u E U, Ie cône C(u) des directions admissibles est fermé.
(2) Soit J: Q c V --. R unelonetion définie sur un ouvert Q eontenant U. Si lalonetion J
admet en un point u E U un minimum relatif par rapport à l'ensemble U, et si elle est déri-
vable en u, alors
J' (u) ( ] - u) ;?; 0 pour tout t E {u+ C(u) }.
DÉMONSTRATION. (1) Soit (wn)nO une suite de points de C(u) qui converge vers
W E V. II suffit de considérer Ie cas W  0 (puisqu'on sait déjà que 0 E C(u)) , et donc
supposer W n  0 pour tout n. Par définition, ilexiste pour tout n une suite (u'k)k?::O telle que
uk E u, uk 7Z'=- u pour tout k;?; 0, lim uk = u,
k --. 00
W n  
uk = u + II uZ - u /I II w n II +" uZ - u /I uZ , }n: uZ = o.
Soit (En)n?::O une suite de nombres En :> 0 telle que lim En = O. Pour tout n, il exis-
n --. 00
te un entier k(n) tel que
lIuZ(n)-ull  En' IlðZ(n)11  En.
Considérons alors la suite {uZ(n)}n?::O' On a, d'une part,
uk(n) E U, uk(n)  u pour tout n;?; 0, lim uk(n) = U,
n --. 00
et l'on peut écrire, d'autre part,
uZ(n) = u+11 uZ(n)-u II II: II +11 uZ(n)-u II { ðZ(n) + ( i 11- /I: /I ) }.
C 1 . Wn W 1 , . d ' ,
omme 1m -- = -, assertion est emontree.
n--.oo II W n II II w II
(2) Soit W = (v-u) un vecteur non nul du cône C(u), et soit (Uk) une suite de points
de U-{u} telle que
( lim Uk = u,
I k--.oo
{ Uk- U = "uk-ull--+lluk-ull ð k ,
l II wll
J(u)  J(Uk) pour tout k.
lim ð k = 0,
koo
Utilisant la dérivabilité de la fonction J en u, on obtient
o  J(Uk)-J(U) = J'(u)(uk-u)+lluk-ull Ek, lim Ek= 0,
k --. 00

RELA TIONS DE KUHN ET TUCKER
213
c'est-à-dire encore (J'(u) E V')
IIUk-ull
o  "w II (J'(u) W +'Y}k),
lim 'Y}k = O.
k-+oo
II en résulte que Ie nombre J'(u) west nécessairement  0, sans quoi l'expression
(J'(u) W+'Y}k) serait <: 0 pour des valeurs suffisamment grandes de l'entier k(noter l'usage
de la relation Uk  u). II
N ous considérons dorénavant des ensembles U particuliers, de la forme
U = {v E Q; gJj(v)  0, 1  i  m}, Q: ouvert de V,
et, moyennant des hypothèses convenables sur les contraintes, c'est-à-dire sur les fonc-
tions gJi : Q c V -+ R, nous allons décrire de façon simple Ie cône des directions admis-
sibles en un point quelconque de l'ensemble U. A chaque point u E U, on associe l'en-
semble d'indices
I(u) = {1  i  m; gJj(u) = O}.
Alors, comme Ie suggère la figure 9.2-2 (au moins dans Ie cas particulier m = n = 2),
Ie cône C(u) des directions admissibles en un point queIconque u E U semble coïncider
au moins dans certains cas avec Ie cône
déf
C*(u) = {w E V, gJ;(u) W  0, i E I(u)}
l(u)..{2}
I (u'):a{1,2.}
I(u").ø
FIG. 9.2-2.
(naturellement, C*(u) = V si I(u) = 4>). Cependant, on ne peut pas espérer avoir l'égalité
dans tous les cas, ne serait-ce que parce que Ie cône C*(u) est toujours convexe alors
que Ie cône C(u) ne l'est pas nécessairement (c/. l'exemple de la figure 9.2-1). C'est
pourquoi on est conduit à poser la définition suivante : on dit que les contraintes sont
qualifiées en un point u E U si
- ou bien toutes les fonctions gJi, i E J(u), sont affines,
- ou bien il existe un vecteur w E V tel que
gJ;(u) w  0,
gJ; (u) W <: 0 SI
} pour tout
gJi n'est pas affine,
i E I(u).

214
PROGRAMMA TION NON LINÉAIRE
o
<þt(V)= v 2 - ma)({O, v}
<þ(v)=v1- v1
CeO)- tv; Vt"O;V1.0} C*(O)={v; v 1 =OJ
FIG. 9.2-3.
REMARQUE. On ne saurai t trop conseil-
ler aux lecteurs de réfléchir à ]a signifi-
cation géométrique de cette condition,
au moins pour /l == 2: Si une fonction
CPi, i E I(u), n'est pas affine, la condition
qJ; (u)  0 exclut notamment l'existence
d'un point double de la courbe f/Ji(V) == 0
au point u, cause de la non-convexité de
I'ensemble C(u) (se reporter à l'exemple
de la figure 9.2-1). La figure 9.2-3 devrait
faire pareillement comprendre l'utilité de
la condition W  O. Enfin, les raisons
pour lesquelles les fonctions affines sont
à distinguer devraient apparaÎtre sur quel-
ques figures bien choisies, et aussi dans la
démonstration du théorème qui suit. II
Théorème 9.2-2. Soit u un point de l'ensemble
U = {v E Q; CPi(J)  0, 1  i  nt},
en lequelles fonctions CPi: Q c V - R, i E I(u), sont dérivables. Alors :
(1) Le cône des directions admissibles en ce point vérifie toujours l'inclusion
* déf, }
C(u) c C (u) == {w E V; CPi(U)W::<" 0, i E I(u) .
(2) Si les contraintes sont qualijìées en II et si lesfonctions C{Ji, i 1 J(u), sont continues en u,
on a I'égalité
C(u) = C*(u).
DÉMONSTRATION. (1) Chaque fonction f{Ji, i E /(u), admet en u un maximum relatif
par rapport à l'ensemble U, par définition de I'ensemble I(u). Une application du thé-
orème 9.2-1 montre alors que
qJ; (u)w  0 pour tout w E C(u), i E l(u),
ce qui est exactement la conclusion cherchée.
(2) Supposons d'abord toutes les fonctions qJi, i E l(u), affines. Étant donné un
vecteur w non nul de C*(u), considérons la suite (uk) définie par
Uk == U+êk W ,
OÙ (cSk) est une suite de nombres cSk >- 0 telle que lim Ek == O. Alors uk-U == cSkW  0
k -.. ex:>
pour tout k  0 et lim Uk == u. Par ailleurs,
k-ex:>
o >- qJi(U) == lim qJi(Uk) pour i  I(u) (par continuité),
k_ex:>
, ,
qJj(Uk) == ffJj(U) (Uk- U ) == êkqJj(U) W  0 pour i E I(u),
ce qui montre que les points Uk sont dans l'ensemble U pour k suffisamment grand.
Comme enfin
Uk - U
Iluk-ull
on a bien démontré que W E C(u).
W
k,
II wI/
pour tout

RELA TIONS DE KUHN ET TUCKER
2]5
Passons au cas général : il existe un vecteur W  0 tel que
, -
CPi(U) W  0,
, -
rpi(U) W <: 0 SI
f!Ji n'est pas affine, }
pour tout i E I(u).
Étant donné un vecteur W non nul de C*(u), soit ð un nombre >- 0 tel que Ie vecteur
(w +ðw) soit non nul. Considérons la suite (Uk) définie par
Uk = u +cSk(W +ðw), cSk >- 0, lim cSk = O.
k-+oo
Alors Uk-U = cSk(w+ðw)  0 pour tout k, et lim Uk = u. Par ailleurs,
k-+oo
o >- rpi(U) = lim CPi(Uk) pour i  I(u) (par continuité),
k-+oo
CPi(Uk) = cSK{cp;(U) w +ðq;;(u) w}  0 pour i E I(u) et f{Ji affine,
! CPi(Uk) = cSk{cp;(u)w+ðrp;(u)W+Xk}' lim Xk = 0, etdonc
k-+oo
qJi(Uk) cSk{ðq;;(u) w +Xk} pour i E I(u) et CPi non affine,
ce qui montre que les points Uk sont dans l'ensemble U pour k suffisamment grand (ce
qui explique l'inégalité stricte q;;(u) w <: 0 d'une part, et l'introduction des vecteurs
w+ðw, d'autre part). Comme
Uk- U
Iluk-ull
w+ðw
- - -
Ilw+ðw l
pour tout k,
on a montré que (w+ðw) E C(u) pour tout nombre ð >- 0 suffisamment petit. La suite
(w n ) définie par
W ll = w +cSnw
est une suite de points de C(u) (pour n assez grand). Comme I'ensemble C(u) est fermé
(théorème 9.2-1), on conclut que lim W n = W E C(u). II
n-+oo
Un exemple très important d'application est celui où V = Rn et toutes les fonctions
CPi sont affines, l'ensemble Use présentant alors sous la forme
U= { VERn; tCijVjdi' lim } ={VERn; Cvd},
J=l
OÙ C = (cij) E cIl m , n(R) est une matrice donnée
et d E Rm un vecteur donné. Alors les con-
traintes sont qualifiées en tout point u E U, et
d'après Ie théorème précédent, Ie cône des direc-
tions admissibles en un point u E U est /' ensemble
(c/. figure 9.2-4)
C(u) = { w E Rn; t CijWj  0, i E /(U) } .
j=l
u
o
Revenant à Ia situation généraIe, et rassem-
blant les diverses propriétés établies dans ce pa-
ragraphe et Ie précédent, nous obtenons un des
résultats les plus importants de /' Optimisation :
FIG. 9.2-4.

216
PROGRAMMA TION NON LINÉAIRE
_ Théorème 9.2-3 (condition nécessaire de minimum en programmation non linéaire). Soit
f/Ji : Q c V  R, 1  i  m, des lonetions définies sur un ouvert Q d'un espaee de Hilbert
V, et
u = {v E Q; f/Ji(V)  0, 1  i  m}
une partie de Q. Soit u un point de U, auquel on associe I' ensemble d'indiees
I(u) = {I  i  m; f/J;(u) = O}.
Onsupposeleslonetions f/Ji, i E I(u), dérivables en u, et leslonetioMf/Ji, i  I(u), continues
en u. Enfin, on se donne une lonetion J : Q c V  R, dérivable en u.
Si lalonction J admet en u un minimum relatifpar rapport à I'ensemble U, et si les con-
traintes sont qualifiées au point u, alors il existe des nombres Åj(u), i E I(u), tels que
J' (u) + L Å; (u) f/J; (u) = 0, et Åi(U)  0, i E I(u).
iE/(u)
DÉMONSTRATION. D'après Ie théorème 9.2-1,
J'(u)w  0 pour tout w EC(u).
D'après Ie théorème 9.2-2,
C(u) = {w E V; cp;(u) w  0, i E l(u)}.
Désignant par (., .) Ie produit scalaire de l'espace V et par 7: l'isométrie canonique
de V sur V', nous sommes donc dans la situation suivante :
{w E V; (-7:CP;(u), w)  0, i E l(u)} C {w E V; (7:J'(u), w)  O},
c'est-à-dire exactement les conditions d'application du lemme de Farkas-Minkowski
(théorème 9.1-1) : la conclusion s'en déduit immédiatement. II
Les relations
J'(u)+ L Å;(u)cp;(u) = 0 et Å;(u)  0, i E l(u),
iE/(u)
s'appellent les relations de Kuhn et Tucker .On peut dire qu'elles sont aux "contraintes-
inégalités" ce que sont les multiplicateurs de Lagrange (paragraphe 7.2) aux "contraintes-
égalités". Tenant compte des inégalités CPl(U)  0, 1  i  m, on peut d'ailleurs les
écrire sous une forme encore plus voisine de la relation où interviennent les multiplica-
teurs de Lagrange, puisqu' elles équivalent en eifet à I' existence de nombres Å,(u), 1  i  m,
(poser Å;(u) = 0 pour i Et leu)) tels que
m
J'(u) + L Åi(u)cp;(u) = 0,
;=1
m
Åi(u)  0, 1  i  m, L ÅjCP;(u) = O.
i=1
Au vu de l'analogie avec les multiplicateurs de Lagrange "usuels", on appelle Ie vecteur
Å(u) = (Å;(u)) E R un multiplicateur de Lagrange généralisé, associé au minimum
relatif u. .
Néanmoins, il ne faut pas perdre de vue que ces relations sont difficilement exploita-
bles en pratique, à cause des inégalités qui y demeurent. Par exemple dans Ie cas où
V = Rn, une condition nécessaire de minimum relatif d'une fonction J: U  Rest

RELA TIONS DE KUHN ET TUCKER
217
l'existence de solutions Uj, 1  i  n, et Åj, 1  j  m, du système suivant d'équations
et d'inéquations :
( ô)J(u)+Å 1 Ô1q>1(U)+ . . . +Åm Ôlq>m(u) = 0,
.
ônJ(U)+Å 1 Ônq>l(U) + . . . +Åm ônq>m(u) = 0,
{ Å1q>1(U) + . . . +Åmq>m(u) = 0,
q>l(u)  0, Å 1  0,
t
q>m(U) ;?; 0,
Åm  0,
qu'il est instructif de comparer au système correspondant d'équations trouvé au para-
graphe 7.2.
REMARQUES. (1) Les nombres Åj(u), i E I(u), ne sont pas nécessairement déterminés
de façon unique en un minimum relatif u, sauf si les dérivées q>; (u), i E I(u), sont linéaire-
ment indépendantes (dans V').
(2) Si I(u) = lþ, alors les relations de Kuhn et Tucker se réduisent à JI(U) = 0, ce
qui était évidemment prévisible puisqu'alors Ie point u appartient à l'intérieur de l'en-
semble U: on retrouve simplement la condition nécessaire d'extremum relatif sur un
ouvert. II
Si Ia condition de qualification des contraintes a été donnée jusqu'ici sous une forme
peu maniable, en faisant notamment intervenir Ie point où elle est exprimée, nous allons
établir au prochain théorème qu'eUe peut se mettre sous une forme plus simple, et surtout
indépendante du point considéré, lorsque les fonctions q>; sont con vexes. C'est pour-
quoi nous introduisons la définition suivante : on dit que des contraintes convexes
q>; : Q c V -+ R, 1  i  m, sont qualifiées si :
- ou bien toutes les fonctions q>;, 1  i  m, sont affines, et l'ensemble (convexe
si Q est convexe)
U = {v E Q; q>,(v)  0, 1  i  m}
est non vide,
- ou bien il existe un point v E Q tel que
q>i(V)  0,
q>i(V) <: 0 Sl q>i n'est pas affine,
} 1
 i  m.
REMARQUES. (1) Dans Ie deuxième cas, on notera que l'ensemble U est encore non
vide, mais qu' on suppose "un peu plus".
(2) Si l'ouvert Q et les fonctions q>i sont convexes, l'ensemble U ['est aussi. Incidemment,
on se gardera de confondre la convexité d'une fonction q> : Q c Rn -+ R avec la con-
vexité de la fonction 1p : e c Rn-l -+ R, dans l'éventualité d'une équivalence q>(v) =
= 0 <=> V n = 1p(v 1 , . . ., Vn-l) (la figure 9.2-3 devrait être instructive à cet égard). II
Alors que, d'une part, la convexité des contraintes q>; permet d'établir la nécessité des
relations de Kuhn et Tucker avec des hypothèses de qualification nettement plus simples
qu'au théorème précédent, l'hypothèse supplémentaire de la convexité de la fonction
J permet, d'autre part, de montrer que ces relations sont également sujJisantes (indépen-
damment d'ailleurs de toute hypothèse de qualification des contraintes).

218
PROGRAMMA TION NON LINÉAIRE
- Théorème 9.2-4 (conditions néeessaires et suffisantes de minimum en programmation eon-
J'exe). Soit J: Q c V -+ Rune lonetion définie sur un ouvert eonvexe Q d'un espaee de
Hi/bert V, et
U=-{vEQ; rp;(v)O, lim}
une partie de Q, les eontraintes rp; : Q c V -+ R, 1  i  m, étant supposées con vexes.
Soit u E U un point en lequelles fonetions rp;, 1  i  m, et J sont dérivables.
(1) Si lalonetion J admet en u un minimum relatifpar rapport à I'ensemble U, et si les
contraintes sont qualifiées, alors il existe des nombres Å;(u), t  i  m. tels que les relations
de Kuhn et Tucker:
m
J' (u)+ L Å;(u) rp; (u) = 0,
;=1
m
Å;(u) ;?; 0, 1 ==E; i  nl, L Å;(u) rp;(u) = 0,
;=]
soient satisfaites.
(2) Réciproquen,ent, si la fonetion J: U -+ Rest eonvexe et s'il existe des nombres Å;,
1  i  m, tels que les relations de Kuhn et Tucker soient satisJàites, alors la {onetion J
admet en u un minimum par rapport à I'ensemble U.
DÉMONSTRATION. (1) II suffit naturellement de montrer que, si des contraintes
convexes rp; sont qualifiées au sens ci-dessus, elles Ie sont aussi en tout point u E U
au sens entendu antérieurement, ce qui permet d'appliquer ensuite Ie théorème 9.2-3.
Or, si u  V, Ie vecteur w = v-u répond à la question, puisque
cp;(u) w = Cfj(u) +cP;(u) (v-u)  CfJ;(v) pour tout i E l(u),
les fonctions cPj étant convexes ; si u = V, l'ensemble I(u) ne peut contenir que des indices
i pour lesquels les fonctions cp; correspondantes sont affines, et Ie vecteur w = 0 répond
à la question.
(2) Soit v un point queiconque de l'ensemble (convexe) U. Alors
m
J(u)  J(u)- L Å;cp;(v) (À;;?; 0, cp;(v)  0)
;=1
= J(u)- L Å;(cpj(v)-cpj(u)) (À; = 0 si i  I(u), Cf;(u) = 0 Sl i E l(u)),
; E l(u)
 J(u)- L ÅiCP;(u) (v-u) (cp; convexes)
; E l(u)
 J(u)+J'(u)(v-u) (Kuhn et Tucker)
 J(v) (J convexe). II
Une interprétation, fondamentale pour la suite, des relations de Kuhn et Tucker
est la suivante : elles expriment qu'il existe une fonction
déf III
Qu': v E Q c V -+ rJu(v) = J(v) + L Å;(u)cpj(V)
;=1

LAGRANGIENS ET POINTS-SELLES
219
qui, naturellement, dépend dll point II (par l'intermédiaire du vecteur À(u) E R) telle
que
J J(u) == inf J(v) => ÇJ(u) == 0,
vEU
t J(u) == ÇJu(u).
Autrement dit, si /'on connaÎt Ie vecteur Â(u), 011 est ramené à la nlême condition néces-
saire, et suffisante dans Ie cas convexe, que j"i! s'agissait d'un problème d'optimisation
sans contraintes pour la fonction Ç}u. Cette observation essentielle est à l'origine des
techniques de dualité, que nous abordons aux deux paragraphes suivants.
Pour terminer, examinons une application des résultats précédents. lorsque V = Rn.
et (avec des notations évidentes)
u == { V E Rn; .Í cijVj  d;. 1  i  m }
J=l
== {v ERn: (C j, v)  d j , 1  i  m}
= {1' E Rn: Cv  d}.
Dans ce cas particulier, mais néanmoins très courant dans Ies applications, rappelons
que la qualification des contraintes équivaut simplement à supposer l'ensemble U non
vide. Alors une condition nécessaire, et également suffisante si J : U -+ Rest convexe,
pour que lafonction J admette en un point u E Uun minimum relatifpar rapport à l'ensemble
U est I'existence d'un vecteur À E RnJ, de composantes )-j, tel que
{ 'V J(u)n:CT). . 0._
ÀER+ et )j-O SI (Cj,u)<d j .
9.3. Lagrangiens et points-selles.
Introduction à la dualité
Soit Vet M deux ensembles quelconques et
L : VX M  R
une fonction. On dit qu'un point (u, À) E VX M est un point-selle de la fonction L si
Ie point u est un minimum pour la fonction L(., À) : v E V -+ L(v, À) E R et si Ie point
À est un maximum pour la fonction L(u, .): /-l E M  L(u, /-l) E R ; autrement dit, si
sup L(u, /-l) == L(u, À) = inf L(v, À).
ItEM vE V
REMARQUES. (1) On notera que la définition fait intervenir de façon essentielle (mais
évidemment arbitraire) l'ordre dans lequelles deux variables interviennent.
(2) Dans l'usage que nous ferons de cette notion, les variables /-l E M décrivent un
espace de "multiplicateurs de Lagrange généralisés" (voir plus loin), ce qui explique
la notation M pour Ie second espace (M est également /-l majuscule en Grec. . .). II
On a tendance à se représenter un point-selle comme un "co]", c'est-à-dire un point
d'une surface ayant la forme d'une selle (ce qui explique la terminologie ; cf. figure
9.3-1(a)), mais on peut avoir aussi d'autres situations (cf. figures 9.3-1(b) et (c)),
les trois figures correspondant à des cas où V et M sont des intervalles compacts de

220
PROGRAMMA nON NON LINÉAIRE
R. Une première propriété des points-selles, dont l'interprétation géométrique devrait
être claire au vu des figures, est la suivante :
u
u
(b)
- Ilv XN
,
,Iv
,
,
,
/1
I I I
I I I
'1- 1 --
t'\ 'I '.,'1'
/\ I I ' "
_:;:- v;.;;.;.-- -- r- -,-
,'V " I'
6/0
/:' I A :
. I I: ,
I, '., .
u
(a)
(c)
FIG. 9.3-1.
Théorème 9.3-1. Si (u, Â) est un point-selle d'une lonetion L : VX M -+ R, alol.s
sup inf L(v, p) = L(u, Â) = inf sup L('J, p).
J.lEM vE V vE V J.lEM
DÉMONSTRATIONS. Montrons d'abord que l'on a toujours I'inégalité
sup inf L(v, p)  inf sup L(v, p),
J.lEM vE V vE V J.lEM
indépendamment de I' existence éventuelle d'un point-selle : Étant donné des éléments quel-
conques v E Vet ji E M, on a sûrement
inf L(v, ji)  L(v, ji)  sup L(v, p)
vE V J.lEM
(on n'exclut pas les valeurs - 00 pour inf {.} et + 00 pour sup {. }). Comme inf L(v, ji)
vE V
est fonction de la seule variable ji E M, et comme sup L(v, p) est fonction de la seule
J.lEM
variable v E V, l'inégalité cherchée en découle.
Pour établir l'inégalité opposée, exprimons que (u, À) est un point-selle; on écrit
inf sup L(v, p)  sup L(u, p) = L (u, À) = inf L(v, À) sup inf L(v, p). II
vE V J.lEM J.lEM vE V J.lEM vE V
Reprenons Ie problème général de la programmation non Iinéaire, OÙ nous supposons les
diverses fonctions en cause définies sur l'espace V tout entier, dans Ie seul but d'alléger
l'écriture : Étant donné des fonctions J: V -+ R et qJi : V -+ R, 1  i  m, définies sur
un espace de Hilbert V, on définit l'ensemble
U = {v E V; qJi(V)  0, 1  i  m},
et il s'agit de trouver Ie, ou les éléments, u vérifiant
u E U, J(u) = inf J(v).
vEU
C'est ce que nous appellerons dorénavant Ie problème (P).
L'intérêt fondamental de la notion de point-selle est Ie suivant (c'est ce que nous établis-
sons au prochain théorème) : sous certaines conditions, toute solution u du problème (P)

LAGRANGIENS ET POINTS-SELLES
221
est également premier argument d'un point-selle (u, Å) d'une fonction con venable L : VX
XM -+ R (l'espace M étant donc à déterminer), appelée Ie Lagrangien associé au problè-
me (P) considéré, et réciproquement, si (u, Å) est un point-selle de ce même Lagrangien L,
alors u est solution du problème (P).
On appelle Ie second argument À d'un tel point-selle (u, Å) un multiplicateur de Lagrange
généralisé associé à la solution u du problème (P), puisqu'on va en effet établir que, sous
certaines hypothèses, Ie second argument Å du point-selle n' est autre que Ie vecteur de
R qui intervient dans les relations de Kuhn et Tucker.
De façon plus précise, définissons Ie Lagrangien associé au problème (P) ci-dessus comme
étant la fonction
déf m
L : (v, ft) E VXR -+ L(v, ft) = J(v) + L ftjC{Jj(v),
;=1
Ie "deuxième" espace M étant donc R.
- Théorème 9.3-2. (1) Si (u, Â) E VXR est point-selle du Lagrangien L, Ie point u, qui
appartient à I' ensen,hle U, est solution du prohlème (P).
(2) On suppose les fonctions J et cPj, 1  i  m, con vexes, dérivahles en un point
u E U, et les contraintes qualifiées. Alors, si u est solution du prohlème (P), il existe au
moins un vecteur  E R tel que Ie couple (u, Â) E VX R soit point-selle du Lagrangien L.
DÉMONSTRATION. (1) Les inégalités L(u, ft)  L(u, Å) pour tout ft E R s'écrivent
m
L (ftj-Å;)C{Ji(U)  0 pour tout ft  0,
;=1
ce qui entraîne C{Jj(u)  0, 1  i  m (faire tendre chaque ftj vers + 00 ). Avec ft = 0, on
m m
obtient L ÅjC{Ji(U)  0, et L ÅiC{Ji(U)  0 par ailleurs (Å;  0, C{Jj(u)  0). On a done
;=1 ;=1
déjà montré'"que
.
m
U E U, et L ÅjC{Ji(U) = O.
;=1
Combinant l'égalité ci-dessus avec les inégalités L(u, Å)  L(v, Å) pour tout v E V,
on obtient
m
J(u)  J(v) + L ÅjC{Jj(v) pour tout v E V
;=1
 J(v) pour tout v E U (alors C{Jj(v)  0).
(2) On est exactement dans les conditions d'application du théorème 9.2-4 : si u est
solution du problème (P), il existe un vecteur Å E R tel que
m
L ÅiC{Ji(U) = 0,
;=1
m
et J'(u) + L Å;C{J;(u) = 0
;=1
(relations de Kuhn et Tucker). La première égalité donne
m
L(u, ft) = J(u) + L ftiC{J;(U)  J(u) = L(u, Å) pour tout ft E R,
;=1

222
PROGRAMMA TION NON LINÉAIRE
et la seconde égalité est une condition suffisante de minimum pour la fonction convexe
(somme de fonctions convexes)
m
L(., Å) : v E V --. J(v) + L Å;CfJ;(V).
;=1
Par suite,
L(u, Å)  L(v, Å) pour tout v E V,
et on a donc établi que Ie point (u, Å) est un point-selle du Lagrangien L.
II
Faisons Ie point : nous avons établi (moyennant certaines hypothèses) que l'ensemble
des solutions duproblème (P) : trouver ute] que
(P)
I u E U déf {v E V  CfJ;( v)  0, 1  i  m},
J(u) = inf J(v)
vEU
coincide avec l'ensemble des premiers arguments des points-selles du Lagrangien
m
L : (v, ft) E VXR --. L(v, ft) = J(v) + L /l;CfJ;(V).
;=1
Si donc l'on connaissait l'un quelconque, disons Å, des seconds arguments de ces
points-selles, Ie problème (P) avec contraintes serait remplacé par Ie problème sanj' con-
traintes (P;) : trouver u). tel que
(P ).)
UJ. E V, L(u)., Â) = inf L(v, Â).
vE V
Comment trouver un tel élément  E R ? Si l'on se rappelle que (théorème 9.3-1)
L(u)., Å) = inf L(v, Â) = sup inf L(v, ft),
vE V IlER vE V
on est naturellement conduit à chercher Å comme solution du problème (Q) : trouver Â
tel que
(Q)
Å E R ' G(Â) = sup G(ft),
ER
où l'application G : R --. Rest définie par
G : ft E R --. G(ft) = inf L(v, ft).
vE V
On appelle (Q) Ie problème dual du problème (P) qui, de ce point de vue, devient Ie
problème primal. De la même façon, on appelle ft E R la variable duale, de la variable
primale v E U c V.
Le problème dual apparaît donc à nouveau comme un problème d'optimisation avec
contraintes, mais les contraintes It;  0, 1  i  m, sont aisément prises en compte
puisqu'on connaît I'opérateur de projection assoclé (c'est ce que nous avons déjà noté à
l'occasion de l'étude de la méthode du gradient du paragraphe 8.6), alors que les
con train te,j' CfJ;(u)  0, 1  i  m, sont en général impossibles à prendre en compte numé-
riquement. Cette simplification essentielle est l'aspect Ie plus remarquable de la démarche
suivie (que nous justifions rigoureusement au, prochain théorème) ; c'est elle notam-
ment qui est à l'origine de la méthode décrite au paragraphe suivant.

LAGRANGIENS ET POINTS-SELLES
223
Alors qu'au théorème précédent, nous avions établi Ie lien existant entre Ie problème
primal (P) et un problème primal-dual, qui faisait intervenir à la fois les variables primale
et duale, de recherche de point-selle, iI nous reste à établir Ie lien existant entre les solu-
tions du problème primal (P) et les solutions du problème dual (Q) ; c'est l'objet du résul-
tat qui suit.
Théorème 9.3-3. (1) On suppose que les fonetions CjJi: V -+ R, 1  i  m, sont continues
et qué, pour tout p E R, Ie problèn,e (P p ) : trouer Uli E V tel que
(P1J /lER"l
U,ll E V, L(u.u' p) = inf L(v, p)
vE V
a une solution et une seule Uli dépendant eontinûment de p E R. Alors, si  est une solution
queleonque du problème (Q), la solution u). du problème (P;.J eorrespondant est solution du
problème (P).
(2) On suppose que Ie problèn,e (P) a au moins une solution u, que lesfonetions J et CjJh
1  i  m, sont conexes, dériables en u, et enfin que les contraintes sont qualifiées.
Alors Ie problème (Q) a au moins une solution.
DÉMONSTRATION. (1) Soit ;. une solution quelconque du problème (Q). On a déjà
... R m
). E + ' e t
G(Î.) == L(u;., À) == inf L(v, À) ,
vE V
et nous allons établir la relation
sup L(Ui.' /1) == L(u;., Â).
/IER
Ces deux relations constituant précisément la définition d'un point-selle (u;., À) du La-
grangien L, on déduira du théorème 9.3-2 (1) que u;. est solution du problème (P).
II nous faut tout d'abord démontrer la dérivabilité de la fonction G. Considérons deux
points f.l et (/1 +) de l'ensemble R, de composantes /1; et (/1; +;), 1  i  m. Les
inégalités
L(u/ p /1)  L(U/l+' /1) et L(U/l+. /1+)  L(u/l' /1+)
s'écrivent encore
m m
L ,f{.{U/I+)  G(f.l+)-G(/1)  L iq)i(UfJ)'
;=1 ;=1
11 existe donc un nombre () E [0, 1] tel que
n, m
G(/1+)-G(/1) = (1-0) L ;cp;(u)+O L ;cp;(up+)
;=1 ;=1
m m
= L iCPi(U/J+O L ;{CPi(U+)-cP;(u/J}.
;=1 ;=1
Les fonctions f.l E R -+ u/.l E V et cp; : V -+ R étant continues par hypothèse, on peut
écrire, en tout point f.l E R,
m
G(f.l +)- G(/1) = L ;cp;(u/l) + II  II ê(),
;=1
lim ê() = 0
-+o

224
PROGRAMMATION NON LINÉAIRE
(11.11 : norme vectorielle quelconque sur Rm), ce qui établit la dérivabilité de la fonction
G : R -+- R d'une part (il y a une petite difficulté ; ct. la remarque (2) qui suit Ie théorè-
me), et qui, d'autre part, donne l'expression de la dérivée ; on a en effet
m
G'(ft)  = L iC{J;(Up) pour tout  E Rm.
i=1
Puis que la fonction G admet un maximum au point Å de l'ensemble convexe R, une
application du théorème 7.4-1 montre que
G'(Å)(ft-Å)  0 pour tout ft E R,
soit encore
m m
L ftiC{J;(U).)  L Å;C{J;(u).) pour tout ft E R.
;=1 ;=1
Par suite,
m
L(u)., ft) = J(u).) + L ft;qJ;(U).)
;=1
m
 J(U).) + L Å;C{Ji(U;) = L(u)., Â),
i=1
pour tout ft E R, ce qui est précisément la deuxième inégalité caractérisant un point-
selle.
(2) D'après Ie théorème 9.3-2(2), il existe (au moins) un vecteur Å E R tel que Ie couple
(u, Å) soit un point-selle du LagrangienL. Le théorème 9.3-1 entraîne alors
L(u, Å) = inf L(v, Å) = sup inf L(v, ft),
vE v pER+ vE v
ce qui peut encore s'écrire
G(Å) = sup G(ft).
m
pER+
-
REMARQUES. (1) Si (u, Å) est un point-selle du Lagrangien L sur l'espace VXR, il est
clair d'après Ie théorème 9.3-1 que Å est solution du problème (Q) par définition de ce
dernier ; réciproquement, avec les hypothèses de la partie (1) du théorème précédent, si Å
est solution de (Q), Ie couple (u). , Å) est point-selle du Lagrangien L : il y a donc coinci-
dence de l'ensemble des solutions du problème dual (Q) avec celui des seconds arguments Å
des points-selles (u, Å) du Lagrangien L ; ce résultat étant en quelque sorte "dual" du
résultat établi au théorème 9.3-2.
(2) Dans un souci de simplification, nous n'avons défini (c/. paragraphe 7.1) la déri-
vabilité que pour des fonctions définies sur des ouverts, ce qui n'est pas Ie cas de la fonc-
tion G. II est cependant inutile de compliquer les hypothèses (en supposant, par exemple,
que la solution des problèmes (P p) est continue en ft pour tout ft dans un voisinage ouvert
de R) puisqu'un simple examen de la démonstration du théorème 7.4-1 montre que la
"dérivabilité" établie ici est suffisante pour son application. II
Comme illustration des considérations précédentes, reprenons l'exemple d'une fonction-
nelle quadratique
1
J: v E Rn -+- J(v) = - (Av, v)-(b, v),
2

LAGRANGIENS ET POINTS-SELLES
225
où A E dn(R) est une matrice symétrique définie positive donnée et b E Rn un vecteur
donné, et d'un ensemble U de la forme
U = { V E Rn; t cijVj  d i , 1  i  m } = {v E Rn; Cv  d},
j=l
OÙ C = (cij) E o'lm, n(R) est une matrice donnée et d E Rm un vecteur donné. On sup-
pose l'ensemble U non vide, ce qui, rappelons-Ie, équivaut à la qualification des contrain-
tes puisqu'elles sont affines. On sa it également que Ie problème primal (P) correspondant
a une solution et une seule (c/. théorème 8.2-3).
Pour éviter les confusions, no tons par ( ., .)n et ( ., .)m les produits scalaires de Rn et Rm,
respectivement. Le Lagrangien associé au problème (P) s'écrit
1
L : (v, /-l) E RnXR -+ L(v, ft) = 2 (Av, v)n-(b, V)n+(ft, Cv-d)m
1
= - (Av, v)n-(b-CTft, v)n-(ft, d)m'
2
et, d'après Ie théorème 9.3-2, il possède au moins un point-selle, dont Ie premier argument
est nécessairement la solution du problème primal. Pour Ie problème considéré, la non-
unicité des points-selles ne peut donc correspondre qu'à la non-unicité de leurs seconds
arguments ; nous reviendrons sur cette question.
Pour appliquer Ie théorème 9.3-3, il faut vérifier que, pour tout ft E R'+, Ie problème
(P,u) a une solution et une seule U,u E V: c'est évident puisque la fonction L(., ft) est de la
forme:
1
L(v, ft) = 2" (Av, v)n-(b,u. v)n+c,u, b,u E Rn ,c,u E R ;
c'est donc une fonctionnelle quadratique analogue à la fonctionnelle J. On sait par ail-
leurs que Ie gradient de la fonction L( · , ft) est nu) au point u,u' ce qui s'écrit
AuJ.l = b-CT ft <=> uJ.l = A -l(b-CT ft),
et la continuité de l'application ft E R -+ uJ.l E Rn se trouve établie (un cas plus général
est considéré à l'exercice 9.3-1).
II est ensuite possible de calculer la fonction G. Pour cela, on remarque qu'une fonction-
nelle quadratique de la forme ci-dessus admet un minimum uJ.l si et seulement si
(AuJ.l' v)n = (b,u, v)n pour tout v E Rn,
ce qui permet d'écrire
1 1
G(ft) = L(uj.l' ft) = 2" (Au,u, u,u)n - (bJ.l' u/l)n +cJ.l = -2 (bJ.l' u/l)n +cJ.l
1
=-2 (b-CTft, uJ.l)n-(ft, d)m
1
=-2 (b-CT /-l, A -l(b-CT/-l))n-(ft, d)m'
soit, tous calculs faits,
1 1
- G(/-l) = 2" (CA-1CT /-l, /-l)m-(CA -lb-d, /-l)m +2 (A -1 b, b)n.

226
PROGRAMMATION NON LINÉAIRE
La matrice symétrique A E d(Rn) étant définie positive, ]a matrice symétrique
CA -ICT E d(Rm) est sûrement positive, puisque
pTCA ICT fl = (CT /1)T A -l(CT /1)  o.
Elle est définie positive si, et seulement si,
CT p., = 0 ==> f.l = 0,
c'est-à-dire si, et seulement si,
Ker (CT) = {o}  1m (C) = Rm <=> r(C) = "1,
ce qui impose évidemment m  n. Le théorème 9.3-3 permet alors d'affirmer que, dans
tous les cas, Ie problème dual a au moinj' une solution (ce qui n'est pas tout à fait évident
à voir directement lorsque la matrice CA -lCT n'est pas définie), qui est unique lorsque
r(C) = m (puisque la fonction -.=... G est alors strictement convexe).
REMARQUE. On peut calculer Ie gradient de la fonction G et vérifier que son expression
coïncide avec celle trouvée dans la démonstration du théorème 9.3-3:
\JG(p.,) = CU/l-d =-CA- l CT/1+CA- I b-d.
II
9.4. La méthode d'Uzawa
Reprvons Ie problème primal (P) familier : Trouver ute] que
I u E U déf {v E V; cp  (v)  0, 1  i  m},
leu) = inf lev).
vEU
Notre objectif est de construire un algorithme permettant d' approeher une solution de (P).
A cet égard rappelons que si I'ensemble U est un convexe fermé quelconque d'un espace
de Hilbert V, l'application de ]a méthode du gradient (e/. paragraphe 8.6) est en général
illusoire puisqu'on ne sait pas construire "numériquement" ]'opérateur de projection sur
l'ensemble U, sauf cas très particuliers.
Or, comme nous I'avons déjà observé, les contraintes du problème dual (Q) : trouver
À tel que
(P)
 E R ' G(Â) = sup G(p.,),
m
,uER+
correspondent, elles, à un opérateur de projection P + : R m -+ R très simple, donné par
(c/. paragraphe 8.1)
(P +Â); = max {Â;,O}, 1  i  m.
La méthode que nous allons décrire repose sur cette remarque puisqu'en effet, elle n'est
, /
autre que la méthode du gradient appliquée au problème (Q) : Etant donné un élément
ÂO E R arbitraire, on définit la suite (Âk)kO d'éléments de R'?; par la relation de recur-
rence
Âk+l = P +(Âk_ e \lG(Àk)), k  0,
le paramètre e étant à choisir "au mieux". Puisque Ie problème (Q) est un problème de
recherche de maximum, il est naturel de changer de signe devant Ie paramètre, et de
s'attendre encore à la convergence pour des valeurs >0 de ce paramètre (à la lumière
des résultats du paragraphe 8.6).

MÉTHODE D'UZA W A
227
Dans certains cas (c/. la démonstration du théorème 9.3-3), on a vu qu'on sait calculer
]e gradient de]a fonction G. C'est Ie vecteur de composantes
(\7G(p))j == ffJj(uIJ, 1  i  m,
Ie vecteur lilt étant la solution du problème de minimisation sans contraintes :
Up E V. J(u p ) +i p,rri(U Il ) = !, { J(v) + j fl-,rpi(V)}.
Nous avons donc tous les éléments nécessaires à la description (formelle pour l'instant)
de la méthode itérative proposée, qui s'appelle la méthode d' Uzawa : Partant d'un élé-
ment ÂO E R arbitraire, on définit une suite de couples (Âk, uk) E R X V, k ;?:. 0, par
les formules de récurrence suivantes (pour alléger l'écriture, on pose uk == U).k) :
! Calcul de
Calcul de
uk: J(ukH j! À7rpj(u k ) = !, { J(v) + jt! À7rpj(V)}.
).7+ 1 : ).7+ 1 == max {Â7 +eri(U k ), O}, 1  i  m.
Bien que la méthode d'Uzawa soit construite a priori com me une méthode d'approxi-
mation de la solution du problème dual, on peut aussi bien la comprendre comme une
méthode d'approximation de la solution du problème primal. En effet, si la suite (Âk)
converge vers une solution ).. du problème dual, on peut espérer que les solutions uk == U).k
convergent vers la solution u du problème de minimisation :
u E u. J(UHj Àilf,(u) = !, { J(V) + it! Àjrpi(V)}.
c'est-à-dire la solution du problème primal. De ce point du vue, on peut dire que la
méthode d' Uzawa remplace un problème de minimisation avec contraintes par une suite
de prob/èmes de minimisation sans contraintes (on ne pouvait gagner sur tous les tableaux
à la fois . . .).
Dans Ie théorème qui suit, nous établissons la convergence de la suite (uk) vers la
solution du problème primal, même lorsque la suite (Âk) ne converge pas: c'est une illus-
tration de notre parti, qui est de considérer la méthode d'Uzawa "d'abord" comme une
méthode d'approximation du problème primal. On remarquera d'ailleurs Que toutes
les hypothèses portent sur les données de ce dernier.
On notera enfin que, si l'on peut choisir d'ignorer l'existence du problème dual pour
la description de la méthode, la suite (Âk) apparaissant alors comme un auxiliaire un
peu "miraculeux", i1 n'en demeure pas moins que les notIons introduites au paragraphe
précédent (Lagrangien, point-selle, problème dual, ...) jouent un rôle essentiel pour
sa compréhension et son analyse.
Dans ce qui suit. on note par (" .), et II . II, Ie produit scalaire et la norme euclidienne
de R', par (X la constante >- 0 apparaissant dans l'inégalité
(\7 J(u)- \7 J(v), u- v)n ;?:.  II u- v II
de définition d'une fonctionnelle elliptique, et on pose
/I Cv II m
IICII == sup pour C E dm.n(R).
vERn IIvll n

228
PROGRAMMA TION NON LINÉAIRE
Théorème 9.4-1 (con,ergence de la méthode d'Uzawa). On suppose que V = Rn, que la
fonction Jest elliptique, et que l'ensemble U, de la forme
U = {v ERn; Cv  d}, C E dm,n(R), d ERI1l,
est non ,ide. Alors, si
2a
o <: (! <: II C lIf '
la suite (uk) con'erge ,ers la solution unique du problème primal (P).
Si Ie rang de C est m, la suite (Âk) con'erge égalen,ent, ,ers la solution unique du problème
dual (Q).
DÉMONSTRATION. (i) Préliminaires. La fonction J étant elliptique et l'ensemble con-
vexe non vide U étant fermé, Ie problème (P) a une solution et une seule u, ainsi
que les problèmes de minimisation successifs.. de solutions Uk.. rencontrés dans la méthode
d'Uzawa (théorème 8.4-1). II résulte par ailleurs du théorème 9.3-3 (2) que Ie problème
(Q) a toujours au moins une solution (nous reviendrons à la partie (iii) sur la question
de son unicité). Introduisons l'application affine '
cp : v E Rn -+ cp(v) = Cv-d E Rnl,
de sorte que Ie Lagrangien du problème s'écrit
L : (v, fl) E RnXR -+ L(v, p) = J(v)+(fl, cp(v))m = J(v)+(CTfl, v)n-(ft, d)m.
D'après Ie théorème 9.3-2 (2), i1 existe (au moins) un vecteur Å E R tel que Ie couple
(u, Å) soit point-selle du Lagrangien L (c'est d'ailleurs ainsi que l'on obtient toutes les
solutions du problème dual ; se reporter à la démonstration du théorème 9.3-3). On
a donc d'une part VJ(u)+CTÅ = 0 puisque L(u, Å) = inf L(v, Å), et d'autre part
vERn
(cp(u), fl-Å)m  0 pour tout fl E R,
puisque L(u, Å) = sup L(u, fl). Procédant exactement comme pour la méthode du
,uER
gradient (c/. paragraphe 8.6), on remarque que la dernière relation peut encore s'écrire,
pour tout nombre e :> ,
(Å-(Å+ecp(u)), fl-Å)m  0 pour tout ft E R,
ce qui montre que Å peut s'interpréter comme la projection sur R1. de I'élément
{Å+ecp(u)}. En résumé,
{ VJ(u)+CTÅ = 0,
Å = P +(Å+ecp(u)).
Puisque, par définition de la méthode d'Uzawa, les relations analogues
{ VJ(uk)+CTÅk = 0,
Åk+l = P +(Åk+ecp(u k )),
sont également satisfaites, on déduit
{ VJ(uk)-VJ(u)+CT(Åk_Å) = 0,
IIÅk+l-Ållm  IIÅk -Ä+eC(uk-u)llm'
puisque l'opérateur de projection "n'augmente pas les distances".

MÉTHODE D'UZA W A
229
(ii) Convergence de la suite (uk). On utilise uniquement les deux dernières relations
ci-dessus : élevant au carré les membres de l'inégalité, on obtient
II Âk+l_). II  II Âk_Â 11+2e(CT(Âk_Â), u k -u)n+e 2 11 C(d'-u) II,
ce qui, comte-tenu de l'égalité, s'écrit encore
II Âk+] -}.II  II Âk-ÀII-2er\7J(uk) - \7J(u), uk - u)n+e 2 11 C(uk-u) II;'
 II Âk_Â 11;,-e{2a-e II C 112} II uk-u II.
Dans ces conditions,
2a
o  e  TlCii2 = 11).k+1_Å,llm  IIÅ,k_Å,llm pour tout
k  o.
La suite (II Âk_Â IIm)ko étant alors décroissante et minorée (par zéro. . .), est convergente,
ce qui entraîne
lim {IIÂk+l_ÀII;,,-IIÀk_ÀII;,} = o.
k --.. 00
Comme
e{2a-e IICI1 2 } lIuk-ull  IIÀk_ÀII-IIÀk+l-ÀII,
on déduit
2a I " k _
o <: e <: 2 => 1m II u -u IIn - O.
II C II k--..oo
(iii) Convergence éventuelle de La suite (Âk). La suite (II Àk_À I Dk3!:O étant décroissante,
la suite (Âk) est bornée. II existe donc une suite extraite (Àk')k'3!:O qui converge vers un
élément Â' E R, vérifiant
\7J(u)+C T À' = lirn {\7J(u k ')+CTÀk'} = o.
k' --"00
Faisons. alors l'hypothèse que Ie rang de la matrice C est m. Des équivalences
r(C) = m <=> 1m (C) = Rm <=> Ker (CT) = 0,
on déduit l'unicité de la solution À du problèrne dual. Cette dernière vérifie en effet
\7J(U)+CTÀ = 0,
et la solution u du problème primal est unique. Par suite À = À'. Comme Ie raisonne-
ment ci-dessus peut être répété pour n'importe queUe suite extraite de la suite (Àk),
il en résulte que toute la suite (Âk) converge vers À lorsque r(C) = m. II
Dans Ie cas d'une fonctionneUe quadratique :
1
J : v E Rn --.. J(v) = - (Av, v)-(b, v),
2
une itération de la méthode d'Uzawa s'écrit :
{ Calcul de
Calcul de
Uk : Auk-b+CTÀk = 0,
Àk+l : À}+l = max {(Àk+e(Cd'-d));, O},
1  i  m.

230
PROGRAMMA TION NON LINÉAIRE
D'après Ie théorème précédent, la méthode converge si la matrice symétrique A est
définie positive et si
2Â 1 (A)
o <: e <: IICl1 2 '
Å 1 (A) désignant la plus petite valeur propre de Ia matrice A.
REMARQUE. Éliminant uk entre les équations précédentes, on obtient
Âk+l = P+(Âk+e(-CA-ICTÂk+CA-1b-d)),
c'est-à-dire exactement
Âk+l = P +(Âk+e \7G(Âk)),
d'après Ie calcul de la fin du paragraphe précédent : la méthode d'Uzawa est bien la
méthode du gradient appliquée au problème dual ! II

10
PROGRAMMA TION
LINÉAIRE
Introduction
Un problè/ne de progra111111atioll Iinéaire se présente sous la forme : trouver u tel que
(PI)
J u E U = {v E Rn: Cv  d}, C E d m , n(R), d E Rm,
I J(u) == inf J(v), J(v) == (a, v)n.
1'f U
En ce qui concerne l'existence et l'unicité d'une solution, les résultats antérieurement
établis ne donnent pratiquement aucun renseignement. En effet, la fonctionnelle J
étant "seulement" convexe (elle n'est pas strictement convexe, et encore moins ellip-
tique !), tout au plus peut-on affirmer l'existence (mais non l'unicité) d'une solution
dans Ie cas où l'ensemble U est borné.
La difficulté vient en particu]ier de ce que la fonctionnelle tend vers + 00 dans certaines
directions, alors que dans d'autres, elle tend vers - 00 . C'est pourquoi - une fois n'est
pas coutume - un problème de programmation linéaire est plus difficile à traiter que
certains problèmes de programmation non linéaire, notamment quadratique. Par
exemp]e, la démonstration de l'existence d'une solution ]orsque inf J(v) :> - 00 n'est
vEU
pas triviale (c/. théorème 10.1-1), alors qu'il s'agit d'un résultat intuitivement très naturel.
Après avoir passé rapidement en revue au paragraphe 10.2 quelques exemples de
prob]èmes de programmation ]inéaire (d'origine essentiellement "économique"), no us
décrivons en détail au paragraphe 10.3 la méthode du simplexe. Cette méthode, d'emploi
universel, est tout à fait remarquable : Dans presque tous lej' cas, elle permet en effet
à l'aide d'un nombre fini d'opérations élémentaires, soit de calculer une solution du
problème (PI) (après que celui-ci eût été mis sous une forme équivalente, mieux adaptée
à l'application de la méthode), soit de conclure que Ie problème n'a pas de solution.
II peut apparaître néanmoins un phénomène de cyclage dans certains cas exceptionnels
où la méthode ne permet pas de conclure ; c'est une nouvelle différence avec la program-
mation quadratique où, rappelons-le, la méthode d'Uzawa est toujours convergente.
Au paragraphe 10.4, nous commençons par montrer que les résultats du chapitre
précédent concernant la dualité sont d'une portée limitée lorsqu'on les applique au
problème (PI) ; cette observation nous conduit ensuite à transformer ce dernier sous

232
PROGRAMMA TION LINÉAIRE
Ia forme équivalente : trouver u tel que
(P2)
J u E U = {v E R; Cv.,.; d}, C E cIl m . n(R), d E Rm,
) J(u) = inf J(v), J(v) = (a, v)n,
l vEU
puis à définir un nouveau type de problème dual : trouver À tel que
(Q2)
JÅEA={,uER; CT,u+aO},
) G(À) = sup G(p), G(p) =-(d, fl)m'
l ,uE A
L'introduction de ces formes (P 2 ) et (Q2) de problèmes nous permet alors d'établir Ie
résultat fondamental concernant la dualité en programmation linéaire (théorème 10.4-3).
Nous précisons enfin (théorème 10.4-4) Ie lien, a priori inattendu mais pourtant réel,
qui existe entre Ia méthode du simplexe et la dualité.
10.1. Généralités sur la programmation linéaire
Suivant la défìnition donnée au paragraphe 8.2, un problème de programmation linéaire
correspond à la minimisation d'une fonctionnelle linéaire
n
J : v E Rn  J(v) = L aiVi = (a, v)n'
i=l
où a = (0;) est un vecteur donné de Rn, lorsque Ie vecteur v décrit un ensemble de la
forme
U = { v ERn; .f CijVj"'; d;, t.,.;;.,.; m } = {v ERn; Cv  d},
)=1
où C = (Cij) est une matrice donnée de type (m, n), et d = (d i ) est un veteur de Rm.
n
On peut en effet toujours se ramener à cette forme puisque toute égalité L CVj = d;
1=1
apparaissant éventuellement dans la définition de l'ensemble U peut être remplacée par
n n
Ies deux iné g alités "" c.v.  d et "" ( - c . ) v.  -d
f..J I)) I f..J I)) I .
j=1 j=l
Selon Ie type de question étudiée, nous serons amenés à distinguer trois formes cano-
niques d'un problème de programmation linéaire : trouver u tel que
(PI)
uEU= { VERn; fCijVj"';d;, t.,.;;.,.;m } ,
j=1
J(u) = inf J(v),
vEU
n
J(v) = L aiv;
;=1
(forme ci-dessus) ; ou bien: trouver u' tel que
(P 2 )
u' E U' = { V' E R; t cijv; .,.; d;. t  ;  m' } ,
j=l
J'(u') = inf J'(v)'. J'(v') = t a; v;
vE U' ;=1

GÉNÉRALITÉS
233
(on rappelle que R = {v = (Vi) E RP; Vi  0, 1  i  p}; ou bien: trouver u"
tel que
(Pa)
{ nil
u" E U" = v" E R" + " , .  C  V  I = d! /
L..J lJ J "
j=l
1  i  m" } ,
J"(u") = inf J"(v"),
vE U"
II"
J II ( II ) -  II II
V - L..J ai Vi ·
i=l
II est alors facile de voir que les trois formes canoniques sont équivalentes, au sens
suivant : part ant d'un problème posé sous )'une des formes, on peut toujours lui faire
correspondre un problème posé sous l'une quelconque des deux autres formes, de telle
façon que la connaissance de l'ensemble (qui est peut-être vide!) des solutions du pro-
blème "initial" entraîne celIe de l'ensemble des solutions du "nouveau" problème, et
inversement.
C'est ainsi qu'à un problème posé sous la forme (PI)' on associe un problème de la
forme (P 2), avec
u' = {v' = (v, v)E R
II II }
L Ci/Vj+ L (-cij)Vj  d i , 1  i  m ,
j=l j=l
II II
JI(V') = L a;vi + L (-ai) Vi.
i=l 1=1
Un vecteur u E R" est en effet solution du problème (PI) si et seulement si Ie vecteur
u' = (û, û) E R2n, avec u = û -û, û E R+, u E R+, est solution du problème (P 2 ). De
lamême façon, étant donné un problème posé sous la forme (P 2 ), on lui associe un pro-
lème de la forme (Pa), avec
{ II' }
U" = v" = (v', v) E R+m'; L cijv; +Vi = di, 1  i  m ,
j=l
n'
J " (v " )  ' I
= L..J ai vi '
;=1
les "nouvelles" variables Vi' 1  i  m, étant appelées variables d'écarl. Un vecteur
u' E R"' est alors solution du problème (P 2) si et seulement si Ie vecteur u" = (u ' , u) E
n'
E R"'+m', avec L C;jU; +Ui = d;, 1  i  m, est solution du problème (Pa). Enfin,
j=l
étant donné 11n problème posé sous la forme (P a), on lui associe un problème posé
sous la forme (PI)' avec
u = { v ERn"; -Vi  0, 1
 Z .  n "
-= -= ,
n"
L
j=l
/ / d ' /
c.. V.  .
lJ J "
1  i  m" ,
n"
1  i  m"}'
L (-C;;)Vj -d;' ,
j=l
II"
J(v) = L aí'vI,
1=1
de sorte qu'un vecteur u" E R"" est solution du problème (P a) si et seulement si Ie vec-
teur u = u" E Ril' I est solution du problème (PI).

234
PROGRAMMATION LINÉAIRE
REMARQUE. Dans un souci évident de simplification de l'écriture, nous omettrons
dorénavant I"indication des "primes" et "secondes" en exposants des variables. des fonc-
tionnelles. etc.. apparaissant dans les problèmes considérés.
z
Avant d'énoncer un résultat général d'existence, faisons deux remarques préliminaires
très simples, qui illustrent bien Ie caractère "particulier" de la programmation linéaire,
notamment vis-à-vis de la programmation quadratique.
Premièrement, il est clair qu' aucun point intérieur à l' ensemble U ne saurait être solu-
tion, sauf si Ia fonctionnelle Jest nulle. Soit en effet u un point intérieur à l'ensemble U,
et e :> 0 Ie rayon d'une boule fermée de Rn centrée en u et tout entière contenue dans
l'ensemble U. La linéarité de la fonctionnelle J: v  J(v) == (0, v) montre que
J ( u - ---2 a ) == J(u)-e -< J(u) Sl a  0,
"all
z
et comme Ie point { u - -2- a } appartient à )'ensemble U, la conclusion en découle.
II all
Deuxièmement, if se peut que Ie problème n' ait pas de solution lorsque l' ensemble U
est non borné : considérer I'exemple de la fonction J(v) ==-v et de l'ensemble U == R+.
II s'agit là d'une deuxième différence avec la programmation quadratique (c/. théo-
rème 8.2-1), qui provient naturellement de l' absence de coercivité d'une fonctionnelle
linéaire !
Troisièmement, alors qu'il est facile de démontrer qu'une fonctionnelle J coercive
( lim J(v) == + 00 ) admet (au moins) un minimum sur un ensemble fermé non vide
Ilvll.... oo
U (se reporter à la démonstration du théorème cité plus haut), la démonstration de l'exis-
tence d'une solution dans Ie cas où inf J(v) :> - 00 est ici plus délicate. De façon
vEU
précise, nous allons établir Ie résultat suivant, concernant l'existence ou la non-existence
d'une solution pour un problème posé sous la forme (P 3) (pour simplifier la démonstra-
tion, mais ce n'est pas une restriction puisque les trois formes sont équivalentes).
- Théorème 10.1-1. On considère Ie problème : trouver u tel que
J u E U = {v E R'+; Cv = d}, C E aim. n(R),
t J(u) = inf J(v), J(v) = (a, v).
vEU
On suppose I'ensemble U non vide. Alors on a I'alternative suivante :
(i) ou bien inf J(v) = - 00;
vEU
(ii) ou bien inf J( v) :> - 00 , et Ie problème admet au moins une solution.
vEU
DÉMONSTRATION. Plaçons-nous dans Ie cas où inf J(v) :> - 0,), et considérons
vEU
une suite minimisante (Uk)k;?;O, qui vérifie par définition :
Uk == (u7)7=1 E U pour tout k  0, lim J(uk) == inf J(v).
k....oo vE U
Désignons comme d'habitude par (e , ) la base canonique de Rn, et introduisons la matrice
de type (m+1, n) :
CB = (Pc1).

EXEMPLES DE PROBLÈMES
235
Puisque les composantes uf sont toutes  0, la suite (ØUk)kO appartient au cône
déf { n
@ = il v(ße;
E Rm + 1; 0..,; Vi. 1..,; i ..,; n } .
Un tel cône étant fermé (d'après la première partie de la démonstration du lemme de
Farkas-Minkowski ; cf. théorème 9.1-1), et la suite ((ßUk) étant convergente (puisque
lim aT Uk - inf J( V) :> - 00 et CUk = d pour tout k  0), il existe un vecteur u tel
k-+oo vE U
que
j lim aTuk = aTu,
U E R, lim (ßUk = (ßu <=> k-+oo
k-+oo d = Cu.
II
REMARQUE. Des conditions nécessaires et suffisantes d'existence faisant intervenir
la dualité seront établies au paragraphe 10.4. II
10.2. Exemples de problèmes de programmation linéaire
Les exemples que nous passons en revue se présentent sous la forme (P 2)' Un exemple
de problème se présentant sous la forme (P 3 ) est proposé à l'exercice 10.2-1.
Une usine fabrique deux produits PI et P2 à l'aide de matières premières ql' q2' q3.
La fabrication d'une unité du produit PI nécessite 1 unité de ql' 2 unités de q2' 4 unités
de qa ; la fabrication d'une unité du produit P2 nécessite 6 unités de ql' 2 unités de q2'
1 unité de qa. L'usine dispose de 30 unités de ql' de 15 unités de q2' de 24 unités de qa.
Enfin, la vente d'une unité de PI rapporte un bénéfice de 2 écus, celle d'une unité de P2
un bénéfice de 1 écu. L'objectif de l'usine étant la recherche d'un bénéfice maximal,
comment doit-elle organiser sa production ?
Appelant UI et U2 les nombres "optimaux" d'unités des produits PI et P2 à produire
respectivement, ce problème d' organisation de production s'écrit : trouver U = (u 1 , U2)
tel que
f u E U = {v = (VI' V2) E R; VI +6V 2  30, 2v I + 2V 2  15, 4vI +V2  24},
J(u) = inf J(v), J(v) =-2VI-V2.
vEU
C'est donc bien un problème de programmation linéaire posé sous la forme (P2)etquise
résout d'ailleurs "graphiquement" de façon
très simple (cf. figure 10.2-1). En "dépla-
çant" les droites { J(v) = J(v o ) } on saperçoit
en effet que la solution est Ie sommet u =
( 11 ) I . .
= 2' 2 de l'ensemb e U, ICI un pentago-
ne (l'existence d'au moins une solution était
de toute façon évidente, puisque l'ensemble
U ci-dessus est non vide, fermé, borné).
C'est là Ie premier exemple d'une propriété
générale, et fondamen tale , des problèmes de
programmation linéaire, que nous établirons
rigoureusement au théorème 10.3-2, et que
nous retiendrons pour l'instant sous la forme
"vague" suivante : si Ie problème admet une
r 2v, +2'12.- 15 4 24
, r v.+v 2 -
\
\
\
\
\
\
v.+ 6v 1 -30

FIG. 10.2-1.

236
PROGRAMMATION LINÉAIRE
solution, alors au moins un "sommet" de l'ensemble U (qui est un "polyèdre", borné ou
non, de Rn) est solution.
II se peut d'ailleurs que plusieurs sommets soient solutions. C'eût été Ie cas dans Ie
problème ci-dessus si, par exemple, la fonctionnelle J avait eu pour expression J(v) =
=-4vI-V2. Alors Ie segment fermé joignant les deux points ( 1 , 2) et (6,0) eût été
l'ensemble des solutions.
REMARQUE. Pour que la solution u = ( 1; , 2) soit acceptable, encore faut-it que les
unités de produit PI soient "divisibles". Sinon, on serait en présence d 'un exemple de
problème de programmation linéaire "en nombres entiers". Nous ne dirons rien ici de ce
type de problème, pour lequel nous renvoyons aux Commentaires Bibliographiques. II
Montrons au passage comment Ie problème ci-dessus peut être immédiatement converti
en un problème de type (P3) : introduisant trois variables d'écart Vi, i = 3, 4, 5, on est
ramené à trouver u tel que
I u E U = {v E R; Cv = d},
J(u) = inf J(v), J(v) = (a, v),
vEU
où
-2
-1 c=G 6 1 .), d=GÐ.
a= 0 2 1
.
0 1
0
Voici un deuxième exemple de problème : on peut acheter 4 types d'aliments dont les
teneurs en calories, en vitamines, et Ie prix (exprimés pour la même uni té de po ids, en
unités convenables), sont donnés dans Ie tableau suivant :
type 1 type 2 type 3 type 4
calories 2 1 0 1
vitamines 3 4 3 5
prix 2 2 1 8
Le problème, connu sous Ie nom du problème du consommateur, consiste à obtenir au
moindre coût au moins 12 calories et 7 vitamines. Appelant Ui Ie poids "optimal" à ache-
ter de l'aliment de type i, on est ainsi amené à chercher Ie minimum de la fonction
J(v) = 2vI+2v2+v3+8v4,
lorsque Ie vecteur v = (V;)1=1 décrit l'ensemble
U = {v = (V;)t=l E R; 2VI+V2+V4  12, 3VI+4v2+3v3+5v4  7}.

MÉTHODE DU SIMPLEXE
237
On notera que, à la différence du problème précédent, l'ensemble U est ici non borné.
S'il n'est pas difficile de montrer que Ie problème ci-dessus admet (au moins) une solution,
on ne perdra pas de vue qu'il ne s'agit pas d'une circonstance générale, comme on l'a
déjà remarqué.
Examinons ensuite Ie problème du concurrent: un vendeur "concurrent" souhaite
s'approprier Ie marché alimentaire, avec deux nouveaux types d'aliments, dont les teneurs
respectives en calories et vitamines (par unité de volume) sont les suivantes :
-
type I type II
,
calories 1 0 I
vitamines 0 1
Le concurrent cherche à déterminer les prix Å l et Å 2 d'une unité de volume de chacun de
ces nouveaux aliments, de façon à maximiser Ie prix de vente total. 11 est donc conduit à
chercher Ie maximum de la fonction
G(fl) = 12fll + 7 f.l2
(on suppose naturellement que Ie consommateur n'achète que Ie strict nécessaire) lorsque
Ie vecteur fl = (f.l;)T=l décrit l'ensemble
M = {fl = (fl;)T=l E R; 2fl1 +3fl2  2, fl1 +4fl2  2, 3fl2  1, f.l1 +5fl2  8}
(on exprime simplement l'objectif naturel du concurrent d'offrir la même quantité de
calories et de vitamines que dans chacun des aliments de type 1 à 4 à un prix inférieur
ou égal ; sinon il n'a aucune chance de vendre ses nouveaux aliments à des consommateurs
intelligents, toute question de goût mise à part, bien entendu . . .).
On notera que Ie problème du consommateur et Ie problème du concurrent s'écrivent
respectivement :
I u E U = {v E R; Cv  d},
(P) J(u) = inf J(v), J(v) = (a, V)4,
vEU
I Å E M = {fl E R ;
(Q) G(Å) = sup G(f.l),
/-lEM
CT f.l  a},
G(f.l) = (d, /-t)2,
avec
aT = (2
2
1
8),
c= G
1
4
o
3
), d = C).
Comme nous Ie verrons au Paragraphe 10.4, il s'agit là d'un exemple de dualité en
programmation linéaire, Ie problème (Q) étant exactement Ie "dual" du problème (P).
10.3. La méthode du simplexe
On considère un problème de programmation linéaire posé sous la forme (Pa):
trouver u tel que
u E U = { v E R'+ ;
n
L CijV j = d;,
j=l
1 "'" i "'" m } ,
n
J(u) = inf J(v), J(v) = L a;vi.
vE U ;=1

238
PROGRAMMATION LINÉAIRE
Désignant par Cj E Rm, 1  j  n, les vecteurs colonnes de la matrice C= (cij) E dim, n(R),
on remarque que les trois écritures suivantes sont équivalentes :
n
L C;jVj = d;,
j=l
n
1  i  m .ç::} Cv = d.ç::} L v jCj = d,
j=l
la dernière étant notamment d'un usage constant dans ce paragraphe.
En vue de préciser la notion de "sommet" de l'ensemble U, commençons par quelques
définitions générales : si U est une partie convexe d'un espace vectoriel, un point u E U
est appelé point extrémal de l'ensemble U si l'implÏcation
v E U, w E U, 0 <: À <: 1 }  u = v = w,
u = À v +(1-À)w
est satisfaite. Un polyèdre de Rn est un ensemble de la forme
U= { VERn; .Î CijVjdi' lip, .f. Cij1'j=d i , p+lim }
)=1 )=1
Enfin, un point extrémal d'un polyèdre est appeJé sommet du polyèdre. Ces définitions
généralisent de façon naturelle celles de polygone
convexe (non nécessairement borné) du plan, et de
sommet d'un tel polygone. La figure 10.3-1 donne
l'exemple d'un polyèdre de R3, défini par
(0,2,0)
FIG. 10.3-1.
U = {v E R  v 1 +2v 2 +4v 3 = 4}.
On vérifiera que les seuls sommets de l'ensemble U
considéré sont les points (4, 0, 0), (0, 2, 0), (0, 0, 1).
Commençons par caractériser les sommets d'un
polyèdre de la forme
U = { V E R,+; Î vjCj = d }
j=l
(pour des polyèdres définis par des inégalités, voir l'exercice 10.3-1). A un point quel-
conque v d'un tel ensemble, on associe l'ensemble d'indices
1* (v) = {1  j  n; v j :> O}.
Si l'origine appartient à l'ensemble U (de façon équivalente si d = 0), auquel cas 1*(0) = 4>,
on notera que l'origine est déjà un sommet, puisque
o = À v +(1-À)w }
=> v = W = o.
v  0, w  0, 0 <: À <: 1
Examinons Ie cas des autres sommets.
Théorème 10.3-1. Un point u E U différent de /'origine est un somnlet du po/yèdre
U = { to E R'+; .Î vjCj = d } , Cj: vecteurs de R'n,
1=1
si et seu/ement si /es vecteurs Cj, j E 1*(u), olÌ
1*(u) = {I  j  n; Uj:> O},
sont /inéairement indépendants.

MÉTHODE DU SIMPLEXE
239
DÉMONSTRATION. Supposons les vecteurs Cj, j E I*(u), linéairement dépendants : i1 existe
un vecteur W == (Wj)J=l tel que
n
W  0, Wi == 0 SI j  1* (u), L W jCj == Cw == O.
j=l
Comme Uj :> 0 pour j E I*(u) (par définition), il existe un nombre ()  0 tel que Uj + ()Wj 
 0, 1  j  n (Uj + ()Wj == 0 pour j  I*(u)). Puisque
n n
C(u + ()w) == L ujCj + () L wjCj == d,
j=l j=l
on conclut que les deux vecteurs (u+()w) et (u-(}w) appartiennent à l'ensemble U. Les
relations
1 1
II == - (u+()w)+- (u-(}w), ()w  0,
2 2
montrent alors que u n'est pas un point extrémal de l'ensemble U.
Supposons les vecteurs Cj, j E I*(u), linéairement indépendants et supposons que l'on
puisse écrire
u == Àv+(1-À)w, avec v E U, wE U, 0 -< À -< 1.
Les relations v  0, W  0, 0 <: À -< 1, impliquent les inclusions 1*(v) U 1*(w) c 1*(u).
déf
Le vecteur Z == w- v == (Zj)l=l vérifiant
! Zj == 0 si j  I*(u),
Î zjCj == Cz == Cw-Cv == 0,
j=l
1 'indépendance linéaire des vecteurs Cj entraîne Zj == 0 si j E l(u*). On a donc établi
l'égalité v == w, qui implique à son tour l'égalité u == v == W : Le point u est extrémal. II
Avec cette caractérisation des sommets du polyèdre U, nous sommes maintenant en
mesure de démontrer une propriété que nous avions constatée au paragraphe 10.2 sur
un exemple, et qui est la clef de voûte de l' algorithme que nous allons étudier plus loin.
Théorème 10.3-2. Si Ie problème : trouver u tel que
u E U = { V E R'+; t vjCj = d } ,
)=1
n
J(u) = inf J(v), J(v) = L aiv i ,
vEU j=l
a une solution, alors (au moins) un sommet de I' ensemble U est aussi solution.
DÉMONSTRATION. Soit u E U une solution du problème ci-dessus. Si 1*(u) == 4>, a]ors
u == 0 ; or on a vu que l'origine est un sommet de l'ensemble U si elle lui appartient.
Si I*(u)  4>, alors ou bien les vecteurs Cj, j E I*(u), sont linéairement indépendants et
Ie point u est un sommet de l'ensemble U, ou bien i1 existe un vecteur W == (Wj)J=l vérifiant
max Wj :> 0,
j
n
Wj == 0 SI j  1*(u), L wjCj == Cw == 0;
j=l
en effet, on ne restreint pas la généralité en s upposant que l'une au moins des composantes
du vecteur west :> o.

240
PROGRAMMA TION LINÉAIRE
Considérons les points de Rn de la forme u+Ow, 0 E R, qui vérifient, d'une part,
C(u+Ow) = Cu+OCw = d pour tout 0 E R.
Comme
{ u.+Ow. Sl
(u+Ow)j = 0 ) )
Sl
Uj :> 0,
Uj = 0,
on conclut qu'il existe un intervalle de la forme [0 0 , 0 1 ], avec
{ u.
- 00 <: 0 0 = max - --2- ;
w.
)
{ U.
O<:Olmin _-L;
w.
)
j E l*(u) et Wj >- 0 } -< 0,
j E l*(u) et Wj -< 0 } .e;; + 00
(on a supposé max Wj :> 0 ; on rappelle que inf cþ = + 00), tel que, d'autre part,
j
(u+OW) E U pour tout 0 E [0 0 , 0 1 ].
Comme la fonctionnelle Jest linéaire,
J(u+Ow) = J(u)+OJ(w) pour tout 0 E [0 0 , 0 1 ],
ce qui impose J(w) = 0 puisque J(u) = inf J(v), )'intervalJe [0 0 , 0 1 ] contenant l'origine
vEU
en son intérieur.
Autrement dit, les points de la forme u+Ow, 0 0  0  0 1 , sont tous solutions du pro-
blème. Puisque I 'une au moins des composantes u j + 0 OW j , j E l*(u), s 'annule par définition
de 0 0 , on a ainsi construit une solution u' = U +Oow pour laquelle
l*(u') c l*(u), et donc card (l*(u')) <: card (l*(u)).
;é
Alors ou bien les vecteurs Aj. j E l*(u'), sont linéairement indépendants et la solution u'
est un sommet, ou bien ces mêmes vecteurs sont linéairement dépendants. Dans ce dernier
cas, on recommence Ie raisonnement précédent. Puisqu'une application de celui-ci a pour
effet de diminuer d'au moins une unité Ie nombre de vecteurs Cj considérés, on aboutit
nécessairement à une solution qui est aussi un sommet après un nombre fini de construc-
tions analogues à celIe détailIée ci-dessus. II
Comme corollaire des deux théorèmes précédents, nous pouvons démontrer deux
propriétés intéressantes concernant les sommets :
Théorème 10.3-3. Si Ie polyèdre
U = {v E R'+; Cv = d}, C E aim. n(R), d E Rm,
n'est pas ,ide, il possède au moins un sommet. Par ailleurs, les sommets sont en nombre
jini.
DÉMONSTRATION. Considérons Ie problème de programmation linéaire : trouver (u, ù)
tel que
{ . ü E ií . {(v. v E '+X ; _ Cv+ _ d}.
J (u, u) = Inf J (v, v), J (v, v) = LVi.
(v, v)E Ü ;=1

MÉTHODE DU SIMPLEXE
241
Si )'ensemble U est non vide, ce problème admet déjà pour solutions tous les couples
(u,O), OÙ u E U. II suffit donc d'appliquer Ie théorème 10.3-2 à l'une quelconque de ces
solutions, et d'utiliser ensuite la caractérisation des sommets donnée au théorème 10.3-1.
Cette dernière montre également que les sommets sont en nombre fini, puisqu'il y a un
nombre fini de façons de choisir des vecteurs linéairement indépendants parmi les vecteurs
Ci, 1 j  n. II
La méthode du simplexe, due à G. B. Dantzig, repose sur Ie résultat ci-dessus : son
principe est en effet d'évaluer la fonctionnelle J en certains sommets de l'ensemble U,
construits par récurrence suivant une stratégie particulière : partant d'un sommet u o ,
on construit une suite de sommets u o , u 1 , . . ., Uk, Uk + 1, . . . correspondant à des valeurs
décroissantes de la fonctionnelle. Si Ie problème a une solution, et si l'on peut faire en sorte
d'avoir uniquement des inégalités strictes
J(Uk) >- J(Uk + 1), k  0,
ce procédé conduit en un nombrefini d'itérations à un sommet qui est aussi solution, puisqu'il
y a un nombre fini de sommets.
REMARQUES. (1) II arrive effectivement dans certains cas qu'on ne puisse obtenir l'inégalité
stricte J(Uk) >- J(Uk + 1) ; on a seulement l'égalité J(Uk) = J(Uk + 1). Cette circonstance peut
conduire au phénomène dit de "cyclage", sur lequel nous reviendrons.
(2) L'éventualité où inf J(v) = - 00 n'étant nullement exclue (reprendre l'exemple de la
vEU
fonctionnelle J(v) =-v, et de l'ensemble U = R+, de sommet unique 0), il est remar-
quable que la méthode en question permette aussi de reconnaître cette éventualité, en
l'absence toutefois du phénomène de "cyclage" signalé ci-dessus.
(3) On pourrait songer à évaluer systématiquement la fonctionnelle J en tous les som-
mets de l'ensemble U, sans aucune stratégie particulière. Leur nombre étant déjà très
grand pour des "petites" valeurs de m et n, ce procédé naïf est à proscrire complètement.
II
Nous allons d'abord nous attacher à la description d'une itération de la méthode du
simplexe, c'est-à-dire dans Ie cas Ie plus "courant", Ie passage d'un sommet à un autre
sommet, d'autres éventualités étant en effet possibles. Ce n'est qu'ultérieurement que nous
examinerons la question de la détermination d'un sommet initial U o (l'''initialisation''
de l'algorithme). Rappelons la définition du problème : il s'agit de trouver u tel que
u E U = { V E R'+; t v jCj = d } ,
)=1
J(u) = inf J(v),
vEU
n
J(v) = L ajvi,
;=1
où les vecteurs Cj E Rm, 1  j  n, sont les vecteurs colonnes d'une matrice C = (cij).
Sans restreindre la généralité, on va supposer que
r(C) = m
(:e qui impose m ",;; n). En effet, sir(C) = m' -< m, alors ou bien l'ensemble {V E Rn ;
L vjCj = d } est vide, auquel cas Ie problème n'a pas de solution, ou bien on peut
1 n
toujours extraire des équations L cijVj = d i , 1  i  m, un sous-ensemble de m' équa-
j=1
tions équivalentes dont la matrice est de rang m'.

242
PROGRAMMA TION LINÉAIRE
REMARQUES. (1) On peut également supposer tous les vecteurs colonnes Cj de la matrice
C non nuls. En effet si l'un d'eux est nul, disons cn pour fixer les idées, alors ou bien
an >- 0, auquel cas toute solution du probIème vérifie Un == 0 et on peut donc "éliminer
Ia n-ème variable", ou bien an <.: 0 (si an == 0, la n-ème variable n'apparaît pas .. .),
au que I cas inf J(v) ==- 00 et Ie probIème n'a pas de solution.
vEU
(2) Dans Ie même ordre d'idées, il devrait être clair que Ie cas où In == n est sans grand
intérêt pour la suite ... II
La description de la méthode du simplexe nous amène à une distinction préliminaire
entre deux types de sommets. Rappelons (théorème 10.3-1) qu'un point u == (Ui) E Rn
est un sommet de l'ensemble U si et seulement si
I Ui  0, 1  i  n; Î ujCj == L ujCj == d;
j=l jE/*(u)
les vecteurs Cj E R m , j E I*(u), sont linéairement indépendants,
où
1* (u) == {1  j  Il; U j >- O}.
On dit alors qu'un tel sommet est non dégénéré si card (/*(u)) == m, et dégénéré si
card (/*(u)) <.: m ; c'est ainsi que l'origine est un sommet dégénéré de l'ensemble U lors-
qu'elle lui appartient, puisque 1*(0) == </J.
Or, pour des raisons qui vont apparaître dans la description de la méthode, i1 est
essentiel de pouvoir associer à tout sommet exactement m vecteurs colonnes Cj linéaire-
ment indépendants. C'est pourquoi dans Ie cas d'un sommet dégénéré u, pour Iequel
card (l*(u)) == m' <.: m, on complètera les vecteurs Cj, j E I*(u), par (m-m') vecteurs Cj,.
j  l*(u), de telle façon que les m vecteurs Cj ainsi obtenus soient linéairement indépen-
dants. C'est toujours possible (puisqu'on a supposé r(C) == m) mais en général de façon
non unIque.
On peut donc donner la définition équivalente : un point u == (Ui) E Rn est un SOml11et
de l'ensemble U 's'i et seulement si if existe un en's'emble
1 c {1, 2, ..., n} avec card (I) == nl,
tel que
I u.  0 si i E I, Ui == 0 si i  I; Î Ui Ci == L lii Ci == d ;
. 1 iEI
IS vecteurs C;, i E 1, J'ont linéaireme: indépendants.
On dit alors que (Ci)iE/ est une ba's'e, associée au sommet u. On retiendra que la base
associée à un 's'ommet non dégénéré est définie de façon unique, mais que la ba's'e associée
à un sommet dégénéré n' est pas nécessairement définie de façon unique.
REMARQUE. Cette possibilité explique l'abus de langage parfois constaté (mais par ail-
leurs fort commode, par exemple dans la description de la méthode du simplexe) qui
consiste à considérer un même sommet comme plusieurs sommets "différents" dans la
mesure où plusieurs bases (réellement !) différentes peuvent lui être associées. II
Supposons donc connu un sommet u == (ui)f=l de I'ensemble U, de base associée
(Ci)iEI. L'idée de Ia méthode est d'effectuer Ie passage au sommet suivant (quand c'est
possible) en remplaçant l'un des vecteurs Ci, i E I, par /'un des 'ecteurs Ci, j  I, ce qui
définira la base associée au sommet suivant.

MÉTHODE DU SIMPLEXE
243
Soit j un indice n'appartenant pas à l'ensemble I. Le vecteur e j s'écrit
e j == L yie i ,
iEI
les composantes yl étant définies de façon unique. Puisque
L (Ui-()y!)e i +()e j == L Ui ei == d pour tout () E R,
iEI iEl
on déduit que le's'points de composante's'
\ . u.-(}v.i.
I '"
(),
0,
Sl i E I,
Sl i == j,
Sl i  I U {j},
sont de's' point,S. de l'ensemble U pourvu que
. déf . { Ui }
o  ()  (}J == mln ---:; i E I et y! > 0 .
YI
N aturellement, on espère que Ie point correspondant à () == ()j est un nouveau sommet
lorsque 0 < ()j < + 00 . C'est effectivement ce que l'on démontrera.
Évaluée en ces points, la fonctionnelle J vaut
L ai(ui-()y!)+()aj == J(u)+() ( a j - L yjai ) ,
iEl iEI
de sorte que, pour pouvoir diminuer strictement la valeur de la fonctionnelle, il faut,
d'une part, que Ie nombre ()j soit >0 et, d'autre part, que Ie nombre { a j - I y{a i } soit
iEI
<0. On e,S't done naturellement conduit à distinguer plusieurs éventualités, selon les signes
des nonlbre's'
( aj - L y-fa i ) , max yl, ()j == min { u i . ; i E I et y{ > O } , pour j  I.
i Eli E I Y1
Si tous les nombres ( aj - L yfa i ) , j  I, sont  0 (cas A), on a l'intuition que Ie som-
iEl
met u est peut-être une solution (car on ne constate la non-décroissance de la fonction-
nelle J que "dans la direction des sommets voisins") ; c'est effectivement ce que l'on va
montrer.
Sinon (cas B), l'objectif est de se retrouver en un autre sommet, en annulant l'une au
moins des "nouvelles" composantes (Ui-()yj), i E I, pour une valeur finie de (), qui ne
peut être que () == ()j. C'est impossible si toutes les composantes yf sont  0 pour i E I
(cas Bl), auquel cas il est d'ailleurs clair que inf J(v) == - 00. Par contre, si l'une des
vEU
composantes yf, i E I, est < 0, on montrera que Ie point u+ correspondant à () == ()j (qui
est alors un nombre fini) est effectivement un sommet, ce qui revient à montrer l'indé-
pen dance linéaire des vecteurs colonnes associés au point u+. Pour que celui-ci corres-
ponde à l'inégalité stricte J(u+) < J(u), encore faut-il que Ie nombre ()j soit >0 (cas B2) :
c'est Ie cas de progression "courante" de l'algorithme. Sinon (cas B3), on est peut-être
en présence du phénomène de cyclage.
Le résultat qui suit rassemble, en les précisant, ces diverses éventualités.
Théorème 10.3-4. So;t u un sommet de l'ensemble U, de base assoc;ée (Ci)iEI. Pour tout
j  l,onpose
Cj = I Y{Ci.
iEI

244
PROGRAMMA TION LINÉAIRE
Les seules éventualités possibles sont les suivantes :
Cas A : a j - L Y{ai  0 pour tout j  1. Alors Ie sommet u est solution du problème.
iE/
Cas B: il ex;ste (au moins) un indice j  I pour leqllel { aj - L y{a i } <: 0 : cette éven-
iE/
tual;té se subdivise elle-même en trois cas :
Cas Bl : il existe (au moins) un indice j EE 1 pour lequel on a simultanément
aj- L r{ai <: 0 et y{  0 pour tout i E I.
iE/
Alors inf J(v) == - 00.
vEU
Cas B2 : II ex;ste (au moins) un indice j+  I pour lequel on a simultanément
I aj+ - L i'{+ai <: 0;
iE/
r{+ :> 0 pour au mo;ns un indice i E 1; pour i E I, r{+:> 0  Ui :> O.
Alors Ie point u+ de composantes
Ui+ = u i - OJ+,,{+ si i E 1; OJ+ si i = j+; 0 si i  1 U {j+ },
où
0 " { Ui " I o} 0
J+ = min ; i E 1 et "T:> :>,
i'
est un sommet dijférent du sommet u, pour lequel
I(u) :> I(u+).
Au sommet u+ est associée la base (Ci)iE/+' où 1+ = (1 - {j-}) U {j+}, j- E I étant
I'un quelconque des indices vérifiant
j- E 1 et
0 "+ _ Uj_
1 ___
"+ .
'tJJ"
Fj-
Cas B3 : il existe (au moins) un indice j  1 pour lequel { a j - L r1 a i } <: 0, etpour
iEl
chacun de ces indices j  1, on a simultanément
I {j - ; Yi a ;} < 0;
i'1 :> 0 et ui = 0 pour au moins un indice i E 1 (Ie même).
Alors on peut associer au même sommet u une nouvelle base (Ci)iE/+' où 1+ -
- (1- {j-}) U {j+ },j+ étant l'un quelconque des indices vérifiant
j +  1 et { a j + - L i'{+a i } <: 0,
iEl
et j- étant l'un quelconque des indices vérifiant
j- E 1 et i'j::> O.
DÉMONSTRATION. Cas A: aj - L yiai  0 pour tout j  I. On peut étendre les égalités
iEl
cj = L y{C i aux indices j E I, en posant y{ = ðij pour i,j E I, de sorte que
iE/
cj = L y{C i , aj - L y{ai  0, 1  j  n.
iE/ iEl

MÉTHODE DU SIMPLEXE
245
Si v = (V,),= 1 CSi un point quelconque de I'enscmble U, on peut écrire
Cv = t VjC; = L { t v j Y1 } Ci = d = L Ui C ;,
j=l iEI )=1 iEI
d'où I'on déduit que
n
 j
IIi =  VjYi'
j=1
i E I,
puisque ]es vecteurs Ci, i E I, sont linéairement indépcndants. Par suite,
J(V)-J(u) = t ajVr L a,u, = t { a j - L y{a / } Vj:a=: 0,
j=1 iE' )=1 iEI
puisque toutes les composantes vi sont  0, et Ie sommet u est solution.
Cas Bl : if existe (au nloins) un indire i  1 pour lequel
aj - L y{aj <: 0 et yf  0 pour tout i E I.
iE I
On a déjà observé que lcs points de coordonnées
! uj-Oyl, SI i E I,
0, SI i = j,
0, SI i EE IU {j},
sont des points de l'ensemble U pour tout 0 ;:a:: 0 (dans Ie cas présent, OJ = inf 4J =
= + 00 ) ; en de te]s points, la fonctionnelle J vaut
J(u) +0 ( a j - L y Oi ) ,
;E I
ce qui montre que inf J(v) =- 00.
VEU
Cas B2 : if existe (au moins) un indice j+ EE I pour lequel
" . + . déf { u i + }
aj+ -  y{ ai <: 0 et OJ+ = min ----;;:-; iE I et y1 >0 > O.
; E I yJ
Définissons Ie point u+ = (ut)7=1 en posant
! O.+. 1 E I,
u j -- J y{ , Sl
0.+ i = j+ ,
u-:t- = J , Sl
,
0, SI i  1 U {j+}.
Alors, d'une part,
J(u)-J(u+) =-0)+ ( a j + - I Y1+a; ) :> 0,
iEI
et, d'autre part, rune au moins des composantes Ui+' i E I, du point u+ est nulle, par dé-
finition du nombre ()j+. Appelant Uj- /'une quelconque de ces composantes, qui vérifie
donc
()j+
Uj-
--:+ ,
v_

246
PROGRAMMJ\TION LINÉAIRE
nous allons établir l'indépendance linéaire des veeteurs colonnes C I, pour j E /+, où
déf
J+ = (1- {j - }) u {j + },
ce qui montrera que Ie point u+ est un sommet de l'ensemble u.
Supposons Ie eontraire : on pourrait trouver des nombres rY-;, i E /, non tous nuls tels
que
L (X"C; = 0 et (X,j+  0
iE/+
(si rx-j+ était nul, les vecteurs Ci fiE I, seraient linéairement dépendants) ; e'est done une
égalité de la forme
C j + = L P,C; ,
;E / -{j-}
qui, jointe à l'égalité Cj+ = L yJ+ C 1 , n10ntre que
El
L (yl+ -P,) C i +yjcj- = o.
, E 1- {J- }
Or eette dernière égalité ne peut avoir lieu, puisque les vecteurs C;. i E /, sont linéaire-
ment indépendants, et yl :> 0, par définition.
Cas B3 : tous les indices j  I pour lsquels ( a) - L y{a; ) <: 0 (on suppose qu'il y en
I E I
a au moins un) vérifient
a.-  )' 1.a. <: 0
'J i..J II '
iEl
. déf { U i . }
et ()J = min yJ j ; i E I et y{ >- 0 = O.
Le raisonnement fait à propos du cas B2 pour montrer l'indépendance linéaire des vec-
teurs Ci, i E 1+, est toujours valable et i1 n'y a rien à démontrer. La seule différence
(essentielle !) avec Ie cas B2 est que Ie point u+ coincide avec Ie point u, ee qui, ineidemment,
dispense de vérmer Ia non décroissanee de la f onctionnelle J . . . II
REMARQUE. 11 est commode d'intcrpréter les différents cas considérés en introduisanr
I'ensemble
déf
E = { j 1/; aj - I y{a, <: O } = El U E 2 U E3'
IE I
avec
El = { j 1 /; a} - I y{a, <: 0, max Y1 E;: O } ,
iET iE'
E2= l j /; aj-Ly;a;<O, maxy{::>O, min {  } ::>ol,
; Eli E , { ; E ,y{ f
y{:>O
E3 = J j  I; QJ - L y{ <: 0, max y{ >- 0, min {  } = 0 I .
t'E' I E I { i EJ yf f
l 11>0

MÉTHODE DU IMPLEXE
247
N ous avons en effet les correspondances suivantes :
cas A  E == <þ; cas B <=> E  <þ ;
cas B1  El  <þ; cas B2  E 2  <þ; cas B3 <=> E3 = E,
qui montrent que les cas A et B, Bl et B3, B2 et B3 sont exclusifs, alors que les cas Bl et
B2 ne Ie sont pas. II
Faisons alors un certain nombre de remarques concernant la mise en reuvre pratique
de la méthode.
II est clair que dans l'éventualité de la concomitance des cas Bl et B2, on se placera
dans Ie cas Bl, qui termine l'algorithme.
Le calcul des composantesy{ d'un vecteur cj,j  I, dans la base {Ci)iEl, est plus simple
qu'il n'y paraît : on tire en effet avant age de ce que deux bases successives ne diffèrent
que "par un vecteur à la fois". Cette question sera examinée plus loin.
Lorsqu'on est dans Ie cas B2, qui est Ie cas de "progression courante" de I'algorithme,
plusieurs critères sont utilisés pour choisir entre les divers indices j  I pour lesquels
()j :> O. Par exemple, on choisit l'indice correspondant à la plus gran de diminution de la
valeur de la fonctionnelle ou au plus petit des nombres ( a j - L y{a; ) <: 0, ou on choisit
iEl
simplement Ie plus petit indice correspondant au cas B2.
De la même façon, pour choisir entre les divers vecteurs Cj, j  I, qui peuvent être
introduits dans la base torsqu'on est dans Ie cas B3, on choisit couramment celui du plus
petit indice.
Le cas B3 ne peut se produire que si Ie sommet u est dégénéré (sinon, toutes les compo-
santes Uj, i E I, sont :> 0), mais ce n'est pas obligatoire : Même si certaines composantes
Ui, i E I, sont nulles, it suffit en effet pour se trouver dans Ie cas B2 que toutes les composan-
tes Uj pour lesquelles les composantes y{ sont :> 0 soient elles aussi :> o. Par ailleurs, même
si Ie sommet u est non dégénéré, il peut très bien se faire que Ie sommet u+ construit
clans Ie cas B2 soit dégénéré, dans l'éventualité où deux (au moins) des "nouvelles"
composantes u;-()jy{, i E I, s'annulent simultanément.
Enfin, on notera que les cas A et B1 correspondent à I' arrêt de I' algorithme et que les cas
B2 rencontrés dans fa progression de l' algorithme ne peuvent être qu' en nombre fini, puisqu'ils
correspondent à une décroissance stricte de la fonctionnelle d'un sommet à un autre,
et puisqu'il ya un nombre fini de sommets (théorème 10.3-3).
Supposant connu un sommet de l'ensemble U, à partir duquel on initialise l'algorithme
(ce qui implique en particulier que l'ensemble U est non vide), trois éventualités, mutuelle-
nlent exclusives, sont possibles en ce qui concerne la progression de la méthode :
(i) suite finie de cas B2 et Iou B3 terminée par un cas A : Ie dernier sommet trouvé est
une solution du problème ;
(ii) suite finie de cas B2 etlou B3 terminée par un cas B1 : on conclut que Ie problème
n'a pas de solution.
Dans ces deux cas, la méthode du simplexe apparaÎt donc comme une méthode directe
au sens où nous l'avons entendu pour les méthodes de résolution de systèmes linéaires,
puisque, en négligeant l'effet des erreurs d'arrondi, Ie problème est résolu exactement
après un nombrefini d'opérations élémentaires ;
(iii) suite finie de cas B2 et Iou B3, puis suite infinie de cas B3. Ceci ne peut arriver que
si, après un nombre fini de cas B3 consécutifs, on retrouve la même base. C'est ce que l'on
appelle Ie phénomène de cyclage : L'algorithme ne permet pas de conclure.
Bien qu'on puisse construire "à la main" des exemples où ce phénomène apparaisse
effectivement (voir l'exercice 10.3-3), on constate qu'il ne se produit pas dans la résolution
courante des problèmes "réels", où la dégénérescence de certains des sommets rencontrés
dans la progression de l'algorithme est pourtant chose courante ! C'est pourquoi aucune

248
PROGRAMMA TION LINÉAIRE
"stratégie de secours' n'est inc]use dans les algorithmes effectifs. II en existe pourtant
une, qui est proposée à l'exercice 10.3-5, et dont l'ana]yse se fait très élégamment en
faisant intervenir la relation d'ordre lexicographique. C'est déjà une raison suffiante
pour recomnlander cet exercice, l'autre et non la moindre, étant de fournir comme
corollaire inattendu une démonstration purement "algébrique" du lemme de Farkas-
Minkowski (théorème 9.1-1).
Décrivons une façon de procéder aux calcu]s effectifj- correspondant à une itération de
la méthode (pour une autre approche, se reporter à l'exercice 10.3-4). L'ensemble J étant
supposé ordonné (par exemple dans l"ordre croissant des indices) introduisons : la matrice
carrée inversible C J formée des vecteurs colonnes C; i E J; les vecteurs co]onnes y E R"'
1  j  n, de composantes celles du vecteur cj sur la base (C')'EJ; Ie vecteur colonne
QJ E Rni de composantes les nombres a, i E J; et enfin Ie vecteur colonne u, E Rill de com-
posantes les nombres U;, i E J. Dans ces conditions on peut écrire
Cj = L ylc i = C 1 Y1,
iEI
soit
Y j - C -1 C j
I - I ,
1  j  11,
et les expressions ( a j - L Yla; ) (dont les signes jouent un rôle essentiel dans la progres-
iE J
sion de la méthode ; ct. théorème 10.3-4) deviennent :
aj-- L yl a i = aj-aTr1 = j-aTCJICj = aj-bTCj,
iE J
en posant bJ = aTC/I.
En se reportant au théorème 10.3-4, on s'aperçoit que, l'enj'emble I étant suppo's'é conl1U,
Ie premier calcul à effectuer est celui des composantes du vecteur b l , solution du système
linéaire
CTb l = aI'
puis on détermine les signes des nombres (aj-bT cj) pour j  I. Dans I'éventua]ité d'un
cas B2, on est ensuite conduit à calculer les composantes yl correspondant à l'indice
j+  I choisi pour "apparaÎtre", c'est-à-dire à calculer Ie vecteur yr solution du système
linéaire
'+ '.J,.
C1Yi = CJ .
II reste à calculer les rapports (  ) pour i E let yt :> 0, afin de déterminer l'indice
Y1
j- qui va "disparaître", les composantes Ui, i E I, du sommet u étant obtenues par ]a
solution du sysième linéaire
CIUI = d.
En résumé, une itération de la méthode du simp]exe recquiert la solution de systèmes
linéaires dont la matrice est toujours fa même (à la transposition près) ; par ailleurs, ]es'
matrices de deux itérations consécutives, soit C[ et C / +, dilfèrent par une 's'eule colonne,
la nouvelle colonne étant de la forme particulière Cj+ = C/rt+ .
Cette dernière observation permet de 's'implifier cO/lsidérablement les calculS. En elfet,
notant
C[ = C, C[- = C+, yf"T" = Y = (Y;)l '
pour alléger I'écriture, on remarque que l'une au moins des composantes du vecteur y est
non nulle (par difinition du cas B2) ; notons la Yk. On note ensuite qu'on ne restreint
pas la généralité en supposant que la nouvelle colonne Cy va précisément prendre ]a
place de la k-ème colonne de la matrice C ; cela revient en effet à multiplier la matrice C à

MÉTHODE DU SIMPLEXE
249
droite par une matrice de permutation. Dans ces conditions, on peut écrire
/J Y1 \
Yk-l \
c + == Cr, avec J' == Yk
Yk+ 1
y ..
I.
et on vérific immédiatement que
-1
- Yk Yl
C-:-_ 1 == j'-IC- 1 , avec 1'-1 =
-1
-Yk Yk-l
Yk 1
-]
- Yk Yk - 1
-1
-Yk Yn
et les calculs se remènent donc aux seules multiplications à gauche par des matrices
analogues à la matricer-].
11 nous reste à examiner la question de /'illitialiJ'ation de la méthode du simplexe,
c'est-à-dire, ou bien ]a construction effective d'un sommet de l'ensemble U, si celui-ci
n'est pas vide (i] possède a]ors toujours au moins un sommet ; c/. théorème 10.3-3), ou
bien l'indication que l'ensemble U est vide.
De façon plus précise, à un ensemble de]a forme
u == {v E R n : Cv == d}, C E cl/: l11 . n(R),
on associe Ie problème de programmation linéaire suivant (déjà utilisé dans la démonstra-
tion du théorème 10.3-3 : ce n'est pas une coïncidence ...), posé sous la forme (P3) :
trouver (II, ù) tel que
CP)
I (u, ÎÍ) E Ü == {(r, r) E RilL XR/: Cv +;; == d},
I'll
j(u, ü) == inf j(r, i), ](v,;:) == L rj.
( ,., ;:-) E îí j = 1
On remarque alors I'équivalence
u  <þ <=> inf j(r,;,) == 0 (== J(II, 0) pour tout u E U).
- -
(r, ")E U
-
L'idée est alors d'appliquer la fl1éthode du j'inlplexe pour réj'oudre Ie problè/ne (P).
Le point (0, d) étant un sommet de ]'ensemb]e fj (les vecteurs co]onnes de la matrice unité
sont ]inéairement indépendants . . .), on peut sûrement initia]iser ]a méthode du simplexe
pour ce problème.

250
PROGRAMMA TION LINÉAIRE
L'alternative conduisant à un cas Bl étant exclue (puisque l'on a inf j(v, v)  0),
(v, V)E fj
supposons que Ie phénomène de cyclage n' apparaisse pas : La seule possibilité étant alors
une suite finie de cas B2 etjou B3 terminée par un cas A, appelons (u, u') la solution trou-
vée. Alors ou bien u' = 0, et Ie point u est un sommet de l'ensemble U, ou bien u' = 0, et
l'ensemble U est vide.
Si ce procédé ne permet pas théoriquement de régler complètement la question de l'ini-
tialisation, puisque rien ne permet d'éviter à coup sûr Ie phénomène de cyclage lors de la
résolution du problème auxiliaire, il est néanmoins très couramment utilisé puisque,
comme on l'a déjà signalé, l'expérience montre que Ie phénomène de cyclage ne se produit
pas en pratique . . ..
REMARQUE. C'est précisément parce que l'initialisation recquiert une connaissance préa-
lable de la méthode du simplexe qu'il nous a paru préférable de la présenter après la
description de la méthode elle-même. II
Un cas où l'on peut toujours régler la question de l'initialisation est celui oÙ Ie problème
est posé sous la forme (PI) OU (P 2) : trouver tel que
{ {v E Rn ; Cv  d}
uE U =
{v E R'+; Cv  d}
leu) = inf J(v), J(v) = (a, v),
vEU
(P 1)'
(P 2)'
à condition toutefois que Ie vecteur d E Rm vérifie
d  O.
Utilisant les constructions décrites au début du paragraphe 10.1, on est en effet conduit
à résoudre un problème de la forme (P 3) (partant de la forme (PI)' pour fixer les idées) :
trouver (u', u", u"') tel que
I (u', u", u"') E Ü = {(v', v", v"') E R'+XR'+ XR't-, Cv' -Cv" +v'" = d}.
' t J(u', u", u"') = inf j(v', v", v"'), j(v', v", v''') = (a, v')-(a, v"),
( v', v". v''') E ií
pour lequelle point (0,0, d) E R+XR+XR est un sommet.
Considérons enfin un exemple numérique d'application de la méthode du simplexe
(adapté de (1)) : soit à trouver u tel que
J u E U = {v E R: 3v 1 - V 2+ 2v S  7, -2v 1 +4v 2  12, -4Vl+3v2+8vs  1O},
t J(u) == inf J( v), J( v) = VI - 3V 2 + 2v 3 .
vEU
II s'agit d'un problème posé sous la forme (P2)' que l'on commence par transformer en un
problème posé sous la forme (P 3 ) (sans changer les lettres U et J, pour simplifier l'écriture)..
en introduisant trois variables d'écart V4, V5, V6 : trouver u tel que
1 u E U = {v E R; Cv = d},
' l J(u) = inf lev), lev) = aTv,
vEU
(1) GASS, S. I. - Linear Progranlming, McGraw-Hill, New York, 1964.

MÉTHODE DU SIMPLEXE 251
où
( 3-1 2 1 J' d = (),
C = -2 4 0 1
-4 3 8
aT=(l -3 2 0 0 0).
Les composantes du vecteur d étant positives, on peut initialiser la méthode à l'aide
du procédé décrit plus haut. Désignant par Uk = (af)?=I' k  0, les sommets successive-
ment rencontrés, et par I k , ylk' jt, Oif, Ii; les quantités correspondantes introduites (sans
indice k) au théorème 10.3-4, la méthode se présente tous calculs faits (selon la méthode
décrite plus haut, par e:xemple) sous la forme suivante :
(1) Initialisation :
{ Uo = (0, 0, 0, 7, 12, 10)T; 10 = (4, 5, 6) ;
J(u o ) = O.
(2) Itération à partir du sommet U o :
c 1 = L YfuC i = 3C 4 -2Cs+4C6 ;
iE/ o
a 1 - L yloa = 1 ;
iE/ o
C 2 = L YToC i =-C 4 +4Cs+ 3C6 ;
iE/ o
a2- L ñoa r =-3;
iE/ o
C3 = L rloc i = 2C 4
iE/0
+8C6; a3- L rloai = 2.
iE10
II s'agit d'un cas B2, correspondant à jet = 2. En effet,
{ 0
2 _ . ui.
0 0 - mln ,
YIO
. 2 } _. { ug t4 } ug
I E 10 et Y10 >- 0 - rom y2so ' ño = Yo = 3 >- 0,
d'où jo = 5.
On passe à un nouveau sommet u 1 correspondant à :
! "1 = (0 , 3, 0, 10'2 0, 1)T; \ = (2, 4, 6) ;
J(u 1 ) - J(u o ) +0 0 ( a 2 - L YiOai ) --9.
iE/ o
(3) Itération à partir du sommet u 1 :
Cl = ') 1) C i = -  C2 +2.. c 4 _2.. C6 .
.L.J r,1 2 2 2 '
'Ell
1
a 1 - L nl a i =--;
iEh 2.
C3 = L rll C i =
iEh
2C 4 +8C6; a3- L rllai == 2 ;
iEh
CS = L Yfl C i =
iEll
1 1 3
- C2 +  C4_- C6 .
2 4 4 '
3
as- L 'YÝlai -
;Eh 4
II s'agit d'un cas B2, correspond ant à jt = 1. En effet,
1 . { U}. I } u 4
0 1 = mln -y-; 1 E /1 et Yil:> 0 =  = :> 0,
1 Yü
d'où jl =_4.

252
PROGRAMMA TION LINÉAIRE
On passe à un nouveau sommet II correspondant à :
J 11 2 = (4, 5, 0, 0, 0, II)T: /2 = (I, 2, 6) :
I J(U2) = J(1I 1 )+Ol ( al-. Yllai ) =-11.
lie I,
(4) Itération à partir du SOln/11et II,! :
C3 = L Yf2 ci = - C I + 2 C 2 + IOCG :
iE/;! 5 5
12
(13- L Yf2 a i -
iE/;! 5
4 " 4 ' 2 1 1 .)
C = '- Yi2(" = --- C +.- C-+
i E T;! 5 5
cn :
a.- L yl2 a i
iE I;!
1
5
- " -' 1 1 3 .) 1 I!
Ct) =  YI:?C' = - C + -- C---,Cu:
iET;! 10 10 -
(lj - L yr2 a i
iE I;!
4
5
II s'agit dun cas A. Le sommet II,! est donc une solution du problème posé sous la forme
(P3), tandis que Ie vecteur (4,5, O)T est solution du problème posé sous la forme (P 2 ).
10.4. Dualité et programmation linéaire
Commençons par appliquer les résultats du chapitre 9. Étant donné la forme parti-
culière des ensembles U qui y ont été considérés, ces résultats s'appliquent à des pro-
blèmes de programmation ]inéaire de ]a forme (PI) ou (P 2 ). Pour la premièrc de ces
formes : trou ver /I tel que
(PI)
III E U = {I' E R": C,.  d}, C E cA,m, n(R),
t J(II) = inf J(r), J(l') = (a, v)n,
l'E u
nous obtenons commc corollaire immédiat des conditions nécessaires et suffisantes de
minimum en programmation convexe étab]ies au théorème 9.2-4 (dont toutes les hypo-
thèses sont satisfaites) :
Théorème 10.4-1 (conditions nécessaires et suffisantes de minimum en programmation
/inéaire). Soit u un point de I' ensemble
u = {v ERn; Co  d}, C E dm,n{R).
Alors
J(u) = inf J{'), où J(l.) = (a, v)"'
vEU
si et seulement si ;1 existe un ,ecteur  t- Rm tel que
{ Â 0, CTÂ +a = 0,
{Â, Cu-d)m - O.
-
REMARQUES. (1) Compte-tenu des relations À  0 et Cu-d  0, on peut exprimer
la dernière relation du théorème sous la forme équivalente
À i = 0 si (C i , U)n-di <: 0, 1  i  m,

DUALITÉ ET PROGRAMMATION LINÉAIRE
253
en notant C; Ie i-ème vecteur colol1l1e de la matrice tranJpoj'ée CT (ce qui revient à noter
cT Ie i-ème vccteur Iigl1e de la matrice C).
(2) Alors que les vecteurs colol1lle.s' de la matrice C jouaient un rôle essentiel dans Ie
paragraphe précédent, ce sont maintenant ses vec\eurs lignes qui interviennent de façon
naturclle. Cette observation sera mieux comprise lorsqu'on aura précisé les liens qui
existent entre la méthode du simplexe et la dualité.
(3) On vérifiera que, dans Ie cas particulier de la programmation linéaire considérée
ici, les conditions nécessaires et suffisantes du théorènle ci-dessus peuvent aussi être
établies direCfenleltf à partir du lemme de Farkas-Minkowski (théorème 9.1-J). II
L'application des résultats du paragraphe 9.3 (introduction du lagrangien ; dualité)
aux problèmes posés sous la forme (PI) est d'une portée limitée (nouvelle différence
avec la programmation quadratique) : définissant Ie Lagral1giell aJ'J'ocié à la [ornle (P 1)
par
L : (0, p) E R n X R'll' - L(n, 11) = (a, V)11 +(11, Cv -d)""
on déduit du théorème 9.3-2 qu'un élément liE Rn est solution du problème (Pt) si et
seulement si il existe un vecteur ). E R nl tel que Ie couple (u, ).) E RnXR soit un
point-selle du Lagrangien L sur ]'espace RnXR":' , c'est-à-dire (théorème 9.3-1)
inf sup L(v, p) = sup L(u,l1-) = L(u, Ä) = inf L(v, ),,) = sup inf L(v, p,).
1/ lit 11& - R " nt R tf
vE R It E R t It E R I t E:: It E R+ vE
Or ]a fonction
L(., ft) : v E Rn - L(v, p,) = (CT p +a, V)n-(P" d)m
étant affine, on déduit que
{ - 00 Sl
G(fJ)  inf L(v, fJ) =
1:ERIt -(d, ft)m
CTft+a  0,
Sl CT 11 +a = 0,
]a fonction L(., fJ) étant constante lorsque CT p, +a = o. Dans ces conditions, Ie pro-
blème dual (au sens du paragraphe 9.3) : trouver ). tel que
(Ql)
À E R,+, et G(À) = sup G(p,),
I-l E Rt
ne saurait être d'un grand secours pour ]a résolution du problème primal (P I) ; on
notera à cet égard que les hypothèses de la partie (I) du théorème 9.3-3 ne sont pas
vérifiées, tandis que la partie (2) de ce même théorème ne fait qu'exprimer I'existence,
déjà observée, d'(au moins) une solution du problème dual, à savoir tout vecteur
). E Rm qui vérifie
À E R, CT).+a = O.
Passons ensuite à des problèmes sous la deuxième forme : trouver u tel que
(P 2 )
J u E U = {v E R_; Cv E; d}. C E dm.n(R),
I J(u) = inf J(v), J(v) = (a, v)n.
vEU
Cette façon de poser Ie problème n'étant qu'un cas particulier de la précédente, on
pourrait se contenter des conditions nécessaires et suffisantes analogues à celles du thé-
orème précédent (relations (1) ci-dessous) ; on peut aussi mettre ces conditions sous
la forme équivalente des relations (2) ci-dessous, quijustifieront notamment l'introduction
d'un nouveau type de problème dual.

254
PROGRAMMA TION LINÉAIRE
Théorème 10.4-2 (conditions nécessaires et suffisantes de minimum en programmation
linéaire). Soit u un point de I'ensemble
u = {v E R'+; C::e= d}, C E atm, n(R).
Alors
I(u) = inf J(v), où J(t) = (a, V)n,
vEU
si et seulement si il existe des .ecteurs  E R m et V E Rn tels que
(1)
{ Â  0, v  0, CTÂ+a-v = 0,
(Â, CU -d)m - (v, u)n = 0,
ou encore si et seulement si il existe un ,ecteur  E Rm tel que
(2)
{ Â  0, CTÂ +a  0,
(Â, Cu-d)m = 0 et (CTÂ+a, u)n = o.
DÉMONSTRATION. On peut écrire l'ensemble U sous la forme
U = {v E Rn; C'v::e= d'},
avec (en désignant par In la matrice unité de Rn) ;
C' = ( I n I ) E ct m + no n ). d' = (tB) E Rm+n.
Alors les relations (1) ne sont autres que celles du théorème 10.4-1, exprimées à l'aide
de la matrice C' et du vecteur d ' . On passe ensuite des relations (1) aux rlations (2)
en notant que les signes des composantes des divers vecteurs en cause permettent d'écrire :
{ 'V = CTÀ+a  0,
(À, Cu-d)m-(v, u)n = 0 <:? (À, Cu-d)m = (v, u)n = o.
La réciproque s'obtient en introduisant Ie vecteur v = CTÀ+a.
II
REMARQUES. (1) Compte-tenu des relations À  0, Cu-d::e= 0, v  0, U  0, on
a l'équivalence
{ Àj = 0 SI
(À, Cu-d)m-(v, u)n = 0  _
v j - 0 SI
(C j , u),. -d j <: 0, 1::e= i ::e= m,
Uj >- 0, 1  j  n.
(2) De la même façon, compte-tenu des relations À  0, Cu-d  0, CTÀ+a  0,
U  0, on a l'équivalence
(À, Cu-d)m = 0
T' { À j = 0 SI (C j , u)n-dj <: 0,
et (C I\, +a, u)n = 0 <:? _
Uj - 0 SI (Cj, À)m+aj >- 0,
1 ::e= i ::e= m,
1 j  n,
où Cj désigne Ie j-ème vecteur c%nne de la matrice C.
-
11 est difficile de ne pas cons tater la "symétrie" des rôles joués par les vecteurs u E Rn
et À E Rm dans les relations (2). C'est précisément cette symétrie qui suggère la défi-

DUALITÉ ET PROGRAMMATION LINÉAIRE
255
nition d'un nouveau problème de programmation linéaire, appelé problème dual du
problème posé sous la forme (P 2 ) : trouver  tel que
(Q2)
j déf
ÀEA = {,u E R,+; CT,u+a  O},
déf
G(À) = sup G(,u) , G(,u) = - (d, ,u)m.
,uEA
REMARQUES. (1) Lors de la démonstration du théorème 10.4-2, on a vu comment
mettre Ie problème (P 2 ) sous la forme d'un problème (PI) (à l'aide de la matrice
C J E d m + 11 , n(R) et du vecteur d' E Rm+n, selon les notations de la démonstration
en question). Dans cet esprit, on peut aussi définir Ie Lagrangien
J2: (v, (,u, e)) E RnX(R'+XR'+) -.J2(v, (,u, e)) = (a, v)n+{(,u, Cv-d)m-(e, v)n},
puis Ie problème dual (au sens du paragraphe 9.3) : trouver (À, v) tel que
(Q2)
( À , .,, ) E ' _ ' R m + X R n + t /A ( ' ) /A ( )
" I e  /\', V = sup  ,u, e ,
(,u, (.>)ER'.t xR+
où
{ - 00 Sl
.(j(,u, e) =
-(d, ,u)m
CT,u-e+a  0,
Sl CT,u-e+a = o.
II i mporte alors de noter que Ie problème (Q2) ne coincide pas avec Ie problème (Q2) ;
de la même façon, Ie Lagrangien J2 ne coincide pas avec l'autre Lagrangien L introduit
dans Ie théorème ci-dessous.
(2) La présence du signe "moins" dans la définition de la fonctionnelle G permet de
définir Ie problème dual comme un problème de maximisation, ce qui répond surtout à
un souci "esthétique". _
Précisons maintenant les relations remarquables qui existent entre Ie problème (P 2)
et son dual (Q2).
- Tbéorème 10.4-3 (Ia dualité en programmation linéaire). Soit les deux problèmes : trou,er
u tel qlle :
(P2) u E U = { E R+; CJ  d} et J(u) = inf 1(1)), J(v) = (a, Ii)n;
vEU
trouver  tel que
(Q2) Â E A = {p E R; C T P  - a} et G(Â) = sup G(P)' G(P) = - (d, p,) me
,uEA
(1) Si I'un des problèmes a une solution, alors I'autre problème a également une solution
(en particulier, I'ensemble qui lui est associé est nécessairement non vide) ; de plus,
sup G(P,) = G(Â) = J(u) = inf J(I;),
,uEA vEU
en notant respectivement u et  des solutions quelconques de chacun des deux problèmes.
(2) Une condition nécessa;re et suffisante pour que I'un des deux problèmes (et done
l'autre aussi, d'après (1)) ait une solution est:
u  cþ et A  cþ.

256
PROGRAMMA TION LINÉAIRE
(3) Un élément u E R"-r est solution du problème (P 2) si et seulement s; il existe un élé-
ment  E l\ , qui n'est autre qll'une solution quelconque du problème (Q2), tel que Ie
couple (u, Â) soit un point-selle de la fonction
L : (t., p,) E R X /i"-:-  L(t, p,)
(a, v)n+ (p" Cv -d)""
c'est-à-dire que Ie COil pie (u, Â) vérifie
(u, 1 ) E R n, . X R  : ' _ et S P L( 11. ) L( 1 ) f L( 1 )
^ -+- _ U U, r- = U, ^ = in t, ^ .
ER rER
DÉMONSTRATION. (1) Supposons pour fixer les idées que ce soit Ie problème (P2)
qui ait (au moins) une solution, notée U (naturellement, Ie raisonnement serait tout à
fait "symétrique'. pour Ie problème (Q2))' Alors ]'élément Î. dont I'existence a été étabJie
au théorème 10.4-2 vérifie non seulement les relations de définition de l'ensemble A
(qui est donc non vide), mais c'est même une solution du problème (Q2) ; pour Ie voir,
il suffit de montrer que
(d, fL}?,-(d, Î.)m  0 pour tout fL E A.
Or, les relations (Â, Cu-d)m = 0 et (CTÎ.+ a , u)n = 0 du théorème 10.4-2 entrainent
()., d)m = (À, CU)m = (CTÎ., u)/I = - (a, u)n,
de sorte qu'on peut écrire
(d, fL)m-(d, Î")m = (d, fL)m +(a, u)n = (d-Cu, fL)m +(CT fL+o, u)"
pour tout fL E Rm, et les définitions des ensembles A, et U (auquel appartient l'élément u),
impliquent que l'expression ci-dessus est  0 pour tout fL E A. Par ailleurs, I'égalité
(À, d)m = - (a, u)n établie ci-dessus montre que
sup C(Il) = -Cd, Î.)m = G(Î.) = (a, u)n = J(u) = inf J(v).
EA vEU
(2) Si l'un des problèmes a une solution, on a établi que l'autre a aussi une solution;
les ensembles associés U et A sont donc nécessairement non vides.
Réciproquement, soit v et fL des éléments quelconques des ensembles U et A, respec-
tivement, supposés non vides. Utilisant la définition de ces ensembles, on obtient :
(a, v)n +(d, fL)m = (a+CT,u, v)n +(d-Cv, fL)m  0,
ce qui montre que
sup G(fL) = inf J(v).
,uEA vEU
Dans ces conditions,
sup G(fL) -< + 00 et inf J(v) '> - 00,
,uEA vEU
et Ie théorème 10.1-1 permet de conclure que chacun des deux problèmes a au moins
une solution.
(3) Étant donné deux éléments quelconques u et À des ensembles R et R, respecti-
vement, on ales équivalences :
L(u, fL)  L(u, À) pour tout fL E R
 (À- fL, Cu-d)m  0 pour tout fL E R
(::) Cu-d  0 et ()'" Cu-d)m = 0,

DUALITÉ ET PROGRAMMATION LINÉAIRE
257
d'une part (faire tendre chaque composante du vecteur II vers + 00 pour obtenir
Cu-d  0 ; faire ensuite ,u. = 0 et utiliser la relation )"  0 pour obtenir (À, Cu-d)m = 0),
et
L(u, À)  L(n, À) pour tout v E R
<=> 0  (a+CTÂ, v-u)1l pour tout 'lJ E R
<=> CTÀ+ a  0 et (CTÀ+ a , u)n = 0,
d'autre part (raisonnement'analogue). La conclusion annoncée est alors une conséquence
immédiate des conditions nécessaires et suffisantes (2) du théorème 10.4-2. II
REMARQUES. (J) De ce qui précède, on déduit qu'un élément u E U ej't j'olution du
problème (P 2) si et j'eulement j'i if existe un élément  E A tel que G(À) = J(u), la réciproque
étant une conséquence de I'inégalité sup G(fL)  inf J(v).
IlEA vEU
(2) Des théorèmes 10.1-1 et 10.4-3, on déduit l'alternative suivante :
- ou bien chacun des deux problèmes a une solution ; une condition nécessaire et
suffisante pour qu'il en soit ainsi est que les deux ensembles U et A soient tous deux
non vides ;
- ou bien aucult des deux problèmes n'a de solution; une condition nécessaire et
suffisante pour qu'iI en soit ainsi est que /'un au moins des deux ensembles U et A soit
vide. Si U  </> et A = </>, alors inf J(v) =- 00 (et U est non borné) ; si U = </> et
t'EU
A  </>' alors sup G(fl) = + 00 (et A est non borné). II
.uEA
On appelle Lagrangien aj'socié à la forme (P2) la fonction L : R'+ XR'  R introduite
dans l'énoncé du théorème. On notera que, si /'expression de cette fonction coincide
avec celIe du Lagrangien associé à la forme (PI) introduit plus haut, leurs domaines de
définition sont différents,. c'était en effet RnXR pour Ie "premier" Lagrangien. On
notera aussi que la variable primale v E R'+ et la variable duale fL E R't jouent maintenant
des rôles tout à fait symétriques, ce qui n'était pas Ie cas précédemment.
Montrons pour terminer qu'il existe un lien subtil entre la méthode du simplexe
(paragraphe précédent) et les notions de dualité que nous venons d'introduire.
Théorème 10.4-4 (Ia daalité et la méthode da simplexe). On considère Ie problème :
troaver ü tel qae
(P2)
J íí _E _Ú = Ð E_R; è;  d}, C E oim.ñ(R), dE Rm,
1 J (a) = !n! J(v), J(v) = ãTV' où ã E R;,
vEU
et Ie problème éqaivalent : troaver a tel qae
(P3)
J u E U = {v E R"+; Cv = d},
1 leu) = inf J(v), J(v) = aTv,
vEU
où ( In : matrice unité de Rn) :
c= (I è In I ) E aim. n(R), n = ñ+m,
aT = (I -T 0 I) , a E RI:.
a

258
PROGRAMMATION LINÉAIRE
Lorsque la méthode du simplexe appliquée au problème (P3) conduit à une solution, elle
fournit du même coup une solution du problème dual du problème (P 2 ) : trou,er Ä tel que
J Â. E A = { E R; ëT+ã;a.. O},
I G(Ä) == sup G(,u), G(,u) = - dTp.
{ ,uEA
(Q2)
DÉMONSTRATION. On reprend exactement les mêmes définitions et les mêmes notations
qu'au paragraphe 10.3. Lorsque la méthode du simple xc conduit à une solution du prob-
lème (P3)' elle fournit un ensemble / d'indices qui vérifie (théorème 10.3-4)
/ c {I, 2, ..., n}, card (/) == m, aj- L y1ai  0 pour tout j  l.
lEI
Introduisons la matrice C] E dm(R) formée des vecteurs colonnes C i , i E /, de la
matrice C, et la matrice C/' E d m , ñ(R) formée des vecteurs colonnes Cj, j  1, de la
matrice C ; de la même façon, introduisons les vecteurs colonnes a] E Rm et u] E Rm de
composantes les nombres a , et U, i E J et Ie vecteur colonne al' E R ñ de composantes les
nombres at j fÍ J. Naturellement ceci suppose que rensemble J et I'ensemble
/' == {I, 2, ..., n} - /
sont ordonnés (par exemple dans l'ordre croissant des indices). Dans ces conditions
les inégalités ci-dessus prennent la forme
aII-Cj,(C])-la]  0,
et la valeur de la fonction J au sommet u correspondant s'écrit
J(u) == aTu == aju] == ajCi1d.
Le vecteur
vérifie
déf
À == _{Cj}-l aI E Rm
G(À) ==-dTÀ ==dT{Cj}-la] == J(u),
{ CjÀ+a] == 0,
Cj,À+aII ==-Cj,{Ci}-la]+all  o.
Appelant P la matrice de permutation d'ordre n qui vérifie
ë
In
I ) p (l c] I
)p (i
et donc aussi
Cp = ( I
aTp = ( I
ã T
o
T
aT'
I ) ,
I ) ,
Cl'
les deux dernières relations entraînent, après multiplication à gauche par la matrice pT :
ëTÀ+ã == 0 et À  o.
On a donc trouvé un élément À E A (pour lequell'inégalité CTÀ+al  0 devient même
une égalité) qui vérifie G(À) == J(u) == inf J(v). D'après Ie théorème 10.4-3, c'est donc
vEU
une solution du problème (Q2) dual du problèrfie (P 2). II
C'est donc essentiellement une solution du problème dual (Q2) que "cherche" la
méthode du simplexe, sous la forme d'un ensemble ad'hoc d'indices /, la solution du
problème primal (P 2 ) apparaissant alors com me un "sous-produit" de cette recherche.
Une observation analogue avait déjà été faite à propos de la méthode d'Uzawa.

COMMENT AIRES BIBLIOGRAPHIQUES
Sans chercher à être exhaustif, on s'est néanmoins efforcé de donner une liste raisonnablement
complète de références susceptibles d'intéresser les lecteurs du présent ouvrage, soit qu'ils cherchent
des compléments variés, aussi bien théoriques que pratiques, aux matières abordées, soit qu'ils
cherchent simplement d'autres points de vue sur ces mêmes matières. Par ailleurs, puisque ce livre
est avant tout une introduction, il ne nous a pas paru inutile d'indiquer également des références de
niveau nettement plus élevé, à l'intention des lecteurs qui désirent un réel approfondissement des
différents sujets traités ici.
Pour la commodité des lecteurs, les références ont été clssées sous les rubriques suivantes, qui
suivent sensiblement l'ordre du livre:
1. Rappels et compléments d'analyse.
2. Théorie des matrices.
3. Généralités sur l'analyse numérique.
4. Méthodes de résolution de système linéaires.
5. Calcul des valeurs propres et des vecteurs propres des matrices.
6. Matrices et systèmes linéaires particuliers.
7. Préliminaires à l'optimisation.
8. Optimisation.
1. Rappels et compléments d'analyse. - Pour les notions utilisées dans Ie texte, c'est-à-dire
essentiellement la topologie de R n, les espaces vectoriels normés, les espaces de Hilbert, Ie calcul
différentiel, on pourra se reporter à A VEZ (1983), CART AN (1967), CHOQUET (1964), DIEUDONNÉ
(1968), SCHWARTZ (1967, 1970, 1979), et, à un niveau plus élémentaire, DIXMIER (1969a, 1969b).
2. Théorie des matrices. - L'ouvrage de GANTMACHER (1966a, 1966b) est un bon exposé de la
théorie << classique )) des matrices, assorti de nombreuses applications, on Ie complétera très utile-
ment par Ie livre récent de ORTEGA (1987). Des présentations plus << algébriques )) se trouvent dans
BIRKHOFF & MAC LANE (1965), GODEMENT (1966). Le livre de HALMOS (1974) donne un excellent
traitement de la théorie des applications linéaires dans les espaces de dimension finie, en mettant
l'accent sur les idées géométriques.
Parmi les ouvrages plus directement orientés vers I' Analyse Numérique Matricielle, citons notam-
ment HOUSEHOLDER (1964), de lecture un peu difficile (car Ie style est d'une extrême concision)
mais de contenu fort riche, et STRANG (] 980), qui présente la particularité intéressante de développer
la théorie des matrices parallèlement à I' Analyse Numérique Matricielle. Dans Ie même esprit,
citons encore BELLMAN (1960), FRANKLIN (1968), GASTINEL (1966), HORN & JOHNSON (1985), LAN-
CASTER (1969), LANCASTER & TISMENETSKY (1985), NOBLE (1969).
3. Généralités sur I'analyse numérique. - II est généralement admis que l'article de yon NEU-
MANN & GOLDSTINE (1947) et celui de KANTOROVITCH (1948) marquent Ie début de l' Analyse Numé-
rique << moderne )) ; à ce titre, on ne peut qu'en conseiller fortement la lecture. Dans Ie même ordre
d'idées, on trouvera d'intéressants points de vue et perspectives historiques dans les ouvrages de

260
COMMENTAIRES BIBLIOGRAPHIQUES
GoLDSTINE (1977), METROPOLIS, HOWLET & ROTA (1980), ainsi que dans l'artic1e de WILKINSON
(1971 ) .
On trouvera des aperçus généraux sur l'analyse numérique dans les ouvrages de FORSYTHE, MAL-
COLM & MOLER (1977), TODD (1978), RALSTON & RABINOWITZ (1978), STOER & BULIRSCH (1980),
HENRICI (1982), PRESS, FLANNERY, TEUKOLSKY & VETTERLING (1986). Signalons également Ie livre
de STRANG (1986), qui constitue une introduction aussi originale que remarquable aux mathémati-
ques appliquées en général.
Les lecteurs plus spécialement intéressés par I' analyse des algorithmes, en ce qui concerne notam-
ment la propagation des erreurs d'arrondi, la << complexité )) et 1'<< optimalité )) des algorithmes,
etc. pourront consulter LA PORTE & VIGNES (1974), MILLER & WRATH ALL (1980). NEMIROVSKY &
YUDIN (1983), PAN (1984), SOLOMON & HOCQUEMILLER (1982), STEWART (1973), TRAUB & WOZNIA-
KOWSKI (1980), V ANDERGRAFT (1978), VIGNES (1980), WILKINSON (1963, 1965), WILKINSON &
REINSCH (1971), WINOGRAD (1980).
Pour les méthodes d'approximation des équations aux dérivées partielles par les méthodes de dif-
férences finies, Ie livre de FORSYTHE & W ASOW (1960) est un << c1assique )), qu'on pourra utilement
compléter par VARGA (1962), où I'on trouve non seulement des indications sur l'approximahon des
équations aux dérivées partielles, mais aussi - et surtout - les méthodes de résolution des systè-
mes linéaires obtenus. Signalons aussi MITCHELL & GRIFFITHS (1980).
Pour les méthodes d'approximation variationnelle, et plus particulièrement les méthodes d'élé-
ments finis, on pourra consulter, par ordre de difficulté croissante, RAVIART & THOMAS (1983),
CIARLET (1978).
Pour la méthode de Newton, appliquée notamment à la résolution des systèmes d'équations non
linéaires, Ie livre de ORTEGA & RHEINBOLDT (1970) est un autre << c1assique )), auquell' ouvrage plus
court de RHEINBOLDT (1974) est une bonne introduction. Signalons aussi I'ouvrage plus ancien,
mais tout aussi remarquable, de OSTROWSKI (1966).
4. Méthodes de résolution de systèmes linéaires. - En ce qui concerne les méthodes directes, les
livres de FORSYTHE & MOLER (1967) et STRANG (1980) sont très << complémentaires )) des premiers
chapitres du présent ouvrage par I'abondance des exemples, de points de vue variés, de détails pra-
tiques, qui y figurent. C'est pourquoi leur lecture est recommandée.
Tout utilisateur effectif de ces méthodes se doit de consulter, et d'utiliser, Ie livre de WILKINSON
& REINSCH (1971) ; on y trouve en effet toutes les indications nécessaires à leur mise en reuvre pra-
tique (par exemple en ce qui concerne l'équilibrage préalable des matrices, opération également
appelée Ie préconditionnement dans la littérature), en particulier les programmes écrits en FOR-
TRAN.
Des compléments utiles seront également trouvés dans Fox (1964), GASTINEL (1966) qui contient
de nombreux programmes écrits en ALGOL, HOUSEHOLDER (1964), STEWART (1973), TODD (1977),
WILKINSON (1965).
L'ouvrage de WESTLAKE (1968) se présente comme un catalogue de conditions d'application et de
comparaisons des diverses méthodes, aussi bien directes qu'itératives, avec l'énumération de leurs
principales caractéristiques, notamment Ie comptage des opérations élémentaires qu 'elles requiè-
ren t .
Parmi les ouvrages plus récents, citons GEORGE & Llu (1981), PISSANETSKY (1984), ainsi que les
deux << c1assiques )) de GOLUB & MEURANT (1983) et GOLUB & V AN LOAN (1984). Signalons enfin
LASCAUX & THÉODOR (1986, 1987) qui est un complément très utile au présent ouvrage, puisque la
mise en reuvre effective des méthodes y est traitée avec Ie plus grand soin.
En ce qui concerne les méthodes itératives, les deux ouvrages de références sont les livres de
VARGA (1962) et de YOUNG (1971). Voir aussi HAGEMAN & YOUNG (1981).
5. Calcul des valeurs propres et des vecteurs prop res des matrices. - Un << c1assique )) est
I'ouvrage de WILKINSON (1965). D'autres références utiles sont HOUSEHOLDER (1964), STEWART
(1973), TODD (1977).
Signalons ensuite les ouvrages de GOLUB & VAN LOAN (1984), LASCAUX & THÉODOR (1986, 1987),
PISSANETSKY (1984), déjà cités dans la rub rique précédente. Le libre de CHA TELIN (1983) contient de
nombreux exemples de problèmes dont la discrétisation conduit à calculer les valeurs propres ou les
vecteurs propres de matrices.
Enfin, les ouvrages spécialisés de CHA TELIN (1987), CULLUM & WILLOUGHBY (1985), et PARLETT
(1980) sont fortement recommandés.
6. Matrices et systèmes linéaires particuliers. - Sur la solution des systèmes linéaires au sens des
moindres carrés et sur la question liée des pseudo-inver.ses, on consultera BEN-IsRAEL & GREVILLE
(1974), LAWSON & HANSON (1974) ; ces questions sont aussi abordées dans TODD (1978).
On a vu comment des matrices creuses apparaissent naturellement dans l'approximation, par dif-
férences finies ou éléments finis, des problèmes aux limites ; en fait, elles apparaissent également
dans bien d'autres domaines : génie chimique, procédés de reconstruction d'images, etc. Pour.

COMMENTAIRES BIBLIOGRAPHIQUES
261
l'étude et la résolution des problèmes où elles interviennent, on se reportera à DUFF & STEWART
(1979), REID (1971).
On trouve divers développements concernant les matrices positives (celles dont tous les éléments
sont  0), que nous avons rencontrées à propos de I'approximation par différences finies de pro-
blèmes aux limites, dans GANTMACHER (1966b) et VARGA (1962). Ces mêmes matrices jouent aussi
un rôle important dans l'étude des chaînes de Markov, de certains modèles économiques, de cer-
tains problèmes de programmation linéaire, etc. Voir à cet égard BERMAN & PLEMMONS (1979).
7. Préliminaires à I'optimisation. - En plus des références déjà signalées sous la rubrique
<< Rappels et Compléments d' Analyse )) concernant notamment Ie calcul différentiel et les espaces
de Hilbert, on trouvera des compléments substantiels concernant la convexité, les polyèdres de R D ,
la dualité, les Lagrangiens, etc., c'est-à-dire ce que I'on appelle I'Analyse Convexe, dans ROCKAFEL-
LAR (1970), LAY (19.82), STOER & WITZGALL (1970), GRÜNBAUM (1967), EKELAND & TEMAN (1974),
par ordre approximativement croissant de difficulté. On peut également consulter AUBIN (1979a,
1979b), ROBERTS & V ARBERG (1973), WOUK (1979). Enfin, on recommande fortement BRÉzlS (1983).
8. Optimisation. - II existe de très nombreux livres traitant des principales méthodes d'Optimi-
sation, avec ou sans contraintes. Citons, pêle-mêle, les ouvrages suivants : AUBIN (1984), AUBIN,
NEPOMIASTCHY & CHARLES (1982), AUSLENDER (1976), BEN-IsRAEL, BEN-TAL & ZLOBEC (1981),
BERTSEKAS (1982), CÉA (1971), CLARKE (1983), COLLATZ & WETTERLING (1975), DANIEL (1971), EKE-
LAND & TURNBULL (1984), GILL & MURRAY (1974), GILL, MURRAY & WRIGHT (1981), HARTLEY
(1985), HESTENES (1975), LUENBERGER (1969, 1973), McCORMICK (1983), MANGASARIAN (1969),
MANGASARIAN, MEYER & ROBINSON (1975, 1978), MARTos (1975), MURRAY (1972), POLAK (1971),
TIEL (1984), WISMER & CHATTERGY (1978), ZANGWILL (1969), ZoUTENDIJK (1976), où se trouvent de
nombreux développements sur les questions que nous avons traitées ici, mais aussi sur celles que
nous n'avons pas abordées, par exemple la minimisation des fonctions d'une variable, la program-
mation non convexe, etc.
On trouvera des programmes écrits en FORTRAN dans DANIELS (1978), et en ALGOL et FOR-
TRAN dans KÜNZI, TZSCHACH & ZEHNDER (1971). Le livre de FLETCHER (1980) contient de nom-
breuses et utiles indications sur la mise en reuvre pratique des méthodes.
En ce qui concerne la Programmation Linéaire, on recommande fortement - Noblesse Oblige !
- Ie livre de DANTZIG (1963), Pun des pionniers du sujet, et l'inventeur notamment de la méthode
du simplexe. Le livre de GASS (1976) est également conseilIé, en particulier pour les nombreuses
applications qui s'y trouvent. On pourra aussi consulter avec profit CHV A T AL (1983), HARTLEY
(1985), HEESTERMAN (1982), KOLMAN & BECK (1980), ROTHENBERG (1980), SCHRIJVER (1986),
STRANG (1980), WALSH (1985).
Signalons également un algorithme récemment découvert pour résoudre les problèmes de pro-
grammation linéaire : il s'agit de /'algorithme de Karmarkar (cf. KARMARKAR (1984)), qui a, depuis
sa découverte, suscité beaucoup d'espoirs, et aussi beaucoup de controverses ! On trouvera une
analyse de sa convergence dans FRANKLIN (1987).
Pour l'Optimisation en dimension infinie (existence et unicité de minimums, algorithmes, etc.),
citons BARBU & PRECUPANU (1978), IOFFE & TIHOMIROV (1979), V AINBERG (1973). Dans EKELAND &
TEMAM (1974), l'accent est mis sur les problèmes d'optimisation liés à la formulation variationnelle
des problèmes aux limites, forme << moderne )) du Ca/cul des Variations.
Pour ceux de ces problèmes posés sous -la forme d';néquations variationne//es on consultera KIN-
DERLEHRER & STAMPACCHIA (1980) pour Ie problè111 << continu )), et GLOWINSKI, LIONS & TRÉMo-
LlÈRES (1976a, 1976b) pour I'approximation, notaqlInt par des méthodes d'éléments finis (l'éd'-
tion anglaise, parue en 1981 chez North-Holland, conient des compléments importants). Les liè"s
entre l'Optimisation et la théorie de l'App'rximation'so.nt examinés en détail par LAURENT (1972).

RÉFÉRENCES
AUBIN, J. P. (1979a), Applied Functional Analysis, J. Wiley, New York.
AUBIN, J. P. (1979b), Mathematical Methods of Game and Economic Theory, North-Holland,
Amsterdam.
AUBIN, J. P. (1984), Analyse Non Linéaire et ses Motivations Economiques, Masson, Paris.
AUBIN, J. P. ; NEPOMIASTCHY, P. ; CHARLES, A.-M. (1982), Méthodes Explicites de l'Optimisation,
Dunod, Paris.
AUSLENDER, A. (1976), Optimisation : Méthodes Numériques, Masson, Paris.
A VEZ, A. (1983), Calcul Différentiel, Masson, Paris (English translation : Differential Calculus,
1986, J. Wiley, New York).
BARBU, V. ; PRECUPANU, T. (1978), Convexity and Optimization in Banach Spaces, Editura Aca-
demiei, Bucarest.
BELLMAN, R. (1960), Introduction to Matrix Analysis, McGraw-Hill, New York.
BEN-IsRAEL, A. ; BEN-TAZ, A. ; ZLOBEC, S. (1981), Optimality in Nonlinear Programming, Wiley-
Interscience, New York.
BEN-IsRAEL" A. ; GREVILLE, T. N. E. (1974), Generalized Inverses: Theory and Applications,
J. Wiley, New York.
BERMAN, A. ; PLEMMONS, R. J. (1979), Nonnegative Matrices in the Mathematical Sciences,
Academic Press, New York.
BERTSEKAS, D. P. (1982), Constrained Optimization and Lagrange Multiplier Method, Academic
Press, New York.
BIRKHOFF, G. ; MAC LANE, S. (1965), A Survey of Modern Algebra, MacMillan, New York.
BRÉZIS, H. (1983), Analyse Fonctionnelle, Masson, Paris.
CARTAN, H. (1967), Calcul Différentiel, Hermann, Paris.
CÉA, J. (1971), Optimisation, Théorie et Algorithmes, Dunod, Paris.
CHA TELIN, F. (1983), Spectral Approximation of Linear Operators, Academic Press, New York.
CHATELIN, F. (1987), Valeurs Propres de Matrices, Masson, Paris.
CHOQUET, G. (1964), Cours d'Analyse, Tome 2 : Topologie, Masson, Paris.
CHVÁTAL, V. (1983) : Linear Programming, Freeman, New York.
CIARLET, P. G. (1978), The Finite Element Method for Elliptic Problems, North-Holland, Amster-
dam.
CLARKE, F. H. (1983), Optimization and Nonsmooth Analysis, John Wiley, New York.
COLLA TZ, L. ; WETTERLING, W. (1975), Optimization Problems, Springer-Verlag, Berlin.
CULLUM, J. K. ; WILLOUGHBY, R. A. (1985) : Lanczos Algorithms for Large Symmetric Eigenvalue
Computations, Vol. I: Theory, Birkhäuser Verlag, Basel.
DANIEL, J. W. (1971), The Approximate Minimization of Functionals, Prentice-Hall, Englewood
Cliffs.
DANIELS, R. W. (1978), An Introduction to Numerical Methods and Optimization Techniques,
North-Holland, Amsterdam.
DANTZIG, G. B. (1963), Linear Programming and its Extensions, Princeton University Press,
Princeton.
DIEUDONNÉ, J. (1968), Eléments d'Analyse, Tome 1 : Fondaments de I'Analyse Moderne, Gauthier-
Villars, Paris.

RÉFÉRENCES
263
DIXMIER, J. (1960a), Cours de Mathématiques du Premier Cycle, Première année, Gauthier-Villars,
Paris.
DIXMIER, J. (1969b), Cours de Mathématiques du Premier Cycle, Deuxième année, Gauthier-
Villars, Paris.
DUFF, I. S. ; STEWART, G. W. (1979), Sparse Matrix Proceedings 1978, Heyden, Londres.
EKELAND, I. ; TÉMAN, R. (1974), Analyse Convexe et Problèmes Variationnels, Dunod, Paris.
EKELAND, I.; TURNBULL, T. (1984), Infinite-Dimensional Optimization and Convexity, The
University of Chicago Press, Chicago.
FLETCHER, R. (1980), Practical "methods of Optimization, Vol. 1, Unconstrained Optimization,
J. Wiley, New York.
FORSYTHE, G. E. ; MALCOLM, M. A. ; MOLER, C. B. (1977), Computer Methods for Mathematical
Computations, Prentice-Hall, Englewood Cliffs.
FORSYTHE, G. E. ; MOLER, C. B. (1967), Computer Solution of Linear Algebraic Systems, Prentice-
Hall, Englewood Cliffs.
FORSYTHE, G. E. ; W ASOW, W. R. (1960), Finite Difference Methods for Partial Differential
Equations, J. Wiley, New York.
Fox, L. (1964), An Introduction to Numerical Linear Algebra, Oxford University Press Londres.
FRANKLIN, J. N. (1968), Matrix Theory, Prentice-Hall, Englewood Cliffs.
FRANKLIN, J. (1987), Convergence in Karmarkar's algorithm for linear programming, SIAM
J. Numer. Anal., 24, 928-945.
GANTMACHER, F. R. (I 966a) , Théorie des Matrices, Vol. 1, Dunod, Paris.
GANTMACHER, F. R. (I 966b), Théorie des Matrices, Vol. 2, Dunod, Paris.
GASS, S. I. (1976), Linear Programming, McGraw-Hill, New York (4 e édition).
GASTINEL, N. (1966), Analyse Numérique Linéaire, Hermann, Paris.
GEORGE, A. ; LIU, J. W. (1981), Computer Solution of Large Sparse Positive Definite Systems,
Prentice-Hall, Englewood Cliffs.
GILL, P. E. ; MURRAY, W. (1974), Numerical Methods for Constrained Optimization, Academic
Press, New York.
GILL, P. E. ; MURRAY, W. ; WRIGHT, M. H. (1981), Practical Optimization, Academic Press,
New York.
GLOWINSKI, R. ; LIONS, J. L. ; TRÉMOLIÈRES, R. (1976a), Analyse Numérique des Inéquations
Variation nelles, Tome 2 : Applications aux Phénomènes Stationnaires et d'Evolution,
Dunod.
GLOWINSKI, R. ; LIONS, J. L. ; TRÉMOLIÈRES, R. (l976b), Analyse Numérique des Inéquations
Variation nelles, Tome 2 : Applications aux Phénomènes Stationnaires et d'Evolution,
Dunod, Paris.
GoDEMENT, R. (1966), Cours d'Algèbre, Hermann, Paris.
GOLDSTINE, H. H. (1977), A History of Numerical Analysis from the 16th to the 19th Century,
Studies in the History of Mathematics and Physical Sciences, Vol. 2, Springer Verlag,
Berlin.
GOLUB, G. H. ; MEURANT, G. A. (1983), Résolution Numérique des Grands Systèmes Linéaires,
Eyrolles, Paris.
GoLUB, G. H. ; VAN LoAN, C. F. (1984), Matrix Computations, The John Hopkins University
Press, Baltimore.
GRÜNBAUM, B. (1967), Convex Polytopes, Interscience, New York, 1967.
HAGEMAN, L. A. ; YOUNG, D. M. (1981), Applied Iterative Methods, Academic Press, New York.
HALMOS, P. R. (1974), Finite-Dimensional Vector Spaces, Springer-Verlag, Berlin (2 e édition).
HARTLEY, R. (1985), Linear and Nonlinear Programming. An Introduction to Linear Methods
in Mathematical Programming, Ellis Horwood, New York.
HEESTERMAN, A. R. G. (1982), Matrices and Simplex Algorithms, D. Reidel, Dordrecht.
HENRICI, P. (1982), Essentials of Numerical Analysis, J. Wiley, New York.
HESTENES, M. R. (1975), Optimization Theory: The Finite Dimensional Case, J. Wiley, New
York.
HORN, R. A. ; JOHNSON, C. R. (1985), Matrix Analysis, Cambridge University Press, Cambridge.
HOUSEHOLDER, A. S. (1964), The Theory of Matrices in Numerical Analysis, Blaisdell, New York.
IOFFE, A. D. ; TIHOMIROV, V. M. (1967), Theory of Extremal Problems, North-Holland, Amster-
dam.
KANTOROVITCH, L. V. (1948), Functional analysis and applied mathematics, Uspehi Mat. Nauk,
3, nO 6 (28), 89-185 (traduction anglaise: National Bureau of Standards, report
nO 1509, Washington, 1952).
KARMARKAR, N. (1984), A new polynomial-time algorithm for linear programming, Combinato-
rica, 4, 373-395.
KINDERLEHRER, D. ; STAMPACCHIA, G. (1980), An Introduction to Variational Inequalities and
their Applications, Academic Press, New York.
KOLMAN, B. ; BECK, R. E. (1980), Elementary Linear Programming with Applications, Academic
Press, New York.

264
RÉFÉR'3NCES
KÛNZI, H. P. ; TZSCHACH, H. G. ; ZEHNDER, C. A. (1971), Numerical Methods of Mathematical
Optimization, Academic Press, New York.
LANCASTER, P. (1969), Theory of Matrices, Academic Press.
LANCASTER, P. ; TISMENETSKY, M. (1985), The Theory of Matrices, With Applications (Second
edition), Academic Press, New York.
LA PORTE, M. ; VIGNES, J. (1974), Algorithmes Numériques: Analyse et Mise en æuvre. 1.
Arithmétique des Ordinateurs, Systèmes Linéaires, Technip, Paris.
LASCAUX, P. ; THÉODOR, R. (1986), Analyse Numérique Matricielle Appliquée à /'Art de l'Ingé-
nieur, tome 1, Masson, Paris.
LASCAUX, P.; THÉODOR, R. (1987), Analyse Numérique Matricielle Appliquée à l'Art de
l'Ingénieur, tome 2, Masson, Paris.
LAURENT, P. J. (1972), Approximation et Optimisation, Hermann, Paris.
LA WSON, C. ; HANSON, R. (1974), Solving Least Squares Problems, Prentice-Hall, Englewood
Cliffs.
LAy, S. R. (1982), Convex Sets and Their Applications, J. Wiley, New York.
LUENBERGER, D. G. (1969), Optimization by Vector Space Methods, J. Wiley, New York.
LUENBERGER, D. G. (1973), Introduction to Linear and Nonlinear Programming, Addison-Wesley,
Reading.
MCCORMICK, G. (1983), Nonlinear Programming, J. Wiley, New York.
MANGASARIAN, O. L. (1969), Nonlinear Programming, McGraw-Hill, New York.
MANGASARIAN, O. L. ; MEYER, R. R. ; ROBINSON, S. M. (1975), Nonlinear Programming 2,
Academic Press, New York.
MANGASARIAN, O. L. ; MEYER, R. R. ; ROBINSON, S. M. (1978), Nonlinear Programming 3,
Academic Press, New York.
MARTOS, B. (1975), Nonlinear Programming, North-Holland, Amsterdam.
METROPOLIS, N. ; HOWLETT, J. ; ROTA, G. C. (1980), A History of Computing in the Twentieth
Century, Academic Press, New York.
MILLER, W. ; WRATHALL, C. (1980), Software for Roundoff Analysis of Matrix Algorithms, Aca-
demic Press, New York.
MINOUX, M. (1986), Mathematical Programming: Theory and Algorithms, J. Wiley, New York.
MITCHELL, A. R. ; GRIFFITHS, D. F. (1980), The Finite Difference Method in Partial Differential
Equations, J. Wiley, New York.
MURRAY, W. (1972), Numerical Methods for Unconstrained Optimization, Academic Press,
New York.
NEMIROVSKY, A. S.; YUDIN, D. B. (1983), Problems Complexity and Method Efficiency in
Optimization, J. Wiley, New York (traduit du Russe).
VON NEUMANN, J. ; GoLDSTINE, H. H. (1947), Numerical inversing of matrices of high order,
Bull. A mer. Math. Soc., 53, 1021-1097.
NOBLE, B. (1969), Applied Linear Algebra, Prentice-Hall, Englewood Cliffs.
ORTEGA, J. M. (1987), Matrix Theory, A Second Course, Plenum, New York.
ORTEGA, J.; RHEINBOLDT, W. (1970), Iterative Solution of Nonlinear Equations in Several
Variables, Academic Press, New York.
OSTROWSKI, A. M. (1966), Solution of Equations and Systems of Equations, Academic Press,
New York (2 e édition).
PAN, V. (1984), How to Multiply Matrices Faster, Lecture Notes in Computer Science, vol. 179,
Springer-Verlag, Berlin.
PARLETT, B. N. (1980), The'Symmetric Eigenvalue Problem, Prentice-Hall, Englewood Cliffs, N.J.
PISSANETSKY, C. (1984), Sparse Matrix Technology, Academic Press, London.
POLAK, E. (1971), Computational Methods in OptimiZ(1tion, Academic Press, New York.
PRESS, W. H. ; FLANNERY, B. P. ; l'EUKOLSKY, S. ; VETTERLING, W. T. (1986), Numerical Recipes,
the Art of Scientific Computing, Cambridge University Press, Cambridge.
RALSTON, A. ; RABINOWITZ, P. (1978), A first Course in Numerical Analysis, McGraw-Hill, New
York.
RAVIART, P. A. ; THOMAS, J. M. (1983), Introduction à /'Analyse Numérique des Equations aux
Dérivées Partie//es, Masson, Paris.
REID, J. K. (1971), Large Sparse Sets of Linear Equations, Academic Press, Londres.
RHEINBOLDT, W. C. (1974), Methods for Solving Systems of Nonlinear Equations, CBMS-NSF
Regional Conference Series, Volume 14, SIAM, Philadelphia.
ROBERTS, A. W. ; VARBERG, D. E. (1973), Convex Functions, Academic Press, New York.
ROCKAFELLAR, R. T. (1970), Convex Analysis, Princeton University Press, Princeton.
ROTHENBERG, R. I. (1980), Linear Programming, North-Holland, Amsterdam.
ScHRIJVER, A. (1986), Theory of Linear and Integer Programming: J. Wiley, New York.
SCHWARTZ, L. (1967), Cours d'Analyse, Hermann, Paris.
SCHWARTZ, L. (1970), Analyse, Deuxième Partie: Topologie Générale et Analyse Fonctionne//e,
Hermann, Paris.
SCHWARTZ, L. (1979), Analyse Hi/bertienne, Hermann, Paris.

RÉFÉRENCES
265
SOLOMON, L. ; HOCQUEMILLER, M. (1982), Mathématiques Appliquées et Calculatrices Program-
mables, Masson, Paris.
STEW ART, G. W. (1973), Introduction to Matrix Computations, Academic Press, New York.
STOER, J. ; BULIRSCH (1980), Introduction to Numerical Analysis, Springer-Verlag, Berlin.
STOER, J. ; WITZGALL, C. (1970), Convexity and Optimization in Finite Dimension, I, Springer
Verlag, New York.
STRANG, G. (1980), Linear Algebra and its Applications, Second Edition, Academic Press, New
York.
STRANG, G. (1986), Introduction to Applied Mathematics, Wellesley-Cambridge Press, Wellesley.
TIEL, J: van (1984), Convex Analysis, An Introductory Text, J. Wiley, New York.
TODD, J. (1977), Basic Numerical Mathematics, Vol. 2 : Numerical Algebra, Academic Press, New
York.
TODD, J. (1978), Basic Numerical Mathematics, Vol. 1 : Numerical Analysis, Academic Press, New
York.
TRAUB, J. F. ; WOZNIAKOWSKI, H. (1980), A General Theory of Optimal Algorithms, Academic
Press, New York.
V AINBERG, M. M. (1973), Variational Method and Method of Monotone Operators in the Theory
of Nonlinear Equations, J. Wiley, New York.
V ANDERGRAFT, J. S. (1978), Introduction to Numerical Computations, Academic Press, New York.
VARGA, R. S. (1962), Matrix Iterative Analysis, Prentice-Hall, Englewood Cliffs.
VIGNES, J. (1980), Algorithmes Numériques : Analyse et Mise en æuvre. 2. Equations et Systè-
mes Non Linéaires, Technip, Paris.
WALSH, G. R. (1985), An Introduction to Linear Programming (second edition), J. Wiley, New
York.
WATKINS, D. S. (1984), Isospectral flows, SIAM Review 26, 379-391.
WESTLAKE, J. R. (1968), A Handbook of Numerical Matrix Inversion and Solution of Linear
Equations, J. Wiley, New York.
WILKINSON, J. H. (1963), Rounding Errors in Algebraic Processes, Prentice-Hall, Englewood
Cliffs.
WILKINSON, J. H. (1965), The Algebraic Eigenvalue Problem, Clarendon Press, Oxford.
WILKINSON, J. H. (1971), Some comments from a numerical analyst, J. Assoc. Comput. Mach.,
18, 137-147.
WILKINSON, J. H. ; REINSCH, C. (l971), Handbook for Automatic Computation, Vol. 2, Linear
Algebra, Springer-Verlag, Berlin.
WINOGRAD, S. (1980), Arithmetic Complexity of Computations, SIAM Publications, Philadelphia.
WISMER, D. A. ; CHATERGY, R. (1978), Introduction to Nonlinear Optimization, North-Holland,
Amsterdam.
WOUK, A. (1979), A Course of Applied Functional Analysis, J. Wiley, New York.
YOUNG, D. (1971), Iterative Solution of Large Linear Systems, Academic Press, New York.
ZANGWILL, W. I. (1969), Nonlinear Programming: a Unified Approach, Prentice-Hall, Engle-
wood Cliffs.
ZoUTENDIJK, G. (1976), Mathematical Programming methods, North-Holland, Amsterdam.

PRINCIP ALES NOTATIONS UTILISÉES
1. Notations générales
déf : égalité de définition d'un symbole.
: : valeur numérique approchée.
=> : implique.
 : équivalent à.
ð 'j : symbole de Kronecker (ð ij = 1 si i = j, ð ij = 0 si i  j).
ã : nombre complexe conjugué du nombre lX.
 : inclusion stricte.
cþ : ensemble vide.
A - B : intersection de A avec Ie complémentaire de B.
n
II Zi = Z l XZ 2 X... XZ"" OU Z'" si Z, = Z, 1  i  n : produit d'ensembles.
I-I
card (A) : cardinal d'une partie (finie) A.
à : adhérence d.une partie A.
I: A eX-+- B : applicationf d'une partie A de r ensemble X dans l'ensemble B.
1-1 : application réciproque de/.
gf: application composée ; gf(a) = g(f(a)).
11..4 : restriction de I'application f à Ia partie A.
f(A) : image directe de la partie A par rapplication/.
I( ., b), f(ah · · .) ak:-h:, ok.' ..., an} : application partielle.
(Xk)kO, ou (x.J : sUIte Infinle Xo, Xl. ..., Xk' ....
lim Xk: limite de la suite (x.J.
1:-+- 00
Iim f{x) : limite de f(x} lorsque X tend vers o.
z-+-ø
Iim g(t), Iim g(t) : limite de g(t) Iorsque t E R tend vers to par valeurs supérieures, inférieures.
t-+-td t-+-tõ
Iim inf x n = sup ( inf Xm ) : limite inférieure de Ia suite (x n ).
11.-+00 nE!. mn
Iim sup X n = inf ( SUP Xm ) : limite supérieure de Ia suite (x,.).
11.-+-00 nEb mn
Iim inf f(x}, Iim SUp f (X): limite inférieure, suçérieure, def(x} lorsque X tend vers o.
z-+-ø z-+-ø
min {. . .}, max { . . .} : borne inférieure, supérieure, d'un ensemble fini.
inf {. . .}, sup {. . .} : borne inférieure, supérieure, d'un ensemble infini, qu'elle soit atteinte ou
non.

PRINCIPALES NOTATIONS UTILISÉES
267
f(x) = O(x) : il existe une constante C et un voisinage I de 0 dans R+ tels que I.f(x) I  Cx pour
tou t x E I.
2. Ensembles et espaces particuliers
N : ensemble des entiers  O.
Z : ensenlble des entiers relatifs.
R : corps des nombres réels.
R+ = {x E R; x  O}.
R'+ = {v E R" ; v  O} : hyperoctant positif de R'.
C : corps des nonl bres complexes.
K : corps des scalaires (K = R ou C).
6" : groupe des permutations de l'ensemble {I, 2, . . " n}.
d m . n(K) ou elm. n : espace vectoriel des matrices de type (m, n) à éléments dans Ie co"ps K.
d,,(K) ou d" : anneau des matrices d'ordre n à éléments dans Ie corps K.
[a, h], ]a, h[, [a, h[, ]a, h] : notations usuelles pour les intervalles fermés, ouverts, ..., de R,
d'extrémités a et h.
Convention: Si a = - 00, [a, h] = {x E R, x  h} ; si h = + 00, [a, h] = {x E R ; a  x}.
@.m(/) : espace vectoriel des fonctions réelles m fois continûment dérivables sur un intervalle
Ie R.
Pil) : espace vectoriel des restrictions à un intervalle I C R des polynômes de degré  k.
.e(X; Y), ou J2(X) si X = Y: espace vectoriel des applications linéaires continues de X dans Y.
X' = J2(X; R) : dual de X.
Isom(X; Y), ou Isom(X) si X = Y : ensemble des applications linéaires continues, bijectives de X
sur Y, d'applications réciproques continues.
J2'},(X, Y) : espace des applications bilinéaires continues de X dans Y.
3. Matrices
Convention: Jes blancs laissés dans l'écriture des matrices représentent toujours des zéros. Par
exemple,
G -J=G 0 ,
2 2 etc.
2 2 -4
all at:! a 1n
a'll a:! o'},n
A = (a ij ) = matrice de type (m, n).
a m2 a mn
A = (a ij ) : matrice d'élénlents aij (i : indice de ligne ; j : indice de colonne), parfois aussi notés
ai, j'
(A)ij : élément de la i-ème ligne et de la j-ème colonne de la matrice A.
AT : matrice transposée {(AT).j = (A)ji}
A * : matrice adjointe {(A *)ij = (Ä)ji}
A-I : ma trice inverse.
A=
All A t2 . . . An
-- --
A 2t A 22 . . . A 2N
. . .
. . .
. . .
-
AMI A M2 . . . AMN
= (A 1J > : matrice
décomposée par blocs
A  0 : tous les éléments de la matrice A sont  O.
I ou I" : matrice unité, d'ordre n.
diag (IX i ) = diag (lXI, IX2, . . ., IX,,) : matrice diagonale.

268
PRINCIPALES NOTATIONS UTILISÉES
Åi(A) : i-ènle valeur propre de la 111atrice A.
IlI(A) : i-ème valeur singulière de la 111atrice A.
sp(A) = U Î.i(A) : spectre de la matrice A.
i
!,>(A) = nlax I Î. i ( A) I : rayon spectral de la 111atrice A.
i
dét (A) = II ).i(A) : déternlinant de la Inatrice A.
I
tr(A) = L Âi(A) : trace de la 111atrice A.
i
PA : ;. E C -+ PA(Î.) = dét (A - Î.I) : polynôI11e caractéristique de la tnatrice A.
r(A) : rang de la matrice A.
,'*Av
R.. : l' E (Cn- { O } ) -+ R.( l') =- - : q uotient de Ra} leigh de la tllatrice A.
ISo ."- ,.*1' -
cond (A) = II A IIII..-Ill : conditionnenlen de la nlatrice A. relativelnent à la nOrl11e " . II.
cond p (A) = II A"pll A-I lip : conditionnenlent de la 111atrice A. relativelnent à la nonne II . lip
p == I, 2, co.
A = D - E - F : décomposition "D - F - F" par points Oll par blocs de la 111atrice A:
S i A = (aiJ) :
( 0 ) .. = a..å..
I) I) I)'
(E)ij = (- a;j) si i :> j, 0 autrenlent.
(F)ij = (- O'j) si i <" j. 0 autrenlent :
Si A = (AJJ) :
(D)JJ = ðJJAJJ,
(E)JJ = (- A IJ ) si I > J, 0 autrel11ent.
(FhJ = (- AJJ) si I -< J, 0 autrenlent.
J = D-l(E + F) : 111atrice de Jacobi par points ou par blocs.
.12 1 = (D- E)-IF: matrice de Gauss-Seidel par p'.)ints Oll par blocs.
.J2.(') = (D--(oE)-1 {(l-w)D..L(',F} : nlatrice de relaxation par points ou par blocs.
4. Espaces vectoriels
(e , )i=1 ou (ei) : base d'un espace vectoriel de dinlenion finie.
L"
1
" =
1.';!
: vecteur colonne.
V n
VT = (t"l l'2 . .. l'/t) : vecteur transposé.
v* = (v h V2 . .. Un) : vecteur adjoint,
1) = (t'i)1 OU (Vi): vecteur de composantes 1';.
v, OU (v); : i-ème composante du vecteur l'.
"
(u, v)n OU (u v) = L U/'-'i : produit scalaire euc1idn sur Rn,
;=1
"
(u, v)" ou (U, v) = L UiV i : produit scalaire hermitien sur en.
i=l
(u, v) : produit scalaire d'un espace préhilbertien quelconque (à partir du chapitre R).
v ..L U : vecteur t' orthogonal à la partie U.

PRINCIPALES NOTATIONS UTILISÉES
269
U.L = {v E V; l' ..1 V} .
V = VI EÐ V 2 EÐ ... EÐ Jl'N : SOmnle directe de sous-espaces vectoriels.
u=
III
U2
.
.
.
UN
: vecteur décomposé en blocs.
v ;::-; 0 : toutes les composantes du vecteur v sont ;::-; O.
[a, b] = {x = ta+ (1- t) b ; t E [0, I]} : segment fermé d'extrémités a et b dans un espace vec-
toriel.
]a, b[ = {x = ta+(l-t}b ; t E: ]0, I[} : segment ouvert d'extrémités a t b dans un espace vec-
toriel.
Ker (A) = {v EX; Av = O} : noyau de I'application linéaire A : X -.. Y.
1m (A) = {A v E Y; v E X} : image de l'application Iinéaire A : X -+ Y.
5. Normes
II. I! : norme en général ; norme vectorielle ; norme matricielle, subordonnée ou non; norme
d'une application Iinéaire, bilinéaire ; norme euclidienne (à partir du chapitre 8), etc.
II · IIv : norme d'un espace V.
II v lip = { t I vIIP } I/P, P réel ;::-; 1.
'-1
II v IIn = { t I V I 12 } 1/2 : autre notation pour la norme eucIidienne sur Rn, lorsqu'on
'-1 souhaite rappeler explicitement la dimension.
II v II 00 = max I vii.
1::::!!EI::::!!En
II A lit = max L 1 aj.l.
J .
IIAII2 = {g(A*A)}l/2.
II A 1100 = max L I aij ,.
I j
II A liE = {  I ail 1 2 } 1/2 .
I, j
6. Calcul ditférentiel
f' , I" , I<n> pour n  3 : déri vées successi yes d' une f onction réelle I d' une variable réeHe.
aJ =  I , aill = a a 2 ' ' etc. : déri vées partielles d' une f onction réelle I de pI usieurs variables
uXi Xi XJ
réelles x..
fI ô!
A - L . Laplacien en dimension n.
- '-1 ôxf .
I'(a) E ...e(X; Y) : dérivée (première) de I'application f :!J c X -+ Y au point a E !J,!J : ouvert
de X.
I' :!J c X -+ .J2(X; Y) : application dérivée (première).
ôkl(a) E .J2(X k ; Y) : dérivée partielle par rapport à la k-ième variable de l'application
I:!J c X 1 XX 2 X .. ,X n -+ Yau point a.

270
PRINCIPALES NOTATIONS UTILISÉES
f"(a) E .J2 2 (X; Y) : dérivée seconde de l'application f: Q C X -+Y au point a E Q, [} : ouvert
de X.
f" : Q C X -+ .J2 2 (X; Y) : application dérivée seconde.
f E (dm(Q) : l'applicationfest m fois continûment dérivable dans Q (continue si m = 0).
Ôl f(a)
ô 2 f(a)
V' f(a) =
: gradient de l'application f: Q c Rn -+ K au point a.
ô"f(a)
V'2f(a) =
ôl1f(a) ... ô 1n f(a)
ô21f(a) ... ô 2n f(a)
Ôn.1!'(a) ... ô""f(a)
: Hessien de l'applicationf: Q c Rn -+ R au point a.
'1 J(u) : gradient de )'application J: V -+ R en un point u d'un espace de Hilbert V; l'élément
'1 J(u) E Vest défini par J'(u)v = ('1 J(u), v) pour tout v E V.
V'2J(U) : Étant donné une application J: V -+ R, Oil Vest un espace de Hilbert, l'élénlent
\12 J(u) E.J2( V) est défini par J"(u) (v, w) = (V'  J(u) v, w) pour tout v, w E V.

INDEX(I)
Note: Les renvois sont faits aux numéros
de pages.
[A)
ABEL [théorème d' - ] : 25.
accroissements finis
formule des - : 141, 144.
formule des - généralisés : 145.
théorème des - : 141. 162, 165.
affine
application - : 138.
contrainte - : 174.
fonction - par morceaux : 56, 61, 181.
alternative de FREDHOLM en dimension finie :
173.
application
- affine: 138.
- bilinéaire : 137.
- bilinéaire synlétrique: 138, 143. 168.
- composante : 139.
- composée : 140.
- dérivable : 137, 138, 144.
- dérivée : 138, 158.
- dérivée seconde : 143.
deux fois dérivable : 143. 144.
- linéaire : 6. 137.
- partielle : 139.
gradient d' une - : 146, 172.
Hessien d'une - : 146.
approxi nla tion
- au sens des moindres carrés : 69.
méthode des - s successives : 96, 160. 203.
problème d' - de données : 66, 69.
approximation variationnelle [méthode d' - ]
39. 48. 55. 61, 62. 64. 67. 170. 180.
convergence de la - : 56.
système linéaire obtenu par la - : 58, 59,
61, 104, 109, 191.
arrondi [erreur d' - 1 : voir "erreur".
[B]
barre
équilibre de la chaleur dans une - : 48.
torsion élasto-plastique d'une - : 181.
base
- associée à un sommet : 242.
- d'un espace vectoriel de dimension
finie : 4.
BAUER-FIKE [théorème de - ] : 35.
bilinéaire
application - : 137.
application - symétrique : 138, 143.
forme - : 53.
forme - symétrique : 53, 178.
bissection [méthode de -] : 118.
bloc
décomposition A = D- E- F par - s
d'une matrice : 101.
décomposition par - s d'un vecteur : 6.
décomposition par - s d'une matrice : 6.
matrice diagonale par - s : 26.
matrice triangulaire par - s : 26, 72.
matrice tridiagonale par - s : 26.
méthode de GAUSS-SEIDEL par - s : 101.
méthode de JACOBI par - s : 101.
méthode de relaxation par - s : 101.
produit par - s de matrices : 6.
produit par - s d'une matrice et d'un
vecteur : 6.
BUNYAKOVSKII [inégalité de - ] : 15.
(1) Certains des termes qui suivent se retrouvent dans 1'Index du Recueil d'Exercices, accompagnés
de nombreux termes complémentaires.

272
[CI
carrés (moindres - ] : voir "moindres carrés".
CAUCHY-SCHWARZ, inégalité de - : 15, 20,
54, 55, 169.
chaleur (équation de la - J
- en dimension un . 49.
- en. dimension deux: 51.
équilibre de la - dans une barre: 48.
CuOLESKY (factorisation de -] : 65, 87, 89.
CuOLESKY [méthode de - ] : 89, 200.
calcul d'un déterminant par la - : 90.
comptage des opérations élémentaires
dans Ia - : 89.
coercive [fonctionnelle -] : voir "fonction-
nelle" .
compagne : voir "matrice".
complément orthogonal d'une partie: 172.
composante
application - : 139.
- d'un vecteur : 4.
concave (fonction - ] : 154.
condition
- aux limites : 38, 45, 49, 51, 52.
- initiale : 38, 49, 51, 52.
conditionnement
- d'un problème de valeurs propres : 34.
- d'un système linéaire : 29.
- d'une matrice : 29, 31, 92, 120.
- d'une matrice, pour Ie calcul des valeurs
prop res : 35.
cône :
- des directions admissibles : 211, 213,
214, 215.
conjugué : voir "direction", "gradient conju-
gué", "vecteur".
consistance [erreur de - ] : 44.
contraction : 96, 203.
contrainte [- d'un problème d'optimisation] :
174.
- affine: 174.
- affine qualifiée : 215.
- convexe : 174, 218.
- convexe qualifiée : 217, 218, 221, 223.
- égalité : 148, 174, 216.
- égalité affine: 151, 233.
- inégalité : 174, 182, 216.
- inégalité affine: 181, 201, 215, 225,
228, 232.
- qualifiée en un point: 213, 214, 216.
problème d'optimisation avec - s : 174,
201, 206, 216, 222, 226, 227.
problème d'optimisation sans - s: 174,
179,184,194,206,219,222,227.
convergence
- d'une méthode itérative : 96, 184.
- d'une suite de matrices: 21.
- d'une suite de vecteurs : 21.
- de la méthode d'approximation varia-
tionnelle : 56.
- de la méthode des ditférences finies :
42.
- faible: 176, 177.
ordre de - : 44.
convexe
fonction - : 153, 154, 155, 156.
INDEX
fonction strictement - : 153, 154, 155,
156.
fonctionnelle - : voir "fonctionnelle".
partie - : voir "partie convexe".
programmation - : voir "programmation
convexe" .
corde
mouvements stationnaires d'une - : 62.
petits mouvements d'une - : 51, 62.
COURANT-FISCHER [théorème de - ] : 13.
CRAMER [formules de - ] : 25, 80.
cyclage [- dans la méthode du simplexe] :
241, 243, 247.
[DI
décomposition
- A = D- E- F d'une matrice A : 98,
103.
- A = D- E- F par blocs d'une matrice
A : 101.
- A = M-N d'une matrice A: 97,102.
- par blocs d'une matrice : 6.
dérivée
application - : 138.
application - seconde : 143.
- d'une application composée : 140.
- partielle : 139.
- première : 137.
- seconde : 143, 151.
matrice - : 140.
descente [direction de -] : 184, 185, 188, 189,
194, 198.
déterminant d'une matrice : 7.
calcul du - par la méthode de GAUSS : 76.
calcul du - par la méthode de HOUSE-
HOLDER : 92.
calcul du - par les formules de CRAMER :
80.
calcul du - symétrique définie positive
par la méthode de CHOLESKY : 90.
différences finies : 41, 46, 52.
différences finies [méthode des -] : 39, 45,
49, 62, 63.
convergence de la - : 42, 44.
système linéaire obtenu par la - : 40,
47, 51, 52, 53, 59, 104, 109, 191, 200.
direction
cðne des - s admissibles : 211, 213, 214,
215.
- de descente : 184, 185, 188, 189, 194,
198.
- s conjuguées par rapport à une matrice :
197.
dual
problème - : 222, 226, 253, 255, 258.
variable - e : 222, 257.
dual d'un espace vectoriel normé : 137.
dualité
- en programmation linéaire : 237, 252,
255.
- en programmation non linéaire : 222.
- et méthode du simplexe : 257.

[E)
élément
- d'une matrice : 4.
- diagonal d'une matrice : 7.
- hors-diagonal d'une matrice : 7.
éléments finis (méthode des - ] : 61.
système linéaire obtenu par la - : 61, 200.
triangulation dans la - : 61.
élimination dans la méthode de GAUSS: 73,
75, 79.
elliptique [fonctionnelle -] : "voir fonction-
nelle" .
énergie d'une membrane: 61, 180.
équation
- d'EuLER : 147, 156.
- de la chaleur: 49, 51.
- de LAPLACE : 45.
- de POISSON : 45.
- de la chaleur : voir "chaleur".
- des ondes : voir "ondes".
- s non linéaires [système d' - ] : 159.
- s normales : 69, 157, 172.
- s variationnelles : 55,61, 179.
équilibrage d'une matrice : 33.
erreur
- de consistance : 44.
- de troncature : 25.
- s d'arrondi : 24, 25, 78, 131, 200.
vecteur - : 96.
espace
- d'applications linéaires continues : 137.
- d'applications bilinéaires continues:
137.
- de HILBERT: 169.
- préhilbertien : 53, 169.
- vectoriel normé : 14.
EULER
équation d' - : 147, 156.
inéquation d'- : 157, 170, 179.
existence [résultat d' - ]
- d'un zéro d'une application : 161.
- de la solution d'un problème d'opti-
misation : 175, 176, 178, 204.
- de la solution d'un problème de pro-
grammation linéaire : 234, 255.
exposant : 24.
extremum relatif : 146, 158.
- lié : 147, 148.
- par rapport à un ensemble: 147.
[F)
factorisation
- de CHOLESKY d'une matrice symétrique
définie positive: 65, 87, 89, 93.
- LV d'une matrice : 83, 87, 124, 159.
- LV d'une matrice tridiagonale: 85.
- QR d'une matrice: 92, 124, 125.
faible
convergence - : 176, 177.
fermeture - : 177.
semi-continuité inférieure - : 177.
FARKAS-MINKOWSKI [lemme de -] : 208,216,
235, 248, 253.
INDEX
273
fermé [ensemble faiblement - ] : 177.
FLETCHER-REEVES [méthode du gradient con-
jugué de - ] : 201.
fonction
- affine par morceaux : 56, 61, 181.
- concave : 154.
- convexe : 153, 154, 155, 156.
- d'interpolation : 66.
- polynðmiale par morceaux : 66.
- spline cubique d'interpolation: 68.
- strictement concave: 154.
- strictement convexe: 153, 154, 155,
156.
minimisation d'une - d'une variable:
184.
fonction implicite : 141, 148.
théorème des - s : 142, 148.
fonction propre : 63.
fonctionnelle : 174.
- coercive: 166, 175, 176, 183, 205.
- convexe : 156, 166, 176,202.
- elliptique : 166, 182, 184, 185, 186, 189,
190, 192, 194, 195, 199, 202, 203,
204, 225, 228, 230.
- linéaire : 174, 175, 232.
- pénalisée : 206.
- quadratique sur Rn ou sur un espace de
Hilbert: 151, 156, 157, 174, 178,
180, 181, 182, 184, 185, 188, 190,
192, 194, 195, 199, 204, 224. 230.
- strictement convexe : 156, 183, 205.
forme
- bilinéaire : 53, 178.
- linéaire : 53, 178.
formes canoniques d'un problème de pro-
grammation linéaire : 233.
formulation variationnelle
- d'un problème aux limites : 53,61, 178.
- d'un problème de valeurs prop res : 64.
- du problème de la membrane: 61.
- du problème de la membrane s'appu-
yant sur un obstacle : 180.
formule
- de CRAMER: 25, 80.
- de TAYLOR: 39, 47, 69, 144, 158.
- de TAYLOR avec reste intégral: 144,
145, 183.
- de TAYLOR-MACLAURIN: 144, 145, 153,
155, 184.
- de TAYLOR-YOUNG: 144, 152, 155.
- des accroissements finis: 141, 144.
- des accroissements finis généralisés:
145.
FREDHOLM (alternative de - ] : 173.
[G)
GALERKIN [méthode de -] : 61.
GAUSS [méthode de - de résolution de systè-
mes linéaires] : 73, 90, 91, 92.
calcul d'un déterminant par la - : 76.
comptage des opérations élémentaires
dans la - : 79.
élimination dans la - : 73, 75, 79.
pivot dans la - : 73, 75, 76, 79.

274
GAUSS-JORDAN [méthode de de résolution
de systèmes linéaires] : 81.
calcul de la matrice inverse par la - : 81.
pivot dans la - : 81.
GAUSS-SEIDEL [méthode itérative de - de
résolution de systèmes linéaires]: 100.
188.
comparaison de la - avec la méthode de
JACOBI: 100, 105.
convergence de la - : 103, 105, 109.
matrice de - : 100, 101, 106.
- par blocs: 101.
GERSCHGORIN [théorème de -] : 44.
GIVENS [méthode de -] : 118. 120.
GIVENS-HouSEHOLDER [méthode de - de cal-
cui de valeurs propres] : 118, 131.
convergence de la - : 123.
gradient [- d'une application] : 146, 172.
gradient [méthode de - en optimisation] : 189.
- appliquée au problème dual : 226.
gradient à pas fixe [méthode du - ] : 166. 191.
203.
convergence de la - : 192.
gradient à pas optimal [méthode du -]:
166, 188, 194, 195, 196.
convergence de la - : 189.
gradient à pas variable [méthode du -]:
166. 191, 203.
convergence de la - : 192, 204.
gradient avec projection [méthode du - ] : 203.
convergence de la - : 203.
gradient conjugué [méthode du -] : 199.
comptage des opérations élémentaires
dans la - : 200.
convergence de la - : 199.
- de FLETCHER-REEVES: 201.
- de POLAK-RIBIERE : 200.
GRAM-SCHMIDT [orthonormalisation de -] :
9, 94.
(H)
HESSENBERG [matrice de - ] : 26. 127.
Hessien d'une application: 146, 158. 166.
HILBERT [espace de - ] : 169.
HÖLDER [inégalité de - ] : 15.
HOUSEHOLDER [matrice de - ] : 32, 90, 92, 119,
120.
HOUSEHOLDER [méthode de - de réduction à
la forme tridiagonale] : 118.
HOUSEHOLDER [méthode de - de résolution
de systèmes linéaires] : 91.
calcul d'un déterminant par la - : 92.
hyperoctant positif : 171.
(I)
image d'une application linéaire : 173.
inégalité
- de SUNY AKOVSKII : IS.
de CAUCHy-SCHWARZ pour les fonc-
tions : 54. 55. 169.
de CAUCHy-SCHWARZ pour les vec-
teurs: 15.20.169.
INDEX
- de HÖLDER : 15.
- de MINKOWSKI : 15.
- de SCHWARZ: 169, 172.
- triangulaire : 14.
inéquations d'EuLER : 157, 170, 179.
inéquations variationnelles : 179, 182.
initiale [condition -]: voir "condition ini-
tiale" .
initialisation de la méthode du simplexe : 249,
251.
in terpola tion
fonction d' - : 66.
fonction spline cubique d' - : 68.
polynôme d' - : 66.
polynõme d' - par morceaux : 57.
problème d' - de données : 66.
inverse [matrice - ] : 7.
calcul de la - : 72, 81.
inversion locale [théorème d' - ] : 142.
isométrie canonique de RIESZ : 172, 216.
itérations inverses [méthode des -]: 130.
(J)
JACOBI [méthode itérative de - de résolution
de systèmes linéaires] : 99.
comparaison de la - avec la méthode de
GAUSS-SEIDEL: 100, 105, 106.
comparaison de la - avec la méthode de
relaxation : 106.
convergence de la - : 104, 105, 106, 109.
matrice de la - : 99, 101, 105.
- par blocs: 101.
JACOBI [méthode de - de calcul des valeurs
propres] : 111.
convergence de la - : 115.
- avec seuil : 114.
- classique : 114, 115.
- cyclique: 114.
JACOBI [méthode de - de calcul des vecteurs
propres] : 111. 129.
convergence de la - : 117.
Jacobien d'une application : 140.
JORDAN [théorème de -] : 9.
(KJ
KUHN et TUCKER [relations de -] : 216, 221.
[L]
LAGRANGE [multiplicateurs de -] : 149. 216.
219, 221.
Lagrangien
- en programmation linéaire : 253, 255,
257.
- en programmation non linéaire : 221.
225.
LAPLACE [équation de - ] : 45.
Laplacien : 45.
- approché : 47.
problème de valeurs propres pour Ie -
63.

lemme de FARKAS-MINKOWSKI : 208. 216, 235,
248. 253.
limite d'une suite: 21.
limite faible d'une suite: 176.
limites : voir "conditions aux limites", "pro-
blème aux limites".
linéaire
application - : 6. 137.
fonctionnelle - : voir "fonctionnelle".
forme - : 53.
programmation - : voir "programmation
linéaire" .
système - : voir "système linéaire".
LV [factorisation -] : voir "factorisation".
1M]
maillage : 49.
- uniforme : 39, 45, 56, 66.
nreuds d'un - : 39, 46.
pas d'un - : 39, 45, 49.
mantisse : 24, 78.
matrice : 4.
conditionnement d'une - : 29, 31, 92,
120.
décomposition A = D- E- F d'une -
98, 101.
décomposition A = M - N d'une -
97, 102, 103.
déterminant d'une - : 7.
directions conj uguées par rapport à une
- : 197.
élément d'une - : 4.
élément diagonal d'une - : 7.
élément hors-diagonal d'une - : 7.
équilibrage d'une - : 33.
factorisation de CHOLESKY d'une - : 65.
87, 89.
factorisation LV d'une - : 83, 85, 87,
124.
factorisation QR d'une - : 92, 124, 125.
- adjointe : 5.
- bande : 26, 59, 62.
- carrée : 7.
- compagne d'un polynônle : 25.
- complexe: 5.
- creuse : 25, 48, 191. 200.
- d'ordre n : 7.
- d'une méthode itérative : 96.
- de GAUSS-SEIDEL: 100, 101, 106.
- de HESSENBERG : 26, 127.
- de HOUSEHOLDER: 32.90.92. 119. 120.
- de JACOBI: 99, 101. 105.
- de passage: 8.
- de permutation: 7, 73.
- de relaxation: 100, 101. 107.
- de transposition: 74.
- de type (m. n) : 5.
- décomposée en blocs : 6.
- dérivée : 140.
- diagonale : 7, 26, 81.
- diagonale par blocs : 26.
- diagonalisable : 8. 34, 130.
- "facile à inverser" : 73, 98.
- hermitienne : 7. 10, 18,36.90.
INDEX
275
- hermitienne définie positive: 14. 102,
103. 109.
- hermitienne positive: 14.
- inverse : 7.
- inversible : 7. 20
- monotone : 41, -48.
- normale : 7,9. 17,31,35.
- nulle : 5.
- orthogonale : 7, 18,31,32. 112.
- pleine : 5, 25, 81, 111, 131. 200.
- positive : 41.
- rectangulaire : 7. 18.
- réelle : 5.
- singulière : 7, 20.
- symétrique : 7, 9, 10, 18, 36, 48, 111.
118, 120,151,156,197.
- symétrique définie positive: 14, 26, 41,
51, 52, 58, 59, 61, 64, 65, 68, 69,
79,87,104,156,171,174,188,191,
197, 225, 230.
- symétrique positive: 14, 69.
- transposée : 5, 173.
- triangulaire (supérieure ou inférieure):
9,26,72,76,83,87,89,90,92,101.
- triangulaire par blocs : 26, 72.
- tridiagonale : 26, 48, 51, 52, 58, 68, 85.
118, 120, 131.
- tridiagonale par blocs: 26, 48, 59, 62.
105, 106, 109.
- unitaire : 7, 18,31,32,90.
- unité : 7.
- s équivalentes : 10.
- s semblables : 8.
polynôme caractéristique d'une - : 7, 25,
105, 107, 121.
quotient de RA YLFIGH d'une - : 10, 17.
rang d'une - : 8.
rayon spectral d'une - : 8, 18, 21, 96.
réduction d'une - : 8.
sous-espace pro pre d'une - : 7.
sous - : 6.
sous - diagonale : 7.
spectre d'une - : 7.
suite de - s : 21.
trace d'une - : 7.
valeur propre d'une - : 7.
valeur singulière d'une - 10, 18, 31.
vecteur colonne d'une - : 5.
vecteur ligne d'une - : 5.
vecteur propre d'une - : 7.
vecteurs conjugués pour une -: 197.
zéros d'une - : 25.
maximum: 156.
- par rapport à un ensemble: 156.
- relatif: 146, 151.
- relatif par rapport/à un ensemble: 147.
- relatif strict : 152.
- strict : 156.
membrane: 45, 60, 180.
énergie d'une - : 61. 180.
petits mouvements d'une - : 52.
- s'appuyant sur un obstacle: 180.
méthode directe
- de résolution de systèmes linéaires:
25, 26, 200.
- en optimisation : 200, 247.

276
méthode itérative de résolution de systèmes
linéaires : 21, 25, 26,96, 191.
comparaison de deux - s: 97, 100,
102.
convergence d' une - : 96, 97.
matri<;e d'une - : 96.
méthode itérative en optimisation : 184.
minimisation d'une fonction d'une variable :
184.
minimum: 156.
- d'une fonction convexe : 156.
- d'une fonction dérivable : 152.
- en programmation convexe : 218.
- en programmation linéaire : 252, 254.
- en çrogrammation non linéaire : 216.
- par rapport à un ensemble : 156, 173,
218, 252. .
- relatif : 146, 151.
- relatif par rapport à un ensemble:
147, 153,211,212,216,218,219.
- relatif strict: 152.
- strict: 156.
MINKOWSKI [inégalité de - ] : 15.
moindres carrés [a pproxima tion au sens des
- ] : 69.
moindres carrés [solution d'un système liné-
aire au sens des -] : 69, 157, 171, 179.
multiplicateur de LAGRANGE: 149, 216.
- généralisé : 216, 219, 221.
[N]
NEWTON [méthode de - ] : 158, 194.
convergence de la - : 162, 164.
- généralisée : 159, 161, 166.
- pour les fonctions réelles : 158.
nreud d'un maillage : 39, 46.
numérotage des - s : 47.
non linéaire
programmation - : voir "programmation
non linéaire".
système d'équations - s : 159.
normales [équations -]: voir "équation".
norme
équivalence de - s : 15, 21.
- euclidienne : 14.
- matricielle : 15, 18.
- matricielle non subordonnée : 20.
- matricielle subordonnée: 16, 18, 21,
103, 137.
- vectorielle : 14.
noyau d'une application linéaire : 173.
[0]
ondes [équation des - ]
- en dimension un : 51. 62.
- en dimension deux : 53.
opérateur de projection: 169, 173, 202, 204,
226.
opérateur transposé : 173.
opérations élémentaires : 24.
comptage des - : 25, 79, 80, 86, 89, 200.
INDEX
optimisation (problème d' - ] : 173.
existence de la solution d'un - : 175, 176,
178, 204.
- avec contraintes: 174, 201, 206, 216.
222, 226, 227.
- sans contraintes: 174, 179, 184, 194,
206, 219, 222, 227.
unicité de la solution d'un - : 175.
ordre de convergence : 44.
orthonormal [ensemble - de vecteurs] : 4, 94.
orthonormalisation de GRAM-SCHMIDT: 9, 94.
OSTROWSKI-REICH [théorème de -]: 103.
[PI
paramètre de relaxation : voir "relaxation".
partie convexe : 153, 169, 176, 178,202,211,
238.
point extrémal d'une - : 238.
pas d'un maillage : 39, 45, 49.
pas d'une méthode de gradient : voir "gra-
dient à pas fixe; optimal; variable".
pénalisation [méthode de - ] : 205.
convergence de la - : 205.
pénalisée (fonctionnelle - ] : 206.
permutation
groupe des - s d'ordre n : 7.
matrice de - : 7, 73.
PICARD [méthode de - ] : 96.
pivot
- dans la méthode de GAUSS : 73, 75, 76t
78.
- dans la méthode de GAUSS-JORDAN :
81.
- partiel : 79.
- total: 79.
point extrémal d'une partie convexe: 238.
point fixe d'une application : 96, 203.
point-selle: 219, 221, 223, 256.
POISSON [équation de - ] : 45.
POLAK-RIBIÈRE (méthode du gradient conjugué
de - ] : 200.
polyèdre de Rn : 236, 238.
sommet d'un - : 236, 238, 239, 240, 242,
247.
polynôme
matrice compagne d'un - : 25.
- d'interpoJation : 66.
- d'interpolation par morceaux : 66.
- caractéristique d'une matrice : 7, 25,
105-107, 121.
poutre sou mise à une charge transversale: 38.
primal
problème - : 222, 258.
variable - e : 222, 257.
primal-dual [problème - ] : 223.
principe des travaux virtuels : 61.
pro blème
- aux limites en dimension un : 38, 49
52. 53, 67, 104, 109, 178.
- aux limites en dimension deux: 45, 52t
60, 104, 109, 178.
- d'approximation de données : 66.
- d'évolution : 49. 52, 62.
- d'interpolation de données : 66.

problème
- d'optimisation: voir "optimisation".
- d'organisation de production: 235.
- de l'équilibre de la chaleur dans une
barre: 49.
- de la torsion élasto-plastique d'une
barre: 181.
- de membrane: 45, 60, 180.
- de poutre : 38.
- de programmation convexe: voir
"programmation convexe".
- de programmation linéaire : voir "pro-
grammation linéaire".
- de programmation non linéaire : voir
"programmation non linéaire".
- de programmation quadratique : voir
"programmation quadratique". -
- de valeurs propres pour un opérateur
difJérentiel : 62, 63.
- de valeurs propres pour une matrice :
63, 64.
- de valeurs prop res généralisé : 65.
- de vecteurs propres pour une matrice :
63.
- des mouvements stationnaires d'une
corde : 62.
- des petits mouvements d'un système
mécanique : 65.
- des petits mouvements d'une corde :
51, 62.
- des petits mouvements d'une mem-
brane : 52.
- discret (associé à un procédé d'appro-
ximation) : 40, 47, 50, 55, 58, 61,
64, 181.
- du concurrent: 237.
- du consommateur : 236.
- dual : 222, 226, 253, 255, 258.
- primal: 222, 258.
- primal-dual : 223.
produit par blocs de matrices: 6.
produit scalaire
- canonique : 4.
- euclidien : 4.
- hermitien : 4.
- sur un espace vectoriel : 168, 178.
programmation convexe [problème de -]:
174, 204, 205, 206, 218.
existence de la solution d'un - : 176.
programmation linéaire [problème de -]:
174, 232, 237, 252.
exemples de - : 235.
existence de la solution d'un - : 234, 255.
formes canoniques d'un - : 233.
- et dualité : 237, 252, 255.
programmation non linéaire [problème de - ] :
174, 216, 220.
existence de la solution d'un - : 175.
- et dualité : 222.
programmation quadratique [problème de
-]: 174,180,182.
exemple de - : 180, 181.
existence de la solution d'un - : 176, 178.
- avec con train tes : 181.
- et dualité : 225.
- sans contrain tes : 180.
INDEX
277
projection
méthode de gradient avec - : 203.
opérateur de - : 169, 173, 202.
opérateur de - sur l'hyperoctant positif :
170, 226.
- d'un élément sur une partie convexe :
169, 179, 202.
théorème de - : 169, 171, 175, 178, 179t
209.
puissance inverse [méthode de la -]: 130.
[Q]
QR [factorisation -] : voir "factorisation".
QR [méthode - decalcul des valeurs propres] :
123, 129.
convergence de la - : 124, 129.
- avec translation: 128.
QR [méthode du double - ] : 128.
quadratique
fonctionnelle - : voir "fonctionnelle".
programmation - : voir "programma-
tion" .
qualifiée [contrainte -] : 213, 214, 215, 216,
217, 218.
quotient de RAYLEIGH d'une matrice : 10, 17,
36.
[R)
rang
- d'une application linéaire : 8.
- d'une matrice : 8.
RAYLEIGH [quotient de - d'une matrice] : 10,
17, 36.
RAYLEIGH-RITZ [méthode de -] : 64.
rayon spectral d'une matrice : 8, 18, 21, 96.
réduction d'une matrice : 8.
relations de KUHN et TUCKER: 216, 221.
relaxation [méthode de - en optimisation] :
185, 194, 201.
convergence de la - : 186, 202.
- pour un problème avec contraintes :
185.
- pour un problème sans contraintes :
201.
relaxation [méthode itérative de - de résolu-
tion de systèmes linéaires]: 100, 188.
comparaison de la - avec la méthode de
JACOBI: 106.
convergence de la - : 103, 104, 106, 109.
matrice de la - : 100, 101, 107.
- par blocs: 101.
relaxation [paramètre de - ] : 100.
- optimal: 101, 109.
remontée [méthode de -] : 72, 73, 80, 91.
RIESZ
isométrie canonique de - : 172, 216.
théorème de représentation de - : 172,
177, 178, 179.
RITZ [méthode de - ] : 61.
ROLLE [théorème de -] : 57.

278
(S)
scalaires : 3.
schéma
- explicite : 50, 52.
- implicite : 51, 52.
SCHWARZ [inégalité de - ] : 169. 172.
segment: 141.
semi-continuité inférieure faible : 177.
simplexe [méthode du - ] : 241. 258.
cyclage dans la - : 241. 243. 247.
duaIité et - : 257.
initialisation de la - : 249, 251.
progression de la - : 247.
somme directe de sous-espaces vectoriels : 6,
173.
sommet [- d'un polyèdre de Rn] : 236, 238.
239, 240, 242.
base associée à un - : 242.
- dégénéré : 242, 247.
- non dégénéré : 242, 247.
sous-espace propre d'une matrice : 7.
sous-matrice
- d'une matrice : 6.
- diagonale : 7.
so us-relaxation [méthode de - ] : 101.
spectre d'une matrice : 7.
spline [fonction - cubique d'interpolation] :
68.
système linéaire permettant Ie calcul de
la - : 68.
stabilité de méthodes d'approximation : 42. 44,
51.
strictemen t convexe
fonction - : 153. 154. ] 55. ] 56.
fonctionnelle - : voir "'fonctionnelle".
STURM [suite de - ] : 122.
suite
- de matrices: 21.
- de STURM : ] 22.
- de vecteurs : 21.
- minimisante : 175, 176, 234.
sur-relaxation [méthode de - ] : 10 I.
système d'équations non linéaires : ] 50. ] 59.
système linéaire : 23. 72.
conditionnement d'un - : 29.
méthode directe de résolution d'un - :
25, 26, 200 ; voir aussi "CHOLESKY",
"CRAMER", "'GAUSS", "GAUSS-JOR-
DAN", "HOUSEHOLDER".
méthode itérative de résolution d'un - :
21, 25, 26, 96, 191; voir aussi
"GAUSS-SEIDEL", "JACOBI", "relaxa-
tion" .
- à matrice non nécessairement carrée :
173.
- à matrice orthogonale : 32.
- à matrice symétrique : 151.
- à matrice symétrique définie positive :
26, 79, 89, 191, 200.
- à matrice triangulaire : 72, 85, 89, 101.
- à matrice triangulaire par blocs : 72.
- à matrice tridiagonale : 86.
- au sens des moindres carrés : 69, 157,
171, 179.
INDEX
- correspondant à la minimisation d'une
fonctionnelle quadratique: 151.
- obtenu par approximation au sens des
moindres carrés : 69.
- obtenu par une méthode d'approxima-
tion variationnelle: 58, 59, 61.
104, 109.
- obtenu par la méthode de Newton :
] 59.
- obtenu par une méthode de différen-
ces finies : 40, 47,51,52,59, 104,
109.
- obtenu par la méthode des éléments
finis : 61.
- provenant de l'interpolation par une
foncion spline cubique : 68.
- s correspondant à la même matrice :
84. 159. 248.
[T]
TAYLOR, TAYLOR-MACLAURIN, TAYLOR-YOUNG
[formules de - ] : voir "formule".
théorème
- d' ABEL : 25.
d'inversion locale: 142.
- d'OSTROWSKI-REICH : 103.
- de BAUER-fIKE : 35.
- de COURANT-F ISCHER : 13.
- de GERSCHGORIN : 44.
- de JORDAN : 9.
- de projection: 169, 171,175,178,179.
209.
- de représentation de RIESZ : 172. 177,
178. 179.
- de ROLLE: 57.
- des accroissements finis: 141, 162, 165.
- des fonctions implicites: 142, 148.
torsion élasto-plastique d' une barre : 181.
trace d'une matrice : 7.
transposition [matrice de - ] : 74.
triangulation dans une méthode d'éléments
finis : 6 L ] 81.
troncature [erreur de -] : 25.
TUCKER: voir à "KUHN et TUCKER".
[V]
unicité de la solution d'un problème d'optimi-
sation : ] 75.
UZAWA [méthode d' - ] : 227, 229, 258.
convergence de la - : 228.
[V]
variable d'écart : 233. 236. 250.
variationnel: voir "approximation varia-
tionneJle", "équations variationnelles".
"formulation variationnelle", "inéqua-
tions variationnelles".
valeurs propres [problème généralisé de -] :
65.

valeurs propres [- d'un opérateur différen-
tiel] : 62, 63.
approximation des - : 63.
valeurs propres [- d'une matrice] : 7, 63.
calcul des - d'une matrice quelconque :
23, 34, 123.
calcul des - d'une matrice symétrique :
26, 36, 64, 111, 118.
calcul des - d' une matrice symétrique
tridiagonale : 118, 120.
conditionnement d'un problème de - :
34.
voir aussi "GIVENS", GIVENS-HoUSE-
HOLDER", "JACOBI", "QR".
valeurs singulières d'une matrice : 10. 18, 31.
vecteur
composante d'un - : 4.
ensem ble orthonormal de - s : 4.
suite de - s : 21.
- adjoint : 4.
- colonne : 4.
- colonne d'une matrice : 5.
- décomposé en blocs : 6.
- erreur : 96.
- initial d'une méthode itérative : 96, 161,
184.
INDEX
279
- ligne : 4.
- Jigne d'une matrice : 5.
- nul : 5.
orthogonal à une partie: 4.
- positif : 41.
- transposé : 4.
- s conjugués par rapport à une matrice :
197.
- s orthogonaux : 4, 172.
vecteur pro pre [- d'une matrice] : 7, 63.
calcu] des - s : 23, 26, 111, 129; voir
aussi "JACOBI", "puissance inverse".
virgule flottante : 24, 78.
(Z)
zéro d'une application : 158.
existence d'un - : 161.
méthode de NEWTON pour Ie calcul d'un
- : 158.
zéro d'une matrice : 25.
zéro de l'application dérivée : 158, 165.
méthode de NEWTON pour Ie calcul d'un
- : 165, 166.