Cette réponse est obsolète. Elle n'est conservée que pour historique.
C'est très facile, il faut utiliser les feuilles de styles.
Attention cela ne fonctionne qu'avec les versions 4 et + de Internet Explorer et Netscape 6 et +.
Voici le code à insérer dans l'entete de la page :
<STYLE>
a:link,a:visited {text-decoration:none}
a:hover,a:active{text-decoration:underline;}
</STYLE>