GnuPGでは、簡単に保持している鍵を削除することができます。
ただし、いつでもすぐに同じ鍵を手に入れることができるとは限らないので、事前に別ページ「鍵の読み出し/書き出し」等でコピーを書き出しておくことをお勧めします。今は必要ないと思っても、またいつ必要になるかわかりません。
GnuPG以外のPGP製品でもそれは変わりません。

なお、秘密鍵はコマンドで出力できませんので、Documents and Settings内のユーザー名\Application Data\gnupg内のデータを手動コピーしておいてください。

--delete-keyは、保持している公開鍵を削除するためのコマンドです。

コマンドは以下のように入力します。

検索語句には、鍵ID、ユーザーID、ユーザー名、コメント、メールアドレスやその一部が利用できます。

検索後、以下のような情報が表示されます。

検索語句から該当する公開鍵が探し出され、一覧表示されます。
これらの鍵を削除しても構わなければ、yを押します。

--delete-secret-keyは、秘密鍵を削除するためのコマンドです。

秘密鍵は再び同じものを外部から取り込むことが不可能ですので、事前にコピーを取り、削除は慎重におこなってください。

コマンドは以下のように入力します。

検索語句には、鍵ID、ユーザーID、ユーザー名、コメント、メールアドレスやその一部が利用できます。

検索後、以下のような情報が表示されます。

検索語句から該当する秘密鍵が探し出され、一覧表示されます。
これらの鍵を削除してもよければ、yを押して、二度承諾すれば削除完了です。

--delete-secret-and-public-keyは、保持している公開鍵と秘密鍵を同時に削除するためのコマンドです。
秘密鍵を削除する際は、同ページ「--delete-secret-key」よりもこちらを使ったほうが勝手が良いかと思われます。(公開鍵だけを残していてもあまり意味がないので)

秘密鍵は再び同じものを外部から取り込むことが不可能ですので、事前にコピーを取り、削除は慎重におこなってください。

コマンドは以下のように入力します。

検索語句には、鍵ID、ユーザーID、ユーザー名、コメント、メールアドレスやその一部が利用できます。

検索後、以下のような情報が表示されます。

検索語句から該当する公開鍵と秘密鍵が検索され(表示は秘密鍵のみ)、一覧表示されます。
これらの鍵を削除してもよければ、yを押して、二度承諾すれば削除完了です。