GnuPGのダウンロードは、公式サイトのGnuPG.orgからおこなうことが出来ます。
このウェブサイトは完全に英文で作られていますが、慌てず、以下の操作に従えば簡単にダウンロードを完了できます。

--->

GnuPG.orgにアクセス後、画面左のメニューから[Download]―[Binaries]の順にクリックし、ページを移動します。その位置から数行進むと、行頭にマークの付いた行があるはずです。

このうち、1.*.*(*は各バージョンの値)と書かれているものがWindows用の実行ファイルとなります。同行右側の[FTP]をクリックするとダウンロードを開始します。

Signature～と書かれているものは、同ページ別項「Signature and SHA-1 checksum」参照。

GnuPG.orgにアクセス後、画面左のメニューから[Download]をクリックし、ページを移動します。その位置から数行進むと、行頭にマークの付いた行があるはずです。

このうち、1.*.*(*は各バージョンの値)と書かれているものがソースコードとなります。同行右側の[FTP]をクリックするとダウンロードを開始します。似た項目がいくつか並んでいますが、ファイルの圧縮方式や差分といった差です。

ソースコードとは、大まかに言えばプログラムの設計図のことです。
主に、Windows以外の環境で動作可能なGnuPGの実行ファイルを作成する等の用途に使われます。Windows環境でGnuPGを利用する方には特に関係ありませんので、無視して問題はありません。

Signature～と書かれているものは、同ページ別項「Signature and SHA-1 checksum」参照。

ファイルが正確なものであることを示す署名データです。
PGPソフトウェアで扱う形式のため、GnuPGを含めたPGP系のツールを初めてインストールしようという人にはセキュリティとしての効果を発揮しません。

ただ、インストール後の動作確認に使うことが可能です。
チュートリアル「GnuPGの署名を確認する」で使用していますので、興味のある方はこちらもダウンロードしておいてください。