ヤフーのページのショートカットリンクを作成し、次にgooのページのショートカットリンクを作成します。
ヤフーのショートカットリンクをダブルクリックし、gooを開くと同じターゲットウィンドウ（ヤフーのページ）にgooが開いてしまいます。
つまり、２つのIEは開かれずに、１つのIEでヤフーが開いて次にgooが開かれます。

これを別々のウィンドウで開くには、デスクトップを右クリックし、「新規作成」 - 「ショートカット」を選択すると、「ショートカットの作成」ウィンドウが開くので

"C:¥Program Files¥Internet Explorer¥IEXPLORE.EXE" "http://www.yahoo.co.jp/"

というようにIEのexeの場所に続けて、空白スペース、開きたいURLを設定します。
設定後、「次へ」を選択し、「名前の指定」ウィンドウが開いたらショートカットリンクの名前を設定して完了です。

このショートカットリンクを２つ作成すると、別々のウィンドウで開くことができるようになります。