SQL*Plusを起動すると下図ウィンドウが表示されます。



通常、このウィンドウからSQL*Plusにログインしますが、起動時に引数を渡すことによって自動接続することができます。

まずSQL*Plusのショートカットを作成します。
次にショートカットを右クリックして「プロパティ」を選択します。
すると、下図のようなウィンドウが開きます。



ここの「ショートカット」タブの「リンク先」欄に実際起動するSQL*Plusのフルパスが書いてますが、このフルパスに起動引数を与えます。
具体的には

C:\Oracle\product\10.1.0\Client_1\BIN\sqlplusw.exe ユーザ名/パスワード@ホスト文字列

というようにユーザ名とパスワードをスラッシュ（/）で区切って、その後にアットマーク（@）を付加してホスト文字列を記述します。
すると、次回ショートカット起動時には起動引数が与えられて実行されるので、ユーザ名などに間違いがなければ、自動的にログインされます。