KeepAliveTimeoutディレクティブでは、クライアントからの接続要求がない場合でもコネクションを開きっぱなし（KeepAlive）にする秒を指定します。
値を大きくしすぎると、クライアントと接続を維持したままになって無駄にコネクションを開きっぱなしにするため、ほかのクライアントへの応答が遅れます。

接続要求がなくなる秒数＋αぐらいに設定するのが妥当だと思います。

ただし、IEなどブラウザ側（クライアント）でKeepAlive値を持っているので（IEはデフォルト1分）、短い時間が優先されるようです。
参考文献です。