PHPのバージョンが5.1系の場合、phpMyAdmin3系は動作しません。
以下はphpMyAdminにアクセスした場合のエラー画面です。

yumではPHPは5.1系までしかインストールできません。（2009/09/24現在）
そのためphpMyAdmin2系でないと利用できないようです。

phpMyAdmin2系をインストールするには

wget http://jaist.dl.sourceforge.net/sourceforge/phpmyadmin/phpMyAdmin-2.11.9.3-all-languages.tar.gz
tar zxvf phpMyAdmin-2.11.9.3-all-languages.tar.gz
mv phpMyAdmin-2.11.9.3-all-languages /var/www/phpMyAdmin
chown -R root.apache /var/www/phpMyAdmin/

http://localhost/phpMyAdmin/でアクセスできるか確認してください。

phpMyAdmin2系の最新はこちらで確認してください。