su problema no es con las propias páginas de administración, simplemente no son lo suficientemente grandes como para verse enormemente afectadas por la conexión lenta, sino con los archivos JS y CSS. Puede establecer una fecha de caducidad para ellos, lo que señalará al navegador que puede almacenar en caché hasta ese momento.
Para almacenarlos en caché durante una semana en su archivo .htaccess agregue (idea tomada de askapache )
# 1 WEEK
<FilesMatch "\.(jpg|jpeg|png|gif|swf|js|css)$">
Header set Cache-Control "max-age=604800, public"
</FilesMatch>
El parámetro max age especifica el tiempo en segundos después del cual se debe recuperar la url.
Si esto no es lo suficientemente bueno, tal vez porque la memoria caché de su navegador está llena de otros archivos a los que accede con más frecuencia, entonces debería instalar un proxy de almacenamiento en caché en su PC, configurarlo para que siempre guarde en caché JS y CSS desde su sitio, y configura el navegador para utilizar el proxy.