C'est pas l'HTTPS qui fait que ça charge beaucoup plus vite, c'est le protocol HTTP/2 (qui est possible seulement avec l'https, un choix unanime et arbitraire de la part des navigateurs et de ceux qui font les standard du web), puisque en HTTP/2 les connexions sont multipléxés ce qui veux dire que il y a pas besoin d'initialiser un nombre fou de connexion comme avant.

HTTP/1.1 : n requetes => n connexion
HTTP/2 : n requetes => 1 connexion

Et vu que ce qui prends un temps fous (surtout avec pleins de petits fichier) c'est le dialogue client <-> server pour initialiser les connexions.
On gagne un temps fous sur de l'HTTP/2

ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers EECDH+AES:+AES128:+AES256:+SHA;
ssl_prefer_server_ciphers on;
ssl_ecdh_curve secp384r1;

add_header Strict-Transport-Security "max-age=31536000";

à adapter à votre serveur web.