C'est pas l'HTTPS qui fait que ça charge beaucoup plus vite, c'est le protocol HTTP/2 (qui est possible seulement avec l'https, un choix unanime et arbitraire de la part des navigateurs et de ceux qui font les standard du web), puisque en HTTP/2 les connexions sont multipléxés ce qui veux dire que il y a pas besoin d'initialiser un nombre fou de connexion comme avant.

HTTP/1.1 : n requetes => n connexion
HTTP/2 : n requetes => 1 connexion

Et vu que ce qui prends un temps fous (surtout avec pleins de petits fichier) c'est le dialogue client <-> server pour initialiser les connexions.
On gagne un temps fous sur de l'HTTP/2