Aufgewachsen als Sohn eines Lokomotivführers in Mönchaltorf, absolvierte Ernst Brugger in Küsnacht ZH das Lehrerseminar und wurde Primarlehrer. 1936 wurde er Sekundarlehrer in Gossau. 1947 gehörte Brugger noch keiner Partei an, wurde aber dennoch von der Stimmbevölkerung des Bezirks Hinwil in den Zürcher Kantonsrat gewählt. Er war von Anfang an in der freisinnigen Fraktion. Nach zwölf Jahren parlamentarischer Tätigkeit wurde Ernst Brugger 1959 in den Zürcher Regierungsrat gewählt. Er war bis 1967 Direktor des Innern und der Justiz und übernahm dann die Volkswirtschaftsdirektion. Im Militär trug er den Grad eines Major-Dienstchefs bei Heer und Haus.
Ernst Brugger wurde am 10. Dezember 1969 in den Bundesrat gewählt. Nach acht Jahren trat er per 31. Januar 1978 altershalber zurück. Während seiner Amtszeit stand der über Parteigrenzen geachtete Politiker dem Volkswirtschaftsdepartement vor.
Er war Bundespräsident im Jahre 1974 und Vizepräsident im Jahre 1973.
