Det tårn, der står på toppen, er ikke bygget for udsigtens skyld alene. Byggeriet begyndte i 1874, og tårnet blev indviet 6. juni 1875 som et mindesmærke over Frederik VII og Grundloven af 1849. Indskriften siger det lige ud: "Til minde om kongen – Frederik d. 7. – det danske folks ven – Grundlovens giver". Kongens relief kom først på i 1891.
Arkitekten var Ludvig Fenger, og de 25 meter blev placeret på et sted, der i forvejen havde en politisk betydning. Digteren Steen Steensen Blicher havde nemlig arrangeret Himmelbjergfesterne fra 1839 til 1844 som folkelige møder på toppen – år før Grundloven overhovedet fandtes.
Traditionen fortsatte efter Blicher. I 1854 stod Michael Drewsen, papirfabrikanten der grundlagde det moderne Silkeborg, i spidsen for en grundlovsfest på bakken. Og i 1892 talte den norske forfatter Bjørnstjerne Bjørnson om fredssagen samme sted. Himmelbjerget har med andre ord været en talerstol lige så længe, som det har været et udsigtspunkt.