År 1795 invigdes den optiska telegraf som gett upphov till platsens namn. Den fick namnet Kummelnässtationen och placerades på bergets högsta punkt. Med hjälp av vridbara plattor som kunde ses med kikare från långt håll, fördes meddelanden vidare längs Östersjökusten.
Kummelnässtationen monterades ner år 1858, då systemet med optiska telegrafer byttes mot elektriska.
År 1886 beslöt sig oljebolaget Wahlund & Grönberg för att etablera sig på platsen nedanför berget. Under början av 1900-talet byggde de cisterner för fotogen, en kaj och en pumpstation som placerades på en mycket kraftig angöringsbrygga för oljefartygen. Med åren byggdes verksamheten ut även högre upp på berget, och Telegrafberget blev en viktig oljedepå. Verksamheten lades ned 1973 men cisternerna stod kvar ända fram till hösten 2016, då de monterades ned.
2015 var året då HSB förvärvade marken på Telegrafberget. Samma år antogs också en ny detaljplan för området. Omkring 350 bostäder, ett antal kommersiella lokaler och en småbåtshamn ska börja byggas. Det nya skärgårdsläget erbjuder ett boende med vacker natur, närhet till stan och en svårslagen utsikt över vattnet.
Platsens historiska arv tas tillvara på flera sätt. Både bostadshusen och de offentliga utsmyckningarna utformas för att anspela på platsens historia. Det finns också planer på att återställa telegrafen på toppen av berget och göra den tillgänglig för allmänheten.
De röda tegelbyggnaderna nere vid vattnet är välkända för många stockholmare. På senare år har de inhyst Restaurang Telegraf men på grund av byggnationerna är det ingen verksamhet i husen just nu. Hur lokalerna kommer att användas framöver är inte helt klart men husen är k-märkta och ska bevaras. Ambitionen är att de ska rymma verksamheter som lockar besökare till området, till exempel restaurang eller konferenshotell.