Dichtbij was een kogelgloeioven. Hier werden de kogels gloeiend heet gemaakt vlak voordat ze werden afgevuurd op vijandelijke houten schepen. Dit omdat ze brand wilden veroorzaken.  De kogelgloeioven is op ware grootte herbouwd, dat zeer klein is. 

De Stenen Baak werd in opdracht van de Vroedschap van Brielle in 1630 gebouwd door de toenmalige stadstimmerman van Brielle: Maerten Cornelis Paeyse. Hij voltooide het in 4 maanden met vier meestermetselaars. Het was een hele prestatie.
Hij bouwde in Brielle ook de stadsgevangenis en het waaggebouw. 

Het geld om de toren te kunnen bouwen kwam van Brielle, de Staten van Holland en West-Friesland. Het stadsbestuur was van mening dat niet alleen Brielle profijt zou hebben, maar ook de koopvaardij en de visserij. De kosten werden verdeeld over alle partijen die er profijt van zouden hebben.

De Stenen Baak functioneerde in samenhang met een verplaatsbaar vuurbaken in de duinen van Oostvoorne. Als beide vuren op een lijn lagen kon de geul in gevaren worden. Omdat de geulen zich verlegden door de verplaatsing van zandbanken, moest het lagere baken verplaatst kunnen worden. 

In de 18de eeuw werd de stenen baak ook militair gezien interessant. Door de monding konden vijandelijke schepen de Maas op en het zuidelijk deel van de provincie Holland kunnen bedreigen. 

Aan het begin van de 18de eeuw werd bij de toren dan ook een klein fort gebouwd dat later in die eeuw uitgroeide tot een kustbatterij, een klein verdedigingswerk, met kanonnen die vijandelijke schepen in de Maasmond konden beschieten. Bij de batterij behoorde ook een kogelgloeioven, waarin de kanonkogels werden verhit.

De loodsen en vissers voorkwamen (meerdere keren) dat de toren werd afgebroken. De militairen vonden het te opvallend en een goed mikpunt. Voor de scheepvaart bleef de toren.
Halverwege de 19de eeuw werd de Stenen Baak als vuurtoren officieel buiten gebruik gesteld; het Rijk verwierf het eigendom van de toren. In 1939 en 1965 werd de toren onder supervisie van de Rijksgebouwendienst gerestaureerd. In 1999 staken vier overheidsinstellingen de koppen bij elkaar: de Rijksgebouwendienst, het Recreatieschap Voorne, Putten en Rozenburg, de gemeente Westvoorne en de gemeente Brielle. Gezamenlijk realiseerden zij de nieuwe bestemming van dit stukje cultureel erfgoed. De toren is sinds juli 2004 voor het publiek opengesteld.

Bij zware regen en/of wind is de toren niet toegankelijk.