Die botanischen Gärten liegen an der schönsten Hafenbucht von Sydney - nicht weit vom Opernhaus entfernt. Einst waren dort die Felder der ersten Farm der Sträflingskolonie. 1816 wurde der erste Teil des Gartens angelegt, der vor allem australische Bäume und Pflanzen ausstellt. Ein gepflegter Weg führt vom Opernhaus am Wasser entlang bis zu Lady Macquarie's Chair, einem in Fels gehauenen Sitz. Die Frau des Gouverneurs Macquarie sah sich von dort das Treiben im Hafen von Sydney an.