Die Stadt liegt in einer Höhe von 2792 Metern am Fluss Urubamba. Nach einer Legende soll ihr Gott Viracocha die Inka angeleitet haben, die Stadt zu bauen.
Ollantaytambo ist das einzige verbliebene Beispiel für Stadtplanung aus der Inka-Zeit. Die Gebäude und Inka-Terrassen sowie die engen Gassen der Stadt befinden sich noch in ihrem ursprünglichen Zustand. Die geraden und engen Straßen bilden 15 quadratische Blocks (canchas), die je einen Eingang zum zentralen Innenhof besitzen, der von Häusern umgeben ist. Einige vornehme Häuser bestehen aus perfekt gearbeiteten Inka-Mauern aus dunkelrosa Stein. Die Inka bauten in Ollantaytambo Verwaltungs-, Landwirtschafts-, Militär-, und religiöse Einrichtungen.
In Richtung des enger werden Tales, und damit Richtung Machu Picchu, befindet ich ein imposanter Inka-Komplex, der auf Grund seiner außerordentlich starken Mauern, früher als Festung diente.
Die Festung liegt so nahe an der Stadt, das sie förmlich über die Stadt wacht, aber gleichzeitig keine 200 Meter vom Marktplatz beginnt. Der Marktplatz ist hier wie üblich ein kleiner Park in de Mitte und drum rum viele kleine hübsche Restaurants.
Da wir erst abends von unserer Tour durch das Heilige Tal angekommen sind, besuchten wir die Festung am darauffolgenden Morgen. So konnten wir mal wieder den Touristenscharen aus dem Weg zu gehen, hatten aber gleichzeitig genügend Zeit um Mittag den Zug nach Aguas Calientes (Stadt unterhalb Machu Picchu) zu nehmen.
