Lang geleden, in een prachtig oostelijk koninkrijk, behaagden een koningin en haar volk hun goden door een mystieke pagode te bouwen. De pagode huisvest de vier goden en torent sterk uit boven het prachtige koninkrijk. Naarmate de tijd verstreek, werd de koningin ziek en riep ze haar mensen op om te strijden om haar kroon. De kroon zou worden doorgegeven aan de persoon die de meest ongerepte tuin rond de pagode kon bouwen. De erfgenaam zou door de vier goden zelf worden gekozen.
Het doel van Four Gardens is om de meeste punten op het scorebord te verzamelen door landschapskaarten te voltooien en sets af te werken. Elke afgewerkte set creëert een panoramisch uitzicht op een tuin, en deze sets worden (geen verrassing) "panorama's" genoemd.
Spelers kunnen panorama's voltooien door eerst grondwerkkaarten te leggen, middelen te verwerven door de 3D-pagode te draaien en die middelen toe te wijzen om te voldoen aan de vereisten van elke grondwerkkaart. Eenmaal voldaan, wordt een grondwerkkaart een landschapskaart. Meerdere landschapskaarten die in de juiste volgorde worden gelegd, creëren een panorama. Elke God heeft zijn eigen tevredenheidsmeter die zijn goede wil uitdrukt jegens de tuinen en hun bouwers. Spelers proberen de goden te plezieren door landschapskaarten te voltooien en panorama's af te werken.