En 1936, Sir Hallam Holland (Ed Stoppard) et sa jolie jeune femme Lady Agnes (Keeley Hawes) reviennent d'une mission diplomatique à l'étranger et s'installent au 165 Eaton Place, anciennement la maison de la famille Bellamy mais vacante depuis plusieurs années. Par hasard, ils demandent à Rose Buck (Jean Marsh), une domestique de longue date dans le foyer des Bellamy, de leur trouver un personnel adéquat. Finalement, Rose les rejoint en tant que gouvernante. Les années 1930 sont une période difficile en Angleterre. La Dépression a fait des ravages avec des niveaux élevés de chômage. Le fascisme, qui est devenu populaire sur le continent en Italie et en Allemagne, trouve également des adeptes au Royaume-Uni avec l'Union britannique des fascistes d'Oswald Mosely. Alors que le nouveau personnel commence son travail quotidien, la famille du rez-de-chaussée commence à prendre forme.