Un contrebandier de vers à soie marié, Hervé Joncour, dans la France du XIXe siècle qui se rend au Japon pour récupérer sa cargaison clandestine. Là-bas, il aperçoit une belle femme japonaise, la concubine d'un baron local, dont il devient obsédé. Sans parler la même langue, ils communiquent par lettres jusqu'à ce que la guerre éclate. Leur amour non partagé persiste cependant, et la femme d'Hervé, Hélène, commence à s'en douter.