Douglas spielt den begabten, unglücklich verheirateten Architekten Larry Coe, der sich in seine attraktive Nachbarin Maggie (Novak) verliebt hat, in deren Ehe es ebenfalls kriselt. Die beiden müssen sich heimlich treffen, während Larry am „Traumhaus“ des exzentrischen Autoren und Playboys Roger Altar (Kovacs) arbeitet. Es gibt nur einen Menschen, der von diesen heimlichen Rendezvous weiß — ihr gemeinsamer Freund Felix Anders (Matthau). Als Larry ein sensationelles Angebot aus Hawaii erhält, fühlt er sich hin- und hergerissen zwischen seinem Heim, seiner Karriere und seiner Liebe zu Maggie. Nachdem Felix dann auch noch Annäherungsversuche gegenüber Larrys Frau (Rush) unternimmt, droht dessen ganzes bisheriges Leben aus den Fugen zu geraten.