伏尔泰一生不曾结婚，但身边从没有离开过情人。从19岁第一次“海牙之恋”开始，他身边的情人就接连不断。虽然他常常遭到迫害，但他的才华，他的财富，吸引了不少贵妇人。伏尔泰一直沉醉于情妇们的乐趣之中，这在哲学家的队伍里是很少见的。然而，伏尔泰不仅仅是哲学家，他也是历史学家、社会活动家，他的百科全书式的学识，轰轰烈烈的社会活动使他选择情人而不是妻子，当时的社会风尚也是如此。在众多情人中，对伏尔泰帮助最大、影响最大的是夏特莱侯爵夫人，他们的关系也最长久。侯爵夫人在出嫁前叫爱米莉，是个有名的才女，据说她的拉丁文说的像西塞罗一样流利，数学演算可与欧几里德相媲美。她既风流自赏，又有哲学家的气质，酷爱打扮，喜欢唱歌和跳舞，在男女交往上同当时的法国女子一样随便。
爱米莉在婚前就见过伏尔泰，当时他还只是一个稍有名气的年轻人，两人曾有不多的书信往来。后来她对享有盛名的伏尔泰爱慕之至，央求一朋友带她来见伏尔泰。当她们来到伏尔泰的住所时，她大胆而从容地投入伏尔泰的怀抱，搂住他的脖子，热烈地吻着他。第二天，伏尔泰就给她写了情书。他之所以这么做，不仅仅是肉体和情欲的需要，更重要的是思想和精神上的要求。他自英国回来，深受牛顿科学发现和洛克哲学原理的影响，一天到晚嘴里挂着这两个人的名字。可是当时的巴黎很少有人能和他讨论这些问题，只有爱米莉是个例外，她不仅具有出色的科学头脑，不仅理解他所谈论的一切，而且相信他的观点。伏尔泰对自己能有这样一位既有较高社会地位，又有科学头脑和进步思想的情妇也非常满意。
一件意外的事件促使伏尔泰更快地投入到爱米莉的怀抱，他的《哲学通信》出版后，被巴黎高等法院列为禁书，他作为该书的作者，在巴黎无处藏身，于是投奔爱米莉。爱米莉的丈夫夏特莱侯爵在法国东北部香槟省西雷镇的布莱滋河畔有一处宅邸，伏尔泰很喜欢这个地方，它距比利时边境很近，一有风吹草动，逃到国外也很方便。夏特莱侯爵豁达大度，对妻子移情别恋毫不介意，同意把西雷别墅供伏尔泰和爱米莉使用。当时法国的风俗准许一个已婚的女子在家里添一个情人，于是，当侯爵夫人不仅选了一个情人，而且选择了一个天才之后，全法国都原谅了她。
伏尔泰和爱米莉像夫妻一样生活在一起，白天他们分别在自己的房间，一个赋诗，一个演算几何；一个潜心自己的写作，一个专心致志地做实验。大厅里堆放着数学、物理、化学、天文学等个方面的书籍和仪器。晚饭后，他们一起喝咖啡，然后各自分头工作，直到深夜才在一起。夏特莱侯爵非但不憎恨伏尔泰，反而对这位杰出作家非常尊敬，视为好友，有时他也从部队回到西雷，看望妻子和他的情人，从不干扰他们的事情。
