我们至少能确定两点，第一是秦始皇的后宫极其庞大，收纳了全国各地乃至外国的美女;其二是秦始皇对这些美女极端防范，甚至有些仇视。所以秦始皇并非不近女色之人，他只不过是没有“乱花渐欲迷人眼”罢了！
秦始皇的后宫迷雾重重，几乎没留下什么有价值的信息，以至于我们连他众多子女的生母是谁，都难以确定。秦始皇的子女中，扶苏和胡亥两人最为大家所熟悉，扶苏是秦始皇的长子，本来已经被始皇帝确定为继承人，但后来赵高和李斯合谋矫诏将胡亥扶上了皇位，是为秦二世，而扶苏则最终被逼自杀。
我们虽然没有在正史上看到过扶苏母亲的相关记载，但历来普遍认为她应该是郑国人，最喜欢歌唱《山有扶苏》这首民歌，所以秦始皇为两人的儿子起名扶苏，也就是枝叶繁茂的意思。同时，大家根据胡亥的名字，也猜测他的母亲应该是一名胡姬，来自于西域一带。从这些信息中我们能看出，秦始皇的后宫应该是十分庞大的，不仅有被征服的六国美女，更多显异族风情！
这一点从秦始皇子女的数量方面也能得到证实。据《史记》记载，秦始皇的儿子就多达二十多人，女儿的数量也比较可观。胡亥上位后，十分担心自己的兄长们叛乱，所以在赵高的怂恿下挥起了屠刀，把兄弟姐妹们基本都杀干净了。公子将闾兄弟三人被逼自尽、六名公子和十名公主在杜县（今天的西安雁塔区）被矺（分裂肢体）、十二名公子在咸阳闹市被公开处决……
胡亥杀得尽兴，秦始皇还没死的儿子都绝望了有个名为“高”的公子想跑又害怕全家被杀，所以只能无奈上书胡亥:先帝死了我没跟着去，就是个不忠不孝之人啊，我现在主动请求跟着老爸一起死！胡亥接到信之后也有点不自信了，问赵高:我这么干是不是有点着急了呀？赵高摇摇头说:你做的很好，玩坚持哦！结果胡亥满足了公子高的请求。
当然了，胡亥也没放过秦始皇的女人们，他把自己的妈妈们也都送进了秦始皇陵，让她们到地下去陪老爸，至于他的亲生母亲究竟如何了，我们没有看到记载也不敢妄言，但如果她的命足够硬，活到项羽火烧阿房宫，估计也是在劫难逃。
从上面的记述我们能够看出，秦始皇并非不近女色之辈，反而也是个努力耕耘之人，那为什么会有他不近女色的传闻呢？我想这和他不立皇后、后宫记载一片空白有关系，而秦始皇之所以有这样的行为，很大程度上是源于母亲赵姬行为的影响。赵姬当年被吕不韦送给了公子异人（秦始皇的老爸、庄襄王），后来异人死后又和吕不韦旧情复燃，再后来又和假太监嫪毐搅和到一起，并且生了两个孩子。
虽然秦始皇杀了吕不韦、嫪毐还有那两个孩子，又囚禁了赵姬，但赵姬这种行为肯定给秦始皇带来的心理和现实的双重困扰，心理上他绝对会认为包括亲妈在内的所有女人不可靠，现实中他更要面对臣民的非议，努力肃清赵姬滥情带来的不利影响。试问有过这样糟糕经历的秦始皇，怎么会不仇视女人？又岂能不对后宫的女人们严防死守，让她们没有丝毫干政的可能？
秦王扫六合，虎视何雄哉！ 挥剑决浮云，诸侯尽西来。和诸侯一起来的，自然还有成千上万的各国美女，秦始皇怎么可能不近女色呢？