吕不韦回到邯郸之后，继续花钱为异人巩固人际关系，招揽门客，异人的名声在诸侯间也越来越大。异人当时还未娶妻，有次在吕不韦家吃饭的时候，看到了一个美人一见钟情，就请求吕不韦将这个美女赐给她。这位美女就是赵姬，赵姬是吕不韦的小妾，身材很好，还会跳舞，吕不韦可喜欢她了。
面对异人的请求，吕不韦心里很生气，想着我给你小子花了这么多钱，你还要来抢我的小老婆，真是太过分了。但吕不韦转念一想，已经花了这么多钱了，现在和异人关系搞僵可太亏了，咬咬牙就答应了异人，把赵姬送给了异人。赵姬不久后生下一个儿子，取名为政，就是后来的秦始皇。所以也有坊间传闻说，吕不韦把赵姬送给异人的时候已经怀孕了，所以秦始皇其实是吕不韦的儿子。管他是不是，反正我觉得不是，秦国的宗室制度很严格的，如果嬴政来路不明，肯定没机会当上太子。
异人生下了儿子，安国君和华阳夫人听说后也非常开心，就想让异人回来。异人已经出名了，赵孝成王不愿意放这么个有地位的人质回去，安国君只好拜托吕不韦去游说。吕不韦就向赵孝成王说：“公子异人深受安国君喜爱，如今华阳夫人又想认他当儿子，将来肯定大有前途。大王您想，如果秦国真的要打赵国，也不会因为一个公子而放弃，那赵国就空有人质了。大王不如以礼相待，好好得把异人送回秦国，将来异人上位了，必定不会忘记大王的恩情。”赵孝成王觉得很有道理，就决定放异人回去。
计划赶不上变化，秦赵长平之战爆发，赵国惨败，后来邯郸被围困，情况十分危急。赵孝成王想杀了异人泄恨，吕不韦收到消息后，赶紧花了重金贿赂了邯郸看城门的小兵，这才带着异人逃了出去，得以顺利返回秦国。异人走得匆忙，来不及带上赵姬和嬴政，还好赵姬原先出身在富贵人家，因此依靠娘家藏了起来。
异人回到秦国后，吕不韦提醒他：“华阳夫人是楚国人，公子最好换上楚国的衣服去晋见她。”异人按照吕不韦的建议，换上楚服去拜见了华阳夫人，华阳夫人看到后很感动，当即认异人当儿子，并给他改了名叫子楚。
公元前251年，秦昭襄王去世，他在位五十六年，是秦国史上在位时间最久的君主，秦昭襄王内修政治，外修军事，在范雎、白起等文臣武将的辅助下，为秦国统一六国铺平了道路。太子安国君继位，号秦孝文王。秦孝文王因为在给老爹守丧，还没有正式登基，不过他先册封华阳夫人为王后，异人也顺利地当上了太子。异人当上太子之后，赵国派人把赵姬和嬴政送了回来。
公元前250年，秦孝文王正式登基，但才过了三天就暴毙而亡，关于秦孝文王的死因，众说纷纭，不去计较了，反正就是死了呗，他是秦国史上在位时间最短的君主。子楚于是继位，号秦庄襄王，从一个不受待见的王孙，一举成为秦王，子楚在吕不韦的计划下彻底改变了命运。
子楚上位后，尊华阳夫人为华阳太后，生母夏姬为夏太后，任命吕不韦为丞相，封文信侯，后来还把洛邑封给了吕不韦，吕不韦的这次政治投机真是赚大发了。