李元吉去见李建成，他说要让护军宇文宝带人，明日在武德殿将李世民杀掉。
李建成为李元吉一直护着自己而感动，但心中又暗暗责怪李元吉做事有欠考虑。
李建成神情严肃地对李元吉道，“按照宫中规矩，内朝以里就不允许守卫进入，你带卫士进入武德殿院中本就坏了规矩。阿爷不追究还罢，如若追究，你就有图谋不轨之罪。”
李元吉呲牙笑道，“阿爷能将我怎样？难道会将我杀了？”
李建成沉思道，“阿爷杀你倒不至于，但惹恼了他，阿爷会免去你的官职，敕夺了你的护军编制，我们反而是得不偿失。”
李元吉无所谓地道，“只要杀掉老二，大兄没了威胁，我这儿有没有护军已不重要。没了老二，阿爷如再将我杀掉，他又少了一个儿子。”
李建成继续为李元吉分析，在武德殿杀李世民不可行的原因，“关键是你安排的人，在阿爷面前，就没法近身。”
“阿爷看到几名武士向他和二郎走过来，肯定会喝阻。四弟说说，你安排的人会不会停下来？”
李元吉想了想道，“我会提前向他们交代，即使阿爷喝阻也要冲上去杀了老二。”
李建成摇了摇头道，“那样就是谋反之罪。参与之人要抄家灭族，不知有人会否跟着你冒这抄家灭族之罪？”
“即使有人愿意跟着四弟冒这个险，除非你连阿爷也一起杀了，否则待阿爷还过手来，肯定要治你的谋反之罪。”
李元吉此时还没有生出将李渊一起杀掉的胆子，见此计不行，只好打消在武德殿刺杀李世民的计划。
东宫之中，李建成在劝阻李元吉在武德殿院内刺杀李世民。
弘义宫中，李世民、观音婢也在谈论宫中防卫的漏洞。
观音婢奇怪地问李世民，“为何武德殿院内能驻扎兵卒？阿婢记得，我们住在承庆宫时，大门以里是宦者守门，大门以外是监门卫把守。卫士们根本不可能进入承庆殿院中。”
李世民无奈地道，“武德殿院内素来作为齐王府看待，武德门直通外朝。”
“四弟认为，武德门由监门卫把守，府中之人出入不便，就向阿爷请求将武德门改由齐王府的卫士把守。阿爷就特许了四弟的请求。”
“我曾向阿爷提起，这样不合宫中守卫的规矩。阿爷对四弟一向宽容，并没有将这当成大事。”
观音婢担心地道，“阿婢觉得这不是小事，如果四叔好好守卫武德门则罢，假如他生出异心，武德殿向西直通万春殿，向北直通后宫，后果不堪设想。”
“今日大伯、四叔受到阿爷训斥，让他们遣散私募的勇士，难免心中生出怨愤，只怕会做出对阿爷不利的事来。”
“世民阿兄最好现在就去见阿爷，向他陈述利害，最好今晚就将武德门换防，补上这个漏洞。”
李世民早就想将武德门的守卫换防，但时机一直不成熟。
如果李元吉老老实实守着武德门，李世民向李渊强说，反而会显着他多事。
如今，发生了李元吉放护军进武德殿院中驻扎之事，李世民就有了更换武德门守卫的理由。
李世民当即去见李渊，向李渊陈述了其中的利害。
李渊也觉得李世民所说的事不得不防，从李建成、李元吉私募勇士，调动突骑骑兵之事来看，李建成似乎已开始蠢蠢欲动。假如他与李元吉联合，带兵从武德门进入，宫中除了宫女，就是宦者，一个个手无寸铁，那可是如入无人之境。
李渊当即拟了手敕，交给李世民，让李世民带领武卫、监门卫到武德门查看齐王府护军撤离情况，并由监门卫接管武德门守卫。
李世民带人来到武德门，让齐王府守卫去通禀李元吉。
李元吉来到武德门，听说要对武德门守卫进行换防，心中恼怒万分，但李世民拿有李渊手敕，李元吉敢怒不敢言，只得照李渊手敕执行。
李世民派人进入武德殿院中，对齐王府护军撤离情况进行督查，直到撤出最后一兵一卒，才让监门卫将武德门守卫接管。
李建成、李元吉私募勇士，私调突骑骑兵入京，遭到李渊训斥，以遣散所募勇士，太子府右虞侯率可达志流放巂州，撤换武德门守卫收场。
李建成、李元吉与李世民之间的争斗，也暂时消停了几日。
到了五月，天气渐渐变得暑热。
一日，观音婢和李世民对坐于垂拱后殿，观音婢身着轻薄的纱衣，手中不停摇着团扇，仍是香汗淋漓。
李世民看着观音婢说道，“天气越来越热，我们是否找一个地方避一下暑热？”
观音婢发牢骚道，“听说宜州凤凰谷的仁智宫快要建好，到时候你肯定要陪阿爷到仁智宫避暑，我们母子却无资格跟着去，只能靠手中的扇子来解暑了。”
说着，观音婢将手中的团扇连着扇了几下。
李渊崇尚节俭，不主张大建宫室。
李世民听说，宜州凤凰谷中仁智宫虽是名为行宫，实则是建得十分简陋，并非宫殿建筑，多为草房瓦舍，地方也狭小。
按李世民的估计，到时候他随着过去，也要和随行的护卫们一起在宫外搭设营帐居住，所以李世民也不想观音婢带着孩子们去凑这个热闹。
另外，李世民心中还谋划着一件大事，也不想让观音婢和孩子跟着去冒险。
有了这个打算之后，李世民觉得还是让观音婢留在弘义宫为好，现在见观音婢抱怨天热，就笑着道，“我有一个好去处，说不定那里可以躲避暑热。”
观音婢停下手中的扇子，问道，“是哪里？”
李世民提醒观音婢，“阿婢可否记得花园之中那处青屋瓦舍，小桥流水，蚘树修竹。”
经李世民一提醒，观音婢也恍然记起那个如诗如画的地方。她迫不及待地道，“我们不如现在就去看看。”
李世民笑道，“阿婢如此沉不住气，如今殿外烈日炎炎，能将人晒脱一层皮，我看还是晚上再去。”
观音婢坚持道，“就是因为现在是一天中最热的时候，我们过去看才能知道那里有没有避暑的效果。”
“出了殿门有出厦，殿东向后一拐就是通向花园的门，花园里有大树遮阴，根本不会晒着。”
李世民见观音婢坚持要去，只好依着她，两人一起出了垂拱后殿。
还真如观音婢所说，除了殿东一小段路被太阳烤得难受，进了花园，专捡有树的甬路走，确实太阳晒不到。
穿行在花园郁郁的树林之中，顿时没了暑热，反而有微微的凉意。
到了小桥之前，站在树荫之下，向渠水对岸望去，在竹树掩映之下，小院之中正房三间瓦屋，两边各有两间耳房，东厢、西厢各有两间偏房。
房前没有围墙，一圈有栅篱围着，活脱脱乡间一处普通人家的小院。
观音婢仰脸看着李世民，嫣然笑道，“远远看着就觉得凉快。”
李世民、观音婢跨过小桥，到了栅篱跟前，将栅门挪开。
刚一进院，便有树荫遮住身子，微风习习吹来，隐隐感到丝丝凉意。
房门锁着，两人走到门前，隔着门缝向里张望，屋里摆着现成的家俱，只要精心打扫一下，添一些日常所用之物就可以入住。
李世民转过身，看着院中，对观音婢点头，“此处风水很好，后面蚘树修竹，前面小桥流水，后高前低，是风水最好的宅院。”
他指着院中道，“再养几只鸡，渠中放几只鸭，门旁卧一条温顺的黄犬，岂不就是一个温馨祥和的农家？”
观音婢抿着嘴笑，“世民阿兄这样一说，阿婢迷上这儿了，我真想如你说的一样，做一个农家的当家娘子。我明日就让新竹她们收拾，过两日我就和孩子们搬过来。”
李世民坏笑着道，“我呢？”
观音婢白了李世民一眼，“你去找你的大个子美女。”
李世民腆着脸耍坏，“我哪里也不去，就要阿婢。”
说着就一把将观音婢搂在怀里，在她额上亲了一下。
观音婢使劲将李世民推开，嗔道，“大白天也不怕被人看见。”
过不几日，李世民和观音婢便带着几个贴身服侍的宫女，搬到了这处花园中的小院，观音婢为它起名为“青庐”。
李承乾、李泰和李丽质则和乳娘，以及服侍的宫女们，住到了旁边不远的一处三进院子，那里比“青庐”地方还要大些。
李世民、观音婢在“青庐”过上了类似于隐者的悠闲日子。
李建成、李元吉在“私募勇士”受到挫败后，心中一直愤恨难平，看到李世民牢牢把控着京中、宫中局势，越来越有岌岌可危的感觉。
李建成心中仍想着，如何削弱李世民的势力。他仍然没有定下杀李世民的决心。
李元吉心中则想着，如何能早些杀掉李世民。
李建成与封德彝以前就关系密切，曾在太子废立上帮李建成解过危局，因些他对封德彝仍极为依重。
在这生死存亡的关键时候，李建成又想起了封德彝，他将封德彝秘密请到东宫，向封德彝探问应对李世民的计策。
封德彝问李建成有何打算，李建成仍想着，如何破坏李世民在李渊心中的地位，进而侵夺、削弱他的势力。
封德彝对李建成道，“秦王才略超群，如今羽翼已丰，不彻底将其除去，必将后患无穷。”
“不斩草除根，仍能重新再生，何况秦王是一个足智多谋，追随者众多之人？”
李建成为难地道，“如果将二弟除去，孤如何向主上交代？主上肯定会将孤治罪。”
封德彝不以为然地道，“没有了秦王，太子殿下便是主上唯一可托大位之人，他不会处罚太子殿下。”
李建成仍然下不了决心，叹道，“真要如此，孤岂不成了不忠不孝之人？”
封德彝对李建成道，“为四海者，不顾其亲。太子殿下可知何谓‘分一杯羹’吗？”
“项羽抓住汉高祖的父亲，在城上对汉高祖刘邦说，你如不投降，我就将你父亲杀了炖成肉羹吃。刘邦在城下回项羽道，你我是结拜兄弟，我父就是你父，你若将他杀了，请分我一杯羹。”
“太子殿下应效汉高祖，成大事者，不计小节。”
李建成听了封德彝所言，从此下了除去李世民的决心。