贞观四年（公元630年），即唐太宗李世民登基以后的第四年，房玄龄被提升为尚书左仆射，行宰相之职，在其后的近二十年中，他一直连任相职，直至七十岁病逝。
在任相职期间，房玄龄可谓至忠至勤，而且成绩卓著，堪称能相。史书上这样称赞他：“任总百司（总管政府中的各个衙门），虔恭夙夜（日日夜夜谨慎虔诚地处理各类问题），尽力竭节，不欲一物失所（不让一件事办不妥当）。”
在选拔人才方面，房玄龄十分谨慎。唐太宗曾经说过：“选用官吏是一件不可掉以轻心的事，用一君子，则许多君子就会慕名而来；若用一小人，许多小人也就会钻营而来。”在这一点上，房玄龄对唐太宗极其赞赏。他知人善任，常向太宗推荐合适的人才，委以重任。太宗的太子李治府中有一位太子右卫率（主管太子的保卫），名叫李大亮，房玄龄很看重他，说他为人耿直，有西汉忠臣王陵、周勃的气节，可以委以重任。不久，李大亮就被任命为房玄龄的副手。房玄龄在用人方面，既不拘一格，又不求全责备，能够扬其长而避其短。但如果一时找不到合适的人选，他也宁缺毋滥，决不做滥竽充数之举。如管理财政申报开支的部门，很长时间没有人选，但房玄龄认为这个部门关系到“天下利害”，是“民力所系”的地方，“宁虚其位，而不以与人”。他这样做，有时会招致别人说闲话，评论他在授权方面十分吝啬。但他为了国家的利益，对于个人的声誉，从不计较。