嘉靖二年，徐阶成功通过考试，被任命为编修。但因触怒了张孚敬，他被贬为延平府推官。这一挫折使他更加谨慎，小心翼翼地侍奉上司，并趁机进入文渊阁，参与朝廷机要。徐阶曾秘密揭发咸宁侯的罪行，并因擅长写青词而获得嘉靖帝的信任。在朝十多年，他小心翼翼，善于迎合皇帝的心意，因此能在朝廷中安身立命。
嘉靖四十一年，徐阶得知嘉靖帝对严嵩父子的不法行为有所察觉，便命令御史邹应龙参劾，最终使严嵩失势，其子被贬。徐阶取而代之，成为首辅。他累官至少师兼建极殿大学士，后来致仕归家。
嘉靖帝认为徐阶工作勤奋，擅长写青词，曾召他进入无逸殿，并赐飞鱼服、上方珍馔。众官推荐徐阶担任吏部尚书，但他却通过迎合皇帝获得赏赐。
当时严嵩专权，徐阶初时不肯依附。严嵩常在皇帝面前说他的坏话，使他处境危险。徐阶意识到不能以卵击石，于是改变策略，事事顺从严嵩。为了得到他的信任，徐阶还将孙女嫁给严嵩之子。表面上十分恭顺，实际上他忍气吞声，等待时机。
徐阶向嘉靖帝靠拢，专门说皇帝喜欢的话，终于赢得了嘉靖帝的喜爱。他不久加官少保，兼任文渊阁大学士，进入内阁参预机务。
后来，他秘密揭发咸宁侯仇鸾的罪行，得到皇帝信任，地位进一步提升。当嘉靖帝居住的永寿宫发生火灾时，徐阶建议利用废墟材料营建新的宫殿，获得嘉靖帝的赞同。他主持建造了万寿宫，使嘉靖帝搬入其中。
一年（1562年），邹应龙告发严嵩父子，皇帝下令逮捕严世蕃，勒令严嵩退休。徐阶取代严嵩成为首辅。
严嵩退休后，徐阶亲自前往安慰。他的行为感动了严嵩，甚至让其子严世蕃向徐阶求情。徐阶虽然受了严家父子多年的气，但他还是答应了他们的请求。其实，徐阶这样做是因为他看出皇上对严嵩还有眷恋之情，而皇上又反复无常，严嵩的爪牙仍在四处活动，时机尚未成熟。后来，嘉靖帝后悔想召回严嵩时，在徐阶的劝说下才打消了这个念头。
嘉靖四十一年（1562年），徐阶成为首辅后大力革除严嵩弊政，注重选拔人才。他举荐的人才进入了内阁。他爱惜人才，曾大力营救因指责皇帝过失而被定死罪的户部主事。他还非常勤政，凡是皇帝交给的任务都能准时完成。他还经常劝说皇帝停止捕杀边镇大臣的做法减少暴敛酷刑的行为。后来因指挥明军抵挡蒙古南下有功而升为建极殿大学士。
嘉靖帝死后徐阶起草遗诏将大礼议中因反对嘉靖帝而获罪的大臣全部存者招用死者优恤。他还减轻了百姓负担清理盐税废除许多浪费项目尤其是皇帝信奉的开支得到了朝中上下的一致拥护被人们称为“贤相”。穆宗隆庆皇帝行为荒诞不经徐阶经常劝阻他最终失望请辞退休回家。退休后他的子弟横行乡里大量购置田产徐家占地多达二十四万亩其子弟家奴为非作歹致使状告他的状纸堆积如山。虽然他曾用重金贿赂官员但最终仍然未能避免被人指责为“权奸”。然而徐阶的历史功绩不能被随意抹去他借机命御史参劾使严嵩失势并慧眼识珠相中张居正提拔其成为次辅为挽救大明王朝奠定了基础。
