ところが、その翌年となる972（天暦3）年に伊尹が病をえて摂政太政大臣を辞任すると、伊尹の弟である権中納言・藤原兼通（かねみち）と大納言・藤原兼家との間で激しい後継争いが勃発する。二人は円融（えんゆう）天皇の御前で、自分が次の摂政となるべきと主張し合ったという（『済時記』）。 　頼忠は兼通を支持。結果的に、政権の実権は兼通が握ることとなった。同年11月に伊尹が没すると、頼忠は藤原一族の統率者たる藤氏長者（とうしのちょうじゃ）を受け継いだが、974（天延2）年に、その座をあっさり兼通に譲り渡している。 　それからまもなくして病に倒れた兼通は、977（貞元2）年に頼忠を左大臣に任命した。これは、弟の兼家の昇進を阻む、恣意的な人事だったといわれている。 　さらに兼通は、死の直前に関白の座を頼忠に譲った。一部の史料には、これも兼家に関白を明け渡すまいとする、強引な移譲だったとする記述もあるが、関白の座に筆頭左大臣の頼忠が就くのは、本来のすじ道であったと考えられる。 　翌978（天元元）年には太政大臣に就任。同年に娘の遵子（じゅんし／のぶこ）を円融天皇に入内させている。遵子は天皇の寵愛を受けたものの子ができず、一方、兼家が入内させた詮子（せんし／あきこ）は懐仁（やすひと）親王を生んだ。このことで、頼忠の足元が次第に揺らいでいくことになる。 　円融天皇が花山天皇に譲位して以降も、頼忠は関白を務めた。ところが、花山天皇の側近である藤原義懐が朝廷の慣例に従わず、関白を差し置いて政治の実権を掌握すると、徐々に存在感を失っていった。関白とはいえ、天皇と外戚関係になかったことから、「よそ人の関白」などと揶揄されるようになっていたらしい（『大鏡』）。 　懐仁親王が一条天皇として即位すると、頼忠は関白を辞任。太政大臣の兼家が念願の摂政に就くこととなった（『公卿補任』）。病気でもないのに関白を辞任するのは、頼忠が初めての例だったという。 　頼忠は関白を辞めてから3年後となる989（永祚元）年6月26日に病没。三条に住んでいたことから、「三条大臣」「三条殿」とよばれた。