出仕した時期はさておき、賢子は宮中におけるさまざまな上級貴族との恋の噂がささやかれた。例えば、藤原公任（きんとう）の息子である藤原定頼（さだより）や、藤原道長と源明子（みなもとのあきこ）との子である藤原頼宗（よりむね）、源時中（ときなか）の子・源朝任（あさとう）などである。 　彼らとの恋愛を経て、関白を務めた藤原道兼（みちかね）の次男である兼隆（かねたか）との間に娘をもうけたとされる。結婚をしたわけではなく、どうやら一時的な恋愛の末に出産に至ったらしい。 　そんななか、1025（万寿2）年8月に東宮・敦良親王（あつながしんのう／のちの後朱雀／ごすざく／天皇）に第一皇子である親仁（ちかひと）親王が生まれると、賢子はその乳母に抜擢された。 　その後、公卿・高階成章（たかしなのなりあき）と結婚。成章との間に一男一女をもうけた。1045（寛徳2）年に親仁親王が後冷泉（ごれいぜい）天皇として即位したことに伴い、従三位に叙され、典侍となった。 　夫・成章は後冷泉天皇の治世下だった1054（天喜2）年に大宰大弐（だざいのだいに）に任じられており、このことを由来として賢子は「大弐三位」という女房名で称されることとなる。 　成章は1058（天喜6）年に赴任先の大宰府で死去したが、賢子の没年は分かっていない。1073（延久5）年に後冷泉天皇の後に即位した後三条天皇が崩御した際に、後三条天皇の乳母との和歌のやり取りが確認されている。1082（永保2）年頃に死去したとする研究もあるが、いずれにしても80歳前後となる長寿を誇った生涯だったようだ。 　宮中では朝廷の役職に就いた父や男兄弟の経歴が女房の名を高めたり、広めたりすることがあったが、賢子の場合は祖父・藤原為時（ためとき）や父・宣孝より、紫式部の娘と見られることが多かったらしい。それが賢子の心中にどう作用したかは知る由もないが、賢子は歌人として大いに活躍し、『藤三位集』という歌集を残したり、『小倉百人一首』に歌が選ばれたりするなど、文化人として大成した。 　また、乳母は教育係の側面もあるが、後冷泉天皇の風流な人柄を指して賢子の育て方を称賛する声もある（『栄花物語』）。 　宮仕えの女房としても、『源氏物語』で名高い母・紫式部に、負けずとも劣らない評価だったようだ。