岳飞大破金兵的时候，手下有个将军叫王佐。他用苦肉计说降了陆文龙，把金兀术打得大败。从此他缺了一只胳臂，不能再打仗了，岳飞便保举他做安乐王，皇帝还答应他在杭州城内造一座王府养老。

安乐王的王府造在河边。动工的时候，泥沙、石灰、石板、木材堆满在河埠上。河上没有桥，原来的一只摆渡船，又被运砖送瓦的工匠占用了，老百姓没法来往，心里很生气，便编出歌儿来唱：

“安乐王，安乐王，为你安乐大家忙！”

王佐从军中回到杭州，得知了这件事情。他想：我一个人要那么大的王府做啥！不如拿这些材料在河上搭座桥，好让大家方便些。于是，他就吩咐工匠，先挑扎实的青砖石板，在河上搭一座大桥，剩下的材料，随便造两间房子做王府。

百姓听说不造王府先造桥，大家都来帮忙。人多力量大，不到一个月工夫，便在河上造起一座宽阔平整的大桥。

河上有了桥，往来很方便，老百姓一高兴，又编出新歌儿来唱：“安乐王，好心肠，造座大桥通四方。”

你唱我唱，一传两传，安乐桥越来越出名。消息刮进宰相秦桧的耳朵里。秦桧心里很妒忌，他说：“造一座桥也扬名！我如今就造它三座，一座比一座阔，一座比一座高，跟你王佐斗斗富有，看看你强还是我强！”

秦桧动动嘴，下面的官员便跑断了腿：增捐加税，抓夫派工，强迫老百姓不分昼夜地造桥。过了整整三个月，在安乐桥同一条河上，并排造起了三座桥，果然是一座比一座阔，一座比一座高。秦桧很得意，亲自给这三座桥取了名字，叫做“斗富一桥”、“斗富二桥”和“斗富三桥”。

桥是给人走的，一条河上有一座桥就够了。要造那么多做什么！老百姓恨死了秦桧，都--读气不走他那三座斗富桥。

因为杭州人讲话的声音“斗富”与“豆腐”差不多，老百姓取笑秦桧，就把那三座桥叫做“豆腐桥”，流传至今。

其实豆腐桥在当地历史文献中还有一种传说。当年张三峰来到福泉的福泉山修炼，当他下山是看见要渡河的人太多，但只有三条小船供他们摆渡，于是用豆腐造了三座桥，并用点石术把桥变成石头，命名名为窦浮桥，因口音不同，所以当地人称作豆腐桥。