钓鱼山位于合州城东，“西通嘉陵，东引夔府，上临阆剑，下负重庆”，是重庆北面屏障。山脉雄奇壮丽，山形突兀，峰危壑险。山势东西倾斜，形成了层层台地。西南、西北角及中部山地隆起，形成薄刀岭、马鞍山、中岩等平顶山峦。山顶东西长五百余丈，南北宽三百余丈。山下则是沟壑纵横，山包环拱——东面有脑顶坪、梭子岭、孙家湾、簸箕岩、放牛坪、喊天堡、石子山;西南有艾家湾、小白塔;北面有朱家沟、白鹤庵、鹞子岩;南面有黑水凼、卷耳子。山顶南面有一块巨石，表面平正，凌空突出，俯瞰嘉陵江。传说远古时期曾有一巨神在此钓鱼，救助因天灾而遭受饥馑的合州百姓，此台因而被称为钓鱼台，山则因台得名。在中国历史上，有不少名为“钓鱼台”的古迹，留名青史者有汉代名将韩信钓鱼台、汉人严子陵钓鱼台、晋人陶侃钓鱼台、唐人张志和钓鱼台、金章宗钓鱼台。最著名者，当属姜太公磻溪钓鱼台，由于“姜太公钓鱼，愿者上钩”的典故，“钓鱼”亦有追逐功名之寓意。山因有钓鱼台而名为钓鱼山，又在山上筑城为钓鱼城者，唯有合州一处。
除了山势险峻、易守难攻外，钓鱼山还地处三江汇口——涪江在其南，嘉陵江经其北，渠江在其东，三面环江，为屯兵绝险之地。前任四川制置副使彭大雅修筑重庆城时，已经意识到钓鱼山的天险之利，曾派部将甘闰在钓鱼山筑寨，作为合州官民避乱的场所，此即为钓鱼城修建之始。余玠得到冉氏兄弟献策后，亲自到钓鱼山实地考察，最终决定采纳其建议，并委派冉氏兄弟负责再筑钓鱼城。
修建完毕的钓鱼城山脚周回五十里，分为内、外两城。外城筑在悬崖峭壁之上，依山据险，深沟高垒。城墙完全是大条石垒成，坚固异常。城墙加上自然山岩高度，高达数十丈，且内外布满杂树密藤，古斑苍然。有始关门、护国门、新东门、青华门、出奇门、奇胜门、镇西门、小东门八道大门，另有水洞门一道。钓鱼城周围的山麓有许多田地，城内也有大片可耕之地，即使城池在外被长期围困，于内也能自给自足，长期坚守。作为一座城坚、粮丰、兵足、可耕可战、利于长期坚守的牢固堡垒，钓鱼城自建成后便有效地担负了重庆屏障和四川防御支撑点的重大责任。余玠又将合州治、兴元都统司及利东安抚使均搬到钓鱼城内，钓鱼城遂成为“巴蜀要津”。
不久后，余玠又下令冉氏兄弟以钓鱼城为样本，在四川主要江河如长江、岷江、沱江、嘉陵江、渠江、涪江等沿岸及交通要道上选择地形险要之地，修筑山城二十余座。仅嘉陵江、渠江、涪江三江沿岸，就有大获、青居、云顶、神臂、天生等十一座城堡，这十一座城的水流皆汇注于合州钓鱼城下。