杭州是龔自珍的故鄉，他的先人隨宋室南渡，先到餘姚，再遷杭州，到他這一代在杭州定居已有400年，他的《己亥雜詩》中有“家住錢塘四百春，匪將門閥傲江濱”的詩句。龔家至少從六世祖起，世代為官，從他祖父、父親到他這三代，居京官百年之久。杭州馬坡巷是他的出生地，1839年回鄉時他曾寫下“馬坡巷外立斜陽”一句。斯人已去，如今的“龔自珍紀念館”並不是他當年住過的老屋，只是他家附近倖存下來的一處清代舊宅。
馬坡巷離西湖近在咫尺，西湖是龔自珍兒時熟悉的地方。在他童年時，月朗星稀的春夜，梳著雙丫髻、穿著淡黃衫的他，在西湖六橋憑闌吹笛，唱起蘇東坡的《洞仙歌》，觀者無不驚訝，有人還寫出了《湖樓吹笛圖》記其事。那時他不過十來歲。1812年，他21歲，新婚蜜月，曾和妻子泛舟西湖，並作詞一闋《湘月?天風吹我》，其中有“屠狗功名，雕龍文卷，豈是平生意”、“怨去吹簫，狂來說劍，兩樣消魂味”等句子，既有滿腹的抱負，也傳達出幽怨的氣質。簫、劍是他一生的愛物，富有深刻的象徵意義，是他抒情的中心詞之一，之後不斷出現在他的詩詞中，成為他傳達內心世界的一個精神道具。
1814年春天，年僅23歲的他就經歷了喪妻之痛，他把亡妻的靈柩歸葬於西湖茅家埠。春夏之交，他泛舟湖上，憶及前年和妻子同游情景，傷懷不已，用相同的詞牌寫下《湘月?湖雲如夢》。他的詩詞總是籠罩著一種揮之不去的感傷和憂患，即使是想傳達內心的豪情，也總是與隱痛、不平糾纏在一起。“來何洶湧須揮劍，去尚纏綿可付簫”、“一簫一劍平生意，負盡狂名十五年”、“氣寒西北何人劍，聲滿東南幾處簫”，“少年擊劍更吹簫，劍氣蕭心一例消”、“沉思十五年中事，才也縱橫，淚也縱橫，雙負簫心與劍名”……這樣的句子在他的詩詞中伸手可摘，隨處可見。