霜降节以大新县下雷镇最具特色，其来源与下雷土司传说和庆丰收有关。相传土司第十四世许文英，其妻岑玉音为湖润土司的女儿，曾和其夫于清末一道骑牛到闽越沿海抗倭(一说抗安南)。因为岑玉音是骑着牛去打仗的，所以被称为“娅莫”，“娅”是壮语里对老年妇女的称呼，“莫”即黄牛。
岑玉音抗侵略凯旋之日正值霜降节，为纪念许文英及岑玉音，下雷人民建起玉音庙(庙娅莫)，逢霜降日民众扛着玉音的画像举行游神活动。关于岑玉音的事迹有两种不同的传说，一说壮族妇女岑玉音箭术高超，勇敢过人，曾带兵去广东、福建沿海一带抗击倭寇。她用兵果断，料事如神，多次打败入侵的倭寇，得到皇帝的封赏，最后她解甲回乡，直到逝世。人们因她曾在霜降这一天大败倭寇，所以在这一天举行祭祀以示纪念，逐渐形成为霜降节。
另一说是她和丈夫一起，为保卫壮族人民的安宁及财产，率兵抵御入侵之敌，于霜降之日大获全胜，故当地百姓庆祝三天，定为节日。每逢霜降的前一天，各地壮胞都到下雷附近各村寨借宿，次日清晨到玉音庙进行拜祭。据说清代时，当地州官也要备办供品前来参加祭祀。群众祭祀完后归来，就近表演舞狮、演唱壮剧、民歌等活动，欢度怀念民族英雄的节日。节庆由此而来，已有三百多年历史。
霜降节还与稻作族群的节期规律有关，是丰收节的一种形式。《归顺直隶州志》中关于“霜降节”的记载，里头有：“前一日，州城各户裹粽，谓之‘迎霜粽’。节间燃烛烧香，供祖先，给小孩。四乡亦作糯米糍，谓之‘洗镰’。推原其故，盖幸登场事竣也。”