童年时期的吴晗，对劳动国民有深沉的情感。
他六岁那年，有一天，家中来了一位父亲的世交之友。父母以家酿水酒跟便饭待客。喝酒时，客人见吴晗在院子里玩泥巴沙土，便招他来身旁说：“据说你会作诗，当初作一首尝尝好吗？”吴晗从容答道：“你命题吧！”
客人想了想说：“就以你父请饮酒为题吧！”吴晗站在餐桌旁，个子还不如桌腿高，听到诗题，略加思考，脱口吟诵道：“桌中无菜市上有，饮酒何必杏花村。人人都说读书好，吾谓耕者比我高。”客人听罢，大为吃惊，连连称颂说：“小贤侄的诗才和看法均可称奇，了不起啊！”
吴晗对劳动听民的酷爱，不仅吐露于诗篇，而且见诸于举动。他交了很多穷友人。最典范的一位是被称为杨家傻子的孤儿，与吴晗年纪相仿，有股傻气，衣衫破烂，破不蔽体。吴晗很同情他，经常把米饭大碗大碗地倒给他。
还有一位双目失明、沿街卖唱的孤老头，住在邻村。吴晗很尊重这位可怜的白叟，三天两头去探访他。直到吴晗成为赫赫有名的历史学家后，仍没忘却这位老人。1946年，吴晗因家乡为母亲祝寿，还顺便把这位老人请来，扶他上坐，奉为上宾。