斯大林出身寒微，父亲是个鞋匠，母亲是农奴的女儿，父母都不识字。在公开场合，斯大林只提过父亲一次。斯大林25岁第一次结婚，妻子叶卡捷琳娜是格鲁吉亚人，这段婚姻持续了6年，直到1910年叶卡捷琳娜过早地去世。第二位妻子娜杰日达·阿利卢耶娃（纳佳）将斯大林视为英雄时才16岁，是一个理想主义的漂亮姑娘。在女儿的记忆里，母亲“落落大方，浑身散发着香水的味道”。从1918年结婚起，她伴随斯大林经历内战、持续不断的危机和权力斗争，被冷落在一边。有一次，她随斯大林参加招待会后不舒服，斯大林扶她睡下，并安慰了她，她忽然开口说：“原来你对我还算有一点爱情。 ”1932年11月8日晚，斯大林和夫人出席了一次宴会，他当众对她说：“喂，来，你喝一杯！ ”阿利卢耶娃滴酒不沾并且讨厌喝酒，丈夫的这种口气让她不安，继而愤怒。她跳起来说：“我不是你的什么‘喂’！”然后尖叫着跑出了房间。当天夜里，她用小左轮手枪自杀，年仅31岁。
这件事震动了斯大林，他不理解妻子为什么要结束自己的生命。他问周围的人：难道少陪她去几次剧院真有那么严重？ “在举行遗体告别仪式时，他走近棺木站了一会儿。突然用双手推开棺木，转身走了，他甚至没有去参加葬礼。”斯大林认为妻子是作为一个敌人离开他的，因此拒绝到新圣母公墓去看她的坟。他搬到克里姆林宫的另一套房间去住，直到1932年底都没有在公共场合露过面。他把自己关在房间里，抽烟斗，沉默。十多年来，他倾心于事业、计划、工作、权力、斗争，并以自己的方式爱着妻子，他没想到会是这样一个结果。
以后的20年斯大林一直单身。直到1948年，他才第一次跟女儿谈起亡妻。女儿斯维特兰娜说，母亲的死让父亲对周围的人更加不信任。
斯大林周围满是阿谀奉承、唯唯诺诺、歌功颂德之人，他们加深了他在人群中的孤立。他早就丧失了处理真正的人与人的关系和真正感情的能力。他很少想到子女，也不愿意看到孙子们，其中有一半他完全不认识。
斯大林在寂静的办公室里抽烟斗、思考，在各种文件上签字。通常他向办公室的一方走20步，再朝另一方向走20步，一个决定便作出了。在他70岁时，女儿意识到“他是如此与世隔绝，如此高高在上，好像生活在真空里一样，没有能跟他谈点儿什么的人”。
斯大林一生都处在激烈的争权斗争的中心，他对谁都信不过。他的别墅有复杂的保安措施，包括探照灯。他去南方旅行等同于军事演习。女儿曾经与他同乘一辆专列，车上的警卫将他包围，每到一个车站都戒严。停车时，斯大林下车在月台上散步，也跟机车人员聊天，并且总是咒骂那些给他设置障碍的将校卫士们。维斯特兰娜写道：“这是制度，在这一制度里，他像一个囚徒，看不见人，孤独和空虚使他窒息。”他晚年患高血压却不允许医生接近他，而是“服用一些不三不四的偏方”。他唯一的社交是在别墅的晚宴，也是工作晚餐，参加者是一些尚未失宠的老同僚。这种会餐后来变成大吃大喝、追忆往事和大开玩笑。这种时候斯大林才有局部的舒畅。他常常回忆战争，怀念那些宏大的战役。但偶尔加入者，看到的却是一个有点贪吃、时不时流露农民本色的小老头。
1953年3月1日晚，值班警卫斯塔罗斯壮胆走进了一整天没动静的斯大林的卧室，发现他穿着衬衣和睡裤躺在地板上，勉强能抬手，但一句话也不能说了。他身边，放着一张《真理报》。 10小时之后，医生才获准进入，诊断为脑溢血。世界上最强有力的人物因为自己制定的那一套官僚主义的规定和禁令，没有得到及时救治。
人们发现，斯大林没有什么衣服可以穿着安葬。打开衣橱，一共只有两套元帅服和两套便服，其中黑色那套是毛泽东来访时强迫他专门缝制的，一次也没穿过。一套元帅服上衣很脏，布满油渍，另一套上衣脱了线。最后，斯大林躺在棺材里，穿着旧的、还过得去的元帅服：袖子缝好了，上衣洗刷得很干净。