精神生活，是与物质生活对待的名词，孔子尚中庸，并没有绝对的排斥物质生活，如墨子以自苦为极如佛教的一切惟心造；例如论语所记“失饪不食，不时不食”“狐貉之厚以居”，谓“卫公子荆善居室”“从大夫之后，不可以徒行”，对衣食住行，大抵持一种素富贵行乎富贵，素贫贱行乎贫贱的态度。但使物质生活与精神生活在不可兼得的时候，孔子一定偏重精神方面；例如孔子说：“饭疏食，饮水，曲肱而枕之，乐亦在其中矣；不义而富且贵，于我如浮云。”可见他的精神生活，是决不为物质所摇动的。今请把他的精神生活分三方面来观察：
第一，在智的方面。孔子是一个爱智的人，尝说：“盖有不知而作之者，我无足也；多闻，择其善者而从之，多见而识之。”又说：“多闻阙疑”“多见阙殆”，又说：“知之为知之，不知为不知，是知也。”可见他的爱智，是毫不含糊，决非强不知为知的。他教子弟通礼、乐、射、御、书、数的六艺，又为分设德行、言语、政事、文学四科，彼劝人学诗，在心理上指出“兴”“观”“群”“怨”，在伦理上指出“事父”“事君”，在生物上指出“多识于鸟兽草木之名”。（例如《国语》说孔子识肃慎氏之石，防风氏骨节，是考古学；《家语》说孔子知萍实，知商羊，是生物学；但都不甚可信。）可以见知力范围的广大至于知力的最高点，是道，就是最后的目的，所以说：“朝闻道，夕死可矣。”这是何等的高尚！
第二，在仁的方面。从亲爱起点，“泛爱众，而亲仁”，便是仁的出发点。他的进行的方法用恕字，消极的是“己所不欲，勿施于人”；积极的是“己欲立而立人，己欲达而达人。”他的普遍的要求，是“君子无终食之间违仁，造次必于是，颠沛必于是。”他的最高点，是“伯夷、叔齐，古之贤人也，求仁而得仁，又何怨？”“志士仁人，无求生以害仁，有杀人〈身〉以成仁。”这是何等伟大！
第三，在勇的方面。消极的以见义不为为无勇；积极的以童汪能执干戈卫社稷可无殇。但孔子对于勇，却不同仁、智的无限推进，而是加以节制。例如说：“小不忍则乱大谋”“一朝之忿，忘其身以及其亲，非惑欤？”“好勇不好学，其蔽也乱。”“君子有勇而无义为乱，小人有勇而无义为盗。”“暴虎凭河，死而无悔者，吾不与焉，必也临事而惧，好谋而成者也。”这又是何等谨慎！
孔子的精神生活，除上列三方面观察外，尚有两特点：一是毫无宗教的迷信；二是利用美术的陶养。孔子也言天，也言命，照孟子的解释，莫之为而为是天，莫之致而至是命，等于数学上的未知数，毫无宗教的气味。凡宗教不是多神，便是一神；孔子不语神，敬鬼神而远之，说“未能事人，焉能事鬼？”完全置鬼神于存而不论之列。凡宗教总有一种死后的世界；孔子说：“未知生，焉知死？”“之死而致死之，不仁而不可为也；之死而致生之，不知而不可为也；”毫不能用天堂地狱等说来附会也。凡宗教总有一种祈祷的效验，孔子说：“丘之祷久矣”“获罪于天，无所祷也”，毫不觉得祈祷的必要。所以孔子的精神上，毫无宗教的分子。
孔子的时代，建筑、雕刻、图画等美术虽然有一点萌芽，还算是实用与装饰的工具，而不信为独立的美术；那时候认为纯粹美术的是音乐。孔子以乐为六艺之一，在齐闻韶，三月不知肉味。谓：“韶尽美矣，又尽善也。”对于音乐的美感，是后人所不及的。
孔子所处的环境与二千年后的今日，很有差别；我们不能说孔子的语言，到今日还是句句有价值，也不敢说孔子的行为，到今日还是样样可以做模范。但是抽象的提出他精神生活的概略，以智、仁、勇为范围，无宗教的迷信而有音乐的陶养，这是完全可以为师法的。