列子在壶丘子林门下学习期间，与南郭子隔邻而居，他们相邻达十年之久，但彼此从不来往交谈，在路上相遇也无任何表示，以至于所有的人都以为列子和南郭子结下仇怨。
一个从楚国来的人听闻此事，便去问列子：“你和南郭子为什么几十年不说一句话？”
列子说：“南郭子的外表看上去很充实壮健，但他的心灵却很空虚，耳朵听不见，眼睛看不见，口舌也不会说，内心毫无牵挂，形体也不运动。和他交往，并不需要有所行动，因此我们就没有什么来往和交谈，使你们误认我们有仇怨。为了澄清事实，我决定带你们与他相见。”
列子带了四十一个门徒，来到南郭子的住处，望见南郭子悄无声息地坐在那里，好像泥塑木雕似的，别人见此模样，都不敢上前与他交谈。再关注列子，他也好像精神离开形体，呆若木鸡地坐在那里，人们也难以同他交流。
返回住处后，大家纷纷议论列子和南郭子的交往之道，赞叹南郭子的非凡举动。列子说：“得到事物真正奥秘的人不必说话，知道普遍道理的人也不必说话，沉默也是一种语言，大智若愚也是一种智慧，南郭子和我就是这样的人。你们不能理解，却大惊小怪。”
古人说：小人以利交友，普通人以言语交友，君子以神色交友。而列子和南郭子可以称得上是以神色交友了。