非洲之行，也让高尔顿对人类的差异性产生了兴趣。
在当时的欧洲，许多人认为土著人跟动物没什么差别，所以经常有人把抓来的土著人放到笼子里展览。高尔顿曾经和土著人近距离接触过，所以他并不认为土著人比欧洲的所谓文明人要低等。在他看来，人类之所以千差万别，是因为所处的环境不同。他希望找出一种方法，来“量化”人与人之间的差异。
从那以后，高尔顿就变成了一个研究人类的数据狂。他收集了9337个人的身体数据——身高、体重，腰围、指纹、头的大小，像研究其他事物一样研究人类自身。
除了人外在的数据之外，高尔顿还试图分析人的心理数据，通过大量的问卷调查来研究普遍的大众心理。他最有名的一项实验是：让人回忆某些事件中情景的细节，如光亮、颜色等。高尔顿万万没想到的是，在这项实验中，科学家和数学家的表现不如普通人——他们对于情景细节的记忆一塌糊涂。在报告中，高尔顿说：“他们（科学家）对于颜色的记忆就像是盲人一样陌生。”
高尔顿认为，科学家们之所以记不住细节，是因为他们已经被训练成用抽象性思考。也就是说，人的心理也会因为环境而适应某种思维模式。