有关赵高身世的史料甚少，《史记·蒙恬列传》曰：“赵高者，诸赵疏属也。赵高昆弟数人，皆生隐宫，其母被刑僇，世世卑贱。”就此衍生出了多种说法：

秦宗室远亲说

这种说法主要结合了《史记·秦本纪》关于秦国君主为“赵氏”的说法，并认为赵高的赵氏就是秦国宗室的赵氏。学者曹道衡即持此说，认为赵高与秦王室同族。批评者辛德勇认为，这种说法没有考虑到秦宗室的氏改为“秦”的可能，也与赵高的经历所展现出的情况不相吻合。

赵宗室远亲说

这种说法认为，赵是赵国王族的姓氏，故赵高的父系是赵国王室的疏族。清代学者赵翼曾称：“《史记索隐》谓高本赵诸公子，痛其国为秦所灭，誓欲报仇，乃自宫以进，卒至杀秦子孙而亡其天下。”亦即《史记索隐》记载称赵高属赵国宗室，为报仇而自宫入秦宫。然而，赵翼的引文并不见于传世的《史记索隐》，反而与之抵牾，应属误引，此种赵高复仇之论也缺乏历史根据。

当代学者如李开元亦认为赵高之祖先可能是在秦为人质的赵国王族，处境类似于秦公子异人。批评者认为其证据不足，且有自相矛盾之处。

非宗室说

这种说法对秦宗室、赵宗室的说法都加以反对，认为赵高之“赵”即使是出自造父一支（这种可能性不能完全排除），也已与秦的宗室失去联系，至于赵宗室说则更不足凭信。学者辛德勇即持此说，并进而结合“隐宫”一词推测赵高出身于官奴一类的家庭。然而，“隐宫”究竟如何解释，仍存争议，这又涉及关于赵高阉人身份的考证了。