从广义上来讲，华夏（汉族）以外的民族，全部称“胡人”，但是很多情况下，唐代人所说的“胡人”又专指粟特人。粟特人是居于中国新疆和中亚的少数民族，在中国古籍中被称为“昭武九姓”和“九姓胡”，或者直接简称为“胡人”，他们是丝绸之路上最主要的使者。
“胡”原来是秦汉时期北方游牧民族匈奴的自称。后来成为汉人对戈壁以北和西方（重要为蒙古高原和新疆中亚等地）外族或外国人的泛称。先秦时期中国将北方游牧部族称为北狄，后来狄人逐渐被华夏和蒙古高原崛起的胡人所同化。
胡人原指秦汉时期的北方游牧民族匈奴，匈奴西迁后蒙古高原又相继崛起了鲜卑、突厥、蒙古、契丹等游牧民族。过去的古代教科书上总是说胡人进入中原就被汉化了，本来不然，整个中原也是在不断地接纳胡人文化，逐渐改变、丰富汉人的文化性质。
单以衣食住行及平常生活而言，“五胡乱华”带来的影响是很深远的。汉代的席地而坐逐渐演变成坐在椅上、睡在床上，进门脱鞋也变成穿鞋入门；房间的高度增加了，窗户的位置也提高了；以穿衣服而论，宽袍大袖改变成窄袖长衫。这些改变都是两个文化混合后的结果。
在政治上，胡人统治者对其他的非汉人，即使不是自己的族群，也觉得亲切一点。因此，胡人帝国与中原四邻的心理界限相当模糊，这甚至于影响了他们对信仰的选择——胡人觉得印度传进来的佛教也是一种胡教，是他们感觉比较亲切的宗教，所以他们对佛教的庇护，往往比汉人政权更为积极。