留在河西地区的月氏人有一部分逃入祁连山，与当地的羌族杂处，后来被称为“小月氏”。汉武帝击匈奴时归附汉朝，与今青海湟水两岸和甘肃张掖一带汉人共处，从而有湟中月氏胡、义从胡等名称。「敦煌西域之南山中，从婼羌西至葱领数千里，有月氏馀种葱茈羌、白马羌、黄牛羌，各有酋豪，北与诸国接，不知其道里广狭。传闻黄牛羌各有种类，孕身六月生，南与白马羌邻。」汉武帝元狩二年(公元前121年)汉将霍去病击败匈奴，获取河西地，开通湟中(今青海湟水两岸)，一支小月氏归附汉朝，移居于张掖一带，号为“义从胡”。

小月氏迁居祁连山以南﹐长期与青海羌人(见羌)杂居﹐又称湟中月氏胡。汉代开发河西﹑湟中地区﹐小月氏又向东北迁徙﹐游牧于湟中﹑令居(今甘肃永登)一带。在这里他们有17个部落﹐胜兵9000余人；在张掖一带﹐也有几百户﹐被称为义从胡。河西及金城(今甘肃兰州)一带诸守将部下﹐多有小月氏士兵。久之﹐小月氏盖已融入羌人之中。 

他们被汉人叫做羌虏，在那里生活了很久，直至东汉末灵帝中平元年(184年)还见于史册。居住在匈奴人中间的月氏人，渐渐地与匈奴本族融入，被称为匈奴别部卢水胡。其中沮渠家族推后凉汉官段业为主，在现甘肃地区建立北凉。后沮渠蒙逊杀段业，自立为北凉主。后被鲜卑人拓跋氏北魏所灭。 据《魏书·西域传》载：“小月氏国,都富楼沙城。其王本大月氏王寄多罗子也。寄多罗为匈奴所逐,西徙后令其子守此城,因号小月氏焉。”另有巴基斯坦的小月氏国。