「色目人」更是蒙古統治政策下的產物。被分類為「色目人」的人群，他們的體貌多樣，原居地相去數千里，使用文字有畏吾兒文、波斯文等各式的歐亞文字，原先也各有自己的國家、宗教、與文化傳統。但在漢地的管理中，這群人的數量有限，雖然在因俗而治的原則下，管理政策最好逐類設定，但是也有許多場合可以不用考慮他們的背景落差，集體規劃一套獨立於漢地百姓以外的管理規範即可。在集體管理時，他們就能被視為一種人，又因所含人群的多元，各式文書中他們就逐漸被稱為「色目人」。「色目」是「各色名目」的簡稱，「色」與「目」都是「種」、「類」的意思，「各色名目」就是「各種各類」的意思，而「色目人」便可以是「蒙古人」與「漢人」以外的所有族群的總稱。
由上可知，蒙古「四大族群」的分類乃是因應國家管理而設，雖然也會參考其中人群自身的血緣、語言、文化、歷史傳統等條件，但是這些條件未必是主要的考量原則。因為有著現實用途的考量與發展調整的過程，這些分類的內容就有經常變動、模糊不清的情形。早期蒙古在稱呼各種族群時，偶爾會用「色目人」通稱所有本族以外的族群，此時漢人也在「色目人」之中。四大族群的分類，大約要到元代中期才逐漸穩定。可是元朝一直沒有頒布全面解釋國內族群的分類及其定義的法令，現今最多只有看到適用於個別場合，及針對特定或部分族群的規範，這些規範既是數量繁多，也常相互牴觸，連元朝的官員都會感到困擾。
彙編元朝法規的《元典章》曾留下一件犯罪記錄。延祐四年（一三一七），濟寧路官府審理了一件竊盜案，其中的嫌犯張不花是女真人。當時的審理官員查到了大德八年（一三○四）有道命令，規定此類犯罪的懲處，「漢兒、高麗、蠻子」要刺字，色目人不用，可是命令中沒有提到女真人。審理官員不清楚女真人是不是色目人，為求慎重，就請上級說明。案件從行省上到中書省，中書省再下給刑部解釋。刑部查到了至元六年（一二六九）中書省有份投下達魯花赤的任用規定，其中指出女真人屬於漢人，刑部據此作出解釋，張不花該刺字。
從這個案例可以看到，就算是到元代中葉，官府還是很難掌握各族的分類。附帶一提，刑部的確認除了援引法條外，還解釋了如何辨識色目人，提到了因為女真人有姓氏，色目人沒有，所以女真人不是色目人。其實定居漢地後，很多色目人也為自家定了漢姓，像是畏吾兒人廉希憲便是用了其父布魯海牙曾經擔任過的「廉訪使」職銜首字作為漢姓，後人也都改姓「廉」。色目人自立漢姓的情形在元代頗為普遍，刑部的這道解釋看來是有疑慮的。只是下達後是否又會造成基層官員在辨識族群時的困擾，我們就不得而知了。
