蓄養奴隸的社會中，賤民就是奴隸。商朝對奴隸的稱謂有“仆、奴、妾、臣、宰本義為充當家奴的罪人”等，周朝有“皂、輿、隸、僚、仆、臺”等，奴隸可以像牲口一樣被贈送、買賣、典當，甚至用作“人殉”“人祭”。秦漢時期，被稱為“人奴”“人妾”“廬兒”的奴婢都是賤民。
賤民與良民良人相對，被全面系統化、制度化壓迫，初步形成賤民制度或稱良賤制度是在魏晉南北朝時期。這段歷史時期戰亂頻繁，出現了部曲、兵戶、雜戶、樂戶等世代相襲的賤民。從曹魏的九品中正制到北魏的編戶齊民，確立了系統化、法典化的良賤等級制度。所謂“編戶”即編入戶籍，為自由民良民，所謂“齊民”即平民在法律面前一律平等。但是還有一部分非編戶，是非自由民，也就是賤民。賤民被另外單獨編立戶籍，稱賤籍，賤民人身權利被明文限定，同罪異罰，無法與平民享有平等的法律地位，也不能與平民通婚。
隋唐時期是良賤制度的成熟期，唐律疏議將良民和賤民的權利和義務以法典形式固定下來。唐律中的良民包括各級官吏與編戶齊民，賤民指在州縣無田無貫或編入賤籍的非自由民。
區別在于是官府為奴還是私家為奴，據此分為官賤民和私賤民。官賤民包括官奴婢、官戶番戶、雜戶、工樂戶等；私賤民包括私奴婢、部曲、客女、隨身等。
官奴婢主要來自戰俘、罪犯及其家屬和世襲奴；官戶、雜戶主要來自沒入官府的罪犯及其后人；工匠主要從民間招募而來；樂戶樂工主要來自前朝樂工及從本朝沒入官府的罪人中選出的容貌端莊或有音樂才能的人，如太常音聲人。
私奴婢主要來自官奴婢、自賣或被掠賣的良人、世襲奴；部曲、客女部曲之女主要來自破產貧民自賣為奴或奴婢放免；而隨身是租賃來的短期隨從。
賤民內部也有不同的身份等級。官、私奴婢的地位在賤民中最低，唐律明文規定“奴婢賤人，律比畜產”，可以隨意贈送、買賣。比奴婢地位稍高的依次是部曲、工樂戶、官戶。部曲不準買賣，官戶可以受田。賤民中雜戶和太常音聲人地位最高，他們有戶籍，“受田、進丁服役、老免與百姓同”。賤民一般不能與平民通婚，“人各有偶，色類須同”。除了太常音聲人和部曲可與良人有條件通婚外，其他各類賤民只能與身份相同的賤民結婚，如雜戶配雜戶、官戶配官戶、奴婢配奴婢，所生子女世襲為奴。
唐宋之交，社會出現了巨大變革，城市商品經濟發展，土地所有制發生變化，同時也改變了人身依附關系。
到宋代，雇傭關系成為社會主流，原來屬于賤民的部曲、官戶、雜戶等基本消失，像趙盼兒那類因罪沒入官府為官奴婢的事例已經很少，籍沒罪犯為奴婢的制度在宋代逐漸停止。宋仁宗時期，雇傭奴婢被合法化，稱“人力”“女使”，成為奴婢階層的主體，他們的身份已屬于法律上的良人。雖然奴婢和奴婢制度在古代社會始終存在，但在法律意義上，系統性的良賤制度在宋代已經消亡。至于具體消亡時間是在北宋還是南宋，史學界還存在爭議。
總體來講，相較于前面的唐代和后面的明代，賤民在宋代的地位是相對較高的。宋代占主體的雇傭奴婢，法律身份上屬于良人，他們以契約形式與雇主結成“主仆名分”，地位相當于唐代的部曲甚至更高一些，比唐代的奴婢更是高兩等。宋代的雇傭奴婢已不再是“畜產”或“物”，而是具有一定人格權利的“人”，他們的人身權利受到重視，奴婢可以和奴婢之外的人通婚，主人不能隨意對奴婢動用私刑，主人殺死奴婢，以常人法死罪量刑。