东晋后期，土地兼并严重，农民赋税沉重。统治者为了遏制地方割据势力，大肆征兵，导致农民起义，东晋统治名存实亡。420年，掌握实权的东晋大将刘裕，废晋帝自立，东晋灭亡。
420-589年的170年里，中国南方政权更替频繁，先后经历了宋、齐、梁、陈四个王朝。这些王朝都在建康定都，史称“南朝”。
刘裕灭晋后，建国号宋，他就是宋武帝，在位时较有作为。宋朝30年间赋轻役稀，江南民殷国富，进入东晋南朝国力最强盛的时期。
陈朝末年，陈后主不思治理，境内田园荒芜，赋税繁重，百姓流亡，他依然纵情享乐。589年，陈朝灭亡。
东晋统治南方的时候，我国的北方和西南地区先后出现过十几个少数民族割据政权，史称这一时期为“十六国”。此后，439-581年，大约与南朝同一时期，我国北方先后出现少数民族建立的北魏、东魏、西魏、北齐、北周5个政权，历史上称为北朝。北朝与
南朝长期对峙，合称南北朝。
十六国后期，鲜卑族拓跋氏建立的北魏强大起来。鲜卑族拓跋氏原来生活在大兴安岭北段，东汉末南迁，逐渐成为塞上的一支强大军事力量。4世纪后期，拓跋氏首领拓跋珪建立魏国，史称北魏。后来，拓跋珪消灭后燕，占领中原，建都平城。439年，北魏统一黄河流域，与南朝对峙。5世纪中期，北魏将南部边界推进到江淮一带，实力开始超过南方。
6世纪后期，北周武帝进行了一系列改革：政治上，加强中央集权，整顿吏治。经济上，释放奴婢，严惩隐瞒田地、户口的官僚大族；强制大批僧尼还俗从事农业生产。军事上，扩大兵源，灭北齐，统一黄河流域。周武帝死后，朝政日益混乱，大权落入外戚杨坚之手。