早在东晋建康之时，这里住着两大家显族。一家姓王即东晋著名宰相王导的宅邸；另一家姓谢，即东晋名将谢安的宅邸。他们的宅舍建筑占了一整条街，即乌衣巷，位于秦淮河边。秦淮河上有桥，名朱雀桥。这里驻都城卫戍部队，军人都穿黑衣。后来东晋覆亡，家族败落。所以唐代诗人刘禹锡作了一首吊古诗《乌衣巷》。
