日本武士的产生是在平安时代，九世纪中期开始，一些地方领主开始建立保卫自己的私人武装，并利用其扩张势力。这种武装逐渐成熟为一种制度化的专业军事组织，其基础是宗族和主从关系。到了十世纪，朝廷无力镇压地方势力的叛乱，不得不借助各地武士的力量，武士更进一步得到了中央的承认，成为日本的特权统治阶级。
日本镰仓幕府是日本武士道的发源地，不过并没有成型，而是后来经江户时代吸收儒家思想才最终成型。镰仓幕府建立武士道之初，还是以倡导忠诚、信义、廉耻、尚武、名誉为主，但做为封建幕府时代政治的产物的武士道，它根本不无法吸收到儒家和佛教的真谛，倒是日本民族固有的神道教，弥补了儒教和佛家的思想中不能满足武士道的某些缺憾。
12世纪的日本，贵族开始丧失支配政治的权力，以“国”为单位的军事贵族崛起，伴之而来的是政治权威和土地控制权的新制度出现。随着皇室和藤原氏之间斗争的加剧，新兴的武士集团开始登上政治舞台。
武士集团的形成是和以天皇为首的中央集权制的瓦解和庄园制的发展分不开的。由于庄园的普遍建立，庄园之间的矛盾斗争日益增多。庄园主为了扩大领地，经常要去强占别人的土地；被别人强占土地的领主要保护自己的利益，都要诉诸武力。于是一部分庄民被武装起来，开始时还是亦农亦武，以农为主；后来则成了职业的武士。
中央负责行政与保护机关的衰败，使得私人携带武器自卫的现象普遍存在。而且由于实行征兵制度，国司家族成员或庄官阶级充当军役时，也有私人携带武器的行为。逐渐，国司贵族自己变成武士阶级，接受军事训练，参与战事，为现有的权威体制服务，以遏止地方上的动乱。随着被召集参加密集的军事行动，武士们有渐渐形成集团、部队的趋势。他们大都簇拥着某一领袖人物--在“国”中，一个人的威望来自本身武艺和地位的结合。因此在国中能够崭露头角者，多为朝中显贵家族外放至国衙的后代子弟。他们搬出京城来到地方，就是为了寻求出任地方官吏的机会。新生武士集团中，以藤原氏、源氏和平氏的威信为最著。
寺院和神社的庄园 组织自己的“僧兵”，也加入红尘的纷争之中。僧兵借助神佛的威势，予取予夺，甚至和武士集团一起，介入到对抗朝廷的权力之争中去。地方政权为了维护秩序， 也着手武装自己，网罗地方豪族组成地方武装，称为郎党。贵族们不敌僧兵的横暴，只好依靠武士的力量，在这种种因素的刺激下，武士获得进入中央政界的机会。
武士出现后，逐渐从分散走向集中，聚集在一地 区最强大豪强贵族的旗下，形成武士集团。武士集团的结合有家族和宗主两种关系，都是以严格纪律和绝对服从为第一要务，渐渐形成了尽忠、献身等所谓“武士道 精神”的伦理观念。一个西方人以旁观者的眼光这样描述武士道：“为荣誉而杀戮，对受惩者和失败者宽大，对卑鄙和营利的人毫不留情，主要欣赏生活中人为的诗 情画意的艺术美和死后冥府的月光般的清幽世界，这就是武士道。”
武士集团最后集中在源氏和平氏两大家庭之下。
源氏和平氏都是皇族之后。源氏起源于814年，嵯峨天皇向诸皇子的赐姓，称源朝臣。自此之后，从淳和到三条的14代天皇都相继向子孙赐姓源氏。诸多源氏中以清和源氏最著名，这一支源氏始于961年清和天皇的孙子源经基，长期以关西为基地。平氏也是皇族的赐姓，有桓武、仁明、文德、光孝等四支平氏家族。其中桓武平氏势力最强，其始祖起源于桓武天皇曾孙高望王，世代居住在关东地区。
