由于地下铁路线大多于山手线环状区间内侧交错布设，私营铁路线也大多自环状区间外侧，向市郊呈放射状分布，因此山手线的29个车站当中，有24个是除JR路线外其他路线的转乘站。除了得以转乘新干线的传统转乘大站东京站与上野站，以及同样可转乘新干线的品川站之外，西半边的营运区间亦有池袋站、新宿站、涩谷站等多条私铁与地下铁路线共同汇集的大型转乘站，伴随副都市中心的发展而出现。尽管现在已有多条地下铁路线与私铁路线相互直通运转，但是山手线的地位并未受到影响。山手线以拥挤而闻名，其中又以上野车站→御徒町车站区间最为拥挤，不过近年随着车厢数的增加和地下铁的发达，其拥挤状况已有缓解。

山手线最早的原型为1885年3月1日通车的日本铁道品川线（私营铁道；赤羽站～品川站），是当时东京市区第一条南北向纵贯的铁路线，并与官设铁道的东海道本线交会；1903年4月1日，日本铁道丰岛线（池袋站～田端站）通车。日本铁道于1906年11月1日国有化后，原本的品川线与丰岛线也从1909年起合称为“山手线”（取路线所行经的“山之手”区域为名），并将路线电气化，开始行驶电车，营运区间也有所延伸。

随着新的东京站完工启用，1919年，山手线的营运区间一度与延伸通车至东京站的中央线连接，形成“の”字形的运转方式（中野站～东京站～品川站～池袋站～上野站）。直到1925年11月1日，上野站～神田站段完工，山手线才真正转变为环状的营运区间。原本山手线电车于田端站～田町站段，与京滨线（也就是后来的京滨东北线）电车共用轨道，1956年11月19日，东海道本线电车线及东北本线电车线双复线轨道增设完成，山手线电车与京滨东北线电车分离运行，各自使用独立的轨道设施。1972年，赤羽站～池袋站段与山手线分离，并入埼京线营运区间。