由於地下鐵路線大多和環狀的山手線交錯行駛，私營鐵路線也大多行駛於環狀的山手線外側，向市郊呈放射狀分佈，因此山手線的29個車站當中，有24個與JR之外的其它線路相接。除了得以轉乘新幹線的大站像是東京站、上野站、品川站之外，西半邊的山手線上亦有池袋站、新宿站、澀谷站等多條私鐵與地下鐵路線匯集的大型轉乘站，伴隨副都市中心的發展而出現。儘管現在已有多條地下鐵路線與私鐵路線都越來越發達，但是山手線的地位並未受到影響。山手線以擁擠而聞名，其中又以上野車站→御徒町車站區間最為擁擠，不過近年隨著車廂數的增加和地下鐵的發達，其擁擠狀況已有緩解。

山手線最早的原型為1885年3月1日通車的日本鐵道品川線（私營鐵道；赤羽站～品川站），是當時東京市區第一條南北向縱貫的鐵路線，並與官設鐵道的東海道本線交會；1903年4月1日，日本鐵道豐島線（池袋站～田端站）通車。日本鐵道於1906年11月1日國有化後，原本的品川線與豐島線也從1909年起合稱為“山手線”（取路線所行經的“山之手”區域為名），並將路線電氣化，開始行駛電車，營運區間也隨之變大。

隨著新的東京站完工啟用，1919年，山手線的營運區間一度與同樣行經東京站的中央線連接，形成“の”字形的運轉方式（中野站～東京站～品川站～池袋站～上野站）。直到1925年11月1日，上野站～神田站段完工，山手線才真正轉變為環狀的營運區間。原本山手線電車於田端站～田町站段，與京濱線（也就是後來的京濱東北線）電車共用軌道，1956年11月19日，東海道本線電車線及東北本線電車線雙複線軌道增設完成，山手線電車與京濱東北線電車一分為二，各自使用獨立的軌道設施。 1972年，赤羽站～池袋站的區間從山手線分離出來，併入埼京線營運區間。