青山家は花山院師賢という人の子孫が上野国吾妻郡（現在の群馬県）青山郷に住んで青山氏と称したのに始まるといわれている。青山忠成は幼少の頃、三河国（愛知県）に来て徳川家康の小姓を努め、後には秀忠の養育係として仕えた。天正18年（1590年）小田原役の時には江戸に先発して家康の江戸入府の準備に力を尽くした。入府後、ただちに家康は家臣団の知行割（家臣団の配置）を実施。忠成が青山の地を賜ったのはこの前後のことであるが、邸地支給については次のような話が残されている。

ある日、忠成が家康の鷹狩りに随行していたところ、家康は赤坂の上から西の方を見渡し、忠成に向かって「馬に乗って一回りして参れ。その範囲の土地を屋敷地として与えよう」といった。そこで忠成は馬が弊死するまで駆け巡り、広大な土地を賜った・・・というのである。（新宿一帯を賜った内藤清成にも同様の話が伝えられている）。『寛政重修諸家譜』には「忠成すなはち馬をはせて巡視し、木に紙を結びて境界の標とす。赤坂の麓より渋谷の西川にいたるこの地はもと原宿という。これよりのち青山宿と呼ぶ」と記されている。