1836年、江戸本所に生まれる。　講武所に入り、千葉周作について剣術を学ぶ。また、山岡静山に槍術を学び、山岡家の養子となる。1863年浪士組取締役となり、京都に上るが間もなく浪士を引き連れて江戸に帰る。江戸無血開城を決した勝海舟と西郷隆盛の会談に先立ち、単身で西郷と面会。開城の基礎条件を取り付けることに成功。維新後は静岡藩々政補翼となる。1871年廃藩置県に伴い、新政府に出仕。1872年に宮中に入り、侍従として明治天皇に仕える。宮内大丞、宮内小輔を歴任。　剣・禅・書の達人として知られ、剣術では一刀正伝無刀流を起こした。