一橋大学経済学部卒業後、三菱商事に勤務、同社退社と同時にハーバード・ビジネス・スクールへ留学。
ハーバード大学でMBA（経営学修士）取得後、米国ニューヨーク・ロックフェラー家のファミリー・オフィスであるRockefeller & Co. Inc.に入社、同家資産のアセットマネジメントの傍ら、同家が長年関わっている Arts & Philanthropy の理念に影響を受ける。
その後、世界的なオークション会社サザビーズの日本代表を経て株式会社ＡＧホールディングズを設立し現在に至る。
同社は柴山のロックフェラー家とサザビーズの経験を活かし、企業、行政、教育機関、NPOによる社会貢献や文化・芸術支援プログラム、コーポレートコレクション、美術館の企画・運営を行う。また、東京藝術大学、学習院大学、青山学院大学(2020年4月以降) で文化・芸術と経済・ビジネスとの関わりを論ずる授業で教鞭をとっている。日本語と英語のバイリンガルのオークションで、最も経験があるオークショニアの一人である。