1909年冬，西洋力士奥皮音在上海北四川路（今四川北路）亚波罗影戏院（今中行大楼六楼）表演引膂力，口出轻蔑中国人语言，翌日见于报端，沪人哗然，上海爱国士绅遂北邀武术家霍元甲（1869~1910年）两度来沪迎战，奥皮音不战而遁。

为充分发挥霍元甲的作用，以传授武术来培养对民主革命有用人才，在同盟会骨干陈其美和武术界人士农劲荪、陈公哲等人倡导下，1910年在闸北王家宅创办中国精武体操会（别称精武体操学校，简称精武）由霍元甲任教，当时范围很小，设备亦简。

次年，会员渐增至近400人，场地和设备均感不足。1915年，陈公哲将其私宅培开尔路（今惠民路）73号楼房一幢，和宅地2亩（1333.4平方米） 多，捐赠给精武，经过改建，内设练武厅和现代体育活动场所，还有图书室和浴室。1916年4月6日精武迁入新址，同时改名为上海精武体育会。 1919-1920年，又购入西邻土地十余亩辟精武公园。在成立10周年之际，孙中山为精武题词：“尚武精神”。此后声誉渐隆，会员日众，发展逾千。为方 便活动，相继成立三个分会：一分会在北四川路福德里，二分会在南市新北门煤炭公所，三分会在鲁班路山东会馆。1920年培开尔路址改称上海精武体育总会， 领导上海三个分会。