紫金山天文台最初的名称是“国立中央研究院天文研究所紫金山天文台”，成立于1928年春，是中山陵园内名胜之一。首任所长是留学比利时的天文学家高鲁，第二任所长是中国近代天文学的开拓者、天体物理学家余青松。天文台原拟在紫金山第一峰建造，由于修筑第一峰盘山公路工程太大，限于财力物力，余青松决定将天文台址改在地势稍低的西峰。盘山公路从1929年秋开工，于1930年夏完工，造价三万三千余元，全路宛如“之”字形。经过余青松和全体职员的努力，1934年9月1日，中国自行设计建造的第一座现代天文台历时五年多终于完成。紫金山天文台的建成，标志着中国现代天文学研究的开端，中国现代天文学的许多分支学科和天文台站大多从这里诞生、组建和拓展。

紫金山天文台的兴建在当时备受重视，几次建筑的奠基碑文分别由蔡元培、汪精卫、戴季陶、于右任题写。大台牌坊“天文台”横额由国民政府主席林森题书，至今仍完好无损。当时的总理陵园管理委员会提出，天文台必须按照中式风格设计，中式风格主要体现在屋顶和房檐，但天文观测却需要圆形屋顶，这一棘手的问题交给杨廷宝领衔的基泰工程司解决。最终建成的紫金山天文台，牌楼采用毛石作三间四柱式，覆蓝色琉璃瓦，跨于高峻的石阶之上，建筑间以梯道和栈道通连，各层平台均采用民族形式的钩阑，建筑台基与外墙用毛石砌筑，朴实厚重，与山石浑然一体。

当时建造的主要建筑包含子午仪室、赤道仪室、太阳分光仪室、变星仪室、办公室、宿舍以及一些附属建筑。其中，赤道仪室为银白色拱形圆顶建筑，屋顶可以旋转。子午仪室屋顶呈方形，环以石栏，严若宫阙玉墀，室中屋顶洞开，覆以铁盖，有机括控制启闭，运转自如。各仪所置处，皆用砖石砌为基座，稳如岩石。

1949年中华人民共和国成立后，中央研究院被撤销，建立了中国科学院，紫金山天文台划归中国科学院领导，正式命名为“中国科学院紫金山天文台”，从此紫金山天文台的现代天文科学研究工作重上轨道。

改革开放后，紫金山天文台进入了飞速发展时期，城内建成了一座实验大楼，紫金山上又建造了人造卫星观测楼，拥有了射电天文实验室、空间天文实验室、天体物理研究部和天体力学研究部四个主要研究单元，有青海德令哈、江苏盱眙、江苏赣榆、山东青岛、黑龙江洪河五个野外台站，其中青海观测站是中国目前唯一的大型毫米波射电天文观测站，装备了具有国际先进水平的13.7毫米波射电望远镜；盱眙站是中国唯一的应用天体力学实测基地。紫金山天文台还是中国历算的权威机构，负责编算和出版每年的《中国天文年历》、《航海天文历》等历书。

紫金山天文台不仅是天文研究的重点单位，也是国家科普基地，现已对外开放。每逢节假日，前来天文台参观的游人川流不息，人们在这里不仅可以通过天文望远镜，观察奥妙无穷的宇宙星空，领悟现代天文科学的精妙，而且可以参观丰富多彩的古代天文仪器，感受到祖国古代科学的辉煌成就，更可以站在天堡城上遥看金陵风光，长江宛然若带，石城形胜尽收眼底。