1925年3月12日，59岁的孙中山因肝癌在北京铁狮子胡同行馆与世长辞。孙中山逝世前曾希望自己能够像列宁那样保存遗体，供民众瞻仰。
1925年4月4日，以张静江、汪精卫、于右任、宋子文、戴季陶等12人为委员的葬事筹备处和委员会成立。当时紫金山陵园建设不能马上完成，治丧筹备处决定将遗体放在特制水晶棺里，暂厝北京西山碧云寺，这一放就是4年。
1926年7月，广东革命政府出师北伐。在徐州被打败的奉系安国军副司令张宗昌逃到北京，在西山碧云寺见到了孙中山灵柩，破口大骂：“不是你孙文搞革命，我张宗昌就不致有今日之败！我生前不曾和你打过仗，你死了，我今日要毁灭你的尸体，以泄我之愤恨。”他强令附近的乡民搬来柴草，要火烧孙中山的灵柩。几位护灵人员急忙找到驻守北京的张学良。张学良的骑兵及时赶到加以制止，邻近父老乡民闻讯也赶来救护。
此劫难后，官方的说法是孙中山的遗体并无损坏，但也有传言是因为空气侵入，孙中山遗容变色，已经无法保存。此后，治丧委员会从美国购买了一具紫铜棺安放孙中山遗体。如今，中山陵的孙中山遗体被葬入几米深的地下，已无法供人瞻仰了。
南京紫金山中山陵于1926 年1 月开工，到1932 年竣工，前后共用了6 年时间。
建成后的中山陵以祭堂为主体建筑，全局呈“自由钟”也称警世钟图案，山下中山先生铜像是钟的尖顶，半月形广场是钟顶圆弧，而陵墓顶端就像一颗溜圆的钟摆，整座陵园融中西建筑风格于一体，中门上嵌有孙中山先生手书“天地正气”匾额。祭堂中央供奉的孙中山坐像，出自法国雕塑家保罗·朗特斯基之手，底座镌刻六幅浮雕，是孙中山从事革命活动的写照。
陵墓入口处有高大的花岗石牌坊，上有中山先生手书的“博爱”两个金字，从牌坊开始上到达祭堂，共有392级台阶，8个平台，392级台阶暗喻当时中国的三亿九千两百万同胞，从下往上看，只见台阶不见平台，喻示革命道路艰辛坎坷。
民国时期， 每逢重大节日， 如孙中山诞辰或国庆等，南京国民党党政军高级官员都要来中山陵 谒陵，在南京召开的一些主要会议，也要将谒陵当作会议的一项内容。
1931年“九一八”事变后，国民党蒋介石政府顽固坚持“攘外必先安内”的方针，拒不纳谏。1935年，续范亭在南京拜谒中山陵时悲愤地写下《哭陵》一诗：“赤膊条条任去留，丈夫于世何所求？窃恐民气摧残尽，愿把身躯易自由。”他在中山陵前剖腹自戕，慷慨赴死。续范亭在《告民众书》中说：“余今已绝望，故捐此躯，愿同胞精诚团结，奋起杀敌。”
随着战局的不断深入，日军已涉足了大半个中国，一步步逼向这里。 日军攻破上海、苏州两道防线，蒋介石曾想把先生的遗体带到重庆。但必须要用炸药炸开陵寝，极有可能破坏遗体，工程师怕损坏灵柩和遗体，极力劝说，墓室才得以保全，移灵之事没能实施。
1937年12月，南京最后沦陷。日军曾用大炮轰击中山陵留下一大一小两弹孔。在惨绝人寰的南京大屠杀中，日军却没有对中山陵建筑大肆破坏。对于这件事原委，有人认为那是因为孙中山生前在日本住过很久，与日本交往过密，中山二字就是日本名字，也有人认为，中山陵是很多中国人的信仰之地，日本人不敢冒犯。真正的真相并无记载，无论怎么，抗战八年，中山陵除了周边园林被严重破坏外，主体建筑基本完好。
1949年4月，解放军渡江作战时，第三野战军司令员陈毅给先头部队写下了“保护中山陵”的手令，派人送到中山陵。1953年2月，毛主席生平唯一一次到中山陵谒陵。鉴于当时国际国内形势，有关方面从安全保卫的角度出发，为他拟定了一条谜团谒陵路线，从旁边开辟一条小路进入陵门。毛主席听后笑说：“堂堂的中华人民共和国主席祭奠革命先辈，走小道成何体统嘛，我就要走大道！”随之，毛主席在众人的簇拥下大步走在正门大道的照片被载入史册。