1927年4月17日，国民政府定都南京的前夕，在南京举行的中央政治会议第74次会议中，李煜瀛(石曾)先生提出设立中央研究院案，决议推李煜瀛、蔡元培(孑民)、张人杰(静江)3位先生共同起草组织法，此为设立本院最早的纪录。同年5月9日，决议设立筹备处; 7月4日，将正在筹设的中央研究院改列为中华民国大学院的附属机关之一; 11月12日，大学院院长蔡元培先生聘请学术界人士30人，在大学院召开中央研究院筹备会，展开筹备工作。1928年4月10日，国民政府修正中央研究院组织条例，成为不属于大学院的独立机关; 23日特任蔡元培先生为院长; 5月，启用印信; 6月9日，举行第1次院务会议，宣告正式成立。
抗战前，本院先后成立了10个研究所，分设京、沪两地。及至抗战爆发，本院奉命西迁，分处昆明、桂林、重庆等地。战争结束后，方陆续复员，东还京、沪。1949年，再播迁来台，及时撤迁者只有历史语言与数学两个研究所，图书文物则暂时存放在杨梅火车站仓库。在朱家骅代院长多方奔走下，方于1954年在南港现址营建院区。来台后，复经胡适、王世杰、钱思亮、吴大猷、***哲等院长之戮力经营，始有今日之规模。
