蔡元培之命筹建，同年史语所于广州成立，傅斯年任所长。一九二九年史语所迁往北平，所址在北海静心斋。一九三六年史语所再度迁至南京鸡鸣寺。

一九三七年三事变后，史语所同仁便决议从北平前往长沙，一九三七年十月底史语所成员共计三十五人抵达长沙，其间成员合力将全所设备、标本装箱，一直到一九三八年一月，共计一千一百三十二件史语所资料被分批运抵长沙。

随着战事的愈演愈烈，史语所决定继续南迁到昆明，此后大约三成左右的仪器标本等资料陆续运往昆明。一九三八年六月到九月中旬，历时三个半月，史语所将散落全国各地的图书悉数运往昆明，打包邮寄八千八百一十一包，另外珍本、大本等不便邮寄的书籍装成七十一箱，由长途汽车运到昆明，共计图书十二万六千两百九十九册、外文图书八千三百四十二册、杂志二百余种、拓片一万余份，最为难得的是，在运输途中全程毫无损坏。