20世纪初，胡适留学美国时，对美国的图书馆产生了浓厚的兴趣。在康乃尔大学读书期间，胡适曾“作一书致图书馆馆长Harris君，许添设汉籍事”。1914年1月，胡适在《留美学生年报》上发表《美国大学调查表》例言及《藏晖室杂录》。《杂录》第四部分对藏书30万册以上的美国大学图书馆概况做了统计。同年9月6日，胡适还游览了波士顿公共图书馆，十分欣赏该馆100余万册藏书，“任人观览，不取资”的做法；当然，胡适也对该馆中国图书既少又没有好的著作深感失望。对康可第一礼拜堂的爱麦生所藏图书，不能入内观看深表遗憾。不仅如此，胡适还对美国的十余所公共图书馆和高校图书馆的藏书量、阅览人次等诸多问题一一进行了详细地调查和研究。胡适对美国的图书馆与中国的藏书楼之间的巨大差距感慨万分，他在1915年2月21日的日记中写道：“国无海军，不足耻也；国无陆军，不足耻也！国无大学，无公共藏书楼，无博物院，无美术馆乃可耻耳。我国人其洗此耻哉！”为此，他发下大愿“吾归国后，每至一地必提倡一公共藏书楼。在里则将建绩溪阅书社，在外则将建皖南藏书楼，安徽藏书楼，然后推而广之，乃提倡一中华民国国立藏书楼，以比之英之(大英博物馆)，法之(国家图书馆)，美之(国会图书馆)，亦报国之一端也。”胡适认为建立图书馆是报效国家的一种方式，此后他便终生致力于推进中国的图书馆建设。
1917年，26岁的胡适回到中国，很快便暴得大名。1921年，上海商务印书馆欲请胡适出任编译所所长，胡适虽未答应，但仍实地考察了一番，而且为商务印书馆写了一篇长达一万多字的书面意见，其中多处涉及到对图书馆的意见和思考。胡适对当时商务印书馆编译所主要负责人郑贞文说：“一个学者在商务编译所久了，不但没有长进，并且从此毁了。应该为他们(编译人员)谋一个求高等学问的机会，办一个完备的图书馆……专为编译所之用，但也允许外人享用”。1922年7月6日，胡适与蒋梦麟一起就日本赠款用途拟定计划，其中第一条就是“设东方历史博物馆及图书馆”。1925年4月，中华图书馆协会成立，胡适捐款以示支持，并担任了协会董事兼财政委员会委员、索引委员会书记，任期三年。是年7月，胡适和梁启超联名给北京政府写信，为中华图书馆协会争取政府支持。11月，他被推举为北平图书馆委员会书记。两年后，胡适又被选为中华图书馆协会董事。1932年11月30日，胡适任北大图书委员会会员。1933年7月，在中华教育文化基金会第九次年会上，胡适众望所归，被聘为国立北平图书馆委员会委员长。此后，他总是把自己的新著陆续寄给图书馆。
说到胡适与图书馆，有一则故事一直被人们传为佳话。1938年10月，胡适任驻美大使期间，北平图书馆有数百部善本书委托美国国会图书馆代为保存，以免遭破坏。书籍运到美国国会图书馆时，美国国务院派大员和该馆馆长努索·埃文斯特陪同胡适前往察看。哪知胡适一进馆库，便情不自禁地席地而坐看起书来，完全把陪同的官员们抛之脑后。自此，胡适便有了个称号——“学者大使”。
1948年秋天，解放区广播电台播音，劝胡适不要跟随蒋介石集团逃跑，将来让他出任北京大学校长兼北平图书馆馆长。胡适没有接受。1950年5月，寓居海外且颇有些潦倒的胡适被普林斯顿大学以专任教授身份聘为大学图书馆研究员，并担任葛思德东方图书馆馆长，期满后，直到1962年，胡适又做了十年的“荣誉馆长”。
胡适在东方图书馆举办的演讲中曾指出：“图书馆的中心问题，是要懂得书”。按照胡适的设想，图书馆楼一定要独立，以减少外界干扰，还能减少水、火等安全隐患，并便于将来的馆舍扩建。胡适还对图书馆藏书数量和质量提出要求，认为补充馆藏要有针对性，“急用先补”。此外，胡适还提倡用“新法”以及卡片目录等方式整理图书。这些都反映了胡适专业的图书馆学思想。1957年，胡适在纽约立下遗嘱：“我将我在一九四八年十二月不得已离开北平时所留下请该大学(北京大学)图书馆保管的一百零二箱内全部我的书籍和文件交付并遗赠给该大学”。
