胡适被免去驻美大使一职，美国舆论界曾对此表示震惊和遗憾。
在胡适担任大使期间，和胡适打交道最多的是美国国务卿赫尔。赫尔认为：胡适大使是一位十分坚持己见的人。从胡赫两人多次谈话记录中，很可以看出胡适的择善固执、胸有成竹的外交风度和赫尔对他容忍让步的感佩心理。
赫尔曾在他的回忆录中谈到和胡适的公务接触，他说：“在遇到有关中国事务商讨时，如果与胡适大使的想法不合的时候，总会使我感到十分为难与困惑。”
当胡适卸任大使职务后，赫尔在记者会上公开赞扬这位中国大使：“胡大使是华府外交团中最有能力、工作效果最高，又最受人敬重的一位外交使节。”
1942年9月4日，王世杰在日记中写道:“美国政府对于以魏道明继任中国驻美大使事，虽照例表示同意，实则颇感不满。美国舆论亦然。适之已向国务院及白宫辞行，并一面以上述情形报告蒋先生。当三星期前，蒋先生嘱陈布雷向予言：驻美使节更动问题，予曾力称魏君不适宜于此职。”
王世杰9月8日的日记又说:“政府发表以魏道明继胡适之为驻美大使，中外均感失望。”
也有人分析胡适被免职的深层原因。
美国国务院政治关系顾问司坦?侯恩百克发表评论，认为这是大使侵犯了外交部长宋子文于1941年12月出任外交部长的权限所致。他由中国驻美大使馆获得了确切消息，说胡适与宋子文曾拟定了双方的权限。据说国民政府最高当局嫌胡适在华盛顿为美国政府的政策辩护得多，而为重庆政府的政策向美国解释得少。于是胡适成为这种猜忌的牺牲品。
说胡适一直完全站在美方的立场并为之辩解，这恐怕未必是事实。但胡适一直认为，国与国相处也和人与人相处一样，都需要宽大的胸怀，都需要对替对方着想，多站在对方的立场上设身处地的考虑问题。
直到被免职前不久胡适还说:“眼前第一要义，在于弘大度量，宽恕待朋友，体谅朋友在大患难之中，有时顾不到我们，切不可过分责备朋友。英美大强国，岂自甘心情愿失地丧师？岂不关心我们的痛痒？我们总得体恤朋友，朋友明白我们够得上做患难朋友，将来才有朋友永远和我们同安乐……今日我们所受困难，只是因为英美自己也受更大困难，更大耻辱。他们顾不到我们，他们的领袖心里实在认为最大耻辱。但他们日夜图谋雪耻，嘴里说不出，只是咬牙苦干。我们必须体谅他们的苦衷，才够得上患难朋友。”
另外，胡适向国民政府转达美国政府的意见，也常引起蒋介石的不满。
比如，1941年初，蒋介石以“整饬军纪”为借口，动用数十万大军“围剿”新四军，制造了被称之为千古奇冤的“皖南事变”。消息传到美国，引起不同反响。1941年3月，胡适在致陈布雷电中转达了美国政府表示反对的意见。蒋介石是听不进这些逆耳之言的，尽管胡适说得是事实，尽管蒋介石得罪不起美国人，但可以把怨恨加在胡适身上。
免去胡适驻美大使职务显然有多种因素，但最终拍板的是胡适愿意为之效命的蒋介石。
1942年10月13日，蒋介石在日记《上星期反省录》中对胡适作出“毫无贡献”的评价:“胡适乃今日文士名流之典型，而其患得患失之结果，不惜借外国之势力，以自固其地位，甚至损害国家威信而亦在所不惜。彼使美四年，除为其个人谋得名誉博士十余位以外，对于国家与战事毫无贡献，甚至不肯说话，恐其获罪于美国，而外间犹谓美国之不敢与倭妥协，终至决裂者，是其之功，则此次废除不平等条约以前，如其尚未撤换，则其功更大，而政府令撤更为难矣！文人名流之为国乃如此而已。”
这就是蒋介石对胡适外交生涯所作的结论。
胡适卸任之后，美国各地二十多所大学纷纷邀请胡适。胡适经过慎重考虑，决定不教书，利用这难得的清闲，完成《中国思想史》的写作。