高谷出生在扬州兴化，于永乐十三年考中进士，被成功选拔为庶吉土。仁宗皇帝朱高炽继位之后，将其改为春坊司直郎，过后又直接提拔为翰林侍讲。
英宗皇帝朱祁镇继位之后，在大学士杨士奇的推举之下，高谷得以进侍讲读。正统十年时，又被直接提拔为工部右侍郎，并进入内部处理机要事务。
景泰初年的时候，高谷被提拔为工部尚书，同时继续在内阁处理诸多事故。当时瓦剌也先那边放出消息，表示准备将英宗皇帝朱祁镇给释放出来，而朝廷所准备的奉迎礼仪十分的轻薄，对于朱祁镇有所轻待。千户龚遂荣寄信给高谷，详细阐述了自己的看法，表示这个奉迎礼应该丰厚一些，可以直接援引唐肃宗迎接上皇李隆基的旧例。
高谷将千户龚遂荣所寄来的信，拿到朝堂之上给其他的诸位大臣看，表示龚遂荣是一介武夫，都知道这些礼节上的事情，何况你们这群饱读诗书的儒生。满朝文武都认为高谷的话说得很有道理，胡濙、王直等人打算给朱祁钰上报此事，征询其意见。
但都御史王文认为不可以上奏，结果这封奏疏已经被一个言官给上奏上去了。
朱祁钰追问这封奏疏是从哪里来的，高谷表示是从我这边来的。朱祁钰虽然不听从奏疏中的意见，但对高谷也不怪罪。
景泰二年的时候，高谷被提拔为少保、东阁大学士。景泰七年年时，又进为谨身殿大学士，仍兼东阁。当时内阁大臣中一共有七个人，他们大多数人都言语比较粗鄙，脏话脱口而出，只有高谷依旧保持文雅用语，清正刚直。而内部的另一个大臣王文是在高谷的推荐下，方才得以进入内阁的，可是如今进入内阁后却处处排挤高谷，令其很难做事。
高谷多次请求解除自己参与机要事务，但不被允许。不久后，都给事中林聪因为触怒了权贵而被判处死罪，高谷知道其是被冤枉的便进行竭力救援，但却因此而受到轻微的责备。
过后，陈循和王文等在朝大官因自己儿子考不中科举，而选择构陷考官刘俨、黄谏，朱祁钰下令让礼部方面的官员会同高谷一起处理此事。高谷经过一番详细的调查，最终极力进言刘俨等人没有私心，朱祁钰追究陈循等人的过错。
到了英宗皇帝朱祁镇复辟之后，因为陈循、王文等人在当年的迎驾事情上，没有站在朱祁镇这边，因此遭到诛杀放逐，高谷则害怕得称病辞官。
但朱祁镇表示，高谷是个年长的老臣，而且曾经在内阁讨论迎驾等事情上，曾经回护朕，便赐给高谷金帛袭衣，提供驿车船只送他回去。
高谷辞职后，关门谢绝宾客，其间但凡有人询问其景泰、天顺年间的任何事情，其都没有任何答复。其本人于天顺四年正月卒，享年七十岁。
