耶律楚材是辽人后代，后来为金人做官，他博览群书，并精通天文地理、佛学、道学、医学，落笔成章。
金宣宗为躲避铁木真的进攻而迁都，把耶律楚材留下。铁木真听说过耶律楚材的名声，攻破城池后就把耶律楚材找来，说要进攻金宣宗，替耶律楚材的辽人先辈报仇，耶律楚材说：“从我的父亲开始就已经在金做官了，已经是金的臣民，怎么能对金报仇呢？”铁木真认为耶律楚材说得有道理，把耶律楚材留在身边，给耶律楚材起名叫吾图撒合里。
耶律楚材长着一副长髯，吾图撒合里在蒙古语里的意思是长髯。
铁木真每次出征，都让耶律楚材算卦，都十分应验。
有个善于制造弓弩的人，铁木真很重视他。这人常说：“现在国家需要打仗，耶律楚材这个读书人有什么用？” 耶律楚材说：“做弓尚且需要弓匠，治理天下也一样需要人才啊？”铁木真听了以后很高兴，更加重用耶律楚材。
西域负责天文的人向铁木真报告说即将发生月蚀，耶律楚材说不会，后来果然没发生。第二年耶律楚材说有月蚀，西域人说没有，耶律楚材又赢了。
铁木真指着耶律楚材对窝阔台说：“这是上天赐给我们家的，以后军政事情，都应该交给他做。”
一次，耶律楚材跟着军队出征，将士们都去抢夺财物，耶律楚材只是收了一些书和大黄。不久士兵感染病疫，这些大黄救了这些士兵的命。
铁木真只顾攻杀，没时间顾及治理，各地官吏横征暴敛，滥杀无辜。耶律楚材劝铁木真严加管制，这种势头才得以减缓。
一些贼寇十分猖獗，光天化日之下就拉着车去富人家抢夺财物，不从就大开杀戒。这时拖雷负责政事，就派耶律楚材去治理。耶律楚材访察之后，杀死首恶十六人，平息了贼患。
铁木真去世后，窝阔台准备即位，整个家族议论纷纷，犹豫不定。耶律楚材就对拖雷说：“这件事得及早确定。”拖雷说：“还没商议完毕，再选个日子吧？” 耶律楚材说：“过了今天就没有更好的日子了。”于是耶律楚材制定了登基仪式，并跟察合台说：“您虽然是兄长，但应该施臣礼。您施了臣礼，别人就不敢不服从了。”窝阔台即位后，察合台对耶律楚材说：“你真是国家的栋梁啊。”蒙古国有尊拜礼仪，就是从这时候开始的。
蒙古人刚进中原，很多百姓不熟悉新法，常常触犯法律，而蒙古法律里没有赦免条款，耶律楚材建议增加赦免条款，法律从宽，一共提了十八条，窝阔台都答应了，只有一条“禁止百姓进献礼物”，窝阔台不同意：“他们自愿进献的，应该由他们进献。” 耶律楚材说：“这以后会引起弊病的。”窝阔台说：“您建议的我都答应了，您不能答应我一件事吗？”
有人建议窝阔台：“汉人没有什么用，都把他们赶走，腾出来土地做牧场吧。”耶律楚材说：“皇上东征西伐，军费物资都靠各地收纳而来，怎么能说没有用呢？”窝阔台说：“那您定一下吧。” 耶律楚材就建议设立各地负责征收的官吏，一律委任当地人，并推荐了一批德行宽厚的人。
等各地征收的钱粮运到之后，窝阔台笑着对耶律楚材说：“你不用到处奔走，就能让国库充盈，汉人里有能赶得上你的吗？” 耶律楚材说：“那边的人都比我强，我能力不够，才被留在这里的。”窝阔台很赞赏耶律楚材的谦逊，此后大小事情都要和耶律楚材商量。
窝阔台准备南征，准备发诏书宣布降者免死。有人说：“这些人没有办法了就投降，情况缓和了就逃走，不能对其宽大。” 耶律楚材建议制作旗帜，发给投降的人，让他们回归故里，这样救活了很多人。
之前，蒙古人凡攻城遇到抵抗，都要杀尽城内的人。这次进攻汴梁，又要按此行事，耶律楚材急忙去对窝阔台说：“我们打仗几十年，就是要得到土地和人口，如果没有了人，地也没有用了。”窝阔台还在犹豫，耶律楚材说：“城内有很多能工巧匠、富贵之家，如果大肆杀戮，就什么也得不到了。”窝阔台这才同意。
这时，逃难的军民很多，蒙古人规定不许收留这些人，于是这些难民无处停留，很多人死在路上。耶律楚材对窝阔台说：“这些百姓，是没有地方去的，这会把他们都逼上死路啊。”窝阔台才停止了这个规定。
窝阔台曾经亲自给耶律楚材敬酒说：“我之所以信任您，是因为先帝之命。如果没有您，就不会有今天。我之所以能高枕无忧，也是由于您的帮助啊。”
各地使者常常不据实回答窝阔台的问题。窝阔台指着耶律楚材说：“你们那里有这样的人吗？”使者都说：“没有，这真是神人。”窝阔台说：“你们就这句话是实话，我也相信你们那里没有这样的人。”
窝阔台准备给亲王和功臣封地。耶律楚材说：“这容易产生矛盾，不如发放财物。”窝阔台问：“有的已经分下去了怎么办？” 耶律楚材说：“可以派官去征收税赋，每年把这些税赋给这些人。”窝阔台就定下税赋规定，两户出丝一斤给朝廷，五户出丝一斤给亲王和功臣。
窝阔台准备搜纳宫女，耶律楚材极力反对，窝阔台大怒。耶律楚材说：“以前已经有二十八人了，如果再行搜纳，会侵扰百姓的。”窝阔台沉默了半天，说：“停了吧。”
一次，有人弹劾耶律楚材，窝阔台大怒，把耶律楚材抓了起来，但马上又后悔了，下令放了耶律楚材。耶律楚材不让解开自己的绑绳，说：“皇上既然抓我，是因为我有罪，现在又要放了我，说明我无罪，怎么能如此反复，像儿戏一样？”大家见耶律楚材如此质问窝阔台，都惊慌失色。窝阔台说：“我虽然是皇帝，也会有错误啊。”就温和地劝慰耶律楚材，耶律楚材马上又做了十条建议，窝阔台都答应了。
有读书人犯罪，窝阔台就对耶律楚材说：“你说孔子学说有效，怎么读书人里也会有犯罪的？” 耶律楚材说：“孔子的学说，历代都在遵循，怎么能因为个别人，就否定被历代承认的学说呢？”
耶律楚材常说：“做一件好事不如除掉一件坏事，多一件事情不如少一件事情。班超的一些方法被人认为太平常，但后世的人自能发现班超的高明所在。也只有后人，才能知晓我说的是对的。”
窝阔台嗜酒，每天和大臣们痛饮，耶律楚材多次劝谏，窝阔台都不听，耶律楚材就让窝阔台看被腐蚀的铁酒杯：“钢铁都能让酒腐蚀，何况五脏呢？”窝阔台这才醒悟，对身边的人说：“你们对我和国家的思虑，谁能赶上大胡子呢？”下令以后每天只许给自己三盅酒。
朝廷开始加税，耶律楚材极力劝谏，激动时声色俱厉，泪如雨下，窝阔台说：“你要和谁打-*架啊？你要为百姓哭啊？不妨先试试吧。” 耶律楚材见无法阻止，叹息说：“百姓的困苦，就要开始了啊！”
一次，耶律楚材喝醉睡着，窝阔台看见之后，就去推耶律楚材。耶律楚材正要发怒，忽然发现是窝阔台，急忙起来谢罪。窝阔台说：“有酒自己喝，不和我同乐吗？”大笑而去。耶律楚材急忙追到窝阔台的行宫，窝阔台摆上酒宴，二人喝得十分高兴。
耶律楚材对于亲属，只是把自己的俸禄分给他们，但从未让他们做官。耶律楚材说：“亲属，最好只给他们财物。如果让他们当了官，一旦他们违法，我不会宽恕他们。”
窝阔台去世后，窝阔台的皇后干扰朝政，奥都剌合蛮主政，大家都十分畏惧，只有耶律楚材据理力争，大家都为耶律楚材担心。
皇后把空白诏书给奥都剌合蛮，让他自己填写内容，耶律楚材说：“朝廷自有制度，如果制度不能坚持，这样的诏书我不能执行。”皇后又说：“如果奥都剌合蛮建议的事，史官不予记载，就砍断史官的手。”耶律楚材说：“先帝把政务委托给我，哪里有史官的责任？如果建议合理，自然能施行，如果不合理，死都不能施行，断手算什么？”皇后大怒。耶律楚材仍然不罢休：“我跟着太祖、太宗三十多年，从没做错过事，皇后也不能杀无罪之臣！”皇后虽然气愤，但也敬畏这个先朝功臣。
不久，耶律楚材去世。有人说耶律楚材做官时间长久，贪了不少税赋，皇后派人去耶律楚材家里看，只有十几把琴和书画、金石、几千册书籍。
