楚布寺由一世噶玛巴都松钦巴于1189年修建，至今已有800余年。二世噶玛巴继位后从元朝政府得到一笔拨款进行了扩建，形成较大规模，但在1410年毁于地震。1414年，明成祖又拨了一笔专款，在五世噶玛巴主持下又得以重建。现在，当年的山间小寺已经发展为一座覆盖坡谷的喇嘛城。附近的乃朗寺，是巴沃活佛的寺院，第五世巴沃活佛祖拉陈瓦，撰写过一部西藏历史名著《贤者喜宴》。
　　 噶玛噶举派也被称作黑帽派，因1256年蒙古汗蒙哥赐予二世噶玛巴一顶金缘黑帽而得名。从此以后，逐渐形成以楚布寺为中心的黑帽转世传承系统。1259年忽必烈继位，忽必烈是萨迦派八思巴的信徒，故大力推崇萨迦派。噶玛巴因不愿为忽必烈做事而被囚禁。噶玛巴被释放后回到了楚布寺，他的晚年全力投入楚布寺的整修和扩建工作。噶玛巴死于1283年。逝世前，他在楚布寺开创了活佛转世的宗教习俗。活佛的转世习俗就是从楚布寺开始的，后来被西藏的其它教派推而广之。