1926年9月19日，小柴昌俊出生於日本愛知縣豐橋市，是舊日本帝國陸軍大佐小柴俊男之子。幼時曾夢想當軍人或音樂家，但在12歲忽然罹患小兒麻痺症，其後遺症造成右臂殘疾，致使夢想破滅。然而，就在他住院期間，導師送了他一本愛因斯坦的書，卻使他從此走上了物理研究的道路。
小柴在1951年畢業於東京大學理學部物理學專業，1955年取得美國紐約羅徹斯特大學的物理學博士學位，1967年取得東京大學理學博士學位，師從1965年諾貝爾物理學獎得主朝永振一郎。1955年7月至1958年2月間，小柴擔任芝加哥大學物理系研究助理。其後至1963年10月間擔任東京大學助理教授，幾經升遷，於1987年升為榮譽教授，並代理芝加哥大學物理系高能物理與宇宙輻射實驗室主任。其後十年在日本私立東海大學任教。2002年10月，小柴與雷蒙德·戴維斯、里卡爾多·賈科尼分享諾貝爾物理學獎。東京大學理學系研究科於2005年設置「小柴廳（日語：小柴ホール）」以紀念他的貢獻。
小柴屢獲殊榮的工作集中在微中子，這是長期使科學家感到困惑的次原子粒子。 自1920年代以來的假說是因為核融合反應使太陽發光，從而將氫轉化成氦並釋放能量。後來的理論計算表明，在這些反應必須釋放無數的微中子，因此，地球必須暴露在不間斷的太陽微中子之中。因為微中子與物質的交互作用很弱，所以只有一萬億分之一的微中子會停留在地球上。也因此，中性粒子被認為是無法檢測的存在。
在1980年代，小柴基於雷蒙德·戴維斯的研究基礎，在日本的一個鋅礦中建造了一個地下微中子探測器，它被稱為神岡探測器（Kamiokande II）。這是一個巨大的水箱，被電子探測器所包圍，以感測當微中子與水分子中的原子核交互作用時產生的光的閃爍。小柴的實驗證實了戴維斯的理論 - 太陽產生微中子，但微中子比預期中的少（這被稱為太陽微中子問題）。1987年，神岡探測器又從銀河系以外的超新星爆炸中發現了微中子。在探測器升級更大、更敏感的超級神岡探測器（Super-Kamiokande）後，小柴團隊在全球科學家的懷疑中發現了有力證據，發現其中三種已知的微中子在飛行中可從一種類型轉變為另一種類型。如此，太陽微中子問題得到了解決，因為早期實驗只能檢測到一種類型，而不是全部三種。