A comienzos de los años cincuenta, durante su estancia con la formación, casi de rhythm and blues, Don Gardner And His Sonotones, Smith empezó a tocar el órgano Hammond en 1951 y pronto alcanzó una gran reputación que le siguió hasta Nueva York, donde debutó en el Café Bohemia. A finales de 1955 formó su propio trío de órgano y aplicó su concepción musical modernista a ese instrumento. Unas actuaciones en Birdland y en el Festival de Jazz de Newport de 1957 potenciaron su carrera. Sus grabaciones para Blue Note incluyen tanto grabaciones en trío como colaboraciones con artistas como Wes Montgomery, Kenny Burrell, Lee Morgan, Lou Donaldson, Tina Brooks, Jackie McLean, Ike Quebec y Stanley Turrentine, entre otros. Smith consiguió también grandes éxitos con Verve entre 1963 y 1972, muchos de los cuales estaban protagonizados por big bands con arreglos de Oliver Nelson.