El saxofonista barítono Serge Chaloff nació en Boston el 24 de noviembre de 1923, hijo de dos pianistas clásicos. Su padre pianista de la Boston Symphony Orchestra y su madre famosa profesora de en el conservatorio de Boston, destacádose entre sus estudiantes músicos tales como Keith Jarrett y Dick Twardzik.
Serge aprendió a tocar el piano luego el clarinete en su adolescencia, pero cambió al saxo barítono cuando adulto. Sus dos principales influencias fueron Harry Carney y Charlie Parker. El primero en su elección del instrumento, el saxo barítono, y el segundo en su elección de género, el jazz. Comenzó su carrera profesional en las grandes bandas de la época en primer lugar con Boyd Raeburn seguido por Georgie Auld y Jimmy Dorsey. En 1946 se unió a Woody Herman y la orquesta se hizo famoso como uno de los "Cuatro Hermanos" junto a Jimmy Giuffre, Stan Getz y Zoot Sims. Su adicción a la heroína y su aparente falta de respeto por su jefe le causó a abandonar el grupo. Poco después se unió a la banda de Count Basie por un tiempo. En 1947 hizo su debut discográfico Saboya respaldado por un grupo de ex músicos de Count Basie. En 1949, se hizo muy adicto a la heroína y a las drogas inducido por el comportamiento de la mayoría de sus colegas de la comunidad de jazz. Se trasladó a Nueva York y toca con Bud Powell durante un tiempo. Regresó a Boston en 1952 y graba con Dick Twardzik una sesión que permanece inédita. También comenzó a aparecer en televisión y a líderar la banda en un club local. También comenzó a trabajar en dejar su hábito de heroína, lo que logró hacer en 1954. Graba dos sesiones más en Boston Fábula de Boston Mable y Blow-Up, antes de mudarse a Los Angeles en el año 1956. Aquí grabó su obra maestra Blue Serge, pero lamentablemente alrededor de esa época, le fue diagnosticado un cáncer de la columna vertebral, que lo llevó a su desaparición el 16 de julio 1957, cuando sólo contaba con 33 años de edad.