A gaita de Toots pode ser ouvida em diversos filmes. Jazzista, tocou com Ella Fitzgerald, Quincy Jones, Bill Evans, Frank Sinatra, Ray Charles, Larry Schneider e Oscar Peterson. Também acompanhou artistas como Nick Cave, Paul Simon, Billy Joel e Stevie Wonder.
A partir dos anos 1960, apaixonado por bossa nova, ele também tocou com músicos brasileiros, chegando a gravar um disco com Elis Regina. Nos anos 1990, criou o Brasil Project, lançando dois CDs com os brasileiros Ivan Linz, Chico Buarque, Gilberto Gil, Danilo Caymi e Djavan, entre outros.
Thielemans foi o responsável pela introdução da gaita cromática no mercado mundial de música.
"Perdemos um grande músico", escreveu no Twitter o primeiro-ministro belga, Charles Michel, após o anúncio da morte de Thielemans, a quem o rei Alberto II concedeu o título de barão em 2001.