Он выступал с Оркестром Парижа на фестивале Folles Journées в Нанте, Франция и Токио, на Люцернском фестивале и в Театре Елисейских полей в Париже. Недавно он основал академию дирижирования (май 2011 года). Он также несколько раз гастролировал с Шотландским камерным оркестром, выступая на фестивале Mostly Mozart в Нью-Йорке, в Тэнглвуде, Равинии, на Би-би-си Промс и т.д. Кроме того, он дирижировал Лондонскими Моцартовскими исполнителями, Камерным оркестром Лос-Анджелеса и Нидерландским симфоническим оркестром среди других.
Он записал серию дисков для Linn Records. Его любовь к новой музыке побудила нескольких композиторов писать для него (Джеймс Макмиллан, Эйнойухани Раутаваара, Салли Бимиш, Карин Ренквист и Эленор Альберга).
Прежде чем посвятить себя дирижированию, Джозеф Свенсен был скрипачом и иногда всё ещё выступает как солист на концертах камерной музыки, как он это делал в Линкольн-центре в Нью-Йорке в 2007 году.
Как композитор, его оркестровая версия редкого Трио ор. 8 Брамса (версия 1854 года), озаглавленная Симфония в B, была впервые исполнена в Европе и в Соединённых Штатах в сезоне 2007/2008 годов. В 2009 году Шотландский камерный оркестр впервые исполнил его Симфонию для валторны и оркестра, «Огонь и роза». Запись его Симфонии в B со Свенсеном в качестве скрипача и Оркестром Оперы Мальмё вскоре будет доступна на CD (Signum).
© Orchestre National du Capitole de Toulouse