1959年秋、フランスのブザンソンで行われたオーケストラ指揮者国際コンクールで第一位を獲得。当時ボストン交響楽団の音楽監督であり、このコンクールの審査員であったシャルル・ミュンシュに翌夏タングルウッドに招かれ、そこでバークシャー・ミュージック・センターの最高位賞、優秀な学生指揮者に贈られるクーセヴィッキー賞を獲得した。

ヘルベルト・フォン・カラヤンに師事。レナード・バーンスタインの目にとまり、1961～62年のシーズンには、ニューヨーク・フィルの副指揮者を務めた。その後1964年から5年にわたる夏の間、シカゴ交響楽団のラビニア・フェスティバルの音楽監督、トロント交響楽団では、四シーズンにわたって音楽監督を務めた。タングルウッドで4年間にわたって毎年夏、ボストン交響楽団を指揮した後、1968年1月、シンフォニー・ホールではじめて同交響楽団を指揮した。1970年、タングルウッド音楽祭の芸術監督に就任、同年12月サンフランシスコ交響楽団の指揮者・音楽監督に就任。

1973年、ボストン交響楽団の第13代音楽監督に就任、アメリカのオーケストラ史上でも異例の29年という長期にわたって務め、アメリカ国内はもとよりオーケストラの評価を国際的に高めた上、世界最高のオーケストラのひとつとの評価を確立した。

1978年には、中国政府の公式招待により、北京中央楽団と一週間にわたって活動したのをはじめ、1年後の1979年3月にはボストン交響楽団を率いて再度訪中し、演奏活動に加えて、中国音楽人の指導・学習、並びに討論会など、意義深い音楽・文化交流を果たした。

2002年秋には、ウィーン国立歌劇場の音楽監督に就任。それに先駆けて行われた、2002年元日のニューイヤー・コンサートでは、日本人として初めて指揮台に登場、その模様は世界65か国に中継され、各方面から好評を博した。また、異例の早さでリリースされたライヴ録音のCDは、歴史的な売上を記録、第16回日本ゴールドディスク大賞クラシック・オブ・ザ・イヤーを受賞したほか、本国オーストリアでもプラチナディスク賞を受賞するなど、社会現象にもなった。

日本においては、秋山和慶とともに恩師斎藤秀雄を偲んで1984年に開催した、斎藤秀雄メモリアルコンサートを基礎にサイトウ・キネン・オーケストラを設立、1987年より正式に活動を開始。そして1992年より、芸術的念願であった国際的音楽祭「サイトウ・キネン・フェスティバル松本」へと発展させ、自ら総監督に就任。毎年大きな注目を集めている。

2000年、米国ハーバード大学より名誉博士号を授与される。2001年10月、フランス芸術アカデミー外国人会員（準会員）に選出、同年11月に日本で文化功労者に選ばれた。2002年、オーストリア勲一等十字勲章を授与される。2003年、毎日芸術賞、サントリー音楽賞を受賞。2004年3月、フランス・ソルボンヌ大学（パリ第四大学）より名誉博士号を授与される。2007年11月、ウィーン国立歌劇場名誉会員に選出。2008年には、フランス政府よりレジオン・ドヌール勲章オフィシエを授与された他、フランス批評家協会によって2007～08年シーズンの「今年の人」（音楽部門）に選出、またフランス芸術アカデミー外国人会員（正会員）に選出された。さらに同年11月、文化勲章を授与された。

2000年より、若い音楽家の教育を目的に、小澤征爾音楽塾オペラ・プロジェクトを開始。その他には、創立時より密接な関係にあり、桂冠名誉指揮者の地位にある新日本フィルハーモニー交響楽団と定期的に活動すると共に、水戸室内管弦楽団顧問として、同管弦楽団を指揮している。

2010年、日本人初のウィーン・フィルハーモニー管弦楽団「名誉団員」の称号を贈られる。2011年、第23回高松宮殿下記念世界文化賞（音楽部門）を受賞。