9 декабря 1936 года отца Исаака, едва оправившегося после перенесенного инфаркта, арестовали органы НКВД. После изнурительных допросов в марте 1937 года его приговорили к пяти годам лишения свободы за «антисоветские разговоры» и сослали на Колыму, где он вскоре погиб. Летом того же 1937 года семью «врага народа» сослали в Киргизию в г. Фрунзе, (нынешний Бишкек). Рахиль Соломоновна устроилась работать на швейную фабрику, а 14-летний Исаак, чтобы поддержать семью материально, начал давать частные уроки игры на фортепиано детям местных чиновников, работал в летнем кинотеатре тапером. «Однажды сижу, долблю по клавишам разбитого рояля под немую картину, – рассказывал позже знаменитый композитор. – А шел тогда последний сеанс, у меня уже сильно болели руки. Приходилось играть во всю мощь, ведь никаких усилителей тогда не было. А к каждой картине я тогда придумал свою музыку, не осознавая, что это – музыкальное сочинение. Вдруг подходит ко мне высокий и видный дядя, целует в макушку и говорит: “Ты, мальчик, далеко пойдешь”. У меня было ощущение, что он только что сошел с экрана. Оказывается, это был известный артист кино Коваль Самбурский. Он играл в картине “Человек из ресторана”, мною только что озвученной. Коваль пришел на последний сеанс, и ему очень понравилось, как я импровизировал».
В 1938 году Шварц стал брать уроки фортепиано и композиции у замечательного педагога, ставшего потом знаменитым, В. Г. Фере. Мальчик на слух подбирал мелодии, пробовал себя в сочинительстве музыки. В последующие годы ссылки он приобрел профессионально ценные навыки, работая концертмейстером в Киргизском государственном театре.
Во время Великой Отечественной войны Исаак руководил хором и оркестром Красноармейского ансамбля песни и пляски Фрунзенского военного округа. В 1943 году он женился, вскоре родилась дочь Галина.
Во Фрунзе Шварц познакомился с сестрой Д. Д. Шостаковича, Марией Дмитриевной, пианисткой, тоже сосланной. Когда в 1945 году срок ссылки закончился, семья Шварца вернулась в город на Неве. По рекомендации сестры Шостаковича Дмитрий Дмитриевич выслушал исполнение Исаака и обратился к профессору Ленинградской консерватории Б. А. Арапову с просьбой принять талантливого музыканта, несмотря на его слабую теоретическую подготовку, в свой класс. Так в 1945 году Шварц поступил на композиторский факультет и в 1951-м получил диплом композитора, хотя обучение стоило дорого. Студент не понимал, почему его освободили от платы за учебу, а потом оказалось, что деньги платил Д. Д. Шостакович. Чтобы прокормить семью, Шварц на каникулах подрабатывал аккордеонистом в пионерском лагере и Доме отдыха под Ленинградом.
Занимаясь у Б. А. Арапова, Исаак Шварц написал Сонату для скрипки и фортепиано (соль минор), струнный квартет, романсы на стихи Пушкина, Тютчева, Фета, Полонского, Гейне, Вариации для фортепиано, Арию для скрипки с фортепиано. К сожалению, он проучился у него всего три года. Когда вышло постановление партии об опере «Великая дружба» В. Мурадели и композиторах «антинародного направления» Шостаковиче, Прокофьеве, Хачатуряне, Шабалине и Мясковском, стали выгонять с работы и профессоров консерватории. Как считала коммунистическая власть, они недостаточно патриотично учат советских студентов. Вместо Арапова учителем Шварца стал талантливый педагог Орест Александрович Евлахов. Под его руководством студент написал кантату «Дума о Родине» на стихи А. Чепурова для солиста (баса), хора и симфонического оркестра в трех частях, балладу для баритона с оркестром «Солдат и вьюга» на стихи М. Светлова, романсы на стихи В. Орлова, С. Щипачева, а также Первую часть Симфонии фа минор. Это произведение, хорошо принятое слушателями, с момента премьеры 6 ноября 1954 года, неоднократно исполнялось в Большом зале Ленинградской филармонии. В 1955 году симфония прозвучала на VIII Всесоюзном пленуме правления Союза композиторов в Москве. Тогда же И. И. Шварц был принят в Союз композиторов СССР.
В последующие годы Исаак Иосифович написал Молодежную увертюру для симфонического оркестра (1957), балеты «Накануне» и «Страна чудес», поставленные в Ленинградском Государственном академическом театре оперы и балета имени Кирова. Вот как вспоминал знаменитый композитор о спектакле «Страна чудес»: «И все бы шло хорошо – совершенно гениальная хореография, но мне не повезло – исполнявшие главные роли стали потихоньку удирать из СССР – сбежал Нуреев, уехала Наташа Макарова – и постепенно балет сняли».
В конце 1950-х годов Шварц сочинил музыку к постановкам Г. А. Товстоногова «Идиот» Достоевского, «Еще раз про любовь» Радзинского, «На всякого мудреца довольно простоты» Островского, «Горе от ума» Грибоедова и др. В театре в полной мере раскрылось яркое лирическое дарование композитора, присущий ему тонкий психологизм и незаурядное чутье музыканта-драматурга.
Знаменитый маэстро вспоминал: «Георгий Александрович не поверил, что это моя первая работа для театра, настолько она была удачной: “Вы говорите неправду!” Я понял, чтобы выработать свой почерк, – надо забыть о существовании всех прочих стилей. Я не оглядывался по сторонам – в ногу ли со временем шагаю. Я раскрепостился, писал так, как хотел, и все получалось. С тех пор прошло много лет, а мой вальс из “Горя от ума” является визитной карточкой БДТ. Когда отмечают какую-то дату, юбилей артиста – всегда играют мою музыку.
Именно тогда у меня завязалась большая дружба с двумя корифеями БДТ, с двумя незабвенными, уже, к сожалению, ушедшими из жизни И. Смоктуновским и Е. Лебедевым. Я подружился с П. Луспекаевым (таможенник Верещагин в “Белом солнце пустыни”) и с Е. Копеляном – до конца их дней мы были друзьями. Поразительные люди – поразительного таланта!»
Известный композитор сотрудничал также с другими театрами Ленинграда и Москвы. Он – автор музыки к спектаклям «Доходное место» А. Островского (Ленинградский театр им. Пушкина, режиссер Р. Суслович), «Лес» А. Островского (ЦТСА, режиссер В. Мотыль), «Молва» А. Салынского (Московский театр им. В. Маяковского, режиссер А. Гончаров) и др.
Однажды знакомый кинорежиссер попросил Шварца сочинить музыку к своему фильму. Так в 1958 году композитор дебютировал в картине «Наш корреспондент». Затем был фильм «Неоплаченный долг», поставленный другом Исаака, В. Шредером. Слова к песне о проходных ленинградских дворах написал автор знаменитой «Гренады» М. Светлов.
Как-то Шварц понадобился на «Ленфильме» для срочной работы, но отыскать его нигде не могли. Оказалось, он загулял с одной дамой. Когда наконец-то композитор объявился на студии, Светлов сказал с легкой завистью: «Да, были когда-то и мы Исааками».
Работа в кино на долгие годы стала главной в творчестве И. И. Шварца. Он успешно сотрудничал с такими крупнейшими режиссерами страны, как М. Ромм, И. Пырьев, В. Мотыль, И. Хейфиц, С. Микаэлян, В. Венгеров, М. Швейцер, Ю. Карасик, С. Соловьев, Н. Губенко, Г. Аронов, А. Бобровский, А. Герман, П. Тодоровский, С. Бодров, П. Лунгин, В. Бортко, Е. Татарский, Р. Нахапетов и др.
Когда в Москву приехал знаменитый японский режиссер Акира Куросава, чтобы выбрать композитора для экранизации романа «Дерсу Узала», он не стал знакомиться с творчеством авторов, а начал просматривать отдельные эпизоды из разных картин. Несколько дней выдающийся режиссер провел в просмотровом зале «Мосфильма», но лишь «услышав» кинокадры «Станционного смотрителя» режиссера В. Соловьева, остановил свой выбор на И. Шварце. По словам В. Мотыля, «…Этот композитор обладает замечательным умением не иллюстрировать события на экране, а лирически осмысливать их в музыке», что очень высоко ценят кинорежиссеры.
Многие мелодии, песни и романсы Исаака Иосифовича из кинофильмов сошли с экрана и получили самостоятельную жизнь в музыкальном быту и на эстраде, принесли автору всенародное признание. Например, вальс и “Песенка кавалергарда” из кинофильма В. Мотыля “Звезда пленительного счастья” “Не обещайте деве юной любови вечной на Земле”». Именитый маэстро рассказывал: «Когда Булат Окуджава дал мне свои стихи, я как раз очень остро переживал личную драму – уходил от одной женщины к другой. Все мои терзания, мечты, надежды воплотились в музыке к этому удивительному фильму».