Авиация бомбила Грозный и другие города и селения Чечни неприцельно, по площадям. От бомбежек страдало почти исключительно мирное население. Гибель родных и близких только усиливала ненависть чеченских солдат и офицеров к федералам. В Грозном же по злой иронии судьбы жертвами бомб и снарядов становились в первую очередь русские жители. Мирное чеченское население в основном успело покинуть осажденный город и укрыться у родственников в горах, русским же уходить было некуда. В марте чеченские войска оставили Грозный. В апреле и мае российская армия прорвалась в предгорные и горные районы на юге Чечни, овладев всеми городами республики. Чтобы выиграть время для перехода регулярной армии к партизанской войне с труднодоступных баз в горах, в середине июня отряд в 200 человек под командованием одного из наиболее известных чеченских полевых командиров Шамиля Басаева, бывшего студента, а ныне генерала, совершил рейд на ставропольский город Буденновск. Здесь солдаты Басаева захватили в заложники до тысячи мирных граждан, согнали в городскую больницу и угрожали уничтожить их, если не будет объявлено прекращение огня и начало российско-чеченских переговоров (накануне почти вся семья Басаева погибла под российскими бомбами). Федеральные войска предприняли неудачный штурм больницы, в ходе которого погибло несколько десятков заложников. После этого премьер-министр Виктор Черномырдин согласился выполнить требования террористов, а также предоставил террористам автобусы, чтобы они могли добраться до чеченских гор с частью заложников для гарантии безопасности. В Чечне Басаев освободил оставшихся заложников и оказался вне досягаемости российских войск. Всего на улицах Буденновска и в больнице погибло около 120 мирных граждан. Басаев предпринял свой рейд без санкции чеченского командования, но впоследствии Дудаев и Масхадов одобрили его действия.
Бесчеловечная акция Басаева привела, однако, к временному прекращению кровопролития в Чечне, пока продолжались переговоры. В октябре они были прерваны, после того как глава российской делегации командующий внутренними войсками генерал Анатолий Романов был тяжело ранен в результате покушения (до сих пор он находится в бессознательном состоянии). Обстоятельства этого покушения, осуществленного с помощью радиоуправляемого фугаса, не ясны и сегодня.
После срыва переговоров федеральные войска возобновили наступление в горных районах Чечни. Они не раз захватывали там города и селения, но удержать занятые позиции длительное время оказалось невозможно, поскольку чеченцы блокировали пути снабжения. Российские части устали от войны. Их боеспособность, и без того низкая, упала до критического предела. Федеральным войскам так и не удалось разгромить главные чеченские силы. Масхадов и Дудаев смогли сохранить контроль над своими основными отрядами. В декабре чеченские силы на несколько дней заняли второй по величине город республики Гудермес, продемонстрировав России и всему миру свою силу.
В конце декабря 1996 года отряд численностью около 200 человек под командованием зятя Дудаева Салмана Радуева, позднее произведенного в генералы, совершил рейд против вертолетной базы в дагестанском городе Кизляре. Рейд окончился неудачей, и отряду грозило окружение со стороны федеральных войск. Тогда Радуев, по примеру Басаева, захватил заложников в городской больнице. Сначала он требовал прекращения войны и вывода российских войск из Чечни, затем, под давлением властей Дагестана, удовлетворился обещанием свободного пропуска в Чечню под прикрытием живого щита из заложников. В январе 1996 года у границы Дагестана и Чечни колонна автобусов с террористами была обстреляна российскими вертолетами. Радуев и его люди захватили в плен милицейский пост из бойцов новосибирского Отряда милиции особого назначения (ОМОНа) и заняли оборону в близлежащем дагестанском селении Первомайское. Отряд Радуева был осажден внутренними войсками и спецподразделениями МВД и службы безопасности численностью в 2,5 тысячи человек. Через несколько дней войска пошли на штурм, ворвались в Первомайское, но были отброшены на исходные позиции. Милицейские спецподразделения, обученные борьбе с вооруженными преступниками, были плохо приспособлены для ведения обычного уличного боя с подразделением противника. Под покровом ночи большинству радуевцев с частью заложников удалось прорваться из окружения. Бой у Первомайского еще раз доказал чеченцам слабость российских войск.
Все попытки Москвы создать дееспособную чеченскую администрацию окончились крахом. В последний период во главе пророссийского правительства стоял Доку Завгаев, бывший лидер компартии и председатель Верховного Совета Чечено-Ингушетии, разогнанного по инициативе Дудаева демонстрантами осенью 1991 года. Триллионы рублей, выделяемые на восстановление разрушенной экономики Чечни, расхищались банкирами и чиновниками разных уровней. Администрация Завгаева, не имея никакой реальной власти, была не в силах предотвратить обстрелы и бомбардировки чеченских селений российской артиллерией и авиацией. В результате Завгаев утратил популярность в своем родном Надтеречном районе, жители которого ранее были в оппозиции к Дудаеву.
В марте 1996 года Басаев на несколько дней вошел в Грозный. «Террорист № 1» на этот раз посадил своих бойцов на легковые автомашины. На большой скорости они передвигались по улицам, атакуя федеральные блокпосты и комендатуры, сами оставаясь практически неуязвимыми. Российская армия ничего не смогла сделать с басаевцами, пассивно ожидая, когда они покинут город. Как стало ясно впоследствии, мартовский рейд Басаева был всего лишь репетицией более масштабной операции.
В середине апреля вблизи селения Ярыш-Мардан в засаду попала колонна федеральных войск, потерявшая погибшими около 100 человек. Чеченцы же в этом бою потерь практически не понесли.
21 апреля 1996 года Дудаев был убит в результате взрыва авиационной ракеты, наведенной на сигнал его сотового телефона. Пост президента Чечни занял вице-президент Зелимхан Яндарбиев, известный чеченский поэт, но как политик уступавший по популярности Дудаеву, Масхадову и Басаеву. В конце мая во время приезда Яндарбиева в Москву с ним было заключено соглашение о прекращении огня. Накануне президентских выборов российское руководство было заинтересовано в достижении в Чечне хотя бы временного мира. Оно надеялось, что после гибели Дудаева сопротивление чеченцев ослабнет и удастся утвердить в стране правительство Завгаева.
После победы на выборах Бориса Ельцина федеральные войска возобновили наступление в Чечне и бомбардировку горных селений. 6 августа чеченская армия вошла в Грозный. Эта операция была разработана Масхадовым еще весной. Однако чеченское руководство отложило ее проведение на время после президентских выборов в России, полагая, что победа Ельцина для Чечни будет наименьшим злом. За несколько дней до начала операции в специальных листовках жителей Грозного предупредили, что в самое ближайшее время в городе начнутся бои и им надо запастись водой и продовольствием и не выходить на улицу. Однако командование федеральных войск не придало значения этим листовкам и было захвачено врасплох. В городе и его окрестностях располагалось до 15 тысяч солдат и офицеров армии и внутренних войск и бойцов ОМОНа.
Первоначально в Грозный вступило около 2 тысяч чеченских ополченцев под личным руководством Масхадова и Басаева (последний непосредственно командовал грозненской группировкой). К тому времени у чеченцев уже не было бронетехники и почти не осталось артиллерии. Однако по боевому опыту, умению воевать и моральному духу они далеко превосходили солдат федеральных войск, не проявлявших никакого желания умирать во имя «наведения конституционного порядка в Чечне». Многие российские подразделения фактически заняли позицию вооруженного нейтралитета, не обстреливая противника, если тот, в свою очередь, не покушался на занимаемые ими позиции.
За неделю боев чеченцы овладели большей частью Грозного, блокировав российские войска в основных административных зданиях и помещениях блокпостов и комендатур. К тому времени численность чеченской группировки в Грозном возросла до 6–7 тысяч человек, благодаря переходу на ее сторону части подчинявшейся Завгаеву городской милиции и переброски подкреплений из других районов Чечни. Контратаки федеральных войск с расположенных в грозненских пригородах Ханкала и аэропорт Северный были отбиты. Российские части понесли большие потери. Отдельные подразделения федеральных войск, чтобы вырваться из окружения и получить медикаменты для раненых, прибегли к позорной практике захвата заложников среди мирного населения. По некоторым оценкам, было сожжено до 200 единиц бронетехники, а несколько танков и боевых машин пехоты (БМП) чеченцам удалось захватить невредимыми. Как писала в те дни российская пресса: «Под натиском разрозненных бандформирований наши войска оставили город Грозный». Чеченские войска также освободили города Гудермес и Аргун и нанесли ряд ударов по федеральным частям в предгорьях.