Великую Отечественную войну Иван Данилович начал командиром упомянутой дивизии, а с апреля 1944 года — 3-го Белорусского фронта. Это был один из талантливейших советских полководцев и самый молодой генерал армии — ему тогда было 38 лет. Уже в первые дни войны танкисты Черняховского вступили в бой с наступающими частями вермахта в Прибалтике. Его бойцы стойко и мужественно защищали каждую пядь земли. Так, под литовским городом Шяуляем они нанесли огромный урон отборным гитлеровским механизированным соединениям. Упорно оборонялись войска под командованием Черняховского на Западной Двине и под Сольцами. Несколько дней и ночей сдерживали они рвущихся вперед фашистов под Новгородом. Талантливый полководец был замечен высшим командованием. В 1942 году, получив звание генерал-майора, отправился на Воронежский фронт, где его армия находилась на самых трудных и ответственных участках.
В августе 1943-го во время боев за освобождение Украины части под командованием Черняховского за несколько дней упорных боев захватили важные узлы коммуникаций — Глухов, Кролевец, Конотоп, Бахмач, Нежин, форсировали Днепр и заняли плацдарм на его правом берегу. Указом Президиума Верховного Совета СССР от 17 октября 1943 года за высокие организаторские способности при форсировании Днепра и проявленный личный героизм генерал-лейтенанту Черняховскому Ивану Даниловичу присвоено звание Героя Советского Союза.
В апреле 1944-го Иван Данилович был назначен командующим 3-м Белорусским фронтом и принял активное участие в освобождении Белоруссии и Литвы. 29 июля 1944 года стал дважды Героем Советского Союза. Его войска форсировали Неман и, сокрушая мощную долговременную оборону восточно-прусской группировки гитлеровцев, устремились к Кенигсбергу (ныне Калининград).
Иван Данилович не был штабным офицером — он постоянно находился во вверенных ему войсках. Солдаты видели его и в штабах, и на наблюдательных пунктах, и на передовой.
Это случилось в районе города Мельзак в Восточной Пруссии. Рано утром 18 февраля 1945 года командующий выехал на левый фланг войск с целью проверить их готовность к наступлению. На фронте было тихо. Неожиданно позади машины, в которой ехал Черняховский с адъютантом Комаровым, разорвался снаряд. Осколок пробил кузов и попал в командующего, перебив сосуды, ведущие к сердцу. Генерала доставили в полевой госпиталь, но спасти его не удалось — в этот же день Иван Данилович Черняховский скончался. 20 февраля 1945 года его торжественно похоронили в Вильнюсе, а в Москве в его честь дали 24 залпа из 124 орудий.
С августа 1943-го Москва салютовала в ознаменование побед советского оружия 363 раза, из них 33 — в честь достижений войск под руководством Черняховского. Уже был готов и приказ о присвоении ему звания Маршала Советского Союза, но подписать его Сталину не довелось…