Этот образ прославился в 1688 году после чудесного исцеления сестры патриарха Иоакима Евфимии Петровой Папиной, долгое время страдавшей от не заживавшей раны в боку. Первоначально икона находилась в московской Спасо-Преображенской церкви на Ордынке (позднее известна как Скорбященская), прихожанкой которой была Евфимия. Ее написание, по-видимому, надо относить ко времени перестройки храма в камне в 1683-1685 гг. Служба иконе "Всех скорбящих радость" по образцу службы иконе Божией Матери "Одигитрия" и сказание были составлены сразу после прославления образа, особый акафист написан в 1863 г. проф. МДА П.С.Казанским.

В 1711 г., при переезде царского двора в Санкт-Петербург, царевна Наталия Алексеевна увезла с собой из церкви на Ордынке икону "Всех скорбящих радость". Точно неизвестно, был ли это оригинал или список с него, который также пребывал в церкви. Существует 2 версии относительно того, какой образ, московский или петербургский, явил чудо в 1688 г. Обе иконы в равной степени почитались как чудотворные, и в московской, и в петербургской церквах хранились ранние рукописные списки службы и сказания об иконе.

Церковные историки уже к началу XX столетия затруднялись ответить, какая из икон - на Большой Ордынке в Москве или на Шпалерной в Санкт-Петербурге - являлась первым образом. Но судя по тому, что петербургская икона написана на кипарисной доске на загрунтованном холсте, она моложе московской. Анализ же иконографии дает основания считать, что московский образ является списком с петербургского (см. ниже раздел "Иконография").

Оставшаяся в Москве икона "Всех скорбящих радость" с 1713 г. находилась в устроенном для нее приделе. Чудотворения от нее письменно не фиксировались. Храм был закрыт в 30-х гг. XX в., служба в нем возобновлена в 1948 г. Судьба образа в период, когда храм был закрыт и в нем находилось фондохранилище ГТГ, достоверно неизвестна. Считается, что находящийся там в настоящее время чтимый образ Божией Матери тот же, что был до закрытия церкви. Но есть сведения, что чудотворная икона изымалась, а образ, который находится в церкви, был подарен Патриархом Московским и всея Руси Алексием I в связи с возобновлением церковной службы и является точным списком с чудотворного образа, созданным во 2-й пол. XVIII в.

Икона "Всех скорбящих радость", вывезенная в Санкт-Петербург, была помещена царевной Наталией Алексеевной в домовой церкви Воскресения Христова при ее дворце за Литейным двором на Шпалерной ул. При Наталии Алексеевне на иконе были закреплены частицы реликвий и мощей святых, выполнен серебряный оклад, украшенный фамильными драгоценностями царевен. В 1713 г. при дворце была устроена богадельня, к которой храм стал относиться после смерти царевны (1716 г.). Во время эпидемии оспы в 1768 г. императрица Екатерина II ходила к иконе на богомолье, перед тем как сделать прививку от болезни себе и наследнику Павлу Петровичу. В 1817-1818 гг. церковь была полностью перестроена (архитектор Л.Руска), икона установлена в особой нише справа от иконостаса.

Письменной фиксации чудотворений от иконы в храме не велось, но в литературе упоминается о том, что в 1848 г. исцелилась умиравшая девица-дворянка, к одру которой был принесен образ (в память об этом к окладу был приложен большой бриллиант), в 1849 г. выздоровел заболевший холерой врач Выборгской больницы, в 50-х гг. по молитве отца перед иконой в храме поправился сын чиновника.

Образ был написан на кипарисной доске (69,0х51,2 см). При императрице Екатерине II был выполнен 2-й оклад, в 1858 г.- 3-й, золотой, по рис. Ф. Г.Солнцева. В храме имелось 3 списка с чудотворного образа. 1-й иконографически соответствовал иконе, и на него был наложен оклад царевны Наталии Алексеевны. В 1847 г. этот образ, но без оклада был передан в полоцкий Спасо-Евфросиниев монастырь и заменен копией работы П.М.Шамшина. 2 других выполнены в живописной манере с изменением иконографии (добавлены страждущие). Один (293,4х226,7 см), написанный в 1858 г. художником Ф.А.Бронниковым, находился на хорах храма. Второй (213,5х124,5 см), выполненный художником Тюриным на медной доске в ознаменование 50-летия храма в 1869 г., был установлен в нише на наружной стене храма. Ни один список не сохранился.

В 1932 г. храм был закрыт, после чего судьба иконы неизвестна. Версия о том, что она была перенесена в Спасо-Преображенский собор Санкт-Петербурга, неверна. Икона "Всех скорбящих радость", в настоящее время находящаяся в нем и считающаяся подлинной, не соответствует сохранившимся описаниям, литографическим изображениям и фотографиям чудотворной иконы.

Существует несколько версий о том, как образ попал в часовню. Согласно одной, икона была вкладом купца С. И. Матвеева, имевшего торговые связи с заводом. Икона принадлежала его матери, урождённой Куракиной, в их семью "Всех скорбящих радость" попала после того как была выловлена из Невы. Согласно другой версии, икону прибило к берегу реки в том самом месте, где была построена часовня. По третьей версии, её пожертвовал в часовню некий купец из Ладоги, спасшийся от гибели во время бури на реке. Весьма вероятно, что эти предания относились первоначально к Тихвинской иконе Божией Матери, а после прославления иконы "Всех скорбящих радость" были приписаны ей.

Время построения часовни предание относит к эпохе царствования императрицы Екатерины II и связывает с тем, что у этого места, где раньше был перевоз от стеклянного завода к деревне Клочки, некогда явилась по воде Тихвинская икона Божией Матери. В наводнение 1824 года часовня была смыта и отнесена к деревне Клочки, затем восстановлена на прежнем месте Д. Туляковым. Туда же были возвращены и иконы. Впоследствии часовня перестраивалась. До 1882 года была приписана к Скорбященской церкви над вратами Александро-Невской лавры, затем к Борисоглебской церкви на Калашниковской пристани.

Икона прославилась 23 июля 1888 года, когда во время грозы молния ударила в часовню и она загорелась. После тушения пожара было замечено, что стекло киота разбилось, сама икона упала на рассыпавшиеся из ящика для пожертвований монеты, причем 12 монет прилипли к иконе и держались на ней непонятным образом (позднее одна отпала; на 2020 год на иконе сохранилось 9 монет). Это событие вызвало большой приток богомольцев к иконе, и еще до официально засвидетельствованных исцелений от неё были случаи выздоровления (например, расслабленного крестьянина, несколько лет не встававшего с постели). Первое исцеление, получившее всероссийскую известность, произошло 6 декабря 1890 года, когда от иконы излечился с детства страдавший припадками 14-летний сирота Николай Грачёв (впоследствии учился в рисовальной школе Императорского общества поощрения художеств). 7 февраля 1891 года исцелилась 26-летняя жена писаря с фабрики Торнтона Вера Белоногина.

После посещения часовни в 1893 году царской семьёй началось строительство Скорбященской церкви рядом с часовней по проекту А. И. фон Гогена и А. В. Иванова, завершившееся в 1898 году. Икона оставалась в часовне, для богослужения переносилась в церковь, где для неё был устроен специальный киот справа от иконостаса. Множество точных списков, сделанных с иконы, находились в храмах Санкт-Петербурга и Санкт-Петербургской губернии и в других местах. Так, местночтимые списки находились в церкви Иоанна Богослова в с. Рохлине Бельского уезда Смоленской губернии, в церкви Вознесения в Екатеринбурге.

Скорбященская церковь была разобрана в 1930-х годах, часовня закрыта (сохранилась в перестроенном виде), а икона перенесена в церковь Святой Троицы ("Кулич и Пасха"), где находится до настоящего времени.