Родился в семье вице-адмирала британского флота Гренвила Уолдигрейва 2-го барона Редстока и дочери банковского служащего Эстер Каролины Пюже. После окончания Оксфордского университета поступил на военную службу и принял участие в Крымской войне, где, по собственному признанию, коренным образом пересмотрел своё отношение к христианской религии, а после возвращения в Лондон сблизился с последователями Джона Нельсона Дарби.

В 1856 году унаследовал титул барона Редстока. Через 10 лет оставил военную службу в звании полковника и профессионально занялся миссионерской деятельностью, в рамках которой посетил многие страны Европы и Индию.
Весной 1874 года прибыл в Санкт-Петербург, где познакомился с многочисленными представителями российской аристократии, с которыми вёл беседы на духовные темы, а также произносил проповеди в частных домах для широкого круга слушателей.
В число последователей барона Редстока вошли княгини Н. Ф. Ливен, В. Ф. Гагарина, граф А. П. Бобринский, граф М. М. Корф, полковник В. А. Пашков, вдова генерал-адъютанта Е. И. Черткова, Ю. Д. Засецкая и др.
Организованные Редстоком молитвенные собрания продолжались и в период его выездов из России, к ним присоединялись как дворяне, так и горожане неаристократического происхождения.
Отрицательная реакция на развитие указанного движения, получившего наименование «редстокистов», со стороны официальных церковных кругов в 1878 году привела к установлению для Г. Редстока запрета на посещение России.
Продолжив миссионерскую деятельность в Европе, в последующие годы Г. Редсток работал в Швеции и Дании, где также активно проповедовал среди представителей высшего общества.
С 1889 года Редсток поселился в Мэйфилде (пригород Саутгемптона), где продолжал собирать людей для проповеди и молитвы, а также занимался благотворительной деятельностью, оказывая поддержку приютам и миссионерским обществам как в Великобритании, так и за рубежом.
Жена проповедника Сюзан Шарлотта Келкрафт скончалась 8 декабря 1892 года. Сам Редсток умер в Париже 8 декабря 1913 года, находясь в миссионерской поездке по Франции.