Не вынеся такой жизни, Иван ушел от своего хозяина к брату, и тот, хотя и пожалел его, но вскоре опять поместил к армянину в г. Нахичевань. Там он тоже не долго оставался и был помещен в бакалейную лавку в Таганроге. Здесь ему приходилось ходить за пищей в квартиру хозяина на конец города. Однажды он шел с посудой в лавку и, сильно утомившись, присел отдохнуть и тут же заснул крепким сном. В это время с него сняли сапоги и унесли посуду, а затем полицейский забрал его в часть. Дома, конечно, тоже досталось от хозяина и за сапоги, и за обед…
От этого хозяина Иван тоже ушел и отправился пешком в Новочеркаск, к двоюродному брату, бывшему там диаконом. Шел он голодный, так как у него кроме двух-трёх сухарей ничего не было. Про это путешествие он сам рассказывал так: «Два дня я совсем ничего не ел, — просить как-то не умел, а люди сами не давали; так и смирялся не евши. Когда же пришел я в Новочеркаск, то разыскал ту церковь, в которой служил мой брат, и в ожидании, когда кончится обедня, сел на паперти. Тут мимо меня прошли две казачки с булками, и одна из них сказала: «Наверно, этот мальчик сирота и ничего не ел», — и дала мне булку. Уж как я ей обрадовался; и так она мне показалась вкусна, точно манна с неба».
У этого брата диакона ему хотя и хорошо было жить, но оставаться долго нельзя было; и тот его отправил к своему тестю — священнику, где его все очень полюбили, и он прожил там порядочно. Из жизни у этого священника батюшка о. Иосиф вспоминал один эпизод. Раз святками дочь священника задумала гадать в зеркало в полночь; одной ей было страшно сидеть, и она посадила его с собой. «Мне очень хотелось спать, — говорил он, — и я, чтобы не заснуть, начал читать молитву, — и так мы ничего и не увидали».
После сестре Александре удалось поместить своего брата в железную лавку; но везде одинаково было ему трудно. Однажды хозяин, бывший ктитором собора, послал его что-то сказать рабочим, бывшим на верху стройки. Туда он взобрался скоро, но когда стал опускаться, у него закружилась голова, и он упал без чувств.
Когда ему случалось совсем оставаться без места, то он нанимался в поденные. «Кто хочет трудиться, — говорил он после, — тот всегда найдёт себе дело».
Приходилось ему переносить 5-ти пудовые мешки с мукой и другие тяжести. Однажды он, таская доски с плотов, оступился, упал в воду и стал тонуть, так как попал между двух плотов и выплыть было некуда. Но вдруг какая-то невидимая рука точно вытолкнула его на поверхность воды, и Господь спас его от смерти.
В другой раз везли они с хозяином кожаный товар. Ночевать остановились на постоялом дворе; хозяин пошел спать в избу, а Иван остался на возу. Ночью случился пожар; в суматохе про него все забыли, а он от усталости так крепко спал, что ничего не слыхал, и когда утром проснулся, то не мог сообразить, где он находится, так как кругом всё выгорело.
На берегах благодатного Дона прошла юность старца Иосифа
Ещё как-то нужно было Иоанну из Ставрополя отправится в Ростов для приискания места у какого-либо хозяина. В это время один армянин накупил в Ставрополе картофеля и тоже отправился на двух подводах в Ростов. Его и нанял Иоанн довести его до места, хотя обоим им большею частью пришлось идти пешком, так как на телегах нагружен был картофель. Подъехали они к Дону, где был казённый перевоз и были устроены казармы для казаков. Но Дон начал разливаться по той причине, что с моря дул ветер и нагонял воду. Казаки отказались перевозить. Не желая терять времени, армянин предложил Иоанну ехать с ним берегом. Поехали; но вода всё более и более прибывала. Тогда Иоанн, несмотря на уговоры армянина, возвратился пешком к казармам. Пришлось ему идти по пояс в воде. Добравшись же до казармы, он здесь переночевал, а солдаты дали ему сухую обувь; когда же он стал снимать свои сапоги, то оказалось, что они примерзли к ногам. На другой день вода сошла, и его перевезли на другую сторону Дона, и он уже продолжал путь свой до Ростова пешком.
Так юный Иоанн постоянно подвергался опасностям, но Господь везде хранил сироту; и, несмотря на то, что юность его протекала в среде грубой и нередко развращённой, ничто дурное не повредило его чистой души. Вина он никогда не пил и в карты не играл. Однажды его, бывшего в большом городе, подчевали слабеньким виноградным вином, называвшимся чихирь. Но, выпивши рюмку, он тотчас же почувствовал, что охмелел и у него закружилась голова. Тут же он дал себе слово никогда больше не брать в рот никакого вина. «Если уж от такого слабого вина, выпитого в таком малом количестве человек хмелеет: то что же с ним может быть, когда он выпьет много», — подумал благоразумный юноша. К женскому полу он был совершенно равнодушен. Его как-то спросили: «Нравился ли вам кто в миру?» На это он ответил с такой наивной простотой, которая лучше всего доказывала его искренность и невинность: «Да ведь я был близорук и никого не мог хорошо рассмотреть издали; а близко подходить совестился — был застенчив. Бывало, для меня очень трудно, когда хозяин при гостях пошлёт позвать кого-нибудь, а я издали никак не разберу, к кому нужно подойти».
Вообще он всегда в миру испытывал тоскливое чувство; и молитва — это единственное наследство, доставшееся ему от благочестивых родителей, — была неизменной спутницей его скорбной жизни, и храм был единственным местом утешения, куда его всегда влекло благочестиво настроенное сердце.
Наконец, ему удалось попасть на хорошее место в Таганрог, к купцу Рафаилову, который будучи человеком благочестивым, вместе с ним ездил к церковным службам. Обязанность его у этого хозяина была принимать рожь, которую привозили из разных мест чумаки, и затем развозить в городе по разным конторам и русским, и греческим. В летнее время дел было много, осенью меньше, а зимой и вовсе нечего было делать. Таким образом, по наступлению осени, хозяин и предложил Иоанну отправиться на мельницу, которая находилась в селе и была отдана одному малороссу в аренду. Не любивший молву людскую, Иоанн рад был пожить в сельской тишине. В наступающую зиму Иоанну почти