Там где воды рек Белой и Супрасли, сливаясь, впадают в Нарев, раскинулся Белосток – бывший уездный город Гродненской губернии Российской империи (ныне Белосток входит в состав Польши), основанный по приданию в 1302 году литовским князем Гедимином.
В этом городе 4 декабря (22 ноября по старому стилю) 1882 года в семье Исидора Перельмана, счетовода одной из суконных фабрик, родился второй сын – Яков.
После смерти Исидора Перельмана в сентябре 1883 года, воспитание Якова и Осипа (Осип Исидорович, был прозаиком и драматургом, писавшим по-русски и на идише (псевдоним Осип Дымов) полностью легло на плечи их матери – учительницы начальной школы.
Август Моэс у которого Исидор служил более 20-ти лет «пожаловал» семье «пенсион» в размере 8-ми рублей в месяц. Мать Якова хотела дать ему и его брату хорошее образование. Она учила братьев грамоте, чтению, немецкому и французскому языкам.