Его отец умер молодым, а мать, выйдя вторично замуж, переехала с семьёй в городок Дуна-Шердахели, где существовала небольшая еврейская община. Вамбери с детских лет запомнил зовущий на молитву стук деревянного молотка в дверь. Ещё мальчиком он был отдан в услужение, где «заработал» себе хромоту.

Он рано почувствовал интерес к языкам, учил их сначала самостоятельно (в свободное время — по ночам), а затем — в монастырской школе близлежащего Пресбурга. Жизнь его в эти годы была трудной, семья жила в крайней нужде. Тем не менее, когда пятнадцатилетний Вамбери приехал в Вену, то знал уже четыре языка — иврит, венгерский, словенский и немецкий, а скоро к ним добавились французский и латынь.

Иногда ему удавалось найти работу домашнего учителя, что давало скудные средства к существованию. В захудалом пештском кафе «Орчи» существовала своеобразная «биржа» домашних учителей: здесь собирались студенты и молодые преподаватели, искавшие вакансий, сюда приходили состоятельные горожане в поисках недорогого наставника для своих отпрысков. Иногда выбор падал на Вамбери, несмотря на его молодой возраст. При этом Вамбери неизменно следовал принципу «Docendo discimus» — «Уча, учишься сам».

В эти годы Вамбери загорелся желанием заняться исследованием происхождения венгров. Ему запомнились слова одного венгерского крестьянина: «Каждый раз, когда нашему народу приходится плохо, появляются старые мадьяры из Азии и выручают его из беды». Крестьянин был неграмотным, он повторял изустно сохранившееся предание, но Вамбери хотелось верить, что корни мадьяр действительно следует искать в Азии. Он взялся за турецкий и персидский, радовался, что может читать Саади, Хафиза и Хайяма в оригинале.

За пару лет Вамбери удалось скопить 120 флоринов. Конечно, этих денег для путешествия на Восток было мало, но страстно увлечённый Азией молодой человек уже стал известен в пештских учёных кругах, и барон Этвош, член национальной Академии, выступил в роли его благотворителя и оформил нужные документы для поездки.

Первой целью Вамбери был Стамбул. Он прибыл сюда в 1857 году и сразу окунулся в стихию турецкого языка, который до этого был ему знаком лишь по книгам. Вскоре по всей турецкой столице разнеслась молва о чужеземце, который читает в кофейнях «Ашик-Кериб» совсем как настоящий турок! Чтение классических поэм, столь любимых турками, давало Вамбери пропитание; потом он начал перебиваться уроками — обучать богатых турок французскому языку. Благодаря этому Вамбери постепенно обзавёлся связями в кругах высшего стамбульского общества. Единственный из европейцев он получил разрешение учиться в медресе — мусульманской школе — и вскоре мог на равных с исламскими богословами участвовать в религиозных диспутах. Турки называли его Решид-эфенди — «честный господин».

Здесь же, в Стамбуле, началась его журналистская деятельность — под своим турецким именем Вамбери посылал отсюда корреспонденции в немецкие газеты и журналы. При желании он мог бы даже поступить на турецкую дипломатическую службу: на Востоке, как он убедился, ценили «аристократов духа», придавая куда меньшее значение происхождению. В тогдашней Европе, бедняк и еврей, и мечтать не мог о подобной карьере. Однако Вамбери, «свободный мыслитель», не хотел принимать мусульманство и ограничивать себя служебными обязательствами.

При более близком знакомстве с турецким языком он нашёл в нём, особенно в его восточном, хангатайском, диалекте много общего с венгерским. Может быть, древние мадьяры действительно были связаны родственными узами с турками? Но в любом случае это была ещё не та Азия, откуда «появляются старые мадьяры». В поисках ответа на загадку нужно было идти дальше на Восток — в Персию, в Афганистан, в степи Туркменистана, в сказочную Бухару… Вамбери решил, что второе путешествие он совершит именно туда.

В 1861 году, после четырёхлетнего отсутствия, Арминий Вамбери возвращается в Венгрию. Пештская академия избирает его своим членом-корреспондентом. Но Вамбери уже рвётся в новое путешествие: его неудержимо манит далёкая Средняя Азия. Академия даёт «добро», но средств выделяет, увы, до обидного мало… А ведь дело предстояло нешуточное! Когда на заседании Академии один простодушный учёный попросил Вамбери «привезти парочку-другую азиатских черепов для сравнительного изучения», президент Академии князь Десефи с усмешкой ответил, что желает путешественнику привезти домой в целости и сохранности хотя бы свой собственный череп…

И в Стамбуле, куда Вамбери опять приехал, тамошние знакомцы пытались отговорить его от дальнейшего путешествия: они ссылались на недавнюю гибель в Туркестане двух английских офицеров и одного француза, о трудностях пути для его хромой ноги, о фанатизме мусульман, ненавидящих всякого иностранца-«френги» (френги — «франк»; общее название для всех европейцев). Но Вамбери в свои 30 с небольшим лет чувствовал себя достаточно крепким, а к голоду и прочим неудобствам он привык ещё в юношестве. Его вели вперёд стремление к неизвестному и жажда приключений…

Для того чтобы отправиться на Восток, Вамбери пришлось надеть личину странствующего дервиша. В таком виде он покинул Трапезунд (теперешний Трабзон), где некоторое время жил под гостеприимным кровом губернатора Эмина Мухлиса-паши, и вместе с небольшим караваном прибыл в Эрзерум. Отсюда его путь пролегал через горы, где «в подземных норах» жили армяне. Буйволы и люди ютились в одном помещении; там же ночевали и дервиши. В Дагарских горах караван впервые столкнулся с бандами грабителей-курдов, людей диких, храбрых и умелых. Вамбери наблюдал поющую, торгующуюся, ссорящуюся толпу в восточных городах; он уже смешался с этой толпой, перенял её язык, жесты, поведение — наверное, он был прирождённым актёром. Постепенно Вамбери научился читать суры Корана с шиитскими мелодическими интонациями.

В Тебризе Вамбери был представлен персидскому шаху — как турок Решид-эфенди, и получил от его министра грамоту, скреплённую печатью-тугрой, что было весьма немаловажно для дальнейшего путешествия: к шахской грамоте с почтением относились властители туркестанских племён. И снова дервиш Решид-эфенди отправляется в путь верхом на осле… Дорога до Шираза заняла несколько месяцев. Вамбери привык к жаре, дождям и ветру, он научился спать в седле и ездить на любом вьючном животном. Он учил новые языки, запоминал нравы и обычаи местных жителей. Записывать ничего не мог — негде было хранить записи. С собой он взял лишь серебряные часы, придав им вид компаса, показывающего направление на священную Мекку; взял он и несколько золотых дукатов, спрятав их в подошвы обуви, чтобы не вызывать подозрения спутников.

Он умывался песком, ел руками из общего блюда, расстилал свою одежду возле муравейника, чтобы избавиться от кишевших в ней паразитов, мёрз на пути между Мешхедом и Гератом, страдал от жары, идя в Хиву (позже Вамбери узнал, что температура в тех местах достигает 60 °C). Но самым трудным оказались не физические мучения, а постоянная опасность выдать себя.

Вокруг было много наблюдательных и подозрительных глаз. Особенно опасным оказался один афганец из Кандагара, угрожавший «раскрыть этого шпиона» по приходе в Бухару. Вамбери научился подолгу сидеть безмолвно и без движения, не обращая внимания на угрозы. А как истово он плясал, пел и молился у гробницы святого дервиша Боха-эд-дина! Только один раз Вамбери изменило самообладание, когда, изнемогая от жажды в Халатской пустыне, попросил пить, не отдавая себе отчёта, на каком языке он это сделал…

По дороге в Бухару Вамбери встречался с племенами кочевников, которые, при всей своей бедности, привечали странников, соблюдая старинные законы гостеприимства. «Среди воинственных, жадных и крайне фанатичных афганцев я подобного отношения не видел, — замечает Вамбери. — Они безжалостно и хладнокровно убивали появлявшихся в этих местах совершенно мирных англичан — только из желания попасть в рай благодаря убийству кяфиров — неверных». До Бухары он в конце концов добрался. Пребывание в этом городе осталось памятно для него сердечными встречами с учёным и поэтом Рахим-беем (впоследствии министром бухарского эмира) — они по очереди и с наслаждением читали друг другу стихи персидских поэтов…