Некоторые свидетели того времени замечали дальнейшее ухудшение отношения Ли к матери. Она опять чувствовала свою вину за то, что сын в Нью-Йорке почти попал в настоящую тюрьму. А Ли якобы беззастенчиво это чувство вины эксплуатировал. Он постоянно повышал на мать голос в присутствии чужих людей, особенно если она вовремя не успевала подать ему ужин. Однако такие показания дала комиссии Уоррена некая Миртл Эванс, давнишняя подруга Маргариты, которая сдала ей квартиру в одном из своих домов. Однако когда подвернулся более выгодный квартиросъемщик, Эванс уговорила Маргариту переехать. Чтобы оправдать такой поступок в глазах членов комиссии Уоррена, Эванс и сказала, что Ли был очень шумным и она хотела от него избавиться. Однако в том же выступлении перед комиссий, только чуть ранее, Эванс утверждала, что Ли был тихим подростком, и если и можно было назвать его «трудным», то только в той же степени, что и любого другого в его возрасте.
«Шумный» Ли проводил свободное время за книгой, катался на велосипеде или посещал музей. Друзей к себе в дом он не приводил. Похоже, что это как раз портрет идеального квартиросъемщика, тем более в таком возрасте. Единственным недостатком семьи Освальдов было отсутствие денег.
Характерно, что и другое свидетельство жестокости Ли исходит от мужа Эванс. Как-то он пригласил юношу с другими детьми на рыбалку. Ли отказался рыбачить вместе со всеми и отошел в сторону. Другие рыбаки, как обычно, бросали мелкий улов обратно в пруд, а больших рыб оставляли на еду. Ли же просто складывал все в кучу и, уходя, так и оставил рыб умирать на берегу. У его спутников сложилось впечатление, что он демонстративно показывает им: мне наплевать на ваши устои и обычаи. Хотя человек, может быть, просто не любил рыбачить или не хотел проводить время именно в этой компании.
В Новом Орлеане Маргарита Освальд продолжала работать продавцом в обувном магазине. Сослуживцы вспоминали ее только с хорошей стороны, как прилежного работника и обходительного человека. Но денег все равно не хватало. Ведь ни Роберт, ни Джон ничего не посылали матери, хотя оба уже имели свои источники доходов. Кстати, Ли в отличие от братьев, находясь на службе в морской пехоте и получая не очень большое жалованье, тем не менее регулярно посылал Маргарите деньги. Помогал он матери и тогда, в Новом Орлеане, работая по выходным в том же обувном магазине (он расставлял по полкам полученный товар). Его пытались выучить на продавца, но безуспешно: Ли такая карьера не привлекала.
В 1955 году Роберт Освальд уволился из морской пехоты и обосновался в Форт-Уорте (в этом городе в отличие от Нового Орлеана у него были друзья). На сэкономленные за время службы деньги он купил машину и приехал навестить мать и брата. Каких-то проблем между ними он не заметил. Роберт подарил Ли «Руководство для морского пехотинца», и эта книга стала для младшего Освальда настольной.
Осенью 1955 года Ли пошел в десятый класс. Это была его уже одиннадцатая школа. Проучился он в ней всего месяц. 7 октября 1955 года Ли предъявил в школе «справку» от матери, подделав ее подпись. Там говорилось, что семья уезжает в Сан-Диего, Калифорния, и поэтому Ли уходит из школы. Маргарита была в курсе этого письма, которое впоследствии использовалось для доказательства развитого у Ли с детства стремления лгать по поводу или без оного.
На самом деле за исключением подделки подписи письмо отражало реальные планы Ли. Мать, как и в случае с Робертом, сделала ложное заявление, что Ли уже 17 лет и мальчик подал заявление с просьбой зачислить его в Корпус морской пехоты, рассчитывая на успех. Причем лагерь новобранцев корпуса находился именно в Калифорнии. Другое дело, что в отличие от Роберта Ли не поверили, так как он был очень щуплым на вид.
Будучи отвергнутым, Ли сильно переживал и в школу уже не вернулся. Он говорил тете Лилиан, что ему незачем учиться, так как учителя уже не могут сообщить ему ничего нового. Принимая во внимание начитанность молодого Освальда и низкий уровень американского школьного образования, этому вполне можно поверить. Ли замкнулся еще больше и целыми днями сидел дома за книгами, особенно тщательно изучая справочник морского пехотинца. В конце концов он выучил его практически наизусть, и Маргарита говорила сыну, что с таким усердием в корпусе ему обеспечен чин никак не ниже генерала.
Однако мать все же настояла, чтобы Ли пошел работать. Даже не из-за денег (хотя они, конечно, были нужны), а для того, чтобы мальчик окончательно не переселился в свой придуманный мир и не утратил последние навыки общения с окружающими. Ли служил курьером в нескольких компаниях, получая в одной из них 130 долларов в месяц. Его помнят как спокойного, несколько замкнутого паренька. Сдружившись с таким же, как он, молодым курьером Палмером Макбрайдом на почве увлечения классической музыкой, Освальд горячо отстаивал в разговорах идеи коммунизма. Именно тогда он говорил о том, что готов убить Эйзенхауэра. Характерно, что Макбрайд не воспринял это всерьез, так как считал, что Ли просто не способен на что-либо подобное. Ли хвалил Хрущева и вообще считал, что в США создают нарочито искаженный образ Советского Союза (что было чистой правдой).
Интересно, что общие знакомые советовали Макбрайду прекратить контакты с Освальдом, если он, Макбрайд, намерен работать в сфере ракетных технологий (тогда большинство мальчишек было увлечено ракетами). Этот факт ясно показывает настроения американского общества того времени: чтение таких книг, как «Капитал» Маркса, представляло собой в глазах обывателей угрозу национальным интересам США. А Ли Харви Освальд позднее говорил, что «Капитал» был для него тем же, чем Библия для верующего.
Летом 1956 года Ли вместе с матерью в двадцать первый раз с момента своего рождения сменил место жительства. Маргарита, ожидая скорого отъезда Ли на военную службу, переехала в Форт-Уорт, поближе к Роберту. С сентября 1956 года Ли пошел в десятый класс (в Америке среднее образование двенадцатилетнее) своей двенадцатой по счету и последней школы. Но уже 28 сентября он окончательно расстался со школьной партой, с нетерпением ожидая своего семнадцатилетия.
В сентябре же, явно под влиянием встречи с Робертом предыдущим летом Ли приобрел свое первое настоящее оружие — винтовку 22-го калибра (позднее он продал ее брату).
Спустя несколько дней Ли написал письмо руководству социалистической партии Америки. Так как это первый сохранившийся документ, свидетельствующий о политических взглядах Ли Харви Освальда, стоит привести его полностью.
«Уважаемые господа!
Мне 16 лет и я хотел бы получить больше информации о вашей Молодежной лиге. Мне бы хотелось знать, есть ли ее отделение в моем районе, как туда вступить и т. д. Я марксист и изучаю социалистические принципы уже больше 15 месяцев. У меня есть большой интерес к вашей Молодежной лиге.
К письму был приложен вырезанный из журнала купон социалистической партии, где Освальд сделал пометку в разделе «пришлите мне информацию о социалистической партии».
Самое примечательное в этом письме — это адресат. Освальд, в самых хвалебных тонах говоривший о СССР и Хрущеве, написал не в коммунистическую партию США, а в партию, резко критиковавшую советскую систему. Соцпартия была основана в 1901 году и одно время претендовала на роль третьей партии Америки. У нее были свои депутаты в конгрессе, десятки мэров. На президентских выборах 1912 года кандидат соцпартии Юджин Дебс набрал 6 процентов голосов, что являлось лучшим результатом любой третьей партии США за полвека. Но в 1919 году большинство соцпартии образовало коммунистическую партию США, а руководство социалистов, оставшееся в меньшинстве, с помощью полиции сохранило свою власть. С тех пор влияние социалистов падало, и в 50-е годы о партии мало кто знал. Но в отличие от коммунистов у нее никогда не было репутации «агентов Москвы», и власти относились к ней благосклонно. Соцпартия занимала по отношению к СССР открыто враждебную позицию. Молодежная лига партии вообще придерживалась троцкистских взглядов.