母亲安高中毕业后就开始四处找工作，先是在一家公司当的打字员，然后到一家杂货店做收银员，再就是到船坞打工，就是在这里、他碰上了弗瑞曼，弗瑞曼也担起了责任，抚养了阿伦和他与安所剩下的两个女儿。
88年的一场意外车祸使弗瑞曼失去了工作，于是为了生活他从年，一直在贩卖可卡因，因此他总是在监狱之间进进出出。但就艾弗森来说，他并不以继父的坐牢为耻，因为弗瑞曼是为了养家糊口，是为了能够把食物放在他这个家庭的桌子上。
弗瑞曼并不像布朗那样有很大的抱负，去追求辉煌的美国梦，他只想漂在社会底层的水面上就足够了。在贫民窟中的黑暗日子，父亲的入狱以及很小就失去了家庭温暖和教育、这并不是艾弗森童年中所面临的最大的困难。
在不打球的时候，走在那个有枪便代表着法律的黑街、躲避毒贩的诱惑与不时的冷枪才是只有8岁的艾弗森所面临的最大威胁一次在打群架时，艾弗森有8个死党朋友死于乱枪扫射，而他自己侥幸大难不死。
艾弗森一家当时居住在弗吉尼亚州汉普顿的排污管道上，排污管经常爆裂，使艾弗森一家经常被污水完全淹没，污水退去后的恶臭可以在他家弥漫数周之久，这使得他的两个妹妹经常生病。
安一天工作18个小时尚不能维持这个家庭的正常开销，他们经常因欠费而被停止水电供应，于是艾弗森生病的妹妹永远无法得到合理的治疗，他们一家要面临的不仅是温饱，而是最基本的生存可能，但安无时无刻不在用各种方法使这个家庭充满快乐和友爱。
艾弗森多年以后评价自己母亲时说:“她做到了她能做到的一切!”看看他的母亲，看看弗瑞曼，看看周围的那些人，艾弗森逐渐开始明白一个道理:体育将是他惟一的一条出路。这是艾弗森的想法，也是安长期以来坚持的信条。
安还记得艾弗森在13岁时与他说过的话，“当时阿伦对着我喊道‘妈，我受不了贫穷，我再也受不了了!’而我则回答说，那你就必须打出个样来，否则，什么都不会改变。”从此，美国的黑街上少了一名毒贩，而nba赛场上多了一名叫艾弗森的球员，世界篮坛有了一条聪明绝顶的硬汉。
在美国，有很多这样的例子，即很多体育人物的出身都是贫苦的，但是他们的母亲都没有放弃对孩子的教育，让他们尽可能地接受知识，即使在他们功成名就之后、他们的母亲仍然是督促他们完成学业。
nba的微笑刺客托马斯就是一个例子，后来在nba成名后，他还是在母亲的督促下，完成了他因为打球中断的学业，拿到了学位证书。
但是安艾弗森并没有这么做，她没有在艾弗森在球场上干出了点名堂之后，叫他回头再读一些书。她知道自己的孩子天生就是干体育的料。当街面上开始谈论