زندگی پاچینو در محله‌ی خشن برانکس جنوبی در نیویورک، در سال ۱۹۴۰ و در اوایل جنگ جهانی دوم شروع شد. پدر و مادر آل پاچینو هر دو ایتالیایی‌تبار بودند و پدربزرگ و مادربزرگ مادری‌اش از شهر کورلئونه و پدربزرگ پدری‌اش از سان فراتلو در جزیره‌ی سیسیل ایتالیا به آمریکا مهاجرت کرده بودند. این پیشینه، سال‌ها بعد او را به‌سمت فیلم پدرخوانده برد. او حاصل ازدواجی ناموفق بود. پدرش، سالواتوره، در دو سالگی او خانه را ترک کرد و مادرش، رُز، ناچار شد دست فرزندش را بگیرد و به آپارتمان شلوغ و فقیرانه‌ی والدین سیسیلی‌اش برگردد. فقر در آن خانه موج می‌زد: یخچال همیشه خالی بود، همه همیشه با هم جروبحث می‌کردند و پدربزرگ همیشه نگران تأمین اجاره‌ی خانه بود. در چنین محیطی، پاچینو یاد گرفت که برای بقا باید فقط ببیند و هیچ نگوید. او ساعت‌ها روی پله‌های آپارتمان می‌نشست و رفتارهای آدم‌های خیابان، درگیری‌های لفظی همسایه‌ها و راه رفتن مأموران پلیس را تماشا می‌کرد. این مشاهده‌گری اجباری، اولین کلاس درس بازیگری برای او بود.
مادرش، رز، با وجود درگیری با بیماری شدید اعصاب و روان و جلسات طاقت‌فرسای شوک‌درمانی، پناهگاهی شگفت‌انگیز برای او ساخت. رز بعد از کارهای سخت روزانه، دست پسربچه‌ی سه یا چهار ساله‌اش را می‌گرفت و به سالن‌های تاریک سینما می‌برد. در آن تاریکی، دنیای خشن برانکس محو می‌شد و تصاویر روی پرده، ال کوچولو را از منجلاب واقعیت به سرزمینی رؤیایی می‌برد. مادرش او را «سانی» صدا می‌زد؛ لقبی رایج میان خانواده‌های ایتالیایی-آمریکایی برای پسربچه‌ها. اما خیابان‌های برانکس دهه‌ی 1950 تله‌های مرگباری داشتند. موج ورود هروئین به نیویورک، جوانان محله را درگیر کرد. پاچینو گروهی کوچک از دوستان صمیمی داشت که تمام روز را روی پشت‌بام‌ها و کوچه‌ها می‌گذراندند. مادرش که با این گروه مخالف بود، قوانین سخت‌گیرانه‌ای برای ال گذاشت تا دیگر نتواند با دوستان نابابش بگردد. با گذشت زمان، هروئین آن سه دوست دوران کودکی را به کام مرگ کشاند و پاچینو تنها بازمانده‌ی آن جمع کوچک شد. او در کتاب سانی بوی می‌گوید که زندگی‌اش در برانکس، شبیه گربه‌ای با ۹ جان بود.
مشاجره‌ی شدید در شانزده‌سالگی سر رها کردن مدرسه، نقطه‌ی جدایی آل از مادرش شد. او خانه را ترک کرد تا بار مالی روی دوش تنها تکیه‌گاهش نباشد و رؤیای بازیگری را دنبال کند. این جدایی هرگز معنای بی‌وفایی نداشت؛ اما آوارگی و فقر مطلق در نیویورک، فاصله‌ای اجباری میان آن دو انداخت. آل جوان وقتی در ۲۲ سالگی خبر درگذشت رز را بر اثر مصرف بیش‌ازحد دارو شنید، شتابان خود را رساند؛ اما مادرش از دنیا رفته بود. نرسیدن بر سر بالین تنها کس‌وکارش، بزرگ‌ترین حسرت و عقده‌ی روحی تمام عمر آل شد.
مدت کوتاهی بعد از مرگ مادر، پدربزرگ نابینایش نیز درگذشت. پاچینو ناگهان در نیویورک تنها ماند؛ بدون پول، بدون خانه و بدون هیچ تکیه‌گاهی. بی‌خانمانی و آوارگی در خیابان‌ها، روان انسان را زخمی می‌کند؛ اما نوعی تیزهوشی و شناخت بی‌واسطه از تاریکی‌های وجود انسان به دست می‌دهد. همه‌ی خشم، تعصب، حسادت و حس انزوایی که او سال‌ها بعد در نقش‌های سینمایی‌اش به نمایش گذاشت، بازسازی مستقیم همان مشاهده‌هایی بود که در سال‌های آوارگی در برانکس و خیابان‌های نیویورک در حافظه‌ی حسی‌اش ضبط کرده بود.