تأسست مكتبة الحاج حمدي الاعظمي العامة عام 1961 حين قام العلامة الحاج حمدي الاعظمي بإنشائها على قطعة الأرض العائدة له الواقعة في محلة السفينة بالاعظمية بداية شارع أبو عبيدة عامر بن الجراح ( المحلة 312 شارع 64 ) .
وتتكون المكتبة من مدخل بني على الطراز الإسلامي حيث الأقواس وعمودين من الرخام الأزرق .. وتمت زخرفة المدخل بالزخرفة الإسلامية المألوفة ( قام بها السيد خليل إبراهيم النقاش ) .. وللمكتبة مدخل رئيس يفضي إلى الإدارة وهي غرفة كبيرة بني على الجانب الأيسر منها المحراب الذي كتب عليه بخط المرحوم الحاج وليد الاعظمي الآية : بسم الله الرحمن الرحيم ( كلما دخل عليها زكريا المحراب وجد عندها رزقا ... ) .
على الجانب الأيسر من المدخل الرئيس بنيت غرفتان اتخذت الأولى مخزنا لبعض الكتب باللغة التركية ، واتخذت الثانية كمطبخ ومخزن . أما في الجهة المقابلة للمدخل فهناك قاعة كبيرة تضم عددا كبيرا من الخزانات الحديدية المخصصة لترتيب موجودات المكتبة من كتب ومخطوطات ومجلدات المجلات الإسلامية والأدبية القديمة ، حيث بلغ عدد الكتب فيها أكثر من سبعة آلاف كتاب تشمل مجموعة كبيرة من أهم كتب التفسير وعلم الحديث وكتب السيرة النبوية وقواميس ودوائر المعارف الخاصة باللغة العربية وآدابها وكتب التاريخ العربي والإسلامي ، إضافة إلى مجموعة كبيرة من مجلدات المجلات المهمة .
أما الجانب الأيمن من المكتبة فقد بنيت غرفتان للمطالعة خصصت الأولى للرجال ، والثانية مخصصة لمطالعة النساء .
يجد من يتصفح معظم كتب هذه الكتب توقيعات وتعليقات مهمة على ما ورد فيها ، فقد يصحح اسماً أو تاريخاً أو معلومة جاءت خاطئة .. ومن هذه التوقيعات ( اشتريت هذا الكتاب بأربع عانات من مالي الحلال ) و ( بدأت بقراءته في غرة شهر رمضان ) و ( أعدت فراءته في منتصف شهر محرم الحرام ) .
قام العلامة المرحوم الحاج حمدي الاعظمي بجمع هذه الكتب من جميع الدول العربية والإسلامية التي كان يزورها . وقد قال رحمه الله لاحد اصدقائه: عندما كان يقوم بمساعدته على ترتيب هذه المكتبة حين كان يقوم بنقلها من بيته إلى مكانها الحالي بان هذه الكتب عزيزة علي كمعزة أبناءه وانه قام باستئجار ( جمل ) إضافي في القافلة التي كانت تقله إلى مكة المكرمة لاداء مناسك الحج ، وأضاف بان قراءة هذه الكتب في طريق الحج كانت سلوته الوحيدة في الذهاب والإياب .
كان رحمه الله حريصا على مكتبته هذه اشد الحرص مطلعا على معظم كتبها . ولغرض دعم هذه المكتبة فقد قامت عدد من العوائل الكريمة بإهداء مكتباتها الخاصة إلى مكتبة الحاج حمدي الاعظمي العامة .. ومن ذلك :
1. مكتبة عائلة المرحوم سيد خليل أول إمام لجامع صالح أفندي.
2. مكتبة عائلة المرحوم عيسى عبدالقادر .. مدير أوقاف سابق .
3. مكتبة الأستاذ فهمي الجراح عضو محكمة تمييز العراق سابقا .
4. بعض من كتب المرحوم الشيخ هاشم الاعظمي .
5. مكتبة عائلة الدكتور عبدالكريم الهاشمي
6. مكتبة عائلة المرحوم إبراهيم مختار محلة السفينة سابقا.
حيث تشغل كل من هذه المكتبات حيزا خاصا بها علقت عليه لافتة باسم العائلة التي قامت بإهدائها لتبقى على مر الدهر مخلدة هؤلاء السادة الأفاضل.