كان أبوه روميا مملوكا لرجل من أهل هراة، وكان أبو عبيد إمام أهل عصره في كل فن من العلم وولي قضاء طرسوس أيام ثابت بن نصر بن مالك ولم يزل معه ومع ولده ومات سنة ثلاث وعشرين ومائتين أو أربع وعشرين ومائتين أيام المعتصم بمكة وكان قصدها مجاورا في سنة أربع عشرة ومائتين وأقام بها حتى مات عن سبع وستين سنة. وأخذ أبو عبيد عن أبي زيد الأنصاري وأبي عبيدة معمر بن المثنى والأصمعي وأبي محمد اليزيدي وغيرهم من البصريين وأخذ عن ابن الأعرابي وأبي زياد الكلابي ويحيى بن سعيد الأموي وأبي عمرو الشيباني والفراء والكسائي من الكوفيين وروى الناس من كتبه المصنفة نيفا وعشرين كتابا في القرآن والفقه واللغة والحديث. وقال أبو الطيب عبد الواحد بن علي اللغوي في كتاب مراتب النحويين: وأما أبو عبيد القاسم بن سلام فإنه مصنف حسن التأليف إلا أنه قليل الرواية يقتطعه عن اللغة علوم افتن فيها. وأما كتابه المترجم بالغريب المصنف فإنه اعتمد فيه على كتاب عمله رجل من بني هاشم جمعه لنفسه. وأخذ كتب الأصمعي فبوب ما فيها وأضاف إليه شيئا من علم أبي زيد الأنصاري وروايات عن الكوفيين. وأما كتابه في غريب الحديث فإنه اعتمد فيه على كتاب أبي عبيدة في غريب الحديث وكذلك كتابه في غريب القرآن منتزع من كتاب أبي عبيدة وكان مع هذا ثقة ورعا لا بأس به ولا بعلمه. سمع من أبي زيد شيئا وقد أخذت عليه مواضع في غريب المصنف وكان ناقص العلم بالإعراب وروي أنه قال: عملت كتاب غريب المصنف في ثلاثين سنة وجئت به إلى عبد الله بن طاهر فأمر لي بألف دينار. وذكره الجاحظ في كتاب المعلمين وقال كان مؤدبا لم يكتب الناس أصح من كتبه ولا أكثر فائدة. وبلغنا أنه إذا ألف كتابا حمله إلى عبد الله بن طاهر فيعطيه مالا خطيرا فلما صنف غريب الحديث أهداه إليه فقال إن عقلا بعث صاحبه على عمل هذا الكتاب لحقيق ألا يحوج إلى طلب معاش وأجرى له في كل شهر عشرة آلاف درهم. وسمعه منه يحيى بن معين وكان دينا ورعا جوادا. وسيّر أبو دلف القاسم بن عيسى إلى عبد الله بن طاهر يستهدي منه أبا عبيد مدة شهرين فأنفذه فلما أراد الانصراف وصله أبو دلف بثلاثين ألف درهم فلم يقبلها وقال أنا في جنبة رجل لا يحوجني إلى غيره فلما عاد أمر له ابن طاهر بثلاثين ألف دينار فاشترى بها سلاحا وجعله للثغر وخرج إلى مكة مجاورا في سنة أربع عشرة ومائتين فأقام بها إلى أن مات في الوقت المقدّم ذكره.

 وقال إسحاق بن راهويه: يحب الله الحق أبو عبيد أعلم مني ومن أحمد بن حنبل ومن محمد بن إدريس الشافعي

 قال ولم يكن عنده ذاك البيان إلا أنه إذا وُضِع وُضِع. ولما قدم أبو عبيد مكة وقضى حجه أراد الانصراف فاكترى إلى العراق ليخرج في صبيحة غد. قال أبو عبيد: فرأيت النبي صلى الله عليه وآله وسلم في النوم وهو جالس على فراشه وقوم يحجبونه والناس يدخلون إليه ويسلمون عليه ويصافحونه. قال فلما دنوت لأدخل مع الناس منعت فقلت لهم لم لا تخلون بيني وبين رسول الله صلى الله عليه وآله وسلم فقالوا إي والله لا تدخل إليه ولا تسلم عليه وأنت خارج غدا إلى العراق فقلت لهم فإني لا أخرج إذا فأخذوا عهدي ثم خلوا بيني وبين رسول الله صلى الله عليه وسلم فدخلت وسلمت وصافحت. فلما أصبح فاسخ كريه وسكن مكة حتى مات بها ودفن في دور جعفر.

 وقال أبو عبد الله بن طاهر: علماء الإسلام أربعة عبد الله بن عباس في زمانه والشعبي في زمانه والقاسم بن معن في زمانه وأبو عبيد القاسم بن سلام في زمانه. ثم قال يرثيه: [البسيط]

 (يا طالب العلم قد مات ابن سلّام ... وكان فارس علم غير محجام)

 (كان الذي كان فيكم ربع أربعة ... لم نلق مثلهم إستار أحكام)

 إستار: أي أربعة. وحدث أبو بكر الزبيدي قال: قال علي بن عبد العزيز قال عبد الرحمن اللُّحَنة صاحب أبي عبيد وقد اجتاز على دار رجل من أهل الحديث كان يكتب عنه الناس وكان يزن بشر إن صاحب هذه الدار يقول أخطأ أبو عبيد في مائتي حرف من المصنف. فقال أبو عبيد: ولم يقع في الرجل بشيء مما كان يعرف به في المصنف مائة ألف حرف فلم أخطئ في كل ألف حرف إلا حرفين ما هذا بكثير مما استدرك علينا ولعل صاحبنا هذا لو بدا لنا فناظرناه في هاتين المائتين بزعمه لوجدنا لها مخرجا.

 وحدث عن عباس الخياط قال: كنت مع أبي عبيد فاجتاز بدار إسحاق.  الموصلي فقال: ما أكثر علمه بالحديث والفقه والشعر مع عنايته بالعلوم فقلت له: إنه يذكرك بضد هذا. قال: وما ذاك؟ قلت: إنه يزعم أنك صحفت في المصنف نيفا وعشرين حرفا. فقال: ما هذا بكثير في الكتاب عشرة آلاف حرف مسموعة يغلط فيها بهذا ليسير لعلي لو ناظرت فيها لاحتججت عنها. ولم يذكر إسحاق إلا بخير.

 قال الزبيدي: ولما اختلفت هاتان الروايتان في العدد امتحنت ذلك في المصنف فوجدت فيه سبعة عشر ألف حرف وتسعمائة وسبعين حرفا. وحدث موسى بن نجيح السلمي قال: جاء رجل إلى عبيد القاسم بن سلام فسأله عن الرباب فقال هو الذي يتدلى دون السحاب وأنشد لعبد الرحمن بن حسان: [المتقارب]

 (كأن الرباب دوين السحاب ... نعام تعلق بالأرجل)

 فقال: لم أدر هذا، فقال: الرباب اسم امرأة، وأنشد: [الكامل]

 (إن الذي قسم الملاحة بيننا ... وكسا وجوه الغانيات جمالا)

 (وهب الملاحة للرباب وزادها ... في الوجه من بعد الملاحة خالا)

 فقال: لم أدر هذا أيضا فقال: عساك أردت قول الشاعر: [الهزجٍ]

 (ربابٌ ربّة البيت ... تصب الخل في الزيت)

 (لها سبع دجاجات ... وديك حسن الصوت)

 فقال: هذا أردت. فقال: من أين أنت؟ قال: من البصرة. قال: على أي شيء جئت على الظهر أو في الماء؟ قال: في الماء. قال: كم أعطيت الملاح؟ قال: أربعة دراهم. قال: اذهب استرجع منه مأ أعطيته وقل لم تحمل شيئا فعلام تأخذ مني الأجرة؟ . قال محمد بن إسحاق النديم: ولأبي عبيد من التصانيف كتاب غريب المصنف كتاب غريب الحديث كتاب غريب القرآن، كتاب معاني القرآن كتاب الشعراء كتاب المقصور والممدود كتاب القراءات كتاب المذكر والمؤنث كتاب الأموال كتاب النسب كتاب الأحداث كتاب الأمثال السائرة كتاب عدد آي القرآن كتاب أدب القاضي كتاب الناسخ والمنسوخ كتاب الأيمان والنذور كتاب الحيض كتاب فضائل القرآن كتاب الحجر والتفليس كتاب الطهارة وله غير ذلك من الكتب الفقهية.

 قال علي بن محمد بن وهب المشعري عن أبي عبيد القاسم بن سلام قال: سمعته يقول هذا الكتاب ((يعني غريب المصنف)) أحب إلي من عشرة آلاف دينار. فاستفهمته ثلاث مرات فقال: نعم هو أحب إلي من عشرة آلاف دينار. وقال أبو العباس أحمد بن يحيى: قدم طاهر بن عبد الله بن طاهر من خراسان وهو حدث في حياة أبيه يريد الحج فنزل في دار إسحاق بن إبراهيم فوجه إسحاق إلى العلماء فأحضرهم ليراهم طاهر ويقرأ عليهم فحضر أصحاب الحديث والفقه وأحضر ابن الأعرابي وأبو نصر صاحب الأصمعي ووجه إلى أبي عبيد القاسم بن سلام في الحضور فأبى أن يحضر وقال العلم يقصد فغضب إسحاق من قوله ورسالته وكان عبد الله بن طاهر يجري له في الشهر ألفي درهم فقطع إسحاق عنه الرزق وكتب إلى عبد الله بالخبر فكتب إليه عبد الله قد صدق أبو عبيد في قوله وقد أضعفت له الرزق من أجل فعله فأعطه فائِته وأدر عليه بعد ذلك ما يستحقه.