AI

GPT-3 and Conversational AI Models

zrik — Mon, 25 Jan 2021 07:20:49 +0000

GPT-3 - نماذج الذكاء الاصطناعي للمحادثة zrik اثنين, 01/25/2021 - 11:02

Conversational AI is all about making machines communicate in as much human as it can with the understanding of natural language. They can be chatbots, voice bots, virtual assistants, and more. In reality, they may be slightly different from each other based on the language and data they trained on. However, one key feature that ties them all together is their ability to understand natural language and respond to it.

GPT-3 (Generative Pre-trained Transformer 3) is a language model made by OpenAI a research lab that’s funded by big tech companies like Microsoft and Google. It was released to the public through an API in July 2020. It’s based on a famous deep learning architecture called transformers published in 2015 and It's generative because unlike other neural networks that spit out a numeric score or a yes or no answer, it can generate long sequences of the original text as its output.

GPT-3 can do a lot of stuff like question answering, summarizing articles, information retrieval, it can also provide you with code snippets! What makes it unique It’s the size and the development it went through which made it the closest model to human performance.

How to make your GPT

To create our GPT language model we need to find out what do we need and how to do it. As we know, the main building blocks for deep learning are the dataset and computing power. So, let’s see some examples of that.

Starting with the dataset used to train GPT-3. OpenAI Has collected the data from the internet which generated about 499 billion tokens(word) comparing to GPT-2 which trained with 10 billion tokens which were about 40GB. That makes GPT-3 trained with a total of 2TB of data. Here is the breakdown of the data:

DataSet	# Tokens (Billions)
Total	499
Common Crawl (filtered by quality)	410
Web Text2	19
Books 1	12
Books 2	55
Wikipedia	3

Continuing with computing power, OpenAI found that to do well on their increasingly large datasets, they had to add more and more weights. The original Transformer from Google (BERT) had 110 million weights. GPT-1 followed this design. With GPT-2 It went up to 1.5 billion weights. With the latest GPT-3, the number of parameters has reached 175 billion, making GPT-3 the biggest neural network in the world.
Having a model with 175 billion weights is not a simple operation of increasing parameters but it becomes an incredible exercise in parallel computer processing. You can see how much it compares to others from figure 1.

Figure 1. GPT-3 training chart compared to others
Source from here

It hasn't described the exact computer configuration used for training, but others mentioned it was on a cluster of Nvidia V100 chips running in Microsoft Azure. The company described the total compute cycles required, stating that it is the equivalent of running one thousand trillion floating-point operations per second per day for 3,640 days. To make it simpler to imagine it. It would take about 3 years for the V100(highest GPU available) with an estimated cost of 4.6$ million for a single training run.

That’s not the only problem for the computing power but also the capacity to carry a 175 billion weight parameter each parameter is a float number of sizes 32bit which requires in total about 700GB of GPU Ram. 10 times more than the memory on a single GPU.

If you still up for the challenge and want to experiment with a GPT model. You can try GPT-Neo from here. it’s an implementation of model & data-parallel GPT2 & GPT3-like models, with the ability to scale up to full GPT3 sizes (and possibly more!), using the mesh-TensorFlow library.

But is it really worth it? We will discuss next the limitation of it.

Limitations of GPT-3

So what can GPT-3 do? Well, for one thing, it can answer questions on any topic while retaining the context of previous questions asked. We can see in figure 2 examples of questions GPT-3 got right.

Figure 2. GPT-3 answering correctly
Source from here

So, when does the GPT-3 model fails?

GPT-3 knows how to have a normal conversation. but It doesn’t quite know how to say “Wait a moment your question is nonsense.” It also doesn’t know how to say “I don’t know.” in figure 3

Figure 3. GPT-3 answering nonsense questions
Source from here

People are used to computers being super smart at logical activities, like playing chess or adding numbers. It might come as a surprise that GPT-3 is not perfect at simple math the questions from figure 4.

Figure 4. GPT-3 confused from simple math
Source from here

This problem shows up in more human questions as well, if you ask it about the result of a sequence of operations. You can see that in figure 5

Figure 5. GPT-3 fails on sequence of operations.
Source from here

It’s like GPT-3 has limited short-term memory, and has trouble reasoning about more than one or two objects in a sentence.

The biggest problem for GPT-3 is being a black box like most neural networks, it’s so captivating because it can answer such a vast array of questions right, but it also gets quite a bit of them wrong, as we previously saw. The problem is when GPT-3 falls short, there is no way of debugging it or pinpoint the source of the error. Any customer-facing interface which cannot be iterated and revised is unsustainable or scalable in a business environment.

This is another aspect in which the current conversational AI solutions are better to GPT-3. Even simple chatbots allow their users to alter and improve their conversational flows as needed. In the case of more sophisticated conversational AI interfaces, users not only have a clear snapshot of the error but can track down, diagnose, and remedy the issue instantly.

Conclusion

GPT-3 is quite impressive in some areas, and still clearly subhuman in others but it’s far from ready to be used on real products, and as for businesses looking to provide their audiences with engaging, timely, and helpful conversational experiences will continue to rely on existing conversational AI solutions.

I still hope that with a better understanding of its strengths and weaknesses, we data scientists will be better equipped to use modern language models like GPT-3 in a business environment with real products.

Resources:

Banner image

GPT-3.png

وسوم

GPT-3

GPT

AI Models

Conversational

Author

محمود أيمن سيد

Introduction to Artificial Intelligence

zrik — Wed, 06 Jan 2021 14:56:23 +0000

مقدمة في الذكاء الاصطناعي zrik أربعاء, 01/06/2021 - 18:20

من المؤكد أنك قد سمعت بمصطلح "الذكاء الاصطناعي "(AI) من هنا أو من هناك ، بشكل متكرر جدًا. قالوا إنه يحل العديد من المشاكل ، وقد يتخذ مكان الإنسان في المستقبل.
لم يتحدثون عنه ليل نهار؟ لأي سبب نحتاجه؟ ما هو؟ كيف بدأ؟

لماذا نحتاج الذكاء الاصطناعي؟

في هذا العالم لدينا الكثير من المشاكل التي نتمنى من أعماق قلوبنا أن تحل. دعنا نلقي الضوء على بعضها هنا: يُظهر التحقيق في الأخطاء الطبية في الولايات المتحدة أن 5٪ من البالغين يتم تشخيصهم بشكل خاطئ سنويًا. هذا التشخيص الخاطئ هو سبب 10٪ من وفيات المرضى. التشخيص صعب ، والأطباء ذوو الخبرة ليسوا متاحين دائمًا وبأسعار معقولة، ولن ننسى أن هناك أخطاء بشرية أيضا. علاوة على ذلك ، فإن الأطباء لديهم أسبابهم لارتكاب الأخطاء أثناء قيامهم بمهامهم اليومية ذات الضغط العالي.
الذهاب إلى كارثة أخرى تحدث في العالم ، انهيار المباني. يرجى إلقاء نظرة على هذا الرسم البياني الذي يوضح عدد الوفيات الناجمة عن الانهيارات الهيكلية في الهند خلال الفترة 2003-2012 ، والتي تتجاوز 2000 شخص. استنادًا إلى الأسباب الخمسة المذكورة في هذا المقال ، يمكننا أن نقول إن قلة الخبرة والأخطاء البشرية والغش هي الأسباب الرئيسية لانهيار المباني حول العالم.

الشكل 1: عدد الوفيات الناجمة عن انهيارات المباني في الهند خلال الفترة 2003-2012. الموارد. المصدر.

نعلم جميعًا ارتفاع معدل الوفيات الناجمة عن حوادث السيارات سنويًا، ومن الواضح جدًا أن 94٪ من حوادث السيارات سببها اختيارات بشرية.

نعم ، أصبح الحلم حقيقة مع الذكاء الاصطناعي. باستخدام الذكاء الاصطناعي ، يمكننا الحصول على رعاية صحية شخصية وطب يركز على الفرد. لن يكون الذكاء الاصطناعي قادرًا على حل مشكلة انهيار المباني فحسب، بل سيجعل من الممكن أيضًا أن يتمكن كل واحد منا من تحمل تكلفة تصميم مبنى كتصميمات زها حديد. أدى استخدام السيارات ذاتية القيادة في الولايات المتحدة فقط إلى خفض عدد الحوادث بنسبة 90٪.

يحل الذكاء الاصطناعي المشاكل ويأتي مع ميزات إضافية اعتدنا أن نحلم بها ايضا. لن تضطر إلى تضييع وقتك مرة أخرى في التسوق، سيختار AI بدلة مصممة فقط لك للحفل الذي تنوي الذهاب إليه. سيختار أيضًا الطعام المفقود من ثلاجتك، بناءً على احتياجاتك. سوف يذهب الذكاء الاصطناعي إلى أبعد من ذلك ، من خلال حجز أفضل منتجع لزوجتك في ذكرى زواجكم السنوية. لا داعي للقلق مرة أخرى بشأن نسيان هذا التاريخ، فسوف يهتم AI بك.
لتلخيص ما يمكن أن يفعله الذكاء الاصطناعي لنا:
• جعل المهارات البشرية الأكثر خبرة في متناول جميع البشر
• توفير الوقت من خلال أداء العمل الشاق الذي يناسب احتياجاتنا ورغباتنا

إذن ، ما هو الذكاء الاصطناعي؟ وكيف يمكن أن تحل مشاكلنا بهذه الطريقة الذكية؟

ما هو الذكاء الاصطناعي؟

نحن البشر نحب البشر. لذلك ، عملنا على جعل أجهزة الكمبيوتر تفكر وتتعلم مثلنا. الذكاء الاصطناعي هو المجال الذي يمّكن أجهزة الكمبيوتر من حل المشكلات البشرية باستخدام أذكى الأساليب البشرية. كانت الطرق السابقة المستخدمة في حل المشكلات مع أجهزة الكمبيوتر تتم عن طريق برمجة كل حالة بكتابة برنامج مفصّل خاص بها ووضع الشروط بالتفصيل الممل لحل تلك الحالة. هذه مهمة مستحيلة مع حالات لها عدد كبير ومتنوع من الاحتمالات بالإضافة إلى المشاكل التي تحتوي على احتمالات مخفية. لذلك انتقل توجيه أجهزة الكمبيوتر من تلقينها بالإرشادات التفصيلية إلى تعليمها بالأمثلة. بعد ذلك، ستكون مهمة الكمبيوتر هي العثور على أسباب كل سيناريو بناء ً على الإحصائيات والاحتمالات، وتزويدنا باستنتاجاتها والقيام بالإجراء المناسب لذلك السيناريو المحدد.
متى بدأت أبحاث الذكاء الاصطناعي؟ بواسطة من؟ وكيف تقدمت حتى الآن ؟

تاريخ الذكاء الاصطناعي

بدأت أبحاث الذكاء الاصطناعي منذ عدة عقود. وصف آلان تورينج الذكاء الاصطناعي حرفيًا بالطريقة نفسها التي يعمل بها في الوقت الحاضر في محاضرة عامة عام 1947: "ما نريده هو آلة يمكنها التعلم من التجربة" وأن "إمكانية السماح للآلة بتغيير تعليماتها توفر آلية لذلك. ".

اقترح تورينج أيضًا اختبارًا لتحديد إذا كانت الآلة الذكية المتوقعة قد وصلت للمستوى الذي اقترحه أم لا. هذا الاختبار يسمى اختبار تورينج. يوجد حاليًا بعض الأجهزة التي اجتازت اختبار تورينج. أتوقع أنك استخدمت واحدة على الأقل. إنه برنامج الدردشة الآلي. يعد نموذج Chatbot مثالًا رائعًا على آلات الذكاء الاصطناعي التي تجيب على الأسئلة البشرية بطريقة لن نعرف ما إذا كان ردها بشريًا أم آليًا. كان هذا اقتراح اختبار تورينج.
نعم ، أنت محق ، لقد بدأت أبحاث الذكاء الاصطناعي منذ عدة عقود. لماذا مؤخرا فقط بدأنا نسمع عنها مرارا وتكرارا؟ كان الذكاء الاصطناعي ينمو ببطء شديد خلال القرن الماضي وتوقف عدة مرات (العديد من فصول الشتاء للذكاء الاصطناعي). السببان الرئيسيان للتقدم ببطء هما النقص في: الأجهزة عالية الأداء والبيانات. في العقدين الماضيين مع ظهور المواقع التفاعلية كمواقع التواصل الاجتماعي، لم يعد هناك نقص في البيانات. ولم تصبح الآلات عالية الأداء متاحة فحسب، بل أصبحت ميسورة التكاليف للكثير من العلماء والشركات الناشئة في جميع أنحاء العالم. يوضح الرسم البياني التالي المد والجزر في تاريخ الذكاء الاصطناعي. يمكن العثور على مزيد من المعلومات حول تاريخ الذكاء الاصطناعي في "تاريخ الذكاء الاصطناعي".

الشكل 2: مخطط معلومات تاريخ الذكاء الاصطناعي. المصدر.

أنواع الذكاء الاصطناعي

يتم تصنيف الذكاء الاصطناعي إلى نوعين، بناءً على أداء الآلة في مهام ذكية مختلفة، وليس في مهمة واحدة محددة. فكلا النوعين يفترض أن يتجاوزا القدرات البشرية في مهمة واحدة محددة على الأقل.
1. الذكاء الاصطناعي الضعيف أو الضيق (ANI):
إنه الذكاء الاصطناعي الذي يحل مهمة واحدة محددة. إنها ضرورية للمهام التي تستغرق وقتًا طويلاً أوالمهام التي نحن غير قادرين على حلها بسبب العلاقات المعقدة بين السبب والنتيجة. لدينا العديد من أنظمة الذكاء الاصطناعي الضعيفة هذه الأيام، بدءًا من توقع كلمتك التالية عندما تكتب على هاتفك الذكي، وانتهاءً بالمركبات ذاتية القيادة.
2. الذكاء الاصطناعي القوي أو الذكاء العام الاصطناعي (AGI):
لا يزال نوعًا نظريًا من الذكاء الاصطناعي. حيث أن شكل الإنسان يشبه الآلات الذكية. يحاكي الذكاء الاصطناعي العام (AGI) الإنسان من حيث الوعي الذاتي، والتفكير، وحل المشكلات، والتصرف، والتخطيط. إذا كنت تريد أن تتخيل كيف سيكون أداء AGI في المستقبل ، فقد يساعدك فيلم Robot.

ما زلنا لا نعرف كيف يتعلم الذكاء الاصطناعي من الأمثلة ، سيكون هذا موضوعنا التالي. إنه تعلم الآلة. ترقبوا ذلك في مقالة تعلم الآلة!

الشكل 3: الذكاء الاصطناعي وتعلم الآلة والتعلم العميق.