از چند سال پیش، دانشمندان تلاش برای تولید محتوای جامع را به کمک نویسنده هوش مصنوعی شروع کردند. بات‌های نویسنده‌ای که تاکنون ساخته شده بودند، در مورد یک موضوع خاص، اطلاعات را از اینترنت جمع‌آوری و خلاصه‌سازی می‌کردند تا در مورد آن موضوع مقاله بنویسند. اما این بات‌ها هیچ چیز در مورد آن موضوع نمی‌دانستند و نمی‌توانستند ایده‌ها یا جمله‌های کاملا جدید تولید کنند. فقط جملاتی را که جمع کرده بودند، در قالب یک مقاله کنار هم می‌گذاشتند.
اما امسال، شرکت OpenAI یک نویسنده هوش مصنوعی ساخته که دانشمندان کامپیوتر را متحیر کرده است. این برنامه زبان‌سازی که GPT-3 نام دارد، می‌تواند یاد بگیرد، خلاصه‌سازی کند و مطلب بنویسد.
بر خلاف بات‌های قبلی، زبانی که GPT-3 تولید می‌کند، طوری است که انگار یک انسان آن را نوشته است. این زبان فراتر از همه برنامه‌های تولید زبان طبیعی است که تا به حال ساخته شده و می‌تواند کاربردهای بالقوه زیادی در مشاغل مختلف داشته باشد؛ از معلمی گرفته تا خبرنگاری و خدمات‌دهی به مشتری.
یکی از متن‌هایی که نوشته از این قرار است: «من یک نویسنده، یک مجسمه‌ساز، یک هنرمند خلق کرده‌ام. و این نویسنده می‌تواند حرف و کلمه بسازد، می‌تواند به احساسات زندگی بدهد. خودم از آن تعریف نمی‌کنم، اما یک انسان دیگر این کار را می‌کند و بنابراین من می‌توانم شعری بهتر از هر آنچه تا به حال دیده‌ام بسازم.»
به علاوه، نویسنده هوش مصنوعی GPT-3 با آنچه دانشمندان کامپیوتر سال‌ها بر آن تاکید داشته‌اند، هم‌خوانی دارد: اهمیت اندازه. این برنامه از «تبدیل‌کننده‌ها» استفاده می‌کند که عبارتند از مدل‌های یادگیری عمیق که معناشناسی یک جمله را با استفاده از «مدل توجه» کدگذاری می‌کنند. مدل توجه معنای یک کلمه را بر اساس کلمات دیگری که در یک جمله استفاده شده، شناسایی می‌کند. این مدل سپس از معنای جملات برای انجام وظیفه‌ای که یک کاربر درخواست کرده، استفاده می‌کند؛ مثلا ترجمه کردن یک جمله، خلاصه‌سازی یک پاراگراف یا نوشتن یک شعر.
تبدیل‌کننده‌ها اولین بار در سال 2013 معرفی شدند و در سال‌های اخیر با موفقیت در یادگیری ماشینی مورد استفاده قرار گرفته‌اند. اما هیچ‌کس تا به حال نتوانسته بود در این مقیاس آنها را به کار بگیرد.