#38 🤖
Как я поставила ChatGPT двойку
Привет, это тридцать восьмой выпуск рассылки о научной журналистике в России и мире. Сегодня я, как всегда, делюсь полезным для работы и души, а ещё наконец-то расскажу, как ChatGPT не смог справиться с домашкой моего курса (давно задумывала, долго откладывала). Вперёд!
На первом занятии моего курса научной журналистики в ИТМО обычно есть короткая ремарка про ИИ, в разговоре о будущем. По сути, я говорю, что слухи о смерти профессии журналиста от руки робота сильно преувеличены: если ИИ и смогут уверенно перехватить что-то, то это почти наверняка будут довольно шаблонные новости (первые сообщения о землетрясениях, результаты рутинных матчей, финансовые итоги дня) и технические задачи. И переживать я предлагаю не об этом, а о куда более насущных проблемах в экономике и этике медиа.
Честно говоря, за годы вердикт принципиально не менялся, обычно я просто добавляла к нему какие-то инновации из ньюсрумов, но суть была та же: есть более важные тревоги, а писать мы будем вместе с ИИ. Я всегда проверяла, актуальна ли эта ремарка, непосредственно перед первым занятием. А в 2019 году я даже случайно воспользовалась служебным положением нативного редактора N+1 и продала, заказала и выпустила текст о том, что может и не может ИИ в журналистике.
Когда в 2022-23 учебном году университетские преподаватели в соцсетях стали делиться статьями о том, что блестящий новый ChatGPT «убил» формат эссе или сочинения в качестве домашних заданий, я насторожилась. Я не буду пересказывать всё, что произошло с ChatGPT с тех пор — для этого поста важно, что уже есть целые сайты ИИ-новостей. (Мне уморительно читать там, что это «настоящие непредвзятые новости», после того, как мы недавно на другом курсе разбирали пучок кейсов Garbage In, Garbage Out применительно к ИИ.)
Первое занятие в ИТМО, конечно, на тот момент уже давно прошло, надо ли мне было, так сказать, делать исправление по поводу ИИ в (научной) журналистике? Я долго об этом размышляла, а потом увидела в фейсбуке пост, автор которого дал ChatGPT домашку из своего курса (и расстроился), и подумала, что могу сделать то же самое.
На моём курсе студенты пробуют писать разные журналистские тексты, и буквально первое задание — это научная новость. В мире научной журналистики, особенно на русском языке, это максимально стандартизированный продукт, и если что-то и можно автоматизировать, это должна быть новость, особенно если убрать задачу выбрать инфоповод, которая не очень хорошо алгоритмизируется. Все студенты пишут новость по одной и той же статье 2013 года, и, конечно, это задание с подвохом (о нём позже; теперь его можно и раскрыть).
Сначала я совершила ошибку новичка: попросила ChatGPT написать научную новость на 500 слов, дав ему гиперссылку с DOI — по которой, конечно, он пройти не смог и вместо этого… вернул текст про абсолютно вымышленное исследование неперевариваемого крахмала. Что, простите?
Потом я поняла, в чём проблема, и предложила ему аннотацию статьи (весь текст статьи с его форматированием туда скопировать трудно, но мой подвох в любом случае не в тексте статьи). Получилось так:
Окей, это хотя бы не про крахмал, уже хорошо. Но это плохая новость: в ней очень-очень, ОЧЕНЬ много «воды», терминология без объяснений, примерно ничего не понятно про методы, много пассивного залога и академичного языка и так далее. И главное, по ней видно, что ChatGPT совершенно не понимает1, что такое контекст и какой контекст нужен в этой новости. И даже прямая просьба добавить весь необходимый контекст не помогает.
Подвох задания заключается в том, что научный журналист, что в 2013, что в 2023 году, не может не написать, что представляет из себя на самом деле экзотическая картинка, прикрытая пассивным залогом, из второго абзаца. Животные-«производители», циветы, давно уже не бегают по Индонезии, выбирая лучшие ягоды, и никто не бегает за ними, подбирая какашки — зверей держат в клетках на «фермах», кормят чем придётся, демонстрируют туристам, и в целом жизнь их не очень. Восторженные новости про новый метод, который поможет защитить рынок от подделок, без этого мелкого шрифта я не принимаю — несмотря на то, что учёные ничего не написали про это в статье.
Ну так мы и не пересказы статей пишем?
То есть по крайней пока ChatGPT не пройдёт мой курс по научной журналистике. Если бы у меня было следующее первое занятие осенью 2023 года, я бы обязательно добавила туда этот кейс.
Напоследок порекомендую несколько занятных текстов про журналистику и LLM. MIT Technology Review поговорил с создателями ChatGPT, Economist тщательно фиксирует все перемены в медиаотрасли, а (внезапно) Bulletin of the Atomic Scientists делает то же самое, но с куда более пессимистичным настроем. Из текста Economist я вынесла эту прекрасную цитату:
«Мы здесь не чтобы спасти журналистов, а чтобы спасти журналистику», — исполнительный редактор Semafor Джина Чуа на фестивале журналистики в Перудже
Что происходит. Лето в Северном полушарии официально началось, так что скоро в этом разделе будет затишье, но пока кое-что есть.
Metamedia продолжает серию вебинаров: про каналы YouTube (8 июня), работу независимых медиа в России (22 июня) и краудфандинг (6 июля);
Онлайн-воркшопы продолжаются и у EUMETSAT: климат и погода (6 июня), экстремальные погодные явления (13 июня) и использование европейских метеоданных (20 июня).
После пандемии возвращается хорошо известная в России школа научной журналистики и научкома в Эриче (заявки принимают до 2 июля). А если вы хотите вложиться в собственное образование — прямо скажем, основательно вложиться — и поучиться писать о науке на английском, в UC San Diego есть курс по science writing, который стартует 11 июля. Чуть менее основательно вложиться можно в курс Центра Найтов по расследованиям с 12 июня.
Что почитать 🗞 📖. Карл Циммер в своей рассылке написал, что его колонка в New York Times перезапустилась: раньше она называлась Matter, а теперь Origins, и вместо того, из чего всё состоит (the stuff of everything), он будет разбираться, откуда что берётся (how things came to be). Поразительно, конечно, на фоне выгорания, тоски и прочего уныния видеть, как человек работает десятилетиями как не в себя — многое бы отдала, чтобы узнать, как устроен его день и откуда берётся, например, такая энергия.
По рекомендации журналистки Алисии Кеннеди, которая делает отличную рассылку про еду, я купила и читаю книгу Мэгги Нельсон On Freedom: Four Songs of Care and Constraint. Ещё читаю не про науку, но очень интересное: Ксения Лученко говорит с Василием Гатовым для «Кольты».
Что послушать 🎙. В последние две недели я слушала больше музыки, чем подкастов, и те были довольно своеобразные. К примеру, я подписана на ещё одну грандиозную рассылку Data is Plural, и по её мотивам теперь есть подкаст. Там, например, можно послушать разговор о датасете с параметрами гигантских тыкв. (Из музыки я открыла для себя, страшно сказать, ремиксы Смешариков.)
English, please. В англоязычном разделе в четверг я вместе с авторами статьи задавалась главным вопросом жизни, Вселенной и вообще — почему научные журналисты продолжают свой непростой и весьма неблагодарный труд.
И напоследок. У меня осталась подписка на сервис Pressfeed, который я сначала тестировала как журналист, а потом как эксперт, готовый давать комментарии. И на днях мне оттуда пришёл такой запрос:
Даже не знаю, пожалуй, я не могу ни подтвердить, ни опровергнуть визит и присутствие инопланетян на Земле.
До встречи через две недели! 👽
Да-да, я тоже против антропоморфизации чатботов.