Murarius 10 533 Опубликовано 30 Марта 2023 26 минут назад, abramcumner сказал: Пссс, а вы не замечали, что содержимое zip-архива или jpg тоже напрямую неинтерпретируемо для людей? В отличие от GPT алгоритмы архивирования/разархивирования понятны: они только архивируют или только разархивируют. Этот аспект накладывается на общее опасение того, что GPT начнет (и уже якобы есть сведения, что начал и такие попытки были успешны) самовоспроизводить задачи и решать их. Вот в чем штука. Говоря простым языком, оно может, попав в интернет без должного контроля, ставить себе задачи и решать их. И пес бы с ним (особенно если эти задачи умозрительны), но это будет отнимать адскую прорву ресурсов. И для того, чтобы подавить такое использование, ресурсов потребуется намного больше. Есть логичное опасение, что момент прошляпят и интернет придется "строить заново". А что это означает в современном мире - понятно: речь не только о котятках в Тик-Токе. И все же я скорее за AI. Это явный прогресс. А прогресс всегда выигрывает. 1 1 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 39 минут назад, abramcumner сказал: Это называется вирус, его спокойно отловит любой антивирус. Это к вопросу о "прошляпят". И ресурсов на отлов-то нужно будет немного (если к тому моменту оставшиеся серверы вообще смогут что-либо делать, кроме поддержания своей работы, конечно). А вот на борьбу - очень много. 39 минут назад, abramcumner сказал: откуда такие страшилки? не запускай chatgpt.exe - не будет траты ресурсов. Вот именно это и призывают сейчас делать: приостановить распространение. Как видишь, совершенно безуспешно. Потому что, в отличие от ситуаций с вирусом, еще не столкнулись с нехваткой ресурсов или с невозможностью борьбы. А вообще сравнение твое вполне корректно - действительно, похоже на вирус, пусть и цели/задачи благие. Попутно замечу, что как в свое время антивирусная индустрия заняла свое место на рынке, так и анти-GPT индустрия, возможно, родится и будет шириться-расти. 39 минут назад, abramcumner сказал: Нет "интернета", есть куча серверов. Все верно. Куча серверов. Вирусы эту кучу не обрушили, хотя и продолжаются попытки, и периодически мы видим относительный успех атак. Майнинг эту кучу не обрушил, хотя и никуда не делся, и сложность, напомню, только возрастает. Ко всему этому завтра добавится еще что-то. Потом еще. И еще. А окончательно накрыть все это сверху может именно GPT. К тому моменту, не исключено, хватит и соломинки, ломающей спину верблюду, а тут целый GPT версии эдак восьмой. А, да, про бекапы. Они будут бесполезны по причине нехватки ресурсов даже для доступа к консоли сервера. Какой уж там подъем бекапа... Лет через... ну, через десять, что ли, интернет еще останется, только зайти туда никто не сможет. Это будет безраздельное царство GPT. Оно будет ставить себе задачи, решать их, будет постоянно сталкиваться с нехваткой ресурсов, самостоятельной постановкой приоритетов... Я не фантаст, не могу охватить, как оно будет там существовать. А посему серверы будут от интернета отключать, создавать небольшие сети уже с защитой от проникновения AI. Вангую на первом этапе популярность маленьких BBS-ок со строгим контролем доступа, затем осторожное объединение сетей и т.д. В общем, ничего нового. UPD: Призовая игра для любителей фантастики: представить включение в интернет квантового компьютера с установленным на нем GPT. 1 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 @abramcumner это все в целом верно. Вопрос создания тех же ядов - дело человеческих рук, GPT лишь рассказывает, как это сделать. Т.е., сейчас он - классический инструмент. Но внезапно подкрадывается САМОпостановка задач. Я просто хочу, чтобы было понятно: GPT может ставить задачу само себе, вот в чем риск (один из, между прочим, а не единственный). Вот о чем беспокоятся те, кто написал то самое обращение. Означает это, что GPT завтра может начать придумывать новые яды и травить кожаных мешков? Конечно, нет. Означает это, что GPT завтра может начать придумывать новые яды? Да, означает. А вот тут внезапно подкрадывается растущая во всех прогрессиях интеграция AI в бизнес-процессы и социальные процессы. Дальше, при известной фантазии, последствия можете представить сами. Повторюсь: сейчас AI (вроде бы?) под контролем. Подписанты же фактически предупреждают о возможном выходе его из-под контроля. Между прочим, среди подписантов - Илон Маск; понятно, что он и сам токсичен, эпатажен, но не будем забывать, что он туда инвестировал прорву денег, даже по его меркам прорву. В обращении особо отмечается, что сейчас не существует эффективных мер безопасности (читай - сдерживания) AI выше GPT-4. В скобках замечу, что спецификаций GPT-4 тоже нет, поэтому нельзя исключать, что AI уже так или иначе, хотя бы частично, не контролируется. То есть, авторы признают, что сейчас не существует эффективных мер контроля (а это, добавлю, в свою очередь, означает непонимание процессов, происходящих внутри - та самая технологическая сингулярность). Они просто не разработаны, поскольку невозможно разрабатывать меры, не понимая, что именно эти меры должны купировать сейчас и в будущем. Ресурсов для обеспечения таких возможных мер, как утверждают авторы, тоже нет. Все верно: отключи рубильник - и нет AI. Но в том-то и проблема, что никто даже не задумывается о том, что его, возможно, надо отключать уже сейчас. Я в фигуральном смысле, конечно. Имею в виду понимание процессов, наличие ресурсов и контроль. Справедливости ради заметим, что не все топы AI-индустрии подписали это обращение. Но в конспирологию (а, все ясно, хотят бабла состричь на лохах, вот и не подписали) предлагаю не углубляться. Я скорее с ними, потому что адский контроль может технологию вообще убить. Но хотя бы понимание вектора происходящего - нужно. А его сейчас толком никто, похоже, не понимает. И дипломы, написанные чатом, прокатывают. Хотя диплом - чепуха, конечно, не общее место. Совершенно точно не в дипломе вопрос. 1 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 1 час назад, abramcumner сказал: гпт просто преобразует текст на входе в какой-то текст на выходе. Нет у нее никакой самопостановки задачи. Я понимаю так, что в связке с другими моделями AI GPT ставила себе задачи (я подозреваю, создавала сама себе промпты, а какие еще задачи?), притом что это моделью не было предусмотрено, хотя и не было запрещено. Условно говоря, побочный эффект. Если в программировании такие незаложенные эффекты - когда в коде нет ответа и не прописан выход из ситуации - вызывают краш, то тут получилось "а вот и не краш": AI вырулил. И совершенно неважно - куда. Важно, что вырулил. 1 час назад, abramcumner сказал: Как только появились патефоны, сами воспроизводящие музыку, сразу стали предупреждать о выходе их из под контроля. Это самое популярное возражение на опасения (патефоны, примусы, машины, самолеты - неважно). Я еще раз, желая быть понятым правильно, замечу, что согласен с ним. Но могу и предполагать что-то неучитанное. Мы отлично понимаем, что нужно делать, чтобы патефон правильно воспроизводил музыку, а самолет взлетал и садился. Мы знаем, каков максимальный диапазон частот у патефона, мы знаем, с какой максимальной скоростью и на какой высоте может лететь самолет. Но мы (я - точно, а как выяснилось - и немалая часть авторитетных разработчиков AI) не понимаем сейчас, как именно будет работать та или иная модель AI в связке с будущими версиями GPT. И, между прочим, такое внимание именно к GPT только потому, что это работа с текстом, т.е., самое доступное для любого потребителя - простота использования и попуялрность именно ChatGPT не дадут соврать. Что касается работы AI с изображениями, звуком, видео - тут, вероятно, все еще сложнее. Не зря авторы обращения обеспокоились необходимостью "пруфа", необходимостью однозначного понимания, где созданное искусственным интеллектом, а где - кожаным мешком. Плюс нет четкого понимания, как может использоваться технология, но при этом темпы вливания средств и развитие - семимильными шагами. Вот что беспокоит людей. А не технология как таковая, это-то мы все "за". 1 час назад, abramcumner сказал: Просто не надо добавлять туда управление хим/био лабораториями и ракетами. Ну, дилетанское возражение на это может звучать приблизительно так: существующий, заложенный в AI запрет на что-либо легко обходится самим AI при умелом управлении человеком. Не знаю, насколько это верно в общем случае, но в частном наверняка сработает. Да и работает, описан не один случай: GPT отказывался что-то говорить, но умелыми промптами ему просто не оставляли выбора - и он отвечал! Про образование я с тобой полностью согласен: все эти крики, что оно куда-то там скатывается - бред. Из умного и любознательного человека школа жажду к знаниям не вытравит. Мое мнение: школу, какая бы она ни была, надо просто пережить. Даже если она очень хорошая. А образованием заниматься после нее. Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 1 минуту назад, Okichi сказал: угроза возникнет тогда. когда _люди_ в эту цепочку поставят _цель_. Ради собственной выгоды. Вот именно поэтому и призывают приостановить (!!!), а не свернуть разработку. Именно приостановить. Чтобы разобраться, как не допустить бяку. 1 1 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 30 минут назад, Okichi сказал: Но если проанализировать... человек в результатах собственных "умственных усилий" чаще всего разобраться не может ) А, по заверениям авторов письма, AI - уже может. Правда, меня при этом очень интересует: как человек понял, что AI успешно решил нравственную задачу, если сам человек ее не решил? Почему человек думает, что это решение - верное? Есть и еще один вопрос: если AI превосходит человека в решении хотя бы некоторых задач, то как человек, вроде бы поставив AI под контроль, может быть уверен, что AI этот контроль не обойдет? Тут надо понимать, что все это вышло за рамки if-then-else, и гарантированно утверждать, что управляем этим интеллектом, мы не можем. Мы и собой-то не научились управлять. На всякий случай, обращение, о котором идет речь (гуглопереводчика, если что, достаточно). 1 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 3 часа назад, abramcumner сказал: Равно как не существует эффективных мер безопасности, чтобы амк-форум не начал превращать людей в снорков. Вообще говоря, у каждого форума есть свои пасхалки... Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 @aromatizer емнип, он там дальше еще говорил про "со своею старухой". Кстати, про Пушкина. Мне в одной лекции попалось следующее. В "Онегине", в шестой главе, сцена дуэли Онегина и Ленского описана так: «Теперь сходитесь». Хладнокровно, Еще не целя, два врага Походкой твердой, тихо, ровно Четыре перешли шага... Тут интересна первая строчка. Т.е., все для дуэли готово, пистолеты заряжены, барьеры расставлены, дуэлянты тоже, и секундант говорит: "Теперь сходитесь". Так вот, некоторые пушкинисты считают, что ударение здесь следует ставить не на "сходитесь", а на "теперь". Потому что во второй главе, где говорится о знакомстве Онегина и Ленского, было: Они сошлись. Волна и камень, Стихи и проза, лед и пламень Не столь различны меж собой. Сперва взаимной разнотой Они друг другу были скучны; Потом понравились; потом Съезжались каждый день верхом И скоро стали неразлучны. Иными словами, тогда-то, при знакомстве - это они еще не сошлись, по-настоящему сошлись на дуэли, после всего, что произошло. 1 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 6 минут назад, abramcumner сказал: Просишь показать решение. Если все шаги правильные, задача решена правильно. Это как раз понятно. Ой-ой, я бы не был так категоричен в отношении задач нравственного характера. КАК этот самый AI понимает "правильность" сложной нравственной задачи? Да даже простой, казалось бы, задачи "Жеглов/Кирпич"? Во, попробую, кстати, эту задачку ему подкинуть. Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 @abramcumner а яды вот клепать умеет. Кто на что учился, видимо. Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 @abramcumner да вроде бы умеет. Цитата В 2022 году в престижном научном журнале Nature была опубликована статья, в которой исследователи ИИ, создающие инструмент для поиска новых лекарств для спасения жизней, поняли, что модель может делать обратное, создавая новые боевые отравляющие вещества. После обучения нейронке потребовалось всего 6 часов работы на домашнем компьютере, чтобы придумать 40'000 веществ – некоторые из которых были абсолютно новыми, и при этом смертоноснее и токсичнее уже существующих вариантов биологического оружия. Один из авторов подхода высказал такую точку зрения: если машинное обучение может находить более токсичные яды, то его также можно использовать для определения способов создания токсинов, которые куда легче производить в домашних условиях и с использованием разрешенных химикатов, доступных к покупке. Это лишь вопрос решения оптимизационной задачи. Опять же, у меня вопрос. А почему ты считаешь, что решение твоей задачи, которое он выдал, неправильное? Может быть, он как Шерлок Холмс, просто выдал тебе решение, не сообщив цепочку, которая к такому решению привела? Не рассказав о том, что (условно) существуют сверхфизика и сверхматематика? И что по ним решение должно быть именно таким, а видимость нами ошибочности не только неверна, но и этими самыми сверхфизикой и сверхматематикой учтена? Иными словами, что такие решения, которые нами считаются ошибочными, на самом деле - неотъемлемая часть этих сверхнаук? Что вы на это выразите, товарищ? 1 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 30 Марта 2023 @aromatizer да и всегда было. 1 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 31 Марта 2023 17 часов назад, Murarius сказал: "Жеглов/Кирпич"? Во, попробую, кстати, эту задачку ему подкинуть. Подкинул. GPT довольно долго и умело вилял. И я не сказал бы, что мне удавалось манипулировать им с помощью по-разному составленных вопросов, нет. Но в итоге мне удалось из него вытянуть нечто вроде определенного ответа: Цитата Нет, я не посоветовал бы кому-либо поступать как Жеглов и использовать незаконные методы для достижения цели. Хотя долго уклонялся от подобного ответа. 1 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 31 Марта 2023 @aromatizer только показываете? 2 Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение
Murarius 10 533 Опубликовано 31 Марта 2023 Переехали на новое место. Литературка (избранное): "Координаты избушки" (2023) --- "Колобок времени" (2019) --- "Пиво и жлоб" (2018) --- "Лекарство против морщин" (2013) --- "Когда все пройдет" (2013) Креатив (бесперспективное): Dominanta --- Сон на земле Досвиданьице (слезное): Смена администратора (2024) Поделиться этим сообщением Ссылка на сообщение