Ну вот по сути да, вопрос в том, какие навыки нам кажутся достаточными для работы суда (и вообще решения разных задач). Мы теперь эмпирически знаем, что нейросеть может нарисовать картинку по описанию, ну или там перевести несложный текст. При этом также (эмпирически) знаем, что у неё проблемы, например, с тем, чтобы определить ситуацию, где ей не стоит уже выдавать ответы столь уверенно.
Но в целом, например, мне кажется, что пионеры AI 60-х сильно переоценивали сложность шахмат и недооценивали сложность машинного перевода. А может, просто грантов хотелось, вот и обещали с избытком.
Но в любом случае понятно, что 80%, если не 90% работы суда -- это рутина, которая и сейчас уже "автоматизирована" в том смысле, что типовое решение копипастится и подписывается.
Сорри, не отследил. Ну это не спор, а некий обмен мнениями, интересный но немного непродуктивный, потому что мы же говорим об оценках. Вы видите так, я вижу этак, и даже не настаиваю на правоте -- могу ошибаться, естественно. Не думаю, что я чего-то там особое не знаю или недооцениваю. Мне по работе приходится довольно много читать по теме, и про всякие actor-critic, и тому подобное. Это всё понятно.
Я не думаю, что интеллект человеческого уровня недостижим, но нынешние (впечатляющие) успехи всё равно кажутся несколько раздутыми. У нас, человечества, проблема не с развитием технологий, а с оценкой сложности решения той или иной задачи.
Когда-то казалось, что для игры в шахматы нужен сильный интеллект, а получилось, что перебора вариантов достаточно. Аналогичным образом "закидали шапками" распознавание образов и много чего ещё.
Таким же образом сдвинуты наши метрики. Когда LLM проходит тест типа SAT, об этом пишут как о великом прорыве в ИИ, но ведь SAT разрабатывался для человека, исходя из его особенностей. Если человек бегло пишет по-китайски, мы предполагаем, что он знает китайский язык, иначе как бы он научился. Если AI пишет по-китайски, мы не знаем ничего -- может, там просто забит китайский шрифт и одна книжка на языке, и он просто её выводит на экран символ за символом.
Оценить AI не так просто, вот недавно была забавная статья о том, что ELIZA лучше Chat-GPT3.5 в тесте Тьюринга. Довольно большие пласты нашего интеллекта (и морали) достаются нам от рождения и по сути нигде не кодифицированы, так что даже не факт, что у нас есть датасеты для обучения, а даже если есть, не факт, что из них можно выудить именно те факторы, которые привели к тому или иному решению. Мы даже не знаем, насколько то или иное решение может считаться эталонно хорошим, чтобы на нём учиться.
Но это всё отдельная тема. Опять же, если есть такой инструмент -- да пусть будет, кто ж против. Всё равно AI не будет (наверно?) иметь власти приказать кого-то арестовать и препроводить в тюрьму. Значит, решение прочитает некий страж закона, и приказ будет исходить от него. Лично для меня этого уже вполне достаточно, а что где-то в глубине сидит AI, меня не очень напрягает.
Юриспруденция -- это как медицина. Для типичного случая типа "порезал палец" вам и доктора не надо, дальше друзья и википедия, дальше участковый терапевт, и только если уже явно что-то нетривиальное, нужен специалист. Ну или "на всякий случай". В судебном деле тоже у каких-нибудь американцев до суда доходит сильно меньшая часть дел, остальное по примирению сторон или досудебному соглашению. Плюс мировые судьи, которые не очень высокой квалификации люди, но всякую мелочь разбирать могут без проблем. Наверно, это всё делать можно с помощью AI, но всё же нужен некий орган или человек ("auctoritas"), который данное решение утвердит и своей властью запустит на реализацию.
При этом в том же США есть Верховный суд, который на основании одной и той же "неизменной" Конституции ухитряется сначала терпеть рабство, потом не терпеть его, потом терпеть сегрегацию, потом не терпеть, потом межрасовые браки, аборты, геи и иже с ними. Получается, по крайней мере, с ростом уровня задачи цели усложняются нелинейно.
"ИИ-судью" создать возможно. Ровно им является механизм бана в Гугле, о котором я упоминал. Ваша метрика на 99% совпадает с метрикой жулика, до свидания. Не думаю, что в обозримом будущем у нас появится ИИ, способный глубоко копать причинно-следственные связи. Корреляции -- это сколько угодно, и их действительно хватит на массу практических задач. Вероятно, что и судебных. Если это кто-то перепроверять ещё будет на выходе, хорошо. Вот в гугле не перепроверяют. Или мартышки какие-то это делают, не знаю.
Тут ещё такой момент: если судья постоянно косячит, пусть и не из злого умысла, его не накажут, но и вряд ли куда-то продвинут. Это просто плохой работник, не преступление.
Насчёт AI -- ну, мы опять обсуждаем какой-то достаточно далёкий AGI. Нынешние модели вообще "могут" что-либо условно. Если систему убеждать в том, что чёрное это белое, а белое это чёрное, и так десять раз по кругу, то вряд ли ей можно приписывать что-то высокоуровневое.
Не знаю, если бы так было всё просто, процедуру бы никто не нарушал, зачем? Обычно это отдельное рассмотрение, чтобы понять, нарушил или нет, заведомо или не заведомо. А в той статье довольно интересные примеры того, что по факту было сочтено злоупотреблением.
Если у вас, скажем, гражданское дело, то там спорят двое. Они судятся потому, что не могут решить вопрос между собой сами, и каждый думает, что он прав. Суд становится на сторону одного из них, второй автоматически недоволен и считает, что дело несправедливо. Если решал AI, то ощущение несправедливости только растёт, потому что решение принято неизвестно кем и неизвестно почему, так что далеко не факт, что будет меньше апелляций. Ну так или иначе, поживём-увидим, чего уж там
Ну, я бы вот с какой стороны зашёл. Компьютер говорит: вот Вася тут своровал, но у него малолетние дети. Значит, базовая "ставка" 5 лет, скостим до трёх. Хорошо, но дальше любой адвокат скажет: давай подадим апелляцию, попробуем скостить до двух, может, прокатит.
И тут неважно, что говорит компьютер, потому что у него нет субъектности, если угодно. Если он скажет, что да, пусть будет 2 года, получается, что первый компьютер был неправ, и это уже прецедент. Если же он скажет, что нет, оставляем три, тот же адвокат может легко нарыть примеры, где снижали и до года, и никто на эту тему не возмущался.
Ну или, как вы говорите, "должно быть обосновано". Так вы даёте задание Chat-GPT, и он вам что угодно обоснует -- и почему надо дать год, и почему десятку.
Конечно, может. Вы сейчас чат-gpt говорите, мол, ты неправ, вася, и он соглашается, что да, неправ. Значит, он может иметь две противоположные точки зрения на предмет, и очевидно, что одна из них ошибочна.
Насколько я вижу это не наказуемо.
Наказуемо, вот примеры. Но в любом случае, пусть документ будет. Если нарушены правила и есть жалоба, это уже хорошо. Пусть жалоба не удовлетворена, но она лежит, и кто знает, когда и где придёт в движение? Я не знаю, и судья не знает. Может, на хорошее место попадёт другой судья, а не тот, на которого жалобы. А может, и нет, но вот пусть судья и думает на эту тему хоть немного перед решением.
Судья может нарушить процедуру, не учесть важный фактор, проигнорировать свидетеля и т.п. То есть халтурно выполнить свою работу (это если исключить намеренные злоупотребления). ИИ эти проблемы не решает, это не его функция. Опять же, мы говорим о текущих технологиях, а не об абстрактном будущем, где AI на уровне человека во всех отношениях.
Я думаю, что вполне справедливо, если судья не сошёлся во взглядах с начальством, и ему за это ничего не сделали. У судьи нет хрустального шара, где он видит истину -- всё, что он может сделать, это честно соблюсти процедуру и вынести решение, которое вышестоящая инстанция признает имеющим право на жизнь (даже если не согласится).
Создателям AI, как мне кажется, не может и не должно прилетать. Тем, кто даёт разрешение -- уже вопрос спорный. Но так или иначе, если вам нет дела, есть подпись под документом или нет, она же вам не повредит, не так ли? А мне будет приятно :)
Ну так пусть AI и без судьи пишет, лишь бы подпись судьи стояла. Потому что судье за это может прилететь. Может, не сегодня, а через 20 лет. И пусть об этом знает. Думаю, на этом мы можем прийти к согласию -- как говорится, и вашим, и нашим.
Вон из недавнего. Glynn Simmons 48 лет просидел в тюрьме хотя не был виноват. При этом у него было алиби,
Ну, понимаете, это такой anecdotal evidence, который всегда можно вытащить. Дескать, сосед пьёт и курит как паровоз, а ему уже 90 лет, а у другого сердце в 40 отказало. Всё бывает.
Пусть бумажка будет для "чтобы было", и пусть судья знает, что бумажка лежит. Сегодня ветер дует в одну сторону, завтра в другую. Пусть AI пишет, если судье самому лень. Главное -- это чья подпись под документом, а кто сочиняет -- для меня дело десятое.
Если вы говорите абстрактно о некоем AGI, который умеет не хуже человека всё это делать -- ну да, разницы никакой. А если конкретно о нынешних моделях -- думаю, это не того уровня технология, чтобы "обобщать мораль".
У судьи есть довольно большое пространство для манёвра при назначении конкретного наказания, например. То есть, допустим, виновен, наказание от сих до сих, но внутри уже на усмотрение человека. И это же тоже часть системы закона, фича, а не баг.
Тут нет защиты людей, тут неавтоматизируемая часть системы.
И точно так же можно назначить кого-то ответственным за решения AИ. И он уже может решать когда использовать AI, а когда нет.
Разумеется, к этому, я думаю, и придём. Сейчас судья тоже может, условно, в чатике спросить, что делать. Неважно, пользуется он гуглом, википедией или LLM -- поставил фамилию и подпись, значит, это уже твоя ответственность.
Ну так проблема то в том что средний судья в среднем процессе этого не делает.
Да, и дело пойдёт на второй круг. И там, как я понимаю, могут не просто не согласиться, но и дать дисциплинарную оценку предыдущему судье.
Его решения абсолютно прозрачны и он всегда их объясняет?
Ну да, это называется "мотивировочная часть", разве нет?
Впрочем, не суть. Мне кажется, весь этот разговор примерно того же уровня, что и "программист вместо себя использует chat-gpt / нанимает индусов". Применительно к программистам средневзвешенное мнение -- пусть нанимает кого хочет и использует что хочет, если качество не страдает, и он за свой код отвечает.
Вряд ли кто-то (не я точно) будет запрещать судье пользоваться любым современным инструментом повышения продуктивности.
Если вероятность привлечь судью больше нуля, это уже выше, чем у AI, не так ли?
"субъективные" решения суда чаще неправильные чем правильные.
Смотрите, тут вот какая история. У нас есть задача, которую точно решить невозможно (гарантированно доказать, обвиняемый виновен или нет), значит, нашей целью является ступенька ниже: провести процесс по всем правилам, и что он покажет, то покажет.
Если соблюдены все процедуры, рассмотрены все доводы, факты и т.п., мы знаем, что больше ничего сделать нельзя. Если же есть пространство для оспаривания, то можно биться дальше.
Предположим, AI говорит, что вот с вероятностью 99% этот товарищ виновен. Хорошо, что дальше? А дальше просто все эти дела автоматически пойдут на апелляцию, где обвиняемый будет говорить, что то или это не учли.
Тут в каждом втором тексте про Chat-GPT пишут, как легко его можно попытаться в чём-либо переубедить. Ну вот и будет ровно то же, что и сейчас -- прокурор будет убеждать в своём, адвокат в своём. А стоит ввести "чёрный ящик" на любом этапе -- ну так обвиняемый будет его оспаривать, потому что кто смирится с тем, что его считают виновным просто из-за какой-то численной корреляции внутри нейросети.
Дело не в том, что ИИ "не способен" что-то там учитывать, а в том, что ему всё равно. Он поступает вероятностно, и для него "правильно" -- это то же самое, что близко к выборке. Наша мораль устроена сложнее, чем alignment, что показывают всякие задачи о вагонетках, в которых самые минимальные изменения условий приводят к довольно большим разбросам в моральной оценке происходящего. И даже если случай похож на 100500 других (объективно), мы субъективно можем решить, что он всё-таки не таков.
Гугл именно что ярчайший пример этой гадости, которую мы (общество) пока терпим ровно потому что это частная контора со своим уставом, и она ведёт бизнес как хочет, а кому не нравится, может с ними не работать. Но если так же будет поступать государство, это уже совсем другая ситуация.
Пусть AI проверяет документы, выносит предварительные оценки и так далее, кто ж против. Если это хороший инструмент, пусть судья пользуется. Главное -- чтобы на итоговом документе была подпись человека, и он бы за эту подпись отвечал, а уж какой инструмент ему помогал -- его дело, не проблема.
Эту тему уже миллион раз обсасывали. Разница не в качестве, а в ответственности. Примерно такая же, как между "участием" с дивана в игре "Кто хочет стать миллионером" и реальным риском в студии на деньги.
Судья, политик, бизнесмен или менеджер проекта может быть хуже AI. Но у него есть представление о профессиональной этике, совесть, в конце концов, возможные репутационные и карьерные последствия.
ИИ-агенту ничего из перечисленного не грозит. Даже его авторам не грозит, потому что те из них, кто вменяемый, всегда скажет, что решение, предложенное ИИ, должно критически осмысляться, и уже потом применяться.
Мир, в котором правит ИИ -- это вот как условный Гугл, где вас может забанить алгоритм, за то, что какая-то "метрика жулика" показала 0.754 при пороге 0.753, и писать будете на деревню дедушке. При этом, возможно, ИИ будет чаще прав, чем модератор-человек, но жить в мире, где нет ответственных, удовольствие спорное.
Штука в том, что алгоритм = машина Тьюринга. Если вы под словом "алгоритм" (aka вычислительный алгоритм) понимаете что-то другое, то с чего бы? Это уже как раз ваш разговор с собой получается, потому что у Дейкстры ровно так.
Ну вот по сути да, вопрос в том, какие навыки нам кажутся достаточными для работы суда (и вообще решения разных задач). Мы теперь эмпирически знаем, что нейросеть может нарисовать картинку по описанию, ну или там перевести несложный текст. При этом также (эмпирически) знаем, что у неё проблемы, например, с тем, чтобы определить ситуацию, где ей не стоит уже выдавать ответы столь уверенно.
Но в целом, например, мне кажется, что пионеры AI 60-х сильно переоценивали сложность шахмат и недооценивали сложность машинного перевода. А может, просто грантов хотелось, вот и обещали с избытком.
Но в любом случае понятно, что 80%, если не 90% работы суда -- это рутина, которая и сейчас уже "автоматизирована" в том смысле, что типовое решение копипастится и подписывается.
Сорри, не отследил. Ну это не спор, а некий обмен мнениями, интересный но немного непродуктивный, потому что мы же говорим об оценках. Вы видите так, я вижу этак, и даже не настаиваю на правоте -- могу ошибаться, естественно. Не думаю, что я чего-то там особое не знаю или недооцениваю. Мне по работе приходится довольно много читать по теме, и про всякие actor-critic, и тому подобное. Это всё понятно.
Я не думаю, что интеллект человеческого уровня недостижим, но нынешние (впечатляющие) успехи всё равно кажутся несколько раздутыми. У нас, человечества, проблема не с развитием технологий, а с оценкой сложности решения той или иной задачи.
Когда-то казалось, что для игры в шахматы нужен сильный интеллект, а получилось, что перебора вариантов достаточно. Аналогичным образом "закидали шапками" распознавание образов и много чего ещё.
Таким же образом сдвинуты наши метрики. Когда LLM проходит тест типа SAT, об этом пишут как о великом прорыве в ИИ, но ведь SAT разрабатывался для человека, исходя из его особенностей. Если человек бегло пишет по-китайски, мы предполагаем, что он знает китайский язык, иначе как бы он научился. Если AI пишет по-китайски, мы не знаем ничего -- может, там просто забит китайский шрифт и одна книжка на языке, и он просто её выводит на экран символ за символом.
Оценить AI не так просто, вот недавно была забавная статья о том, что ELIZA лучше Chat-GPT3.5 в тесте Тьюринга. Довольно большие пласты нашего интеллекта (и морали) достаются нам от рождения и по сути нигде не кодифицированы, так что даже не факт, что у нас есть датасеты для обучения, а даже если есть, не факт, что из них можно выудить именно те факторы, которые привели к тому или иному решению. Мы даже не знаем, насколько то или иное решение может считаться эталонно хорошим, чтобы на нём учиться.
Но это всё отдельная тема. Опять же, если есть такой инструмент -- да пусть будет, кто ж против. Всё равно AI не будет (наверно?) иметь власти приказать кого-то арестовать и препроводить в тюрьму. Значит, решение прочитает некий страж закона, и приказ будет исходить от него. Лично для меня этого уже вполне достаточно, а что где-то в глубине сидит AI, меня не очень напрягает.
Юриспруденция -- это как медицина. Для типичного случая типа "порезал палец" вам и доктора не надо, дальше друзья и википедия, дальше участковый терапевт, и только если уже явно что-то нетривиальное, нужен специалист. Ну или "на всякий случай". В судебном деле тоже у каких-нибудь американцев до суда доходит сильно меньшая часть дел, остальное по примирению сторон или досудебному соглашению. Плюс мировые судьи, которые не очень высокой квалификации люди, но всякую мелочь разбирать могут без проблем. Наверно, это всё делать можно с помощью AI, но всё же нужен некий орган или человек ("auctoritas"), который данное решение утвердит и своей властью запустит на реализацию.
При этом в том же США есть Верховный суд, который на основании одной и той же "неизменной" Конституции ухитряется сначала терпеть рабство, потом не терпеть его, потом терпеть сегрегацию, потом не терпеть, потом межрасовые браки, аборты, геи и иже с ними. Получается, по крайней мере, с ростом уровня задачи цели усложняются нелинейно.
"ИИ-судью" создать возможно. Ровно им является механизм бана в Гугле, о котором я упоминал. Ваша метрика на 99% совпадает с метрикой жулика, до свидания. Не думаю, что в обозримом будущем у нас появится ИИ, способный глубоко копать причинно-следственные связи. Корреляции -- это сколько угодно, и их действительно хватит на массу практических задач. Вероятно, что и судебных. Если это кто-то перепроверять ещё будет на выходе, хорошо. Вот в гугле не перепроверяют. Или мартышки какие-то это делают, не знаю.
Тут ещё такой момент: если судья постоянно косячит, пусть и не из злого умысла, его не накажут, но и вряд ли куда-то продвинут. Это просто плохой работник, не преступление.
Насчёт AI -- ну, мы опять обсуждаем какой-то достаточно далёкий AGI. Нынешние модели вообще "могут" что-либо условно. Если систему убеждать в том, что чёрное это белое, а белое это чёрное, и так десять раз по кругу, то вряд ли ей можно приписывать что-то высокоуровневое.
Не знаю, если бы так было всё просто, процедуру бы никто не нарушал, зачем? Обычно это отдельное рассмотрение, чтобы понять, нарушил или нет, заведомо или не заведомо. А в той статье довольно интересные примеры того, что по факту было сочтено злоупотреблением.
Если у вас, скажем, гражданское дело, то там спорят двое. Они судятся потому, что не могут решить вопрос между собой сами, и каждый думает, что он прав. Суд становится на сторону одного из них, второй автоматически недоволен и считает, что дело несправедливо. Если решал AI, то ощущение несправедливости только растёт, потому что решение принято неизвестно кем и неизвестно почему, так что далеко не факт, что будет меньше апелляций. Ну так или иначе, поживём-увидим, чего уж там
Ну, я бы вот с какой стороны зашёл. Компьютер говорит: вот Вася тут своровал, но у него малолетние дети. Значит, базовая "ставка" 5 лет, скостим до трёх. Хорошо, но дальше любой адвокат скажет: давай подадим апелляцию, попробуем скостить до двух, может, прокатит.
И тут неважно, что говорит компьютер, потому что у него нет субъектности, если угодно. Если он скажет, что да, пусть будет 2 года, получается, что первый компьютер был неправ, и это уже прецедент. Если же он скажет, что нет, оставляем три, тот же адвокат может легко нарыть примеры, где снижали и до года, и никто на эту тему не возмущался.
Ну или, как вы говорите, "должно быть обосновано". Так вы даёте задание Chat-GPT, и он вам что угодно обоснует -- и почему надо дать год, и почему десятку.
Конечно, может. Вы сейчас чат-gpt говорите, мол, ты неправ, вася, и он соглашается, что да, неправ. Значит, он может иметь две противоположные точки зрения на предмет, и очевидно, что одна из них ошибочна.
Наказуемо, вот примеры. Но в любом случае, пусть документ будет. Если нарушены правила и есть жалоба, это уже хорошо. Пусть жалоба не удовлетворена, но она лежит, и кто знает, когда и где придёт в движение? Я не знаю, и судья не знает. Может, на хорошее место попадёт другой судья, а не тот, на которого жалобы. А может, и нет, но вот пусть судья и думает на эту тему хоть немного перед решением.
Судья может нарушить процедуру, не учесть важный фактор, проигнорировать свидетеля и т.п. То есть халтурно выполнить свою работу (это если исключить намеренные злоупотребления). ИИ эти проблемы не решает, это не его функция. Опять же, мы говорим о текущих технологиях, а не об абстрактном будущем, где AI на уровне человека во всех отношениях.
Я думаю, что вполне справедливо, если судья не сошёлся во взглядах с начальством, и ему за это ничего не сделали. У судьи нет хрустального шара, где он видит истину -- всё, что он может сделать, это честно соблюсти процедуру и вынести решение, которое вышестоящая инстанция признает имеющим право на жизнь (даже если не согласится).
Создателям AI, как мне кажется, не может и не должно прилетать. Тем, кто даёт разрешение -- уже вопрос спорный. Но так или иначе, если вам нет дела, есть подпись под документом или нет, она же вам не повредит, не так ли? А мне будет приятно :)
Ну так пусть AI и без судьи пишет, лишь бы подпись судьи стояла. Потому что судье за это может прилететь. Может, не сегодня, а через 20 лет. И пусть об этом знает. Думаю, на этом мы можем прийти к согласию -- как говорится, и вашим, и нашим.
Ну, понимаете, это такой anecdotal evidence, который всегда можно вытащить. Дескать, сосед пьёт и курит как паровоз, а ему уже 90 лет, а у другого сердце в 40 отказало. Всё бывает.
Пусть бумажка будет для "чтобы было", и пусть судья знает, что бумажка лежит. Сегодня ветер дует в одну сторону, завтра в другую. Пусть AI пишет, если судье самому лень. Главное -- это чья подпись под документом, а кто сочиняет -- для меня дело десятое.
Если вы говорите абстрактно о некоем AGI, который умеет не хуже человека всё это делать -- ну да, разницы никакой. А если конкретно о нынешних моделях -- думаю, это не того уровня технология, чтобы "обобщать мораль".
У судьи есть довольно большое пространство для манёвра при назначении конкретного наказания, например. То есть, допустим, виновен, наказание от сих до сих, но внутри уже на усмотрение человека. И это же тоже часть системы закона, фича, а не баг.
Тут нет защиты людей, тут неавтоматизируемая часть системы.
Разумеется, к этому, я думаю, и придём. Сейчас судья тоже может, условно, в чатике спросить, что делать. Неважно, пользуется он гуглом, википедией или LLM -- поставил фамилию и подпись, значит, это уже твоя ответственность.
Да, и дело пойдёт на второй круг. И там, как я понимаю, могут не просто не согласиться, но и дать дисциплинарную оценку предыдущему судье.
Ну да, это называется "мотивировочная часть", разве нет?
Впрочем, не суть. Мне кажется, весь этот разговор примерно того же уровня, что и "программист вместо себя использует chat-gpt / нанимает индусов". Применительно к программистам средневзвешенное мнение -- пусть нанимает кого хочет и использует что хочет, если качество не страдает, и он за свой код отвечает.
Вряд ли кто-то (не я точно) будет запрещать судье пользоваться любым современным инструментом повышения продуктивности.
Если вероятность привлечь судью больше нуля, это уже выше, чем у AI, не так ли?
Смотрите, тут вот какая история. У нас есть задача, которую точно решить невозможно (гарантированно доказать, обвиняемый виновен или нет), значит, нашей целью является ступенька ниже: провести процесс по всем правилам, и что он покажет, то покажет.
Если соблюдены все процедуры, рассмотрены все доводы, факты и т.п., мы знаем, что больше ничего сделать нельзя. Если же есть пространство для оспаривания, то можно биться дальше.
Предположим, AI говорит, что вот с вероятностью 99% этот товарищ виновен. Хорошо, что дальше? А дальше просто все эти дела автоматически пойдут на апелляцию, где обвиняемый будет говорить, что то или это не учли.
Тут в каждом втором тексте про Chat-GPT пишут, как легко его можно попытаться в чём-либо переубедить. Ну вот и будет ровно то же, что и сейчас -- прокурор будет убеждать в своём, адвокат в своём. А стоит ввести "чёрный ящик" на любом этапе -- ну так обвиняемый будет его оспаривать, потому что кто смирится с тем, что его считают виновным просто из-за какой-то численной корреляции внутри нейросети.
Дело не в том, что ИИ "не способен" что-то там учитывать, а в том, что ему всё равно. Он поступает вероятностно, и для него "правильно" -- это то же самое, что близко к выборке. Наша мораль устроена сложнее, чем alignment, что показывают всякие задачи о вагонетках, в которых самые минимальные изменения условий приводят к довольно большим разбросам в моральной оценке происходящего. И даже если случай похож на 100500 других (объективно), мы субъективно можем решить, что он всё-таки не таков.
Гугл именно что ярчайший пример этой гадости, которую мы (общество) пока терпим ровно потому что это частная контора со своим уставом, и она ведёт бизнес как хочет, а кому не нравится, может с ними не работать. Но если так же будет поступать государство, это уже совсем другая ситуация.
Пусть AI проверяет документы, выносит предварительные оценки и так далее, кто ж против. Если это хороший инструмент, пусть судья пользуется. Главное -- чтобы на итоговом документе была подпись человека, и он бы за эту подпись отвечал, а уж какой инструмент ему помогал -- его дело, не проблема.
Эту тему уже миллион раз обсасывали. Разница не в качестве, а в ответственности. Примерно такая же, как между "участием" с дивана в игре "Кто хочет стать миллионером" и реальным риском в студии на деньги.
Судья, политик, бизнесмен или менеджер проекта может быть хуже AI. Но у него есть представление о профессиональной этике, совесть, в конце концов, возможные репутационные и карьерные последствия.
ИИ-агенту ничего из перечисленного не грозит. Даже его авторам не грозит, потому что те из них, кто вменяемый, всегда скажет, что решение, предложенное ИИ, должно критически осмысляться, и уже потом применяться.
Мир, в котором правит ИИ -- это вот как условный Гугл, где вас может забанить алгоритм, за то, что какая-то "метрика жулика" показала 0.754 при пороге 0.753, и писать будете на деревню дедушке. При этом, возможно, ИИ будет чаще прав, чем модератор-человек, но жить в мире, где нет ответственных, удовольствие спорное.
Штука в том, что алгоритм = машина Тьюринга. Если вы под словом "алгоритм" (aka вычислительный алгоритм) понимаете что-то другое, то с чего бы? Это уже как раз ваш разговор с собой получается, потому что у Дейкстры ровно так.