When ChatGPT, Claude, and Gemini All Got It Wrong Why AI Can't Replace Human Expertise in Automation, by Mariela Slavenova, CEO, Marinext AI

Когато ChatGPT, Claude и Gemini се объркаха: Защо AI не може да замени човешката експертиза в автоматизациите (все още)

Изградих автоматизация за 30 минути, която три от най-мощните AI модела в света не успяха да направят правилно.

Нека бъда ясна от самото начало: не я изградих за 30 минути, защото съм някакъв гений.

Изградих я толкова бързо, защото зад тези 30 минути стоят 2 години практика, стотици провалени опити и безброй уроци, научени по трудния начин.

Но ето какво наистина ме накара да напиша тази статия.

Всеки ден виждам видеа и постове, които твърдят, че AI вече може да изгражда автоматизации “без човешка намеса”. Че просто трябва да опишеш какво искаш и LLM-ът ще се справи с останалото.

И честно казано? Този начин на мислене е опасен.

Не защото AI не е мощен. Той е.

Но защото създава фалшиви очаквания, които водят до загубено време, изхарчени пари и счупени системи.

Затова днес правя нещо различно.

Ще ви покажа резултатите от същото задание за автоматизация, което клиентът ми даде, и което аз предоставих на три различни AI модела: ChatGPT, Claude и Gemini.

Ще видите какво създадоха те.

Ще видите какво създадох аз.

И най-важното, ще разберете защо разликата има значение и какво означава това за всеки, който мисли да използва AI за автоматизиране на бизнеса си.

Предизвикателството: Реална заявка от клиент

Ето какво задание получих от клиент:

“От Google Sheet-а, от колоната Психопрофил под подточка 5) ‘Мачинг оси’, вземи точките от ‘Нужда от структура’ и ‘Емоционална подкрепа’ за студенти и ментори и ги сложи в отделни колони (‘Нужда от структура’ и ‘Емоционална подкрепа’), защото ще мачваме с тях, но те трябва да останат и в психопрофила.”

За хората без технически бэкграунд, нека преведа:

Клиентът имаше таблица с колона, съдържаща подробни психологически профили на хора. Скрити вътре в тези профили имаше раздел, наречен “Мачинг оси”, който включваше два конкретни резултата по скала от 1 до 5 за подточки: Нужда от структура и Емоционална подкрепа.

Тези резултати бяха скрити в параграфи текст и клиентът имаше нужда да бъдат извадени и поставени в собствени колони, за да могат да се използват по-късно в процеса, с друга автоматизация, за мачване на студенти с ментори.

Уловката? Оригиналната информация трябваше да остане точно както е. Без промени. Без изтривания.

Когато за първи път погледнах таблицата, разбрах задачата веднага. Вече виждах цялата автоматизационна архитектура в главата си.

Но преди да я изградя, исках да тествам нещо.

Исках да видя как трите най-популярни AI асистента ще се справят с точно същия проблем.

Експериментът: ChatGPT срещу Claude срещу Gemini

Не просто попитах всеки AI “Как би го направил?”

Това би било твърде лесно за отхвърляне.

Вместо това написах подробен, внимателно структуриран промпт, който описваше:

  • Точния контекст
  • Структурата на данните
  • Бизнес изискването
  • Техническите ограничения
  • Очаквания изходен формат

Използвах същия промпт и за трите: ChatGPT, Claude и Gemini.

Ако AI наистина може да замени човешки автоматизационен архитект, това трябва да е лесно, нали?

Какво LLM-ите разбраха правилно

И трите AI модела правилно идентифицираха един критичен фактор: разпознаха, че задачата изисква REGEX (техника за съпоставяне на шаблони, използвана за извличане на специфични части текст от по-големи блокове текст).

Това всъщност е значимо.

Начинаещ, който изгражда автоматизации, вероятно би опитал да използва AI асистент за извличане на числата, което би било най-лошия възможен избор за клиента.

Защо? Ще обясня това подробно по-късно.

Какво LLM-ите объркаха

Всичко останало.

Нека бъда пряка: нито едно от трите решения не би работило в реална работеща среда.

Ето какво създаде всеки AI (без да изпадам в технически обяснения):

Решението на Gemini:

  • Създаде фиктивни данни вместо да се свърже с реалния Google Sheet

Решението на Claude:

  • Чете и записва файлове локално вместо да актуализира Google Sheet-а
  • Завършва със създаване на нов файл всеки път вместо да актуализира съществуващата таблица
  • Без обработка на грешки, когато данните липсват

Решението на ChatGPT:

  • Използва webhook тригер (което няма никакъв смисъл за този случай)
  • Прекалено усложнена логика за извличане
  • Без отчитане на rate limits или API ограничения на Google Sheet (който между другото дори липсва тук)

И трите решения изглеждаха впечатляващи на повърхността.

И трите щяха да се провалят в реалния свят.

Човешкото решение: Какво реално изградих

Automation for Extracting a text from a column and putting it in other colums, by Mariela Slavenova, CEO, Marinext AI

Сега нека ви покажа какво изградих за онези 30 минути.

За читателите без техническа подготовка, ще обясня всяка стъпка на разбираем език.

Стъпка 1: Свързване с реалния източник на данни

Първо, свързах се директно с Google Sheet-а на клиента.

Не фиктивни данни. Не локален файл. Реалната таблица, с която работят всеки ден.

Това изглежда очевидно, но погледнете отново AI решенията: само едно от тях дори опита това, и то погрешно.

Стъпка 2: Филтриране на редовете, които се нуждаят от обработка

Добавих филтър, който обработва само редове където:

  • Колоната “Психопрофил” съдържа данни, И
  • Колоната “Нужда от структура” е празна

Мислете за това като за “портал за качество”. Той предотвратява автоматизацията от:

  • Обработване на същия ред два пъти
  • Опит за извличане на информация от празни клетки
  • Презаписване на данни, които вече са обработени

Това е бизнес правило, не техническо изискване.

AI моделите не включиха нищо подобно, защото не разбират реалния работен процес.

Стъпка 3: Обработка по един ред наведнъж

Използвах нещо, наречено “Loop”, за да обработя всеки ред поотделно.

Защо по един ред вместо всички заедно?

Защото тази автоматизация актуализира външна система (Google Sheets) и има риск от:

  • Дублирани актуализации
  • Пропуснати редове
  • Нестабилно поведение, ако опитаме да направим твърде много наведнъж

Когато изграждаш автоматизация, която да е работи в реална среда (production ready), стабилността надвишава скоростта всеки път.

Нито едно от AI решенията не отчете това.

Стъпка 4: Извличане на числата с помощта на REGEX

Тук се случва реалното извличане.

ChatGPT ми помогна да напиша код, който преглежда текста в колоната “Психопрофил” и използва REGEX шаблони за намиране на:

  • “Нужда от структура: [число от 1 до 5]”
  • “Емоционална подкрепа: [число от 1 до 5]”

Кодът извлича САМО числата и игнорира всичко останало.

Ето критичната разлика от AI решение:

Моят REGEX код е детерминистичен.

Той следва строги правила.

Или намира шаблона, или не го намира.

Няма “интерпретация”.

Няма “предположение”.

Няма “вероятно”.

Ако се счупи, ще го направи по предвидим начин и мога да го поправя, като добавя ново правило.

Стъпка 5: Проверка на резултатите

Преди да запиша каквото и да било обратно в таблицата, добавих още един филтър:

Този ред наистина ли има числа и за “Нужда от структура” И за “Емоционална подкрепа”?

Ако да → продължи към следващата стъпка.

Ако не → пропусни този ред и премини към следващия.

Това предотвратява автоматизацията да записва непълни или некоректни данни.

Отново, това е за надеждност в реална работна среда, не само “да го накараме да работи веднъж”.

Стъпка 6: Записване на данните обратно в Google Sheets

Едва сега записваме извлечените числа обратно в таблицата в правилните колони.

Стъпка 7: Изчакване преди обработка на следващия ред

Добавих 10-секундно изчакване между всеки ред.

Защо?

За да избегна претоварване на Google Sheets API с твърде много заявки твърде бързо, което би могло да доведе до провал на автоматизацията или временно блокиране.

Това е вид детайл, който се научава само от опит. AI моделите не включиха нищо подобно.

Стъпка 8: Затваряне на цикъла и повторение

Автоматизацията продължава да обработва ред по ред, докато всички редове не бъдат обработени.

Защо избрах REGEX вместо LLM асистент

И трите AI модела правилно идентифицираха, че е необходим REGEX. Но ето алтернативен подход, който можех да използвам:

Вместо REGEX, можех да изпратя всеки Психопрофил текст до AI модел (като Claude или GPT) и да го помоля да извлече числата.

Всъщност много начинаещи в автоматизациите биха направили точно това.

И защо не го направих?

Причина 1: Цена

Всеки път, когато се изпрати текст до AI модел се плаща за:

  • Входни токени (текстът, който се изпраща)
  • Изходни токени (отговорът, който се получава обратно)

При стотици или хиляди редове, това набързо се натрупва.

REGEX?

Напълно безплатен.

Работи локално.

Без API повиквания.

Без такси за използване.

Причина 2: Надеждност

Дори с перфектен промпт и ниски температурни настройки, AI моделът може да:

  • Халюцинира числа, които не съществуват
  • Интерпретира текста по различен начин от замисления
  • Пропусне числа, които са форматирани леко по-различно

REGEX е 100% детерминистичен. Или съвпада с шаблона, или не съвпада. Няма двусмислие.

Причина 3: Скорост

REGEX работи моментално. Без забавяне на мрежата. Без чакане за API отговор.

AI моделът изисква:

  • Изпращане на заявката през интернет
  • Чакане моделът да я обработи
  • Получаване на отговора обратно

Умножете това по стотици редове и само можете да си представите колко е значително забавянето.

Причина 4: Предвидимост и подобрение с времето

Ето най-важната причина:

REGEX се подобрява с всеки краен случай, на който попаднете.

Ако автоматизацията срещне нов формат, който не разпознава, то тогава просто мога да:

  1. Добавя нов шаблон към REGEX
  2. Тествам го
  3. Пусна го в релна работна среда
  4. Сега вече обработва този случай завинаги

С AI модел всеки нов краен случай изисква:

  • Актуализиране на промпта (но отбележи, че не можеш да слагаш все повече и повече текст в промпта, защото на някакъв момент ще започне да връща само грешки)
  • Тестване, за да се увериш, че не чупи други случаи
  • Надежда, че моделът го интерпретира правилно всеки път

REGEX решението става по-надеждно с времето.

AI решението въвежда повече променливи.

Кога AI асистент би бил правилният избор?

Не казвам, че AI никога не е правилния инструмент. Има случаи, когато използването на LLM има смисъл:

  • когато текстът е силно неструктуриран,
  • когато шаблоните са твърде сложни за REGEX,
  • когато трябва семантично разбиране, не само съпоставяне на шаблони,
  • когато цената и скоростта не са критични фактори.

Но за това задание? REGEX беше правилния избор.

Целта не е “интелигентна интерпретация”.

Целта е абсолютна точност и повторяемост.

Реалните разлики: Защо човешкото решение работи, а AI решенията не работят

Нека разбия фундаменталните разлики по начин, който е важен за собствениците на бизнес, не само за разработчиците.

1. AI решенията не отчитат реалния хаос

И трите AI модела предположиха:

  • Данните са чисти
  • Форматът е последователен
  • Нищо няма да се обърка

В реалността:

  • Някои редове може да имат правописни грешки
  • Някои може да използват различна пунктуация (тире срещу точка)
  • Някои може да нямат данни изобщо

Моето решение обработва изрично всички тези случаи.

2. AI решенията нямат възстановяване от грешки

Какво се случва, когато REGEX не намери съвпадение?

В AI решенията: Ако въобще тръгне, автоматизацията или щеше да се срине, или да запише некоректни данни.

В моето решение: Редът се пропуска, а след това се преглежда ръчно, за да се изведе новия сценарий, който да се добави в Regex кода.

3. AI решенията не включат API лимитите

Google Sheets има лимити, които определят колко пъти в минута или на час можем да изпратим заявка. Ако се изпратят твърде много заявки твърде бързо, Google Sheets ще блокира, ще върне грешка и автоматизацията ще спре.

Нито едно от AI решенията не включваше никакво решения за проблема с лимита или не включваше някакъв вид изчакване.

Моето решение го прави.

4. AI решенията са “напиши json и забрави”

AI моделите изградиха автоматизации, които щяха да се пуснат веднъж (ако въобще могат да се стартират, някои от тях със сигурност нямаше) и после… какво?

  • Как знаете дали е работило?
  • Как знате дали нещо е се е провалило?
  • Как го наблюдавате с времето?

Нито един от тях не засегна това.

Моето решение включва:

  • Ясно логване на всяка стъпка
  • Състояния на грешки, които могат да се наблюдават
  • Процес, който може безопасно да се пусне отново, ако е необходимо

5. AI решенията не разбират “достатъчно добро” срещу “готово за продъкшън”

Това е най-голямата разлика.

AI решенията биха работили като “brainstorming сесия”, ако изобщо.

Те не биха работили дори в контролирано демо.

И определено нямаше да работят като система работеща в реална среда, която се пуска, обработва данните и не изисква постоянна грижа.

Какво реално доказва този експеримент

Това не е статия за “AI е лош” или “хората са по-добри”.

Това е статия за разликата между работещо демо и система работеща в реална среда.

AI е невероятно добър в:

  • Разбиране на изисквания
  • Предлагане на подходи
  • Генериране на начални точки
  • Обясняване на концепции

Но AI в момента не е добър в:

  • Разбиране на оперативни ограничения
  • Предвиждане на режими на провал
  • Изграждане за дългосрочна поддържаемост
  • Вземане на решения, базирани на бизнес контекст

Неудобната истина за “AI-изградени автоматизации”

Ето какво наистина искам да разберете:

Крайните данни не са продуктът.

Системата е продуктът.

Когато наемате някого (или използвате AI) да изгради автоматизация, вие не просто купувате:

  • Workflow, който се пуска веднъж
  • Скрипт, който работи с перфектни данни
  • Демо, което впечатлява на среща

Купувата:

  • Система, която обработва грешки грациозно
  • Процес, който може да се наблюдава и подобрява
  • Архитектура, която няма да се счупи, когато бизнесът ви се промени

И там AI все още не е на нужното нивото.

Не защото технологията не е впечатляваща. Тя е.

Но защото изграждането на системи, които да работят в релна среда, изисква преценка, опит и контекст, които AI няма.

Когато AI е твоя копилот, не твоя пилот

Нека бъда ясна: използвам AI всеки ден в работата си.

Използвам го за:

  • Генериране на код по-бързо
  • Проучване на различни подходи към проблем
  • Документиране на работата ми по-ефективно
  • Дебъгване на проблеми, на които съм се затънала

Но никога не се доверявам на AI да вземе финалното решение за:

  • Архитектурни решения
  • Стратегии за обработка на грешки
  • Подходи за пускане на автоматизация в реална среда
  • Компромиси между скорост, цена и надеждност

AI ускорява работата ми, но не замества преценката ми.

AI е като да имаш “junior” ниво програмист, който е невероятно бърз, знае много синтаксис, но никога не е пуснал нищо в реална среда.

Те могат да помогнат. Могат да ти спестят време. Могат да генерират идеи.

Но все още трябва някой с опит да прегледа работата им, да улови крайните случаи и да се увери, че е готово за пускане.

Какво трябва да извлечете от това

Ако сте собственик на бизнес, обмислящ автоматизация, ето какво има значение:

1. Не се доверявайте на “AI-изградени автоматизации” без човешки надзор

Ако някой ви каже, че може да изгради автоматизацията ви “100% с AI”, бягайте.

Не защото AI не може да помогне. Може.

Но защото системите работещи в реална среда изискват:

  • Бизнес контекст, който AI няма
  • Оперативен опит, който AI не притежава
  • Решения за компромиси, които изискват преценка

2. Най-евтиното решение отначало обикновено е най-скъпото в дългосрочнен план

Полуработеща автоматизация, която изисква постоянни корекции, струва повече от правилно изградена система, която работи надеждно от първия ден.

Видях компании да плащат за една и съща автоматизация няколко пъти, защото продължават да избират най-евтината опция, която “изглежда достатъчно добра”.

3. Задайте тези въпроси

Преди да наемете някого (или да използвате AI) да изгради автоматизация, попитай:

  • “Как автоматизацията ще обработва грешки?”
  • “Какво се случва, когато форматът на данните се промени?”
  • “Как ще следим дали автоматизацията работи?”
  • “Може ли автоматизацията да се пусне отново, ако нещо се обърка?”
  • “Какъв е планът ти за поддръжка с времето?”

Ако не могат да отговорят на тези въпроси ясно, те не изграждат за автоматизация, която да работи в реална среда за дълъг период от време. Изграждат демо.

4. Разберете разликата между “работещо” и “готово за пускане”

“Работещо” означава, че се пуска успешно веднъж или няколко пъти с добри данни.

“Готово за пускане” означава:

  • Обработва лоши данни грациозно
  • Включва възстановяване от грешки
  • Може да се наблюдава
  • Уважава API лимитите
  • Може да се поддържа от някой различен от оригиналния създател

Това е разликата между автоматизация за 500 евро и автоматизация за 5000 евро.

И парадоксално, автоматизацията за 5000 евро обикновено е по-евтина дългосрочно.

Въпросът, който наистина трябва да си зададете

Не е “Може ли AI да изгради автоматизацията ми?”

А “Може ли човекът, изграждащ автоматизацията ми, да използва AI ефективно, докато същевременно гарантира, че това, което доставя, реално работи в реалния свят?”

Това е разликата между:

  • Инструмент, който ти помага
  • Система, която трансформира бизнеса ти

Искате да видите как се изграждат реални автоматизации?

Ако обмисляте автоматизация за бизнеса си и искате да работите с някой, който:

  • Разбира разликата между демо и готова система
  • Използва AI като инструмент, не като замяна на опита
  • Изгражда системи, които се наблюдават, поддържат и са реално надеждни
  • Предлага месечна поддръжка и оптмизация на автоматизацията

Тогава нека поговорим.

Ще прегледам процесите ви, ще идентифицирам какво си струва да се автоматизира и ще ви дам честна оценка дали автоматизацията има смисъл точно сега.

Без AI-генерирани обещания.

Без “пусни го и го забрави” приказки.

Само реален разговор за какво работи и какво не работи.

👉 Запази безплатна консултация тук

Една последна мисъл

Тази статия не е за това, че AI е безполезен. Тя е за това, че AI е разбран погрешно.

AI е невероятен инструмент, когато се използва правилно.

Но е опасен пряк път, когато се използва небрежно.

Компаниите, които печелят с автоматизация, ще бъдат тези, които разбират, че:

  • Технологията е инструментът.
  • Опитът е майсторът.
  • И двете са необходими.

Кое от тях имаш ти?

Table of Contents

ОЩЕ ОТ БЛОГА

Потопете се в света на AI с Мариела

How a Real Estate Agency Was Losing Clients Despite Having Plenty of Them (real case study), written by Mariela Slavanova, CEO, Marinext AI

Повечето агенции за недвижими имоти смятат, че основния им проблем е липсата на клиенти за имотите, които предлагат. Днес ще ви опиша подробно работата ни

When ChatGPT, Claude, and Gemini All Got It Wrong Why AI Can't Replace Human Expertise in Automation, by Mariela Slavenova, CEO, Marinext AI

Изградих автоматизация за 30 минути, която три от най-мощните AI модела в света не успяха да направят правилно. Нека бъда ясна от самото начало: не

What is Business Process Automation, by Mriela Slavenova, CEO, Marinext AI

Практическо ръководство за собственици на бизнес, които искат яснота, а не технически жаргон Автоматизацията на бизнес процеси е една от най-често използваните думи в съвременния

AI в автоматизациите - какво реално работи и какво е мит, статия на Мариела Славенова, собственик на Маринекст ЕйАй

Изкуственият интелект (AI) промени начина, по който се мисли за автоматизацията на процеси, защото добави нещо, което класическите правила трудно правят: разбиране на неструктуриран текст,

Кои бизнес процеси губят най-много време и как да ги автоматизираш, статия на Мариела Славенова, собственик на Маринекст ЕйАй

Почти всеки бизнес усеща, че „денят не стига“, но причината рядко е липса на усилия. По-често проблемът е, че времето изтича в десетки малки, повтаряеми

Кога НЕ трябва да автоматизираш - признаци, че ще си създадеш проблем, статия на Мариела Славенова, собственик на Марниекст ЕйАй

Автоматизацията на процеси може да бъде огромен ускорител за бизнеса, но само когато се внедрява в правилния момент и върху правилната основа. В противен случай