Мадэратар зместу ў 2019 годзе: Чалавек супраць ІІ

Інтэрнэт нават пры ўсёй яго пазітыўнай сітуацыі можа стаць вельмі цёмным і трывожным. Шчыт ананімнасці дазваляе людзям паводзіць сябе пэўным чынам, якім інакш бы насміхаецца грамадства. Гэты артыкул вывучае стан сучасных спосабаў змякчэння абразлівага зместу і дапамагае прыняць больш абгрунтаванае рашэнне.

2019 год, і мы загружаем і спажываем кантэнт хутчэй, чым калі-небудзь раней. Толькі за 2017 год было зроблена 1,2 трлн фотаздымкаў, а мільярды з іх падзяліліся ў Інтэрнэце - гэта ў сярэднім каля 200 фатаграфій на чалавека ў год (пры ўмове, што насельніцтва свету складае 7 мільярдаў). Сам Facebook мае ашаламляльную колькасць 300 мільёнаў фатаграфій, якія загружаюцца кожны дзень, і армія з 7500 мадэратараў працуе над мадэрнізацыяй гэтага змесціва.

Крыніца: BusinessInsider

Порна ўсюды

З такім вялікім шыпам адбылося хуткае павелічэнне колькасці карыстальнікаў, якія загружаюць кантэнт сумніўнага характару, і, шчыра кажучы, мы змагаемся з гэтым. Нягледзячы на ​​тое, што вы думаеце, асноўныя сацыяльныя сеткі падвяргаюцца зместу NSFW, як порна. Гэта гульня "кошкі і мышы", дзе такі кантэнт фільтруецца і карыстальнікам / хэштэгам / групам забаронены, але яны вяртаюцца толькі разумней і жорстка. Вось скрыншот з артыкула, які распавядае пра невыразныя арабскія хэштэгі, якія выкарыстоўваюцца для абмену порна ў Instagram.

Крыніца: Daily Express

Паколькі большасць нашага спажывання змешчана на мабільны, Apple (App Store) і Google (Play Store) з'яўляюцца захавальнікамі зместу, які мы праглядаем.

Усе мы чулі нядаўні выпуск Apple, які выдаляў прыкладанне Tumblr з крамы прыкладанняў пасля пошуку дзіцячай парнаграфіі, але гэта толькі адзін з такіх прыкладаў платформы, якія змагаюцца за змяншэнне змесціва і штрафуюць.

Крыніца: The Verge

Tumblr можа ўсё яшчэ выжыць і курс правільны; але ёсць мноства прыкладанняў, якія не змаглі, бо карыстальнікі засталіся ў ардах, калі яны сталі бастыёнам порна і іншага абразлівага змесціва, які адміністратары не змаглі кантраляваць.

Чаму вы павінны турбавацца? Калі вы ўладальнік дадатку, які працуе з "User-Generated-Content" або "UGC", як вядома, вы падвяргаецеся ўздзеянню некалькіх рызык, такіх як рэпутацыйныя, эканамічныя ці нават асноўныя юрыдычныя рызыкі. (гл: Індыя кідае ў турму начальніка Ebay)

Але спачатку давайце разбярэмся ў тым, што лічыцца "абразлівым", каб мець магчымасць змякчыць гэта лепш, бо гэта не так проста, як вам спачатку здавалася.

Вызначэнне "абразлівага" змесціва (?)

Глабальны кантэкст

Злева: арыгінальная вокладка вуснай фіксацыі Шакіры; Справа: аднолькавая вечка на Блізкім Усходзе

Працаваць ва ўсім свеце і ўсталёўваць стандарты для зместу складана. Большасць кампаній спрабуе навязаць аднолькавыя правілы для карыстальнікаў, якія выходзяць з розных дэмаграфій з рознай культурнай адчувальнасцю. І вось яны церпяць няўдачу.

Кампаніі, якія пашыраюцца ва ўсім свеце, часта сутыкаюцца з мясцовай адміністрацыяй, калі не ўлічваюць мясцовую культуру. У ліпені 2018 года ўрад Інданезіі забараніў TikTok, папулярнае прыкладанне для стварэння кароткага музычнага відэа. Вось вытрымка з артыкула з газеты, які паведамляе пра праблему:

Міністэрства заявіла, што забараніла прыкладанне, паколькі яно змяшчае негатыўныя відэаролікі, якія, як мяркуюць, дрэнна ўплываюць на моладзь ... мае кліпы падлеткаў, якія ўдзельнічаюць у правакацыйным паводзінах. У адным з такіх відэа намаляваны танцы падлетка. Затым ён наразаецца мёртвым целам, па-відаць, сваяком падлетка.

Акрамя аголенасці / порна, ёсць рэгіянальныя правілы, характэрныя для:

  • Рэлігійная мова нянавісці, якая распальвае гвалт
  • падробленыя навіны і распаўсюджванне для палітычнага парадку дня
  • паклёпніцкая мова супраць асобы / арганізацыі

Спіс можна працягваць у залежнасці ад рэгіёну, дзе вы дамінуеце, і стандартаў свабоды слова, прысутных у гэтай геаграфіі

Вось вытрымка са старонкі Вікіпедыі для Orkut - некалі папулярнай сацыяльнай сеткі:

У 2008 годзе Google абвясціў, што Orkut будзе цалкам кіраваць і працаваць у Бразіліі, Google Brazil, у горадзе Белу-Арызонце. Гэта было прынята з-за вялікай бразільскай базы карыстальнікаў і росту юрыдычных праблем

Улічваючы гэта, усе аперацыі сацыяльнай сеткі ў ЗША былі перанесены ў іншую краіну, каб лепш прытрымлівацца мясцовых законаў.

Што ўяўляе сабой голасць / порна

Нават асноўнае азначэнне паняцця "аголенасці" або "порна" з'яўляецца вельмі суб'ектыўным і гэтак жа адвольным, як правілы грамадства. Разгледзім Instagram, які дазваляе "мужчынскія соску", але забараняе "жаночыя соску".

У некаторых выпадках аголенасць можа паказвацца.

Падумайце пра Tumblr, які нядаўна абнавіў свае правілы ўтрымання з некаторымі цікавымі выключэннямі:

Забаронены змест уключае ў сябе фатаграфіі, відэа і GIF з геніталіямі чалавека, саскамі, якія прадстаўляюць жанчын, і любыя сродкі масавай інфармацыі, якія ўключаюць палавыя акты, у тым ліку ілюстрацыі. Выключэнне складаюць аголеныя класічныя статуі і палітычныя акцыі пратэсту, якія аголены. Новыя рэкамендацыі выключаюць тэкст, таму эратыка застаецца дазволенай. Ілюстрацыі і мастацтва, якія паказваюць аголенасць, усё яшчэ ў парадку - пакуль не адлюстроўваюцца сэксуальныя акты - і таму карміце грудзьмі і фатаграфіі пасля нараджэння

Давайце паглядзім рэкамендацыі па змесце для іншых буйных сацыяльных сетак:

Я спадзяюся, што я выказаўся наконт складанасці стварэння стандартаў для зместу з-за іх суб'ектыўнага характару.

Давайце выкажам здагадку, што вы стварылі шырокі першы набор правілаў, якія працуюць на вашу заяўку. Наступны крок - альбо выкарыстоўваць чалавечых мадэратараў, разлічваць на тое, каб ваша супольнасць “паведамляла” пра такі кантэнт, альбо выкарыстоўваць AI, каб выявіць іх, альбо звычайна сумесь усіх 3.

Выкарыстанне мадэратараў Human

Ключавыя пытанні, на якія неабходна адказаць пры працы з мадэратарамі чалавека:

Колькі каштуе? Час прапускной здольнасці і часу рэагавання? Як яны звычайна ацэньваюць відэа? Як будзе выглядаць паток? Як вы вызначаеце выразныя стандарты, каб знізіць суб'ектыўнасць, асабліва ў крайніх выпадках?

Мы пайшлі наперад і звярнуліся да 7 мадэрнізаваных аўтсорсінгавых агенцтваў, і мы атрымалі туманныя (іш?) Адказы з 4 з іх. Звычайна яны складаюць BPO, узброеныя сотнямі падрадчыкаў па ўводу дадзеных на аснове эканомікі, якая развіваецца з нізкай заработнай платай. Вы можаце знайсці іх адказы тут.

Таскус
Scale.ai
Webpurify
Foiwe
Алапічны
Асіва
Мадэратары UGC
  1. Кошт:

Адказы на кошты, якія мы атрымалі.

UGC-мадэратары - самы танны варыянт з 3-х для малюнкаў, якія каштуюць 0,01 долара за малюнак.

2. Час развароту: Webpurify згадвае час павароту <2 хвіліны. Усе астатнія з гэтым адкрытыя. Што датычыцца вялікіх аб'ёмаў, то службе прыйдзецца падтрымліваць вялікую колькасць мадэратараў, якія працуюць практычна ў рэжыме рэальнага часу, што неабходна для некаторых.

3. Відэа: Webpurify таксама згадвае рабіць відэа ў памеры $ 0,15 / хвіліна.

Іншы пастаўшчык, мадэратары UGC, каштуюць па цане $ 2 / гадзіна. Мяркуючы, што яны могуць правяраць 5 хвілінаў відэа ў хвіліну, гэта ~ 0,07 $ відэа ў хвіліну

Падумайце пра гэта на Youtube, дзе кожную хвіліну загружаецца 400 гадзін відэа. = 2400 хвілін відэа / хвіліна.
Памножце гэта на агульную колькасць хвілін у год (60 х 24 х 365) і гэта ашаламляльны кошт у памеры 1,2 мільярда долараў кожны год!
Нават улічваючы 50% разлікаў за зніжкі на аб'ём, ~ 600 мільёнаў долараў.

Суб'ектыўная прыналежнасць вырашэння таго, які ўтрыманне можа заставацца, важна, каб пэўная колькасць чалавечых мадэратараў была на месцы. Як бачыце, яны могуць вельмі хутка дарагія.

Траўма

Важна дадаць, што праца вельмі трывожная і можа прывесці да траўмаў у людзей, якія робяць гэта дзень і час. Былы мадэратар змесціва падаў у суд на Фэйсбук, заявіўшы, што гвалтоўныя выявы выклікалі ў яе ПТСР. Выдатны дакументальны фільм пад назвай "Мадэратары", які паказвае жыццё некаторых з гэтых людзей:

Нават Facebook з усімі апранутымі ў жалеза дамоўленасцямі па-ранейшаму падвяргаецца рызыцы судовых працэдур з-за "нечалавечай" працоўнай практыкі. Вытрымка з таго ж артыкула New York Times:

"Вы ідзяце на працу кожную раніцу ў 9 гадзін ночы, уключайце кампутар і глядзіце, як у кагосьці адрэзалі галаву", - мужчына, які вырашыў застацца невядомым, але цытуецца ў пазове, паведамляе The Guardian у мінулым годзе. "Кожны дзень, кожную хвіліну, гэта тое, што вы бачыце. Галы адсякаюцца ”.

Гэта цяжкая праца.

Дакладнасць

Нягледзячы на ​​ўстанаўленне дакладных кіруючых прынцыпаў, мадэратары могуць па-ранейшаму схільныя памылкам, бо, як чакаецца, будуць працаваць хутка, каб справіцца з вялікім аб'ёмам і выканаць зададзены SLA. Чакаецца, што мадэратар агенцтва, з якім мы гаварылі ў Індыі, будзе прыціскаць 10-15 <1 хвіліна відэа ў хвіліну, хутка праглядаючы іх.

Асабліва яны змагаюцца па краёвых справах і ў канчатковым выніку здзяйсняюць шмат ілжывых пазітываў, г.зн. называюць нешта порна, чаго няма. Гэта можа перашкодзіць свабодзе слова, якая выступае за некаторыя з гэтых платформаў, і карыстальнікі могуць паўстаць з-за двайных стандартаў.

Крыніца: The Mic

Падводзячы вынік, мадэратарамі чалавека з'яўляюцца:

  • Непазбежна, як і цяпер, з-за суб'ектыўнага характару зместу
  • Дарагое, асабліва па меры маштабу
  • Схільны да траўмаў
  • Схільны да памылак, асабліва, калі аб'ёмы вялікія і ў крайніх выпадках

Таму становіцца вельмі важна адсочваць, ці паспяхова працуюць вашыя мадэратары.

Метрыкі для адсочвання прадукцыйнасці мадэратара

Гэта метрыкі, якія вы, як правіла, павінны адсочваць, каб даведацца, як працуюць вашы асобныя мадэратары, хоць вы можаце прыняць розныя паказчыкі ў залежнасці ад вашых патрабаванняў бізнесу. Паказчыкі натхнёны штучным інтэлектам і стрэсам на дзвюх рэчах, якія могуць найбольш пашкодзіць:

Ілжывыя пазітывы

Называць што-небудзь "порна", якое "не порна"

Ілжывыя негатывы

Выклік "не порна", але гэта порна (балюча!)

Дакладнасць

Колькасць малюнкаў правільна ідэнтыфікавана (порна - порна, бяспечна). Больш падрабязную інфармацыю пра здароўе, якую трэба адсочваць, каб пераканацца, што вы на шляху.

Дакладнасць

Колькасць выяўленых порнаматэрыялаў, якія фактычна з'яўляюцца порна. Чым вышэй, тым лепш.

Калі ў вас ёсць бізнес, дзе свабода слова / выказвання мае вырашальнае значэнне (напрыклад, Reddit), вам трэба пераканацца, што мадэратары не маркіруюць выявы, якія выконваюцца правіламі, як "не бяспечныя". Ваша найважнейшая метрыка - гэта дакладнасць.

Нагадаем

У агульнай колькасці порна малюнкаў, колькі яны выявілі. Чым вышэй, тым лепш.

Калі ў вас ёсць бізнес, дзе вы павінны задаволіць сваю аўдыторыю, здаровы кантэнт для прагляду сям'і, вы павінны пераканацца, што любое малюнак, якое не адпавядае правілам, не праходзіць праз вашы фільтры. Ваша найважнейшая метрыка - Успомнім.

Адзнака F-1

Больш карысная метрыка, якая ўключае як дакладнасць, так і ўспамін. Чым вышэй, тым лепш.

Калі вам трэба прамежак паміж двума, якія не перашкаджаюць свабодзе слова, і выкананню строгіх правілаў, адзнака F1 - гэта ваша метрыка.

Вось як вы іх разлічыце:

Вось схема, якая дапаможа вам лепш зразумець тэрміналогію:

Праглядаючы выпадковую выбарку% штодзённай працы кожнага мадэратара і ўстанаўліваючы арыенціры, вы зможаце працягнуць праверку іх эфектыўнасці.

Акрамя таго, мы заўважылі, што пазначэнне падкатэгорыі адкінутай публікацыі (Gore, Suggestive Nudity, Explicit Nudity, наркотыкі і г.д.) і адсочванне метрык у гэтых катэгорыях значна больш глыбока прадумана пры планаванні будучых навучальных праграм.

Выкарыстанне штучнага інтэлекту

На рынку прадстаўлена некалькі камерцыйных API, якія выяўляюць змест NSFW.

Карыстаючыся глыбокімі нейроннымі сеткамі, гэтыя API забяспечваюць машыннае навучанне як абслугоўванне для ўмеранага змесціва на платформе карыстальнікаў, у першую чаргу выяўляючы аголенасць, парнаграфію (сэксуальныя акты) і зло. Асноўныя пытанні, на якія трэба адказаць пры выбары API:

Колькі каштуе? Час адказу? Якія метрыкі вы выкарыстоўваеце для ацэнкі іх эфектыўнасці? Час налады і інтэграцыі?

Мы параўналі наступныя API:

Амазонка
Clarifai
DeepAI
Google
Microsoft
Nudedetect
Нананецкі
Пікапіраваць
Sightengine

Кошт

Гэта колькі каштуе малюнак:

Самая нізкая цана нананэтаў - $ 0,0009 / выява, а потым Amazon & Microsoft - $ 0,001 / малюнак.

Графік гэтага:

Цэны на API

Сярэдняе цэнаўтварэнне на малюнак складае ~ 0,001 $

Параўноўваючы гэта з самай таннай цаной для мадэратараў, якая складае 0,01 долара. Людскія мадэратары ў 10 разоў цану для пастаўшчыкоў AI API! Візуалізацыя праз графік:

Метрыкі

Паказчыкі для ацэнкі застаюцца такімі ж, як і ў мадэратараў чалавека: Дакладнасць, Дакладнасць, Успомненне і F1. Там ёсць выдатная артыкул, якая дае параўнанне лепшых API для мадэрнізацыі малюнкаў NSFW па стане на 2018 год па гэтых метрыках.

Налада і інтэграцыя

Большасць падобных API з'яўляюцца вэб-хостынгам і іх лёгка інтэграваць.

Звычайна яны маюць некалькі радкоў кода, якія трэба інтэграваць і перадаць URL малюнка або байты малюнка (неапрацаваны файл).

Nanonets дае дадатковую перавагу стварэння малюнка докера для вашай мадэлі і размяшчэння на вашым серверы.

sudo nvidia-docker run -p 8081: 8080 docker.nanonets.com/{{model_id}}:gpu

Прыклад радка для кода для запуску мадэлі ў докер-кантэйнеры.

Час адказу

Большасць API абяцаюць час водгуку 200–300 сотняў мілісекунд. Аднак гэта не ўключае час падарожжа паміж серверамі, а таксама можа мяняцца ў залежнасці ад памеру выявы, якую вы адпраўляеце. Такім чынам, вы, верагодна, хочаце, каб ваш правайдэр меў сервер у вашым рэгіёне для хуткага часу водгуку альбо проста скарыстаўся докерскай паслугай Nanonets і разгарне яго на месцы.

Параўнайце гэта з паслугай мадэрацыі чалавека Webpurify, якая абяцае час водгуку <2 хвіліны. Гэта 10 разовы час водгуку ў параўнанні з API!

Падводзячы вынік добра, API на аснове машыннага навучання ў параўнанні з мадэратарамі чалавека:

  • Танней
  • Больш хутка
  • Лягчэй маштабаваць
  • Машыны не сутыкаюцца з траўмай (!)

Такім чынам, машыны, безумоўна, нашмат больш падыходзяць для працы, чым людзі.

Дык навошта нам яшчэ патрэбныя чалавечыя мадэратары?

Ну, адказ на тое, што машыны па-ранейшаму не падыходзяць для суб'ектыўнасці, і іх можна лёгка падмануць.

  1. Расавая прадузятасць

Разгледзім наступнае малюнак:

Арыгінальную выяву вы можаце паглядзець тут. УВАГА: Гэта відавочна

Мы паспрабавалі прыведзеную выяву з 2 згаданых вышэй паслуг:

Clarifai

Clarifai памылкова класіфікуе гэта як SFW з 91% упэўненасцю

Пікапіраваць

Пікапіруйце няправільна класіфікуючы яго як SFW

Дык што ж тут адбылося? Узоры і пранікальны характар ​​жаночага адзення блытаюць нейронныя сеткі, і яны не змаглі класіфікаваць вобраз як NSFW альбо даюць зусім іншыя прагнозы.

Адсутнасць дадзеных аб падрыхтоўцы аголеных японскіх жанчын у традыцыйным кімано можа стварыць падобную прадузятасць для гэтых API, якія, у асноўным, знаходзяцца за межамі ЗША і Еўропы і навучаюць свае сеткі на большай частцы выявы асоб, якія прадстаўляюць большасць этнічнай прыналежнасці ў сваім рэгіёне. Такім чынам, калі ў вас ёсць карыстальнікі, акрамя гэтых рэгіёнаў і загружаюць мясцовае порна (ці іншае абражальнае змесціва), большасць гатовых да выкарыстання API тут могуць не занадта моцна дапамагаць.

2. Грамадскі кантэкст

Як было вывучана вышэй, у адным рэгіёне нічога добрага не можа быць здзекаваным у іншым. Паколькі большасць пастаўшчыкоў AI API заснаваны з заходніх рэгіёнаў, яны звычайна не адпавядаюць больш кансерватыўным часткам свету. Такім чынам, пытанне аб тым, што такое NSFW, з'яўляецца вельмі канкрэтным для вас, дэмаграфічных асаблівасцей карыстальніка і рэгіёнаў, у якіх вы працуеце. Зразумела, гатовы API да выкарыстання не з'яўляецца адказам, а значыць, і неабходнасцю ў працы чалавечых мадэратараў.

Арыяна Грандэ на вокладцы мастацтва фатаграфавала, каб прытрымлівацца законаў аб сціпласці ў Іране і Саудаўскай Аравіі (крыніца: Petapixel)

3. Адзін памер падыходзіць не ўсім

Большасць пастаўшчыкоў API даюць ацэнку, ці з'яўляецца малюнак прымальным, альбо дадаткова могуць пазначыць яго ў адпаведнасці з загадзя прынятымі мета-тэгамі. Amazon тэгі, гэта выявы наступным чынам:

Цяпер у вас могуць быць некаторыя ўласныя тэгі, якія можна стварыць на аснове нішы, якую вы абслугоўваеце, паміж якімі знаходзяцца гэтыя катэгорыі. У вас няма магчымасці зрабіць гэта. Тэгі (гэта аснова рэкамендацыі) - гэта хлеб-алей большасці сацыяльных UGC-прыкладанняў сёння, і калі вы карыстаецеся любы з гатовых да выкарыстання API, вы будзеце прытрымлівацца загадзя вызначаных тэгаў.

Як паменшыць залежнасць ад мадэратараў чалавека

Пастаянна перападрыхтоўваючы свае мадэлі для выяўлення прапушчаных прабелаў, гэта спосаб паменшыць залежнасць чалавека. Перападрыхтоўка ў асноўным азначае даданне вашага канкрэтнага набору дадзеных NSFW і навучанне "зверху" раней існуючай мадэлі. Такім чынам мадэль становіцца ўсё лепш і лепш вызначае рэчы, якія раней прапускала.

Так, скажам, напрыклад, на вашай платформе ёсць выявы антысемітычнага характару, і вы хочаце забараніць іх, каб забяспечыць свабоднае асяроддзе. Ваш абраны пастаўшчык API не фільтруе такія выявы ў цяперашні час, і вы хочаце стварыць набор дадзеных гэтых антысемітычных малюнкаў, якія адпавядаюць тыповай схеме. Вы можаце стварыць набор дадзеных з гэтых малюнкаў і ператрэніравацца па-над ранейшай мадэлі, каб ён мог пачаць іх класіфікаваць як "небяспечныя".

Але большасць пастаўшчыкоў API не дазваляюць зрабіць гэта альбо ўключана ў іх узровень "прадпрыемства".

Увядзіце Nanonets

Мы з Nanonets разумеем гэтую праблему і дадалі магчымасць дадаваць уласныя выявы і вызначаць дадатковыя тэгі ў верхняй частцы нашай мадэлі мадэравання змесціва, каб вы маглі павысіць агульную дакладнасць для ВАС.

Палепшыце для вас дакладнасць нашай размешчанай мадэлі на app.nanonets.com

Выкарыстоўваючы перадачу навучання, мы трэніруем мадэль, якая вучыцца на вашых дадзеных і адаптуецца да вашых патрэбаў.

Тэматычны прыклад: найбуйнейшая індыйская сацыяльная сетка

Праблема

У нас была самая буйная ў Індыі лакальная сацыяльная сетка з больш чым 50 мільёнамі актыўных карыстальнікаў штомесяц да нас з вельмі спецыфічнай праблемай. Іх абраны пастаўшчык API рабіў памылкі пры адпраўцы індыйскіх малюнкаў. Дакладнасць іх папярэдняга правайдэра склала ~ 72% на такіх малюнках.

Чаму існуючае рашэнне не працуе?

Мадэль ML толькі добрая, як і дадзеныя, якім яна падвяргаецца. Большасць даступных мадэратаў мадэравання прайшлі навучанне па агульных дадзеных. Такім чынам, яны не спрабуюць прагназаваць змесціва, створанае карыстальнікамі, якое вырабляецца мясцова з выкарыстаннем камер нізкай якасці на бюджэтных смартфонах у сельскай Індыі.

Гэтыя выявы адрозніваюцца па змесце, колеры скуры, камеры і г.д., чым агульнадаступныя выявы, якія можна знайсці ў пошукавай сістэме па вашаму выбару альбо ў любым агульнадаступным наборы дадзеных.

Рашэнне:

Мы спыталі бізнес аб неабходных ім узроўнях адчувальнасці да дэмаграфічных дадзеных карыстальнікаў, якія яны абслугоўваюць, і пра 10 000 малюнкаў - як станоўчых, так і адмоўных узораў.

Мы выкарыстоўвалі гэтыя дадзеныя для падрыхтоўкі новай мадэлі, акрамя нашай ранейшай мадэлі. Гэта дазволіла нам наладзіць адчувальнасць і падвергнуць мадэль зместу, характэрнаму для іх платформы.

Вынікі:

Цяпер у нас была мадэль, дакладнасць якой палепшылася на больш чым 23% і падскочыла да ~ 95%! Увесь практыкаванне ў канчатковым выніку ад вызначэння заявы праблемы да абмену дадзенымі, а затым, нарэшце, дастаўка мадэлі заняла <1 месяц.

дакладнасць палепшылася больш чым на 23% і падскочыла да ~ 95%!

Магчымасць наладжвання нашых мадэляў пад канкрэтную дэмаграфію і азначэнні NSFW дазваляе ёй быць значна больш магутнымі і спрытнымі ў вырашэнні гэтай праблемы.