I Data Scientist sono esperti di analisi dei dati che hanno le competenze tecniche per risolvere problemi complessi
Alexandra Murzina, Machine Learning Engineer, Advanced Technologies Group, Positive Technologies
Una delle tecniche più promettenti inl’apprendimento automatico è ora l’apprendimento per rinforzo. A proposito, il sistema DeepMind, che ha vinto StarCraft II, si basa su di esso. Questo approccio all'apprendimento, e quindi all'utilizzo, ricorda molto più l'intelligenza artificiale. Un tale sistema è immerso in un ambiente che gli fornisce risposte alle azioni. Questo metodo è molto simile al modo in cui studiamo io e te, ma a volte ci vogliono anni, ma qui c'è l'opportunità di accelerare notevolmente il processo attraverso la modellazione e la potenza del computer.
Ad esempio, un tale sistema imparerà presto "beneguidare una macchina. Naturalmente, permangono problemi legati a situazioni eccezionali e al funzionamento del sistema nelle loro condizioni (a causa della limitazione dei compiti che risolve). Nell'autunno del 2017, le reti neurali capsulari non hanno causato meno rumore: a quel tempo parlavano tanto quanto di una rivoluzione nel mondo dell'apprendimento profondo. Oggi si sono quasi dimenticati di loro in pubblico. In pratica, sono ancora molto popolari le architetture di busings e di rete neurale, che sono già diventate lo standard per risolvere determinati problemi. Tale, ad esempio, come il rilevamento di oggetti nelle immagini o la classificazione di immagini.
Teoricamente, l'IA come tecnologia arriverà più velocementequelle aree in cui il lavoro di una persona consiste principalmente in azioni di routine o in aree in cui le decisioni devono essere prese rapidamente in base a una grande quantità di dati. Cioè, le notizie sensazionali su come 600 trader sono stati sostituiti da duecento programmatori possono facilmente diventare uno degli eventi ordinari nel campo dell'automazione. Per quanto riguarda il settore della sicurezza informatica, tale automazione è probabile, ad esempio, nel campo dell'analisi dei virus o del rilevamento di attacchi. A proposito, il nostro team sta lavorando su una tecnologia che consente all'apprendimento automatico di rilevare attacchi in applicazioni web in pochi secondi.
In pratica, prevedendo i settori in cui l’A.I.sarà richiesto su larga scala in pieno vigore e nel prossimo futuro sarà difficile, poiché il suo utilizzo è associato a molte sfumature sociali e legali. Diciamo il pilota automatico: tecnologicamente è già del tutto possibile trasferire i voli standard ai piloti automatici, ma quanti passeggeri affiderebbero la propria vita a un aereo senza una persona seduta ai comandi? O, diciamo, la medicina: ci sono molti sviluppi basati sull'uso dell'intelligenza artificiale in relazione a questo settore, ma dal punto di vista del quadro legislativo non possono essere utilizzati al massimo e oggi rimangono ancora a livello concettuale.
Sì, c'è molto rumore intorno alla direzione:allo stesso tempo, molti esperti preferiscono parlare subito di risoluzione di problemi specifici, risparmiando tempo e denaro, soggetto all'uso della tecnologia. In realtà queste idee inciampano sulla questione del personale: se diversi anni fa si parlava di carenza di programmatori, ora non è cambiato nulla, tranne che ora non abbiamo più bisogno, ad esempio, solo di programmatori Java, ma anche di ingegneri complessi, chi può comprendere e risolvere il problema, anche utilizzando metodi di apprendimento automatico.
Sensazione di saturazione del mercato con gli specialistil’apprendimento automatico è più ingannevole che reale. Sì, molte persone pensano di poter apprendere rapidamente quest'area frequentando un paio di corsi, ma di conseguenza il mercato è saturo di specialisti con un background irrilevante. Tuttavia, l'apprendimento automatico è nella maggior parte dei casi uno strumento per risolvere efficacemente un problema specifico (beh, solo se non lo si fa fine a se stesso) e per scegliere lo strumento giusto è necessario avere una vasta esperienza in un campo specifico ( nel nostro caso, la sicurezza delle informazioni).
La storia dell'apprendimento automatico oggi è piùAssomiglia alla situazione con l'antipattern del "martello d'oro" popolare nell'ambiente di sviluppo, in cui si cerca di risolvere qualsiasi problema con l'aiuto di un solo martelletto (anche se d'oro). Gli specialisti dell'apprendimento automatico che hanno completato un paio di corsi applicano la loro esperienza in cento casi su cento, senza essere in grado di capire quando è necessario un altro toolkit - uno aggiuntivo. Molti di questi specialisti appena sfornati non sono sviluppatori e non possono andare oltre il framework di Jupyter Notebook (uno strumento popolare in ML), o mancano adeguate conoscenze in altre aree, il che non consente loro di utilizzare con successo la tecnologia in una particolare area per risolvere problemi specifici.
Alena Arykina, Data Scientist Sberbank PJSC
Nell'apprendimento automatico c'è una parte creativa,a seconda dei dati e delle conoscenze del campo, sull'intuizione dello sviluppatore e molto altro. E ci sono cose automatiche, dove è necessario trovare parametri migliori e riscrivere un codice noto da lungo tempo. La seconda parte, come in ogni processo "meccanico", le persone tendono a ottimizzare tutto, anche attraverso l'apprendimento automatico. Se prima i matematici passavano da "apprendimento manuale" a quello automatico sulla base di librerie come keras, oggi esempi di tali ottimizzazioni possono servire come librerie per la gestione dello stato di set di dati, preelaborazione di immagini e testi, persino rilevamento automatico di elementi di elementi. Gli algoritmi possono essere semplici (tagliare le terminazioni di parole) o complessi (costruire reti neurali speciali - autoencoder che comprimono i dati a qualsiasi dimensione), ma un insieme di tali strumenti di formazione determina molto spesso la qualità del modello finale e quindi le competenze di un datassistista.
L'apprendimento automatico alla fine verrà in seguito in tuttoaree dove sarà rallentato dalla legislazione o dalla sfiducia umana: medicina o un'auto con un autopilota. Vediamo già risultati straordinari in queste aree, che vengono utilizzati in altri paesi. Ma sono sicuro che per poterli implementare con noi e renderli accessibili alle persone comuni, dovremo vincere più di una guerra burocratica.
Data Science è davvero molto interessante. Ogni secondo il mio amico specialista IT ha già letto almeno sull'apprendimento automatico. Volenti o nolenti, inizi a preoccuparti: non ci saranno troppi datasint? Inoltre, ora stanno cercando di utilizzare l'apprendimento automatico in qualsiasi progetto IT e per qualsiasi attività, non immaginando realmente perché tali algoritmi siano necessari lì - è di moda. HYIP passerà e il numero di posti vacanti diminuirà. D'altra parte, la domanda è se coloro che amano davvero la scienza dei dati rimarranno nella professione e non inseguiranno la moda.
Tatyana Savelyeva, capo del gruppo di dati non strutturati, Yandex.Taxi, autore del canale telegramma tldr_arxiv
Non mi piace affatto la parola “AI”, perchéè troppo generale e ambizioso e spesso induce le persone a sopravvalutare il livello della tecnologia. Sai, c'è una battuta del genere: “Come distinguere il ML dall'intelligenza artificiale? Il machine learning viene eseguito in Python e l’intelligenza artificiale viene eseguita in PowerPoint”.
Il primo trend della Data Science è l’aumentopopolarità dell'argomento: le aziende si rendono sempre più conto che senza elaborare una grande quantità di informazioni utili in futuro sarà difficile. C'è una tendenza verso l'automazione dell'apprendimento automatico: se 10 anni fa dovevi scrivere tu stesso tutti i metodi per lavorare, ora ci sono tante comode librerie già pronte.
Ma con la crescente facilità d'uso dei metodigli strumenti attuali cambiano sempre più rapidamente: è necessario tenere costantemente il dito sul polso. C'è una tendenza verso l'uso delle reti neurali: le conferenze industriali pubblicano sempre più articoli relativi a questo tipo di algoritmi.
Quindi l'apprendimento automatico è l'ultimoarriveranno in aree dove ci sono pochi dati o dove non sono affatto - per esempio, in questo modo si può a malapena prevedere il luogo in cui cade l'asteroide, o il tempo della collisione della Luna con la Terra. Sembra che l'apprendimento automatico sia difficile da attuare nelle istituzioni burocratiche - agenzie governative, istituzioni mediche.
In ogni caso, prima o poi il mercato lo faràCi sarà un gran numero di candidati per l'avvio di posti vacanti: specialisti junior o stagisti, poiché le conoscenze necessarie per l'occupazione in tale posizione stanno diventando più accessibili. Ma la domanda di specialisti esperti che hanno già implementato progetti ML aumenterà, poiché ci vuole molto tempo e impegno per acquisire questa esperienza e il numero di attività di apprendimento automatico sta crescendo più rapidamente del numero di persone che hanno avuto tempo e sono state in grado di acquisire tale esperienza.
Emily Drahl, direttore dell'analisi dei dati di Mechanica AI, responsabile di Data Mining in Action
In machine learning uno dei piùle tendenze brillanti sono la transizione dal suo utilizzo come tecnologia assistiva all'automazione completa basata su di esso. Ciò si manifesta più chiaramente nell'automazione della produzione industriale, dell'agricoltura e dell'agrobusiness, nonché nello sviluppo dei concetti di smart city e smart home.
Ora applicazioni di machine learningmolto e questo è dovuto al livello attuale di sviluppo dello stack tecnologico, al livello della nostra comprensione del campo e ad una serie di questioni etiche irrisolte. La mia applicazione personale è la medicina, la psicologia e la pedagogia. Qui, non si tratta principalmente di servizi ausiliari (sistemi di raccomandazione per la diagnosi di malattie o sistemi interattivi), ma della completa automazione dei processi attraverso AI e ML.
Penso che l'industria IT oggi sia diversa perchéle tecnologie si stanno sviluppando in modo molto dinamico e se si smette di tenere il passo con questi cambiamenti, allora c'è un rischio molto tangibile di diventare uno specialista non reclamato. Questa è una delle poche aree in cui i laureati senza esperienza possono competere con professionisti esperti.
Grazie al mercato dinamico, lavoro per coloro cheMantiene le tendenze, sarà sempre. Ma per coloro che non sono pronti a imparare tutta la loro vita, la domanda difficile rimane da risolvere: come rimanere rilevanti. Qui aiuterà esperienza, visione professionale e conoscenza delle aree di attività correlate (o meno!).
Il campo dell’istruzione sta attualmente cambiandoconcettualmente e, per così dire, affronta non solo scolari e studenti, ma anche professionisti adulti con esperienza lavorativa... Avendo un'istruzione pertinente in passato, una quantità sufficiente di tempo e un adeguato livello di perseveranza, puoi riqualificarti senza investimenti finanziari significativi e superare un colloquio come minimo per una posizione entry-level nell'analisi dei dati. Questo è uno degli obiettivi dei corsi online.
Se parliamo di università, la maggior partesperimenta una serie di difficoltà nell'insegnamento delle discipline tecniche attuali: le tecnologie cambiano molto rapidamente, è necessario attrarre specialisti praticanti e non sempre sono pronti a lavorare nel formato implicato dall'università. È così che le principali aziende IT vengono in soccorso, creando scuole, aprendo dipartimenti nelle università, conducendo corsi pratici e stage e anche formando i laureati di ieri all'interno dell'azienda all'inizio del lavoro. In definitiva, personalmente vedo il compito di un'università non solo e non tanto nel rilasciare sul mercato uno specialista già pronto, ma nel fatto che l'istruzione superiore dovrebbe fornire a una persona un certo livello culturale, intellettuale ed emotivo, sul quale la vita professionale dipende in larga misura più che dalla conoscenza di specifiche tecnologie.
Anna Voevodskaya, esperta di apprendimento automatico, Jet Infosystems
Mi sembra che ora stiano applicando sempre di più.apprendimento di rinforzo. La decisione di imparare, interagire con l'ambiente, usando premi, azioni e osservazioni. Uno degli esempi più famosi di apprendimento di rinforzo è AlphaGo. Inoltre, tali metodi di allenamento sono utilizzati per simulare il movimento di una persona (le ultime competizioni a NIPS riguardavano la RL), le macchine e altro.
L’apprendimento automatico è la magia nella sua forma migliore.senso. La matematica piuttosto complessa viene applicata specificamente ai tuoi dati, viene eseguita un'analisi approfondita e viene emessa una previsione molto accurata appositamente per te. E tutti vogliono questa magia per sé: fa soldi e fa bene all'immagine, fantastico.
Per quanto riguarda l'eccesso di mercato, sono in questoNon ci credo I buoni specialisti sono sempre difficili da trovare. Ad esempio, Java non è apparso due anni fa, ma l'anziano è ancora difficile da trovare in quest'area. E un buon datasaytnist è generalmente come un unicorno: conosce e ama la matematica, e kodit, e comprende le metriche aziendali e spiega tutto bene. Se a un certo punto del mondo avremo un'eccessiva offerta di queste persone, sarà bello. Ma questa è una specie di utopia.