O que é o BERT? – Quadro branco sexta-feira

O que é o BERT? – Quadro branco sexta-feira

09/11/2019 Off Por glaucio
cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br


Postado por BritneyMuller

Há muita publicidade e desinformação sobre a nova atualização do algoritmo do Google. O que realmente é BERT, como funciona e por que isso importa para o nosso trabalho como SEOs? Junte-se à nossa própria especialista em aprendizado de máquina e processamento de linguagem natural Britney Muller, enquanto ela detalha exatamente o que é o BERT e o que isso significa para o setor de pesquisa.

Clique na imagem do quadro branco acima para abrir uma versão de alta resolução em uma nova guia!

Transcrição de Vídeo

Ei, fãs do Moz. Bem-vindo a outra edição do Whiteboard Friday. Hoje estamos falando de tudo o que é BERT e estou super empolgado em tentar realmente explicar isso para todos. Não pretendo ser um especialista em BERT. Acabei de fazer muitas e muitas pesquisas. Consegui entrevistar alguns especialistas da área e meu objetivo é tentar ser um catalisador para que essas informações sejam um pouco mais fáceis de entender.

No momento, há uma tonelada de comoção no setor sobre o que você não pode otimizar para o BERT. Embora isso seja absolutamente verdade, você não pode, você só precisa escrever um conteúdo realmente bom para seus usuários. Ainda acho que muitos de nós entramos nesse espaço porque somos curiosos por natureza. Se você está curioso para aprender um pouco mais sobre o BERT e conseguir explicá-lo um pouco melhor para os clientes ou ter melhores conversas sobre o contexto do BERT, espero que você goste deste vídeo. Se não, e isso não é para você, tudo bem também.

Palavra de cautela: Não exagere no BERT!

Estou muito empolgado em entrar. A primeira coisa que quero mencionar é que consegui me sentar com Allyson Ettinger, pesquisador do Natural Language Processing. Ela é professora da Universidade de Chicago. Quando falei com ela, o principal argumento foi que é muito, muito importante não exagerar no BERT. Há muita comoção acontecendo agora, mas ainda está longe de entender a linguagem e o contexto da mesma maneira que nós, humanos, podemos entendê-la. Por isso, acho importante ter em mente que não estamos enfatizando demais o que esse modelo pode fazer, mas ainda é realmente emocionante e é um momento bastante monumental na PNL e no aprendizado de máquina. Sem mais delongas, vamos pular direto.

De onde veio o BERT?

Eu queria dar a todos um contexto mais amplo de onde o BERT veio e para onde está indo. Eu acho que muitas vezes esses anúncios são como bombas lançadas sobre a indústria e é essencialmente um quadro imóvel em uma série de um filme, e não obtemos o máximo antes e depois dos trechos do filme. Acabamos de obter este quadro ainda. Então, recebemos este anúncio do BERT, mas vamos voltar um pouco no tempo.

Processamento de linguagem natural

Tradicionalmente, os computadores tiveram um tempo impossível para entender a linguagem. Eles podem armazenar texto, podemos inserir texto, mas entender a linguagem sempre foi incrivelmente difícil para os computadores. Então vem o processamento de linguagem natural (PNL), o campo em que os pesquisadores estavam desenvolvendo modelos específicos para resolver vários tipos de compreensão de linguagem. Alguns exemplos são denominados reconhecimento de entidade, classificação. Vemos sentimentos, perguntas respondendo. Tradicionalmente, todas essas coisas são vendidas por modelos individuais de PNL e, portanto, parecem um pouco com a sua cozinha.

Se você pensar nos modelos individuais, como utensílios que você usa em sua cozinha, todos eles têm uma tarefa muito específica que fazem muito bem. Mas quando chegou o BERT, era uma espécie de tudo-de-todo-utensílio de cozinha. Foi o único utensílio de cozinha que oferece mais de dez ou onze soluções de processamento de linguagem natural muito, muito bem após o ajuste fino. Essa é uma diferenciação realmente empolgante no espaço. É por isso que as pessoas ficam realmente empolgadas com isso, porque não têm mais todas essas coisas pontuais. Eles podem usar o BERT para resolver tudo isso, o que faz sentido porque o Google o incorporaria ao algoritmo. Super, super emocionante.

Para onde o BERT está indo?

Para onde esta posição? Para onde isso vai? Allyson havia dito:

"Acho que seguiremos na mesma trajetória por um tempo, construindo variantes maiores e melhores do BERT, que são mais fortes da maneira como o BERT é forte e provavelmente com as mesmas limitações fundamentais".

Já existem várias versões diferentes do BERT por aí e continuaremos vendo cada vez mais isso. Será interessante ver para onde esse espaço está indo.

Como o BERT ficou tão inteligente?

Que tal dar uma olhada em uma visão muito simplificada de como o BERT ficou tão inteligente? Eu acho essas coisas fascinantes. É incrível que o Google tenha conseguido fazer isso. O Google levou o texto da Wikipedia e muito dinheiro para TPUs de poder computacional, nos quais eles montaram em um pod V3, um sistema de computador tão grande que pode alimentar esses modelos. E eles usaram um não supervisionado rede neural. O que é interessante sobre como ele aprende e como fica mais inteligente é que ele usa qualquer tamanho arbitrário de texto, o que é bom porque a linguagem é bastante arbitrária na maneira como falamos, no tamanho dos textos e a transcreve em um vetor.

Ele precisará de um texto e o codificará em um vetor, que é uma sequência fixa de números para ajudar a traduzi-lo para a máquina. Isso acontece em um espaço realmente selvagem e dimensional que nem sequer podemos imaginar. Mas o que ele faz é colocar o contexto e as coisas diferentes em nossa linguagem nas mesmas áreas. Semelhante ao Word2vec, ele usa esse truque chamado mascaramento.

Portanto, serão necessárias frases diferentes nas quais ele está treinando e ocultará uma palavra. Ele usa esse modelo bidirecional para examinar as palavras antes e depois para prever qual é a palavra mascarada. Ele faz isso várias vezes, até que seja extremamente poderoso. Além disso, pode ser ajustado para executar todas essas tarefas de processamento de linguagem natural. Realmente, muito emocionante e um momento divertido para estar neste espaço.

Em poucas palavras, o BERT é o primeiro profundamente bidirecional. Tudo o que isso significa é apenas observar as palavras antes e depois das entidades e do contexto, representação não supervisionada da linguagem, pré-treinada na Wikipedia. Portanto, é este modelo pré-treinado realmente bonito que pode ser usado de várias maneiras.

Quais são algumas das coisas que o BERT não pode fazer?

Allyson Ettinger escreveu este realmente excelente trabalho de pesquisa chamado O que o BERT não pode fazer. Há um link Bitly que você pode usar para ir diretamente a ele. O ponto mais surpreendente de sua pesquisa foi essa área de diagnóstico de negação, o que significa que O BERT não é muito bom para entender a negação.

Por exemplo, quando introduzido com um Robin é um … Ele previu um pássaro, o que é certo, isso é ótimo. Mas quando entrou em um Robin não é um … Também previu um pássaro. assim nos casos em que o BERT não viu exemplos ou contexto de negação, ainda será difícil entender isso. Há muito mais sugestões interessantes. Eu sugiro que você verifique isso, coisas realmente boas.

Como você otimiza o BERT? (Você não pode!)

Por fim, como você otimiza o BERT? Novamente, você não pode. A única maneira de melhorar seu site com esta atualização é escreva um conteúdo realmente excelente para seus usuários e cumpra a intenção que eles estão procurando. E então você não pode, mas uma coisa que eu apenas tenho que mencionar, porque honestamente não consigo tirar isso da cabeça: há um vídeo no YouTube em que Jeff Dean, vamos ligar para ele, é uma palestra de Jeff Dean em que ele falando sobre o BERT e ele entra em questões naturais e no entendimento de questões naturais. A grande vantagem para mim foi este exemplo, ok, digamos que alguém fez a pergunta, você pode fazer e receber chamadas no modo avião? O bloco de texto no qual a camada de tradução do idioma natural do Google está tentando entender todo esse texto. É uma tonelada de palavras. É meio técnico, difícil de entender.

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Com essas camadas, aproveitando coisas como o BERT, eles conseguiram responder não de toda essa linguagem muito complexa, longa e confusa. É realmente muito poderoso em nosso espaço. Considere coisas como trechos em destaque; considere coisas como gerais Recursos SERP. Quero dizer, isso pode começar a ter um enorme impacto em nosso espaço. Então eu acho que é importante ter uma ideia de onde tudo está indo e o que está acontecendo neste campo.

Eu realmente espero que você tenha gostado desta versão do Whiteboard Friday. Avise-me se tiver alguma dúvida ou comentário abaixo e espero vê-los novamente na próxima vez. Muito obrigado.

Transcrição de vídeo por Speechpad.com

Inscreva-se no The Moz Top 10, um remetente semestral que o atualiza entre as dez principais notícias mais recentes de SEO, dicas e links de radar descobertos pela equipe da Moz. Pense nisso como um resumo exclusivo de coisas que você não tem tempo para caçar, mas quer ler!






Blogs que devem ser lidos também:

Mãos à obra! Tudo o que você precisa saber para criar um infoproduto em 7 dias sem morrer na tentativa

Idéias de negócios na internet: desenvolvendo as melhores para ganhar dinheiro

8 maneiras sem suor para economizar algum dinheiro extra antes do início do verão

Como um Leitor do Blog Fez us $500 por Dia Usando 4 de Aprendizagem Hacks

Qual a Fórmula de Negócio Online

Fundações: impressoras 3D – trabalho de código-bude.net

Mac x PC

Promoção de conteúdo – Como ser notado por autoridades relevantes

20 melhores aplicativos de laptop para 2017 que solucionam problemas reais


cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br