Making Teams Effective At Remote Work, Reducing Toxicity in Language Models, Different – Review
After reviewing 40+ resources, spending hours absorbing and summarizing them, and boring my friends and colleagues about it, I thought I’d put everything into a nice little package to share what I’ve learned with others. This is what his article is.
The article is geared towards managers on how to adapt teams and organizations to become effective at remote work, and not so much on how to be a more productive individual within a remote setup.
If you’re an individual contributor, you will find interesting ideas in this article nonetheless, and also ideas on how to convince your manager to help your team and organization be effective at remote work, so read on!
Une liste qui peut expliquer les manques des entreprises qui ont tenté la transition durant la pandémie et se retrouvent à vouloir faire marche arrière (sans nécessairement y arriver vu l’évolution des mentalités des employés sur le remote). Si vous vous retrouvez dans la situation du mode hybride, cet article peut vous donner des pistes sur le pourquoi ça pêche (dans le cas où ça pêche). Sans trop de surprise, on retrouve essentiellement les pratiques éprouvées de GitLab. Il y a des prérequis culturels assez forts, qui feront que certaines pratiques, comme celle du style de management, ne seront tout simplement pas applicables.
Large pretrained language models are trained over a sizable collection of online data. They unavoidably acquire certain toxic behavior and biases from the Internet. Pretrained language models are very powerful and have shown great success in many NLP tasks. However, to safely deploy them for practical real-world applications demands a strong safety control over the model generation process.
Overall, toxicity is a broad term to describe several types of unsafe content. Methodologies in this post can be applied given some form of definition of toxicity; e.g. presented in the instruction for annotators. How to properly define the concept of toxicity and thus collect accurate annotation labels is out of the scope of this post.
Weng, Lilian. (Mar 2021). Reducing toxicity in language models. Lil’Log.
Long post, très intéressant. Je n’ai eu aucune difficulté à comprendre les différentes techniques sans avoir de formation ou expérience en LLM.
Tim Kastelle, who writes on innovation, was also struck by what I would describe as the key graphic in the book. It shows what happens when you benchmark yourself against your competitors. Over time, everybody starts to look the same. A radical, and different, approach would be to emphasize your strengths and ignore, or even celebrate, your weaknesses.
The herd mentality is to keep up with the competition, but as the author writes, ” … if you’re looking for a unique solution, the last thing you should do is ask for a vote”.
[…]
Just being different is not enough for business success though. The difference has to have meaning, such as Harley Davidson creating a real community of bikers, numbering over a million. Difference has to resonate, not just be superficial.
Ça me rappelle Fire and motion que je vous ai partagé il y a un moment : sous le feu des fonctionnalités pondues par la concurrence, les entreprises courent après les balles pour tenter de se mettre à niveau, et deviennent de fait trop occupées pour se démarquer. En y repensant, le modèle de Kano pourrait servir à déterminer quelles fonctionnalités « méritent » un plus gros investissement que les autres et reprendre la maîtrise de la trajectoire du produit.
Dans la même veine, mais plus profond que les produits, je vois ça chez mes clients lorsqu’ils me demandent « l’état de l’art des pratiques de delivery » par exemple. Et invariablement, chacun d’entre eux tente de reproduire les pratiques selon le modèle de comparaison (notez que je n’ai pas dit « reproduire les pratiques de la concurrence » … la carte et le territoire …). Clairement ce n’est pas faute d’expliquer que tout ne fonctionne partout, et peut même leur causer du tort (livrer tous les jours une nouvelle version n’est pas la meilleure des idées pour utilisateurs lorsqu’il s’agit d’une app mobile par exemple). Mais je pense que, d’une part, ces organisations ont perdu leurs moyens d’apprendre, c’est à dire de prendre le risque de faire différemment, d’analyser les conséquences, et de juger le processus (plutôt que les gens) face aux échecs rencontrés. Et d’autre part, c’est tellement plus simple et rassurant de suivre la direction que d’autres ont pris, surtout quand avant de se démarquer on aimerait déjà que notre orga fonctionne.
