Metric Infrastructure with Minerva @ AirbnbPart II: The six design principles of Minerva compute infrastructureBy: Amit Pahwa, Cristian Figueroa, Donghan Zhang, Haim Grosman, John Bodley, Jonathan Parks, Maggie Zhu, Philip Weiss, Robert Chang, Shao Xie, Sylvia Tomiyama, Xiaohui SunIntroductionAs described in the first post of this series, Airbnb invested significantly in building Minerva, a single source of truth metric platform that standardizes the way business metrics are created, computed, served, and consumed. We spent years iterating toward the right metric infrastructure and designing the right user experience. Because of this multi-year investment, when Airbnb’s business was severel…

Building a Faster Web Experience with the postTask SchedulerWhen was the last time you opened a page on a website and tried to click on something multiple times for it to work? Or the last time you swiped on an image in a carousel and it stuttered and shifted around unnaturally?While this type of experience happens far too often, we can use tools that can help us make better, more responsive experiences for users. Scheduling and prioritizing tasks efficiently can be the difference between a responsive experience and one that feels sluggish.At Airbnb, we’ve been collaborating with the Chrome team on improving performance using a prioritized task scheduler to implement new patterns and improv…

OMNI is an intuitive, homegrown platform that supports message creation, processing, and distribution to engage our guests and hosts at the right time and on the right channels.By Paritosh Aggarwal and Henry WuIntroductionAirbnb is a busy marketplace with millions of active users across the globe. Billions of messages are exchanged each year — both between Airbnb and our users, and between our host and guest communities. To facilitate the scaling of these messages, we invested in building a reliable, scalable, and cost-effective communication platform.The Promotions and Communications Platform (internally called “OMNI”) forms a core pillar of Marketing Technology at Airbnb. Marketing Techno…

By: Jing Guo, Henry Wu, Abhrajit Mukherjee, Shike MeiIntroductionAirbnb’s mission is to “Create a world where anyone can belong anywhere.” This message is delivered to people all around the world through marketing, e.g., See What’s Possible When It’s Made Possible by Hosts. It helps Airbnb connect guests and hosts to build a strong community, and undoubtedly contributes to the impressive growth of the company.Figure 1. Airbnb Marketing DomainsMarketing at Airbnb is exciting — it presents challenges on numerous fronts, one of which is accounting for campaign tracking across the different ad platforms (see Figure 1). Tracking enables the Marketing team to have the full capability to analyze t…

Data is the voice of our users at scale. In the midst of the COVID-19 pandemic, we saw that travel with Airbnb has become hyper-local.Part-I: Introducing Minerva — Airbnb’s Metric PlatformAuthors: Robert Chang, Amit Pahwa, Shao XieIntroductionAt Airbnb, we lean on data to inform our critical decisions. We validate product ideas through randomized controlled experiments, and we track our business performance rigorously to ensure that we maximize values for our stakeholders. To achieve these goals, we needed to build a robust data platform that serves the internal users’ end-to-end needs.While we have previously shared how we ingest data into our data warehouse and how to enable users to cond…

by Alan Yao, Dipak Pawar, Blair Wu, and Abhishek ParmarThe ProblemOver the last couple of years, Airbnb engineering moved from a monolithic Ruby on Rails architecture to a service oriented architecture. In our Rails architecture, we had an API per resource to access the underlying data. These APIs had authorization checks to protect sensitive data. As there was a single way to access a resource’s data, managing these checks was easy. In the transition to SOA, we moved to a layered architecture where there are data services that wrap databases and presentation services hydrating from multiple data services. The initial approach to moving the permission checks from monolith to SOA was to move…

The path to cloud efficiency begins with a cost data foundationby Anna Matlin and Tamar EtermanIntroductionBusiness profitability and sustainability are powerful reasons to invest in infrastructure efficiency, but it is easy to feel lost about how to actually reduce costs. A foundation of robust and actionable data is essential for a successful efficiency program. At Airbnb, building this foundation made it possible to prioritize savings opportunities and ushered in a wave of cost reductions, summarized in a previous post.More importantly, cost data has become a lever for long-term control. The team can react quickly before a spike wreaks havoc on the monthly bill and plan ahead when a big …

by Jen Rice and Anna MatlinIntroductionAirbnb was born in the cloud. In 2008, while many companies were operating data centers, a few clicks on the AWS console brought Airbnb to life. From our first Ruby on Rails app, to our more recent adoption of service-oriented architecture, the ability to instantly spin up compute and storage has enabled our teams to move quickly and meet the growing demands of our business. However, the business value this nimbleness affords can quickly be offset by cloud computing costs, unless the organizational capability to efficiently use these resources is developed.BackgroundIn the early days of Airbnb, our primary goal was growing the business. Technology team…

Our peer-to-peer learning program that’s accelerating the growth of mobile engineeringIntroAs part of the TechEd team, our team’s goal is to enable our technical talent through continuous learning programs. One of the most common programs we work on is new employee onboarding for Engineering and Data Science teams. However, we also constantly think about the broader needs of the engineering organization and, at times, create more curated programs addressing these needs. One such program, Code Like a Mobile Engineer, addresses the growing mobile use as it has become our top platform. We need to scale out the native engineering knowledge to enable us to deliver an exceptional user experience …

A new library from Airbnb for declaratively building iOS appsEpoxy’s story on iOS began in 2016. Swift was still a very new language, and we had recently started to broadly adopt it across our codebase. With the new language, we were still experimenting with how to best build UI.Unfortunately, things weren’t going as well as we had hoped — with our early paradigms for building UI in Swift we were not only experiencing hundreds of thousands of crashes in some of our core features, we also found that our engineers were deeply dissatisfied, giving their development experience a net promoter score of -78 on a scale of -100 to 100.Why was this? One of the key sources of complexity was our API to…

The third of a three-part blog series on Connect, an apprenticeship opportunity for aspiring Airbnb software engineers.As an engineering leader with 15+ years of industry experience, I am currently head of engineering for the Marketing Technology Platform at Airbnb. Our goal is to build world-class technology systems and tools that power the unique blend of performance and brand marketing strategies at Airbnb.In this post, I’d like to share why fostering talent from the Connect program helps me achieve this vision for my teams. Furthermore, I will share from my experience — with Connect and other apprenticeship programs — what good support looks like. Programs like this don’t happen in a va…

The second of a three-part blog series on Connect, an apprenticeship opportunity for aspiring Airbnb software engineers.Connect 2020 Apprentices at Airbnb HQHi, I’m Ale. I was a Connect 2020 Apprentice and I’m going to write a bit about my experience with the program, especially for those who are interested in applying. To learn more about the goals and structure of the Connect program, take a look at Part 1 of this blog series.How It StartedI first heard about Connect from a friend in October 2019. She was planning on applying and encouraged me to do the same. We had both just graduated from a coding bootcamp and were starting to venture into the job search. At a glance, Connect presented …

The first of a three-part blog series on Connect, an apprenticeship opportunity for aspiring Airbnb software engineers.by Beti Gathegi & Jacqui WattsHello! We’re excited that you’re here to learn more about the Connect program. Before we share details, though, we’d like to introduce ourselves. We’re Beti Gathegi and Jacqui Watts — a team of two whose purpose at Airbnb is to help bring this program to life. We couldn’t be more proud of the apprentices that we’ve gotten to work with to-date, and that’s why we want to share more, so that we can continue to attract even more amazing software engineering talent in the future.In this post, we’ll focus on the goals and structure of the program. Th…

By Alok Tiagi, Hariharan Ananthakrishnan, Ivan Porto Carrero and Keerti LakshminarayanNetflix has developed a network observability sidecar called Flow Exporter that uses eBPF tracepoints to capture TCP flows at near real time. At much less than 1% of CPU and memory on the instance, this highly performant sidecar provides flow data at scale for network insight.ChallengesThe cloud network infrastructure that Netflix utilizes today consists of AWS services such as VPC, DirectConnect, VPC Peering, Transit Gateways, NAT Gateways, etc and Netflix owned devices. Netflix software infrastructure is a large distributed ecosystem that consists of specialized functional tiers that are operated on the …

Data Engineers of Netflix — Interview with Dhevi RajendranDhevi RajendranThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Dhevi Rajendran is a Data Engineer on the Growth Data Science and Engineering team. Dhevi joined Netflix in July 2020 and is one of many Data Engineers who have onboarded remotely during the pandemic. In this post, Dhevi talks about her passion for data engineering and taking on a new role during the pandemic.Before Netflix, Dhevi was a software engineer at Two Sigma, where she was most recently on a data engineering team responsible for bringing in datasets fr…

Data Engineers of Netflix — Interview with Samuel SetegneSamuel SetegneThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Samuel Setegne is a Senior Software Engineer on the Core Data Science and Engineering team. Samuel and his team build tools and frameworks that support data engineering teams across Netflix. In this post, Samuel talks about his journey from being a clinical researcher to supporting data engineering teams.Samuel comes from West Philadelphia, and he received his Master’s in Biotechnology from Temple University. Before Netflix, Samuel worked at Travelers Insurance i…

Part of our series on who works in Analytics at Netflix — and what the role entailsBy Sean Barnes, Studio Production Data Science & EngineeringI am going to tell you a story about a person that works for Netflix. That person grew up dreaming of working in the entertainment industry. They attended the University of Southern California, double majored in data science and television & film production, and graduated summa cum laude. Upon graduation, they received an offer from Netflix to become an analytics engineer, and pursue their lifelong dream of orchestrating the beautiful synergy of analytics and entertainment. Pretty straightforward, right?!Such a linear trajectory would make for a comp…

Written by Colby Callahan, Megha Manohara, and Mike Azar.Managing and operating asynchronous workflows can be difficult without the proper tools and architecture that puts observability, debugging, and tracing at the forefront.Imagine getting paged outside normal work hours — users are having trouble with the application you’re responsible for, and you start diving into logs. However, they are scattered across multiple systems, and there isn’t an easy way to tie related messages together. Once you finally find useful identifiers, you may begin writing SQL queries against your production database to find out what went wrong. You’re joining tables, resolving status types, cross-referencing da…

A file and folder interface for Netflix Cloud ServicesWritten by Vikram Krishnamurthy, Kishore Kasi, Abhishek Kapatkar, Tejas Chopra, Prudhviraj Karumanchi, Kelsey Francis, Shailesh BirariIn this post, we are introducing Netflix Drive, a Cloud drive for media assets and providing a high level overview of some of its features and interfaces. We intend this to be a first post in a series of posts covering Netflix Drive. In the future posts, we will do an architectural deep dive into the several components of Netflix Drive.Netflix, and particularly Studio applications (and Studio in the Cloud) produce petabytes of data backed by billions of media assets. Several artists and workflows that may …

Written by Nick Tomlin, Michael Possumato, and Rahul Pilani.This post shares how the Revenue & Growth Tools (RGT) team approaches creating full-stack tools for the teams that are the financial backbone of Netflix. Our primary partners are the teams of Revenue and Growth Engineering (RGE): Growth, Membership, Billing, Payments, and Partner Subscription. Each of these engineering teams — and the operations teams they support — help Netflix acquire, sign up, and manage recurring payments for millions of members every month.To provide a view of some of the unique challenges and opportunities of our domain, we’ll share some of the core strategies we’ve developed, some of the tools we’ve built as…

Written by Anton Margoline, Avinash Dathathri, Devang Shah and Murthy Parthasarathi. Credit to Netflix Studio’s Product, Design, Content Hub Engineering teams along with all of the supporting partner and platform teams.In this post, we will share a behind-the-scenes look at how Netflix delivers technology and infrastructure to help production crews create and exchange media during production and post production stages. We’ll also cover how our Studio Engineering efforts are helping Netflix productions to spend less time on media logistics by utilizing our cloud based services.Lights, Camera, Media! Productions take on media managementIn a typical live action production, after media is offlo…

ConsoleMe: A Central Control Plane for AWS Permissions and AccessBy Curtis Castrapel, Patrick Sanders, and Hee Won KimAt AWS re:Invent 2020, we open sourced two new tools for managing multi-account AWS permissions and access. We’re very excited to bring you ConsoleMe (pronounced: kuhn-soul-mee), and its CLI utility, Weep (pun intended)!If you missed the talk, check it out here.MotivationGrowth in the cloud has exploded, and it is now easier than ever to create infrastructure on the fly. Groups beyond software engineering teams are standing up their own systems and automation. This is an amazing movement providing numerous opportunities for product innovation, but managing this growth has in…

By Michelle BrennerNetflix is poised to become the world’s most prolific producer of visual effects and original animated content. To meet that demand, we need to attract the world’s best artistic talent. Artists like to work at places where they can create groundbreaking entertainment instead of worrying about getting access to the software or source files they need. To meet this need, the Studio Infrastructure team has created Netflix Workstations.Netflix Workstations are remote workstations that allow content creators to get to work wherever they are. As an engineer, I can work anywhere with a standard laptop as long as I have an IDE and access to Stack Overflow. However, the artists cre…

Stephanie Lane, Wenjing Zheng, Mihir TendulkarSource credit: NetflixWithin the rapid expansion of data-related roles in the last decade, the title Data Scientist has emerged as an umbrella term for myriad skills and areas of business focus. What does this title mean within a given company, or even within a given industry? It can be hard to know from the outside. At Netflix, our data scientists span many areas of technical specialization, including experimentation, causal inference, machine learning, NLP, modeling, and optimization. Together with data analytics and data engineering, we comprise the larger, centralized Data Science and Engineering group.Learning through data is in Netflix’s D…

Orchestrated Functions as a Microserviceby Frank San Miguel on behalf of the Cosmos teamIntroductionCosmos is a computing platform that combines the best aspects of microservices with asynchronous workflows and serverless functions. Its sweet spot is applications that involve resource-intensive algorithms coordinated via complex, hierarchical workflows that last anywhere from minutes to years. It supports both high throughput services that consume hundreds of thousands of CPUs at a time, and latency-sensitive workloads where humans are waiting for the results of a computation.A Cosmos serviceThis article will explain why we built Cosmos, how it works and share some of the things we have lea…

By Cyril ConcolatoIntroductionIn previous blog posts, our colleagues at Netflix have explained how 4K video streams are optimized, how even legacy video streams are improved and more recently how new audio codecs can provide better aural experiences to our members. In all these cases, prior to being delivered through our content delivery network Open Connect, our award-winning TV shows, movies and documentaries like The Crown need to be packaged to enable crucial features for our members. In this post, we explain these features and how we rely on award-winning standard formats and open source software to enable them.The CrownKey Packaging FeaturesIn typical streaming pipelines, packaging is…

Rapid Development with GraphQL Microservicesby Dane AvillaThe entertainment industry has struggled with COVID-19 restrictions impacting productions around the globe. Since early 2020, Netflix has been iteratively developing systems to provide internal stakeholders and business leaders with up-to-date tools and dashboards with the latest information on the pandemic. These software solutions allow executive leadership to make the most informed decisions possible regarding if and when a given physical production can safely begin creating compelling content across the world. One approach that is gaining mind-share within Netflix Studio Engineering is the concept of GraphQL microservices (GQLMS)…

By Budhaditya Das, Wallace Wang, and Scott YaoAt Netflix, we aspire to entertain the world. From mailing DVDs in the US to a global streaming service with over 200 million subscribers across 190 countries, we have come a long way. For the longest time, Netflix had three plans (basic/standard/premium) with a single 30-day free trial offer at signup. As we expand offerings rapidly across the globe, our ideas and strategies around plans and offers are evolving as well. For example, the mobile plan launch in India and Southeast Asia was a huge success. We are inspired to provide the best offer and plan setup tailored to our customers’ needs to make their choice easier to start a membership.Memb…

Por Naveen Gavini, Vicepresidente sénior de productosCuando Pinterest se lanzó por primera vez, ofrecía una nueva forma de recopilar y organizar ideas de toda la web. Sin embargo, lo que comenzó como un lugar para guardar, se convirtió rápidamente en un servicio único de descubrimiento en el que los usuarios podían inspirarse unos a otros, a las marcas y a los creadores. En 2014, cuatro años después del lanzamiento de Pinterest.com, un pequeño grupo de ingenieros y diseñadores se preguntaron: “¿Cómo sería un motor de búsqueda si no hubiera una respuesta correcta?”Nos dimos cuenta de que Pinterest podría ser el servicio para guiarte a las ideas cuando aún no estás seguro de lo que quieres y …

Por Liang Ma | Ingeniero de software, App Foundations (Desarrollo de aplicaciones)Todos sabemos que el tamaño de las aplicaciones es importante (el tamaño de descarga[1] y el tamaño de instalación local[2]). Además, existe una correlación entre el tamaño de la aplicación y la interacción de los clientes. Con frecuencia, las personas toman decisiones sobre el uso de software en función del tamaño e incluso pagan el ancho de banda por megabyte. Sin olvidar que las tasas de desinstalación podrían aumentar cuando se incrementa el tamaño de la aplicación y, en consecuencia, los usuarios intentan liberar espacio en el disco de sus dispositivos.Recientemente, hicimos una mejora en la aplicación de…

Por Grey Sköld | Ingeniero de AndroidLos ingenieros de Pinterest siempre están enfocados en hacer lo mejor para el producto, pero trabajar en una base de código limpia, con buen mantenimiento y relativamente libre de errores transforma las tareas de ingeniería de ser “solo trabajo” a oportunidades agradables para flexibilizar nuestras habilidades. También nos enriquecemos como ingenieros, tanto técnicamente como de otras formas, cuando nos tomamos el tiempo para aprender de nuestros compañeros de trabajo. Si bien es posible que tengamos una fiesta ocasional o fuera del sitio, ¡nada combina la construcción de comunidad y la mejora del producto como un Fixathon!¿Qué es un Fixathon?El Fixathon…

Por Maya Reddy | Ingeniera en software, Ad Formats (Formatos de anuncios)En Pinterest, todos los días ayudamos a nuestros socios de publicidad a llegar a los usuarios a través de diferentes formatos de anuncios y les ofrecemos métricas y análisis sobre el rendimiento de sus anuncios. Mantener la confianza de nuestros socios y ofrecerles valor es fundamental, por lo que las métricas que mostramos, que en última instancia se basan en registros que contienen eventos de cliente, deben ser correctas.A principios de 2017, hacíamos lanzamientos móviles cada dos semanas y realizábamos un control de calidad manual para verificar el comportamiento de registro antes de cada lanzamiento. Al poco tiempo…

Por Sha Sha Chu | Experiencia de Android CoreHa pasado casi un año desde que la base de código Android de Pinterest se convirtió en la prioridad de Kotlin, y aproximadamente dos años desde que adoptamos ktlint para el formato y lint de Kotlin. Hoy, compartimos que Pinterest se ha hecho cargo oficialmente del proyecto.Inicialmente, elegimos ktlint por su simplicidad, comunidad activa, extensibilidad y propietario extremadamente receptivo. También se integró fácilmente con nuestro flujo de trabajo actual basado en Phabricator y, después de agregar aproximadamente 65 líneas de PHP a nuestra biblioteca Arcanist, pudimos aplicar linting y el formato a nuestros archivos Kotlin por diferencias.Cua…

Por Rahul Malik | Líder de tecnología de iOS Platform (Plataforma para iOS)En Pinterest nos enfocamos en ayudar a las personas a descubrir ideas inspiradoras, desde recetas para una cena, hasta productos de estilo y para el hogar que comprar y lugares a los que viajar. Para ello, es fundamental crear los mejores productos para dispositivos móviles, ya que el 80% de los usuarios acceden a Pinterest a través de aplicaciones móviles. En el equipo de iOS en concreto, trabajamos constantemente para mejorar esa experiencia de la manera más eficiente y rápida posible, y ofrecer a nuestro equipo el mejor entorno de desarrollo y pruebas es un paso clave para ello.Recientemente analizamos las formas …

Por Grey Skold | Android Video Product (Productos de video para Android)La función de video se lanzó en la aplicación de Pinterest para Android en 2016 a fin de ofrecer una experiencia de video completamente integrada en la aplicación. Esto incluía la capacidad de admitir varios videos por pantalla y, a la vez, controlar de forma dinámica su estado de reproducción al pausarlos automáticamente cuando desaparecían de la pantalla, o controlar la cantidad de videos que se podían reproducir al mismo tiempo.Pronto nos dimos cuenta de que había muchos desafíos técnicos que debíamos afrontar, entre ellos:● Administrar el estado de reproducción de todos los videos disponibles actualmente.● Conocer e…

Emma Catlin | Software Engineer“Just ask questions.”That was the piece of advice that completely changed my perspective on code reviews.I first started as a Software Engineer at Pinterest on the Shopping Partner Experience team right out of college. I focused on my personal learning by reading documentation and technical design documents to understand my team’s systems and projects, but I lacked the confidence to review my teammates’ code. Why would the senior engineers want to have a junior engineer review their code? What if I said something that was just flat out wrong?My focus on learning was great at the beginning, but at some point in my first year, I realized something critical: I ne…

Liang Ma | Software Engineer, App FoundationsIn early 2020, we started seeing significantly elevated out-of-memory (OOM) crashes in the Pinterest iOS app. That incident resulted in a declined Crash-Free Users Rate (CFUR), from the previous 99% to 96%, which was a steep drop. What was going on?We improved many systems along the journey, but those learnings could be a separate blog post. The primary focus of this blog post is to share with the broader iOS community what we have learned through this iOS specific issue.What’s the issue?For context, in the Pinterest iOS app, we use NSURLSession to talk to Pinterest REST API endpoints. Most endpoints had been on HTTP2 for years, and some endpoint…

Sharon Xie| Software Engineer, Trust & SafetyAs Pinterest grows with increasing numbers of users and businesses, providing a safe and trustworthy experience is one of our top priorities. Every day the platform serves billions of Pins and boards to inspire Pinners. With so many Pins and activity, It can be a challenge to provide timely and consistent decisions for content safety while unlocking high quality content distribution. In this blog post, we will offer a technical deep dive into the problems we faced as well as present how we built a label-based enforcement pipeline to tackle those problems and fight abuse at scale.BackgroundInfra cost of signal product growsIn the early stage of Pi…

By Naveen Gavini, SVP, ProductsWhen Pinterest first launched it provided a new way for people to collect and organize ideas from around the web. What started as a place to save though, quickly became a unique service for discovery where Pinners could draw inspiration from each other, brands and creators. In 2014, four years after Pinterest.com launched, a small group of engineers and designers asked, “what would a search engine look like if there wasn’t one right answer?”.We realized Pinterest could be the service to help guide you to ideas when you aren’t quite yet sure what you want, and when you want to explore questions like, what to cook for dinner tonight? How to style your home? Wher…

Tobi Ogunnaike| Software Engineer, Engineering ProductivityOriginally published on Tobi’s personal blog.It’s not every day I get to spend two days with my coworkers making arepas, practicing Tai chi, learning how to plate dishes, and vibing to six different DJs. Two days immersing myself in the deepest caverns of talent that cut across continents, genres, and domains. All on the company’s dime.Then again, every day is not Knit Con.Knit Con at Pinterest HQ in 2019My first taste of Knit Con was three years ago. I had heard so much about this so-called Knit Con from recruiters and teammates. My recruiter’s face lit up as she described it. You know how someone describes an incredible meal they …

Vishwakarma Singh | Trust and Safety Machine Learning LeadHundreds of millions of people regularly visit Pinterest to visually discover inspiring ideas among billions of Pins. Inspiration is a high bar and we must be vigilant in ensuring that Pinners don’t see spam, harmful content or misinformation. To enforce our community policies and maintain an inspiring environment, we use the latest in machine learning technology to build automated systems that swiftly detect and act against both spammy content and spammers.Our anti-spam system consists of both reactive and proactive components to effectively counter adversarial abusers — users who intentionally try to evade the system. Our proactive…

Enhancement to Kafka MirrorMaker to reduce CPU/memory pressureHenry Cai | Software Engineer, Data EngineeringPinterest uses Kafka as the backbone for data transportation. As a part of our infrastructure, Kafka MirrorMaker v1 is used to replicate traffic among different Kafka clusters spread across multiple regions. Kafka MirrorMaker is a powerful tool to replicate/aggregate data between different Kafka clusters. Figure-1 shows a typical setup to use the MirrorMaker to replicate traffic between two or more regions. Figure-2 shows how one MirrorMaker v1 cluster works in a multi-node setup.While Kafka Mirrormaker satisfied our initial needs, we started seeing several scalability problems.OOM c…

People upload hundreds of millions of videos to Facebook every day. Making sure every video is delivered at the best quality — with the highest resolution and as little buffering as possible — means optimizing not only when and how our video codecs compress and decompress videos for viewing, but also which codecs are used [...]

Read More...

The post How Facebook encodes your videos appeared first on Facebook Engineering.

Designing a personalized ranking system for more than 2 billion people (all with different interests) and a plethora of content to select from presents significant, complex challenges. This is something we tackle every day with News Feed ranking. Without machine learning (ML), people’s News Feeds could be flooded with content they don’t find as relevant [...]

Read More...

The post How machine learning powers Facebook’s News Feed ranking algorithm appeared first on Facebook Engineering.

Facebook’s services rely on fleets of servers in data centers all over the globe — all running applications and delivering the performance our services need. This is why we need to make sure our server hardware is reliable and that we can manage server hardware failures at our scale with as little disruption to our [...]

Read More...

The post How Facebook keeps its large-scale infrastructure hardware up and running appeared first on Facebook Engineering.

[...]

Read More...

The post PPL Bench: Creating a standard for benchmarking probabilistic programming languages appeared first on Facebook Engineering.

The U.K.’s Royal Academy of Engineering has elected Facebook Research Scientist Mark Harman as a Fellow for his achievements in academia and industry, including his work on search-based software engineering (SBSE), intelligent software testing tools, and web-enabled simulation (WES) approaches. Election to the Academy is by invitation only, and it is one of the highest [...]

Read More...

The post Mark Harman elected Fellow of the Royal Academy of Engineering appeared first on Facebook Engineering.

As a recap from the last article, Uber’s API Gateway provides an interface and acts as a single point of access for all of our back-end services to expose features and data to Mobile and 3rd party partners. Two …

The post Scaling of Uber’s API gateway appeared first on Uber Engineering Blog.

API gateways are an integral part of microservices architecture in recent years. An API gateway provides a single point of entry for all our apps and provides an interface to access data, logic, or functionality from back-end microservices. It also …

The post The Architecture of Uber’s API gateway appeared first on Uber Engineering Blog.

At Uber, live monitoring and automation of Ops is critical to preserve marketplace health, maintain reliability, and gain efficiency in markets. By the virtue of the word “live”, this monitoring needs to show what is happening now, with prompt access …

The post Automating Merchant Live Monitoring with Real-Time Analytics: Charon appeared first on Uber Engineering Blog.

Introduction

Uber’s many software systems require a high volume of changes every day. Because of our systems’ size and complexity, it is a significant challenge to implement these changes without unintended consequences, ultimately slowing down developer productivity. Flipr is a …

The post Flipr: Making Changes Quickly and Safely at Scale appeared first on Uber Engineering Blog.

Data powers Uber

Uber has revolutionized how the world moves by powering billions of rides and deliveries connecting millions of riders, businesses, restaurants, drivers, and couriers. At the heart of this massive transportation platform is Big Data and Data Science …

The post Uber’s Journey Toward Better Data Culture From First Principles appeared first on Uber Engineering Blog.

The App Size Problem

Uber’s iOS mobile Apps for Rider, Driver, and Eats are large in size. The choice of Swift as our primary programming language, our fast-paced development environment and feature additions, layered software and its dependencies, and statically …

The post How Uber Deals with Large iOS App Size appeared first on Uber Engineering Blog.

Introduction

In 2016 we published blog posts (I, II) about Schemaless – Uber Engineering’s Scalable Datastore. We went over the design of Schemaless as well as explained the reasoning behind developing it. In this post today we …

The post Evolving Schemaless into a Distributed SQL Database appeared first on Uber Engineering Blog.

At Uber, we provide a centralized, reliable, and interactive logging platform that empowers engineers to work quickly and confidently at scale. The logs are tagged with a rich set of contextual key value pairs, with which engineers can slice and …

The post Fast and Reliable Schema-Agnostic Log Analytics Platform appeared first on Uber Engineering Blog.

Background

Real-time data (# of ride requests, # of drivers available, weather, game) enables operations teams to make informed decisions like surge pricing, maximum dispatch ETA calculating, and demand/supply forecasting about our services that improve user experiences on the …

The post Uber’s Real-time Data Intelligence Platform At Scale: Improving Gairos Scalability/Reliability appeared first on Uber Engineering Blog.

At Uber, business metrics are vital for discovering insights about how we perform, gauging the impact of new products, and optimizing the decision making process. The use cases for metrics can range from an operations member diagnosing a fares issue …

The post The Journey Towards Metric Standardization appeared first on Uber Engineering Blog.

Uber builds multi-sided marketplaces handling millions of trips every day across the globe. We strive to build real-time experiences for all our users.

The nature of real time marketplaces make them very lively. Over the course of a trip, there …

The post Uber’s Real-Time Push Platform appeared first on Uber Engineering Blog.

Every day in over 10,000 cities around the world, millions of people rely on Uber to travel, order food, and ship cargo. Our apps and services are available in over 69 countries and run 24 hours a day. At our …

The post Turning Metadata Into Insights with Databook appeared first on Uber Engineering Blog.

About the Safety team & What we do

Uber is dedicated to keeping people safe on the road. The Safety and Insurance Engineering team is at the core of Uber’s business. We work to redefine what it takes to be …

The post Meet the 2020 Safety Engineering Interns: COVID Edition appeared first on Uber Engineering Blog.

Introduction

Uber has a complex marketplace consisting of riders, drivers, eaters, restaurants and so on. Operating that marketplace at a global scale requires real-time intelligence and decision making. For instance, identifying delayed Uber Eats orders or abandoned carts helps to …

The post Operating Apache Pinot @ Uber Scale appeared first on Uber Engineering Blog.

8:30am I’m at my best after nine hours’ sleep, so I tend to wake up pretty late, shower and dress as though I’m going into the office. Although I’ve been in Stockholm a while now, I’m still not a fan of the Swedish breakfast of bread and cheese or salami – give me Nutella on toast [...]

Team purpose and pride — my team hit those high marks, but it was a long journey to get there from where we started. At Spotify, we strive for “aligned autonomy” among our teams. Meaning: we align on what it is we set out to do, but preserve flexibility to choose how we’ll achieve those [...]

TLDR; In episode 08 of our podcast series “Spotify: A Product Story”, we share stories and lessons from building and open sourcing Backstage, our homegrown developer portal. Hear why a developer-friendly, market-based platform like Backstage could only have been developed at Spotify (where autonomy is prized, not top-down mandates) and why that ends up making [...]

There is no excerpt because this is a protected post.

When a design system first starts out, the promise of visual consistency glows bright — the ideal product would have only one set of buttons, a unified typography scale, and elements that look the same no matter which designer made the design or which developer programmed them to be real and deployed. As the product [...]

Nour is a Security Engineer at Spotify New York – juggling her busy day job with completing her Masters in Cyber Security and looking after her 10-month-old daughter, Leya.

Search @ Spotify Search is a well-established functionality across different industries, devices, and applications. When users come to any kind of search, they already have something in mind, whether they come looking for one thing in particular or are open to becoming inspired. Spotify Search is no exception, helping a vast majority of users find joy [...]

For the past couple of years, we’ve been on a mission to modernize our Spotify clients by creating one single desktop UI for both the Desktop application and the Web Player. We couldn’t build everything we wanted to for our users with our old setup, so we decided to do something about it. In the [...]

5:00 am My days begin with an early morning wake-up call from Zev – he comes through at around 5am and we get a couple of dedicated hours of playtime before the rest of the world gets up. It’s fun – this morning, we baked oatmeal cookies. Then once my wife and I are ready, we [...]

Customer experience is a key differentiator for retailers, and improving this experience comes through speed and reliability. An e-commerce website is one of the first applications customers use to interact with your brand. For a long time, testing an application has been the only way to battle-test an application before going live. Testing is very […]

AWS AppSync is a fully managed service that makes it easy to develop GraphQL APIs by handling the heavy lifting of securely connecting to data sources like Amazon DynamoDB, AWS Lambda, and more. Adding caches to improve performance, subscriptions to support real-time updates, and client-side data stores that keep off-line clients in sync are just […]

This is a guest blog post by Ioanna Lytra, Data & Knowledge Engineer, and Albin Ahmeti, Data & Knowledge Engineer, at the Semantic Web Company. According to the International Data Corporation (IDC), more data will be created in the next 3 years than in the prior 30 years combined. In the ideal world, this data […]

Amazon SageMaker Studio is the first fully integrated development environment (IDE) for machine learning (ML). Studio provides a single web-based visual interface where you can perform all ML development steps required to prepare data, as well as build, train, and deploy models. You can quickly upload data, create new notebooks, train and tune models, move […]

Amazon Kinesis Data Analytics Studio makes it easy to analyze streaming data in real time and build stream processing applications using standard SQL, Python, and Scala. With a few clicks on the AWS Management Console, you can launch a serverless notebook to query data streams and get results in seconds. Kinesis Data Analytics reduces the […]

Amazon Elasticsearch Service (Amazon ES) supports real-time anomaly detection, which uses machine learning (ML) to proactively detect anomalies in real-time streaming data. When used to analyze application logs, it can detect anomalies such as unusually high error rates or sudden changes in the number of requests. For example, a sudden increase in the number of […]

Amazon Lookout for Metrics uses machine learning (ML) to automatically detect and diagnose anomalies (outliers from the norm) without requiring any prior ML experience. Amazon CloudWatch provides you with actionable insights to monitor your applications, respond to system-wide performance changes, optimize resource utilization, and get a unified view of operational health. This post demonstrates how […]

Customers running their database workloads using Amazon DocumentDB (with MongoDB compatibility) might need to replicate data from one AWS account to another. By doing so, you can achieve faster development or QA environment refreshes, which provides a production-like environment to troubleshoot current production issues, and share data with partners. Amazon DocumentDB provides support for copying […]

Many database users spend a considerable amount of time architecting their database for high availability. High availability is critical for business continuity. With the AWS Cloud, you can create highly available databases using Amazon Relational Database Service (Amazon RDS). Amazon RDS is a fully managed database service that makes it easy to set up, operate, […]

Several recent surveys show that more than 80% of consumers prefer spending with a credit card over cash. Thanks to advances in AI and machine learning (ML), credit card fraud can be detected quickly, which makes credit cards one of the safest and easiest payment methods to use. The challenge with cards, however, is that […]

Many organizations host ideation events to innovate and prototype new ideas faster. These events usually run for a short duration and involve collaboration between members of participating teams. By the end of the event, a successful demonstration of a working prototype is expected and the winner or the next steps are determined. Therefore, it’s important […]

Customers are looking for ways to securely and cost-efficiently manage large volumes of sensitive data archival and deletion in their data lake by following regulations and data protection and privacy laws, such as GDPR, POPIA, and LGPD. This post describes a way to automatically identify sensitive data stored in your data lake within AWS, tag […]

Healthcare data can be challenging to work with and AWS customers have been looking for solutions to solve certain business challenges with the help of data and machine learning (ML) techniques. Some of the data is structured, such as birthday, gender, and marital status, but most of the data is unstructured, such as diagnosis codes […]

Amazon Redshift ML simplifies the use of machine learning (ML) by using simple SQL statements to create and train ML models from data in Amazon Redshift. You can use Amazon Redshift ML to solve binary classification, multi-class classification, and regression problems and can use either AutoML or XGBoost directly. This post is part of a […]

NTT DOCOMO is the largest telecom company in Japan. It provides innovative, convenient, and secure mobile services that enable customers to realize smarter lives. More than 73 million customers in Japan connect through its advanced wireless networks, including a nationwide LTE network and one of the world’s most progressive LTE Advanced networks. In addition to […]

We had a great time at RedisConf 2021. AWS was proud to participate as a platinum sponsor this year. Thanks to those of you who joined us at the conference—we enjoyed seeing you there virtually! This year, our Amazon ElastiCache experts led five sessions focused on technical deep dives on Redis, best practices for ElastiCache, […]

To help you fast track your company’s adoption of machine learning (ML), AWS offers educational solutions for developers to get hands-on experience. We like to think of these programs as a fun way for developers to build their skills using ML technologies in real world scenarios. In this post, we walk you through how to […]

Founded in 2019, BigHat Biosciences’ mission is to improve human health by reimagining antibody discovery and engineering to create better antibodies faster. Their integrated computational + experimental approach speeds up antibody design and discovery by combining high-speed molecular characterization with machine learning technologies to guide the search for better antibodies. They apply these design capabilities […]

Take a Well-Architected approach to make an informed decision when choosing to implement CI/CD using open-source tools on AWS services, using managed AWS services, or a combination of both. We will look at key considerations for evaluating open-source software and AWS Services using the perspectives of a startup company, and a mature company, as examples. These will give you two very different points of view that you can use to compare to your own organization. To make this investigation easier we will use Continuous Integration (CI) and Continuous Delivery (CD) capabilities as the target of our investigation. In our next two blog posts we will follow two AWS customers Iponweb and BigHat Bi…

With .NET providing first-class support for ARM architecture, running .NET applications on an AWS Graviton processor provides you with more choices to help optimize performance and cost. We have already written about .NET 5 with Graviton benchmarks; in this post, we explore how C#/.NET developers can take advantages of Graviton processors and obtain this performance […]

Data generates new value to businesses through insights and building predictive models. However, although data is plentiful, available data scientists are far and few. Despite our attempts in recent years to produce data scientists from academia and elsewhere, we still see a huge shortage that will continue into the near future. To accelerate model building, […]

Password-based access control alone is not considered secure enough, and many organizations are adopting multi-factor authentication (MFA) and single sign-on (SSO) as a de facto standard to prevent unauthorized access to systems and data. SSO frees up time and resources for both administrators and end users from the painful process of password-based credential management. MFA […]

Use a distributed Microsoft Active Directory to authenticate workloads on AWS.

Amazon SageMaker Studio provides a unified, web-based visual interface where you can perform all machine learning (ML) development steps, making data science teams up to 10 times more productive. Studio gives you complete access, control, and visibility into each step required to build, train, and deploy models. Studio notebooks are collaborative notebooks that you can […]

2020 was the year that ARM chips made the headlines by moving from largely mobile form factors into the cloud thanks to AWS Graviton2, allowing you to have up to 40% better price performance over comparable current generation x86 Amazon Elastic Compute Cloud (Amazon EC2) and Amazon Relational Database Service (Amazon RDS) instances. We speak […]

The last year has made delivering high-quality customer contact center support extremely challenging. Consumers have increasingly abandoned brick-and-mortar retail shopping and traditional banking in favor of digitally enabled experiences, which brings unprecedented call volumes to contact centers. In many cases, call center staff are also working remotely, which makes it even more difficult to meet […]

Discover the story of our cooperation with Zapier that provides seemingly endless options for point-and-click workflow automation.

How to implement dependencies between your Airflow DAGs.

How to apply test-driven development practices to your Airflow DAGs.

We're pleased to announce a Ray provider for Apache Airflow that allows users to transform their Airflow DAGs into scalable machine learning pipelines.

Join Airflow Summit 2021 — a free online conference for the worldwide community of developers and users of Apache Airflow.

Boost your career and learn to run a data pipeline by getting Apache Airflow certified with the Astronomer Certification for Apache Airflow Fundamentals.

Using Task Groups to build modular workflows in Airflow.

We give you a tour of the new features in the KubernetesExecutor 2.0. Spoiler alert — it's faster, more flexible, and easier to understand.

Astronomer Platform integration with Microsoft Azure for an AgTech startup confronting climate change one pipeline at a time.

Creating a custom XCom backend with Airflow 2.0.

With the introduction of Airflow 2.0, providers are now delivered as separate but connected Python packages.

Today, we're excited to release our discovery and distribution hub for Apache Airflow integrations.

Learn how the TaskFlow API in Airflow 2.0 enables a better DAG authoring experience.

Methods for sharing metadata and information between tasks in your Apache Airflow DAGs.

How to use the kedro-airflow plugin to change your Kedro pipelines into Apache Airflow DAGs and deploy them to a production environment.

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

Staging is a ✨new✨ quarterly event that brings dbt users (that’s you!) into the product development lifecycle (where I spend my days 😅).

My thoughts on where our space has been and where it might be going.

Spark for analytics, for real: now in dbt Cloud

Fishtown Analytics has raised $29.5m in a Series B financing. New investor Sequoia Capital led the round with existing investors Andreessen Horowitz and Amplify Partners participating. Matt Miller of Sequoia joined our board.

Translating business logic into code is technical knowledge. Building a marketing attribution model, forecasting, or calculating MRR is technical knowledge. Understanding the inner workings of the business is technical knowledge. So...is there such a thing as a non-technical data analyst?

Our thoughts on what makes a great conference pitch and lessons for future iterations of Coalesce.

Fivetran's new native integration with dbt seems to be directly competitive with Fishtown Analytics' commercial offering, dbt Cloud, but is it? Here's why we don't see it that way, and why we think this is a great thing for the ecosystem.

Two amazing companies in the modern data stack–Fivetran and Census–have launched major integrations with dbt. Here's why I'm excited about this.

A startup's guide to modeling data following Kimball best practices

Customer 360 allows you to build a comprehensive picture of how customers interact with your company.

The jewellery and accessory brand built an architecture to turn the company into a data-driven business

What is MongoDB used for? Learn how MongoDB and its Fivetran connector can help you.

What is NoSQL, and what does it bring to the table?

The team transitioned from siloed warehouse data hell to a modern data lakehouse.

Three thought leaders explore how cloud technology is reshaping data architecture and revolutionizing analytics.

Help your team develop the appropriate skills to win in the age of data-driven marketing.

With the right workplace culture and team support, it’s possible to be ambitious at work and engaged at home.

Some popular data integration tools compared

Address enterprise security requirements with customer-managed keys, AWS PrivateLink and additional compliance certifications.

Fivetran CEO George Fraser contemplates how analytics technology is likely to evolve over the next five years.

Marketing analytics enables personalization, but what other benefits does it offer — and how relevant are they to your department?

Make sure your data integration solution can connect to critical data sources

Solution Architect Nora Gentry discusses her career path and approach to emotional well-being.

Hi all, I work as a data engineer at a small startup that is looking to grow through influencers and social media. I want to find ways to be more strategic in this strategy by utilizing data. Perhaps I'd like to be able to look at an influencer's follower count over time, or maybe engagement rates of their posts, or aggregate reach across several influencers. My questions are: is there a smarter way to collect this data other than connecting to social media platform's individual APIs and loading raw data into our data warehouse? Is such data even worth warehousing? More importantly, are there any mature tools in this space that would be less labor intensive to use? Has anyone tackled someth…

hi fellow Data Engineers, just wanted to share a beginner-friendly resource that I've been working on for Apache Kafka. I spent 3 months illustrating this digital book, which I'm calling Gently Down the Stream: http://www.gentlydownthe.stream/ I know that normal tech books that span hundreds of pages are often intimidating for beginners (I wrote one of those too, btw: http://kafka-streams-book.com/). So I just wanted to create something a little simpler, more colorful, playful, and fun. Hope you enjoy it! submitted by /u/mitchum_ [link] [comments]

submitted by /u/databandai [link] [comments]

We just built a way to create a bi-directional data dictionary for free. With the data dictionary, you can create a standardized place for your company's metrics where you can document any details about that metric such as the SQL to calculate, the definition in plain English, and anything else that may be relevant. Once a metric is defined, you can tag it in the definition for a data resource to create a bi-directional relationship. You can read our article about this feature here and we invite you to try it if you're interested: https://www.secoda.co/blog/create-a-data-dictionary submitted by /u/secodaHQ [link] [comments]

I am planning to read this book as I am into data engineering. I have nearly 10 months to learn big data. I have worked as a FE developer for one year and also know python and sql and basic concepts of database design. My question is that ,is it okay for me to read this book now? or there is some prerequisites I should learn to read this book? ​ https://www.amazon.com/Designing-Data-Intensive-Applications-Reliable-Maintainable-ebook/dp/B06XPJML5D#customerReviews submitted by /u/Shyprogrammer1 [link] [comments]

submitted by /u/Ok-Ball3395 [link] [comments]

PLease PLEAse PLESAEEEE. !!! submitted by /u/toTheMoon1Dollar [link] [comments]

I have read articles where they say that big data requires advanced programming knowledge. What do they mean by that? Do they mean data structures and algorithms or do they mean many languages? or what do they mean exactly? If yes what should I do to develop that skill? submitted by /u/Shyprogrammer1 [link] [comments]

I am sure the community may be tired of reading the same type of post but hope you will give me a chance.. Hello, I have #facebook #dataengineer on-site interview (virtual) coming up in 2 weeks. I have gone through the preparation guide shared by the recruiter; however, I am unsure about the coding/ETL round expectations. The recruiter explained in lines of following - Streaming / Batch processing UDF Custom reducer step However, as I do not have much experience in streaming/batch processing or building reducer steps, I am not sure how I should start in the first place. I did a keyword search on the internet but there are many tools used in data processing whereas the recruiter has recommen…

Hey guys. I am a newbie starting to learn big data/data engineering stuff. I know some sql and its database design and very good in python. I wanna keep it motivating. So before jumping straight into the big data tutorials ,I wanna know about the entire big data pipe line like from the start till the end. I know there are some websites I can google to find out. And I have. But I wanna hear it from my fellow redditors here as i feel the answers here are somewhat more appropriate as people here answer more in a practical way and also easy to understand. So can you guys please give me a step by step procedure on how its done and what all are the technologies being used and which is the best(I …

Hello everyone, I have a bachelor degree in Computer Science and I've been working as a full stack developer for the last 5 years. I have experience with Python and PostgreSQL and I've worked in a project that used Kafka and Kafka streams for displaying real time data. I also created a DW using Pentaho and Mondrian but I think they are not very popular right now. I would like to work as a data engineer but all the job offers I saw require at least 2 years of experience. What could help in this case? I saw in other posts that having a master degree is not needed and it's best to have experience, but I can't gain it without having a DE work. I also saw that it could be good idea to create a d…

A curated list of blogs, books, newsletters, podcasts, and communities for all things modern data stackPhoto by Melanie Deziel on UnsplashRecently, one of our new hires at Atlan asked me, “What are the resources you recommend for me to stay on top of what’s happening in the modern data stack?”The modern data stack is messy and complicated, and it’s changing every day. There’s tons of news about it, and it’s hard to separate the hype and noise from reality.Here’s how our team keeps in touch with the latest news and trends.Modern Data Stack 101The Building Blocks of a Modern Data PlatformMy blog post is a beginner’s guide to defining a modern data platform, the key building blocks of a modern…

How to safely deploy machine learning ModelsContinue reading on Towards Data Science »

and some other ways……Continue reading on Towards Data Science »

What can basketball wiz Kevin Durant teach about the probability of a probability?Let’s use Kevin Durant’s three-point stat line from last Sunday’s game to understand beta distributions.BackgroundLast Sunday, the Milwaukee Bucks pipped the Brooklyn nets by 11 points to tie the eastern conference semi-finals at 2–2. Yet again, Nets star forward Kevin Durant put up splendid numbers but was atypically crummy from the three-point line. Durant’s a phenomenal, extraordinarily efficient scorer, amongst the greatest ever, so it was peculiar to see him make only one of his eight three-point attempts. According to regression to the mean, Durant will plausibly reverse his stat-line to even out things.…

No error messages — that’s what makes them subtle…Continue reading on Towards Data Science »

One data engineering team’s approach to balancing the needs for a self-service platform with end-to-end data trust.Image courtesy of Max on Unsplash.Data platforms have made data more accessible and actionable than ever before — assuming you can trust it. Here’s how the Data Engineering team at Auto Trader built a data platform with both decentralized data ownership and reliability in mind.Manchester-based Auto Trader is the largest digital automotive marketplace in the United Kingdom and Ireland. For Auto Trader, connecting millions of buyers with thousands of sellers involves an awful lot of data.The company sees 235 million advertising views and 50 million cross-platform visitors per mon…

Improve your data wrangling efficiency in leaps and boundsContinue reading on Towards Data Science »

Download the notebooks referenced throughout this article. I have a favorite coffee shop I’ve been visiting for years. When I walk in, the barista knows me by name and asks if I’d like my usual drink. Most of the time, the answer is “yes”, but every now and then, I see they have some seasonal...

The post How to Build a Scalable Wide and Deep Product Recommender appeared first on Databricks.

Item matching is a core function in online marketplaces. To ensure an optimized customer experience, retailers compare new and updated product information against existing listings to ensure consistency and avoid duplication. Online retailers may also compare their listings with those of their competitors to identify differences in price and inventory. Suppliers making products available across...

The post Machine Learning-based Item Matching for Retailers and Brands appeared first on Databricks.

The retail banking landscape has dramatically changed over the past five years with the accessibility of open banking applications, mainstream adoption of Neobanks and the recent introduction of tech giants into the financial services industry. According to a recent Forbes article, millennials now represent 75% of the global workforce, and “71% claim they’d “rather go...

The post Improving Customer Experience With Transaction Enrichment appeared first on Databricks.

This post was written in collaboration with the Foursquare data team. We thank co-author Javier Soliz, sales engineer specializing in data engineering and geospatial analysis at Foursquare, for his contribution. “In an interlocked global economy, triggering events can quickly set off a chain reaction,” wrote Boston Consulting Group in early 2020 as the world...

The post Building Forward-Looking Intelligence With External Data appeared first on Databricks.

This is a guest authored post by Tim Hunter, data scientist, and Rocío Ventura Abreu, data scientist, of ABN AMRO Bank N.V. Data science is now placed at the center of business decision making thanks to the tremendous success of data-driven analytics. However, more stringent expectations around data quality control, reproducibility, auditability and ease of...

The post Data-driven Software: Towards the Future of Programming in Data Science appeared first on Databricks.

Along with providing the ability for streaming processing based on Spark Core and SQL API, Structured Streaming is one of the most important components for Apache Spark™. In this blog post, we summarize the notable improvements for Spark Streaming in the latest 3.1 release, including a new streaming table API, support for stream-stream join and...

The post What’s New in Apache Spark™ 3.1 Release for Structured Streaming appeared first on Databricks.

Set data quality OKRs and achieve greater data trust with Monte Carlo's new SLIs.

Building a data platform? We've got you covered.

Monte Carlo's new Databricks integration allows data teams to achieve end-to-end observability and automated lineage across their data lake environments.

Blinkist saves 120 hours of engineering time per week with Monte Carlo.

Here’s how observability differs from traditional monitoring and why it’s necessary for building more trustworthy and reliable data products.

Here's how Ed Kent, Principal Developer at Auto Trader UK, is scaling his team's data platform with reliability and trust in mind using Monte Carlo.

Monitor the health of your Snowflake data pipelines with these simple queries.

The Data Observability leader was also named recognized as winner in the On the Rise category of emerging companies

4 steps to identify, root cause, and fix data quality issues at scale

With Monte Carlo and Snowflake’s strategic partnership, teams can finally trust their data through end-to-end Data Observability.

Monte Carlo’s Data Observability platform gives Snowflake customers added confidence that their data is reliable and trustworthy.

Introducing a better approach for measuring the cost of bad data to your business.

Прямо сейчас идёт митап по dataeng: https://www.youtube.com/watch?v=KzVFf65owck

Про новую роль Analytics Engineer: https://youtu.be/C5UcxBwdCEg

Работаете с данными и аналитикой? 15 июня в OTUS для вас пройдет demo-занятие «Практическое качество данных». Преподаватель Артемий Козырь разберет вопрос актуальности и своевременности данных. Поговорим про тесты схемы и бизнес-логики, получение статусов и уведомлений в Slack и многое другое.Еще больше best practice ждет вас на курсе «Data Warehouse Analyst», а demo-урок в рамках курса позволит вам оценить формат обучения. Регистрируйтесь на вебинар и подключайтесь 15 июня, будет интересно и полезно 👉 https://otus.pw/qK4O/

DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор20:15-20:45. After Show - организаторы DE or DIE и спикеры(*): Несмотря на англоязычные названия доклады будут на русском языке.Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.

8 июня Иван Трусов - Solution Architect Databricks в Берлине расскажет нам про платформу Databricks и Lakehouse. У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned! Хочу рассказать как со всеми ними познакомился. Так как я внедряю Azure Databricks в Microsoft Gaming/Xbox, то спустя какое-то время я устал париться с поддержкой Azure и ждать неделями их бесполезные ответы, я написал директору Azure Databricks в Microsoft и попросил помочь с CI/CD, в итоге наc соединили с командой архитекторов в Берлине и Амстердаме и я рассказал им про datalearn и попросил выступить. Мир тесен!PS CI/CD pipeline уже работает!

Интересные, на мой взгляд, доклады PyCON US 2021:— Hacking Dask: Diving Into Dask Internals— Dask-SQL: Empowering Pythonistas for Scalable End-to-End Data Engineering— Event-driven applications: Apache Kafka and Python— Python Performance at Scale - Making Python Faster at Instagram— Data Processing on Ray— Large Scale Data Validation with Spark and Dask

У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал:https://digest.deordie.org/04_A_spark_of_the_summer_sun/_____Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues

https://betterprogramming.pub/aws-kinesis-vs-sns-vs-sqs-a-comparison-with-python-examples-6fc688bfd244

Онлайн конференция по разработке параллельных и распределенных систем — Hydra 2021Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом другом, что относится к работе с подобными технологиями.Среди докладов:✔️ Маркус Куппе, «Workshop: TLA+»Огромный воркшоп по работе с языком для дизайна распределенных систем под руководством основного разработчика среды TLA+ toolbox.✔️ Энди Павло, «The Official Ten-Year Retrospective of NewSQL Databases»Обзор десятилетней истории NewSQL от зарождения до современного состояния и попробует предсказать, как NewSQL изменится в будущем.✔️ Нейтан Ва…

Забавное видео "Welcome to the world of Data Engineers at Netflix"https://youtu.be/N8SJPb5JpOA

Приглашаем на бесплатный закрытый мастер-класс "Быстрый старт в SQL" 3 июня в 19:00 от Онлайн Школы IQBI.Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL.🎓 SQL - это мощный инструмент для анализа и преобразования данных, который позволяет аналитикам, финансистам, биайщикам и даже маркетологам обращаться к различным базам данных.У всех крупных компаний есть собственные базы данных, и чтобы создавать отчеты, дашборды и графики вам нужно правильно формулировать запросы к этим БД на языке SQL.Сертифицированный тренер Microsoft Дмитрий Пилюгин ответит на популярные вопросы, которые возникают в начале изучения SQL: 🔹 Что…

Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora.https://github.com/alibaba/PolarDB-for-PostgreSQLру версия - https://www.opennet.ru/opennews/art.shtml?num=55233по наводке @oleg_log

Ещё не читал, но решил всё таки поделиться с вами интересной статьёй: https://a16z.com/2021/05/27/cost-of-cloud-paradox-market-cap-cloud-lifecycle-scale-growth-repatriation-optimization/

https://preset.io/blog/2021-5-25-data-lake-athena/

https://m.habr.com/ru/post/563162/

В data learn мы максимально хотим помогать людям находить работу, особенно хорошо это работает для тех, кто меняет сферу деятельности или только начал работать. Иногда у нас появляются возможности порекомендовать самых активных студентов на хорошую позицию. Вот и сейчас у нас есть очень классная возможность порекомендовать и менторить активного студента data learn, который выполнил первые 4 модуля и сделал домашку в компанию Работа ру (Сбер) на позицию "Аналитик Данных" на спец. проекты. Там очень классный stack и современные решения (Tableau, Clickhouse, Python, SQL). Желателен уровень мидл или мидл-, но могут рассмотреть уровня джуна с возможностью менторства. Если есть желающие - пишите …

Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. Тоже самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самый первый шаг в создании решения мы начнем с потребностей клиента и бизнеса, напишем press releases, ответим на все возможные вопросы в FAQ и создадим visuals, включая диаграмму/архитектуру нашего будущего решения или продукта.Из модуля вы узнаете:📌 Что такое архитектура📌 Amazon Working Backwards и Press Releases📌 Enterprise Architecture Frameworks📌 TOGAF и Zachman frameworks📌 AWS и Azure blueprint решения и шаблоны📌 The 5 Pillars of the AW…

Вы уже должны знать про DBT tool (там самая Т в ELT процессе). С хранилищем все понятно, как использовать этот инструмент. Оказывается его ещё используют для Spark. 17 июня будет вебинар DBT+Databricks on AWS

DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор20:15-20:45. After Show - организаторы DE or DIE и спикеры(*): Несмотря на англоязычные названия доклады будут на русском языке.Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.

Когда я был в Amazon Alexa, я писал про микроволновки с AI, а в Xbox это будут холодильники.

Data Base, Data Mart, Data Warehouse, Data Lake, и даже Data Swamp, и вот теперь есть Data Acquarium

Google cloud AI adoption framework

Бодрящий, как аромат свежеобжаренных кофейных зёрен ☕️, новый эпизод подкаста Data Coffee уже доступен к прослушиванию 🎧!Тема выпуска сегодня — Облака и Data-Driven Culture.А ещё у нас с вами гость! В гостях у подкаста ‘Data Coffee’ специалист по созданию аналитических решений из Канады - Дмитрий Аношин (Telegram, Linkedin, Хабр)https://anchor.fm/data-coffee/episodes/Data-Driven-Culture-e11b8ai

Хотим провести следующие базовые вебинары:1) Что такое streaming, когда используется, демонстрация (например Apache Kafka). В каких случаях для аналитики это подходи, а в каких нет.2) Про Hadoop - история продукта Big Data и его наследие, и немного про основы и проекты.3) Про классическое Озеро Данных (в эпоху до Delta Lake)4) Про Power BI - как сделать best practices для self services в Power BI, как организовать data models и всегда ли нужен Dax. 5) Про бизнес специфику - какие метрики и показатели используются, на что смотрит бизнес, какие дашборды и тп (например маркетинг, финансы, логистика, машиностроение, добыча ресурсов и тп)6) Airflow - что это такое простым языком и демонстрация7)…

🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов, а время на понимание. Поэтому давайте решим без олимпиадного ажиотажа, спокойно и по шагам:https://antonz.ru/sql-groups/

Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователей: user_id, attr1, alpha1, beta2, beta2, gamma3, delta3, epsilon4, delta4, zeta5, zeta5, alpha6, iota7, iota7, kappa8, kappa8, lambdaХотим объединить пользователей в группы. При этом действуют правила:— Если пользователи A и B обладают общим свойством → они входят в одну группу.— Если A и B обладают общим свойством P1, B и C обладают общим свойством P2 → A, B, C входят в одну группу.— Идентификатором группы считается минимальный идентифика…

Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скидка 50%.https://stepik.org/z/95367

Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения в «окошки» не найдете во всем интернете 💪https://antonz.ru/window-rolling/

Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можно как-то из коробки?Да! Такой подход (добавить или обновить по необходимости) в мире SQL называется «upsert». В SQLite он реализуется через инструкцию on conflict.Допустим, мы хотим добавить/обновить записи в таблице stats. Тогда запрос будет примерно такой:insert into stats(id, last_updated, usage)select ... from ...on conflict(id) do updateset last_updated = excluded.last_updated, usage = usage + excluded.usage;excluded — это та запись, …

Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.https://antonz.ru/window-aggregate/

Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте много новых фич в один релиз». Хотя звучит довольно очевидно, мы никогда не устаем наступать на эти грабли ツ

Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offset/

Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать разбросанный по интернету код в единый набор библиотек, с разделением по предметной области и автоматической сборкой для всех ОС.В программировании на C я не силен, так что дело продвигается не очень быстро. Но кое-что уже удалось сделать:— математические функции (sqrt, pow, log)— мат. статистика (median, percentile, stddev)— строковые функции (reverse, split_part)— регулярные выражения (like, substr, replace)— поддержка юникода— работа с cs…

Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/

SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из данных ответы на вопросы. В этом вся суть прикладного анализа данных.47 уроков и 130 практических заданий, сертификат для выпускников.Огромное спасибо бета-тестерам и всем участникам за критику и комментарии! Ваша обратная связь бесценна 🙏https://antonz.ru/sqlite-course/

Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.employeesunion allselect * from samara.employees;Удобно, чтобы не переливать данные в одну базу, если они уже лежат в разных.

​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, Ксения, Марина, Леонид, Иван, Вероника, Григорий и Анна. Особенно Марина, конечно.Чтобы узнать, причем тут все эти люди, переходите к седьмому и последнему модулю курса — Оконные функции!P.S. Для тех, кто пройдет все модули, откроется Финал. Он пока еще запекается, но скоро будет готов.

Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быть полезны «окошки» в SQL:https://antonz.ru/window-functions/

Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук 👩‍💻Если вы давно присматриваетесь к программированию, хотите освоить новые инструменты и автоматизировать часть рутинных задач, но не знаете, с чего начать, — приглашаем на летнюю серию воркшопов по основам Python. Её проведут преподаватели из «ПАНДАН» , совместной программы Яндекса и Европейский университет в Санкт-Петербурге.Занятия начнутся 18 июня и будут проходить раз в неделю по пятницам в 19:00 (мск). Слушателей ждут пять онлайн-лекций и пять домашних заданий, основанных на реальных рабочих к…

И немного очевидных мыслей от себяУмение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до людей важные аналитические выводы, а значит увеличивает скорость принятия решений. Это тот скилл, про который многие (и я в том числе) часто забывают: данные доходят до стейкхолдеров в виде многострочных тяжелочитаемых таблиц или графиков, которые может и выглядят подробно и/или красиво, но при этом не позволяют сразу считать главную мысль. Я часто вижу это у начинающих аналитиков: они делают великолепные интерактивные графики с помощью P…

Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как не ввести потребителя информации в заблуждение, акцентировать внимание на важном

Всем привет, дорогие подписчики. Сегодня поговорим о такой интересной теме, как собеседования. Итак, что же представляет собой собеседование на аналитика? 1 этап. Созвон с HR - вы редко пропустите этот этап. Чаще всего это собеседование на ‘адекватность’: чем вы занимались, какие у вас мотивации в работе, пресловутое ‘кем вы видите себя через Х лет’. Ещё HR расскажет о позиции, компании, послушает остальные ваши вопросы и узнает о ваших зарплатных ожиданиях. 2 этап. Зачастую это техническое собеседование с вашим будущим менеджером и коллегами из команды, где вы будете либо : - писать код на SQL/Python (в зависимости от того, что вы знаете и любите) - отвечать на вопросы, как бы вы решали ту…

Люто рекомендую почитать клёвую статью «Как стать дата-шрушером aka вкатиться в DS», на которую наткнулся из поста вышеОна очень хорошо описывает:— какие роли бывают в DS (под DS понимается широкое поле специализаций Data Analytics / Machine Learning / Data Engineering)— какие компетенции нужны для того, чтобы соответствовать этим ролям, какие компании нанимают DS-специалистов и как отличаются задачи, зоны ответственности и перспективы разных ролей в зависимости от типа компании— какие существуют траектории, чтобы заскочить в DSНаписано со здоровым сарказмом (особенно повеселило замечание, что если вам нравится перекладывать JSONы с места на место, то вам прямая дорога в дата-инженеры), юмо…

В статье с Хабра «Все что вы (не) хотели знать о Data Science» обнаружил интересный взгляд на содержание профессии Data Scientist.Стоит посмотреть хотя бы ради описания того, как разные функциональные роли вроде data engineer, analyst, MLOps накладываются на 3 ключевых области компетенций:🔹математика и статистика;🔹разработка и администрирование;🔹знание предметной области.Еще есть верхнеуровнево про грейды дата саентистов, подготовку к собеседованиям и специфику Ситимобила.🔗СсылкаP.S. Утаскиваю из комментариев замечательное дополнение: «Как стать дата-шрушером aka вкатиться в DS». Более практичный и подробный взгляд изнутри с нецензурщиной и мемами.#компетенции

Оказывается у Майкрософт есть своя платформа для зеро-кодинга PowerApps. И недавно они выкатили в ней возможность ввести запрос на английском языке и получить на выходе SQL-запрос (или что-то на него похожее, судя по скриншотам). Реализуется это дело с помощью модели естественного языка GPT-3Меня эта тема заинтересовала и путём несложного гуглежа я узнал, что оказывается это прямо-таки отдельная область научного интереса: люди устраивают целые соревнования пытаясь решить задачу семантического парсинга запроса, сформулированного на обычном языке, и перевести его в SQL. Эталонный датасет для таких задачек — это WikiSQL, набор SQL-запросов, вручную аннотированный комментариями на естественном …

Признаюсь честно, что у меня очень плохо с тем, что некоторые назвали бы «серьёзной математикой»: я плохо читаю сложные формулы, не могу сразу же схватить их физический смысл, путаюсь в разных «значочках и закорючках». Поэтому никогда не хотел стать data scientist'ом — казалось, что без знания математики в Data Science делать нечего. Позже я, конечно, узнал что это не так и можно шарить и приносить пользу в определенных разделах DS и без сильного углубления в линейную алгебру или теорию оптимизации (например, NLP)Но что мне всегда помогало понять сложные концепции — это «пощупать» их в виде реальных данных или кода. Кажется, что это «практическое ощущение» математики у меня «проклёвывалось»…

Неплохой бесплатный курс по по A/B-тестированиям. Без сильного технического фарша и примеров кода, но раскрывающий основные важные моменты:— Чем классические частотные подходы к расчёту вероятности отличаются от байесовских— Как рассчитывается статистическая значимость и почему её расчёт важен в ходе оценки результатов A/B-тестирования— Чем отличается статистическая мощность от статистической значимости— Как правильно сделать сплит трафика— Почему важно правильно аттрибуцировать конверсию при маркетинговых экспериментах— Сравнение подходов тестирования на клиенте (client-side) и на сервере (server-side)— Как анализировать и интерпретировать A/B-тестыhttps://www.dynamicyield.com/course/testi…

В исследованиях рынков есть такой классный тип артефактов - Landscape. В идеале, он должен помогать понять 2 вещи:🔹какие типы процессов или операций есть в отрасли;🔹какие существуют инструменты для их реализации или автоматизации.У такого формата есть существенный минус: сходу ничерта не ясно, да и понять что-то без дополнительной аналитики и пояснений непросто (особенно в новой для себя сфере).Поэтому особое внимание к себе привлекают материалы вроде сегодняшнего The 2020 Data & AI Landscape, где есть и ландшафт рынка и понятные выводы.Помимо картинок есть описание основных трендов в развитии инфраструктур для обработки данных, самой аналитики и AI (их довольно много, рекомендую самостояте…

Объяснение Z-статистики и p-value с помощью иллюстраций и кода на Python. Не могу сказать, что я бы рекомендовал эту статью, чтобы начать погружение, потому что всё же она изобилует примерами расчёта значений с помощью кода, а новичкам может быть сложно понять концепции математической статистики, если с кодом ещё не очень. Но для тех, кто уверенно чувствует себя с numpy/pandas, но ещё не очень хорошо разбирается в матстате — самое оноА ещё в статье отличные примеры использования seaborn и matplotlib для построения кастомных визуализацийhttps://habr.com/ru/post/557424/

⚡Подготовил новый перевод кейса с упражнениями! 🐍Разбираем проект по анализу данных: исследуем средний вес новорожденных (запустить в CoLab):Этот пример демонстрирует важные шаги практически в любом проекте по анализу данных:0⃣ Определение данных, которые помогут ответить на вопрос.1⃣ Получение данных и их загрузка в Python.2⃣ Проверка данных и устранение ошибок.3⃣ Выбор соответствующих подмножеств из данных.4⃣ Использование гистограмм для визуализации распределения значений.5⃣ Использование сводной статистики для описания данных таким образом, чтобы наилучшим образом ответить на вопрос.6⃣ Рассмотрение возможных источников ошибок и ограничений в наших выводах.Остальные переводы доступны по …

Вебинар «Открытое алгоритмическое собеседование»В интернете можно найти множество статей, в которых написано, что нужно делать, чтобы успешно пройти собеседование. Но это всё теория, 12 мая мы проведём самое настоящее, непостановочное алгоритмическое собеседование: покажем, как оно проходит на практике, расскажем, почему собеседования проводятся в таком формате, на что интервьюеры обращают внимание и из чего складывается итоговое впечатление о кандидате. После собеседования мы ответим на ваши вопросы.Проведёт собеседование Илья Акользин — автор курса «Алгоритмы для разработчиков» в Яндекс.Практикуме. Собеседоваться будет Илья Архипов — выпускник курса, разработчик DLP системы Falcongaze Sec…

Бесплатный онлайн-курс от Xsolla School для аналитиковСтартовал набор на II поток курса для аналитиков Продолжительность курса 9 недельКурс состоит из вводной части и 8 занятий по ключевым скиллам аналитика:— Подходы к сбору требований от стейкхолдеров— Формирование требований к IT-продукту — Практики оформления требований Формат: онлайн-лекции и семинарыКурс будет полезен для начинающих аналитиков в продуктовых командах, а также для тех, кто хочет освежить базовые знания.Регистрация: https://clck.ru/Uej4wДедлайн приема заявок: 10 мая 2021 включительно

#НамДжунаБыJunior аналитик в Х5.

#НамДжунаБыJunior DE в Сбербанк

В продолжении истории про школы / академии / курсы при большой компании, у МТС сейчас идет набор (и уже заканчивается, сегодня последний день, как я проморгал😭) в МТС Тета “Летний интенсив”.В программе есть Мобильная разработка на Android, Backend разработка на Java и Машинное обучение. Последний курс ведут известные и авторитетные люди в сообществе, Эмили Драль и Виктор Кантор.Учеба онлайн и оффлайн в Москве, все как обычно.В общем, если вам интересно, сегодня последний день подачи заявок.

https://app.livestorm.co/datafold/data-quality-meetupМои друзья из DataFold проводят очередной митап про качество данных. Как говорится, “Г на входе, Г на выходе”, поэтому если не думать про качество данных - можно сильно налажать.По ссылке, кстати, есть записи и дайджесты предыдущих митапов.

https://www.nytimes.com/2021/04/07/opinion/google-job-harassment.html#Полезные_ссылки Хороший текст с очень важной мыслью, думаю неочевидной для многих начинающих (и не только) разработчиков, которые попадают в топовые IT компании — это просто работа. А значит можно и нужно позволять себе адекватное количество эгоизма и не делать эту компанию центром своей жизни.

Настолько прекрасная новость, что закидываю ее без изменений.

Data Engineering DigestКоллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering DigestМы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.orgВсе мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обяз…

https://www.nature.com/articles/d41586-021-00592-0Прекрасное исследование о том, что люди для решения проблемы чаще всего что-то добавляют, а не удаляют, даже если удаление приносит больше бенефитов. Поэтому, когда в следующий раз вам для решения проблемы с данными предложат впихнуть Kafka или Redis, подумайте, а нельзя ли решить эту задачу путем удаления абстракции, а не ее добавлением#Полезные_ссылки

#НамДжунаБыИнтерн/Джун в Huawei.Контакты на скриншоте

#Доклады_и_конференцииhttps://www.youtube.com/watch?v=r1aCFpvtPy0Маленькое объявление - мой этап карьеры в Х5 закончился в эту пятницу. Сдал оборудование, получил документы и “Добби свободен”. Я навсегда запомню эти 2 года, это было классно и замечательно, я многому научился и многое узнал. Пришло время двигаться дальше. Я не стал брать себе недели отпуска между работами и решил не выныривать на поверхность, чтобы подышать. Поэтому начиная с сегодняшнего числа я в команде Amber ребят из SEMrush, делать будем клевую штуку. Канал, конечно же, продолжит свое существование, если что.Так вот, в связи с переходом, наткнулся на интересный (кому-то покажется “капитанский”) доклад про уход из компан…

#Пятничный_YoutubeВ эту пятницу смотрим хорошее видео про зарплаты: почему одни компании платят меньше других, на какие компромиссы придется пойти для работы в бигтехе, из чего складываются цифры, которые вы видите (или не видите) на сайтах с вакансиями.Реальность Европы очень легко перекладывается и на наш, Российсикй рынок.https://www.youtube.com/watch?v=h8Xpapy6I9E

#НамДжунаБы Junior DE в Платформа ОФД

#Полезные_ссылки Очередная интересная статья мне попалась на глаза. В этот раз автор - Julia Evans (та самая, которая рисует эти крутые комиксы). Запись в блоге про то, как повышать свою квалификацию, ковыряясь в деталях при этом не становясь задротом. Идеальный баланс!Перевод на Хабр / Оригинал в блоге

Как вы могли заметить по уведомлению, у канала сменился логотип и название. Мне бы хотелось вещать на чуть большую публицу и прям очень-очень узкая специализация этому мешала.Теперь будет чуть пошире.Я понимаю, что первые дни некоторые из вас отпишутся - и это хорошо, у вас меньше нерелевантного в ленте будет.

Channel name was changed to «Труба данных»

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели наступить. Вот какие кейсы рассмотрим.Платформа для A/B-тестирования. Во что вам обойдётся автоматизация экспериментов?Сергей Масленников, аналитик Яндекс Go, расскажет, как мы освободили тысячи аналитико-часов, разработав систему АБТ.Как внедрение дорожного графа в инфраструктуру такси помогло снизить время подачи машиныАртём Бондаренко, team-lead группы аналитики Go, поделится опытом внедрения дорожного графа прямо в сервис — вместо дор…

Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO. Highly Normilized Hybrid Model Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методо…

У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики приложений Яндекс Go. Необходимо разрабатывать стратегию развития отчётности, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Вы не будете делать все-все дашборды для подразделения, но будете внутренним центром экспертизы по визуализации и Табло внутри команды продуктовой аналитики. Я же буду помогать вам советами и менторством.Позиция уровня мидл/джун. Нужны классные навыки…

Новое эссе на GoPractice!“Требования к аналитикам данных на разных уровнях в Яндексе”Женя Козлов, который последние 8 лет строил аналитику в Яндекс.Такси и Яндекс.Маркете, рассказывает о том, как в Яндексе думают про уровни аналитиков данных (специалистов и менеджеров).Данное эссе поможет вам:- Сформулировать четкие требования к аналитикам на разных уровнях.- Структурировать процесс найма и роста аналитиков данных.- Определить уровень своих сотрудников (или свой) и подготовить план для их роста и развития.https://gopractice.ru/data_analysts_levels/ Обсудить прочитанное можно в чате Ask Kevin! https://t.me/askkevinЖеня также делится своими мыслями в канале https://t.me/SecretOfNoodleSoup

Вчера «выступил» на DataFest 2020, конференции сообщества Open Data Science. Рассказал и показал на практике, как мы используем в Такси стайлгайд и темплейт-книгу в Tableau.

Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211

Привет, начинаем вебинар. Подключайтесь: https://www.youtube.com/watch?v=pkuKKb4klkY

Завтра 15 июня в 15.00 проведу вебинар.Практическое Качество Данных– Тесты схемы и бизнес-логики– Актуальность и своевременность данных– Получение статусов и уведомлений в Slack– Исправление проблем и Data FixesСсылка на регистрацию: https://otus.ru/lessons/dwh/#event-1340Ссылка на youtube-трансляцию будет в канале за 5 минут до начала.

Long time no see, folks!Let us investigate super hot app TikTok from the point of Marketing API integration.There's not much information on this topic available on the net today.For now I see the steps as follows:1. Register as a developer and create an App – DONE2. Get access to any business account (who does promotions/advertising) – DONE3. Acquire API token – DONE4. Play with APIBriefly, interesting things one can do via API:– Reporting API- Audience management– Pixel managementThat could be promising and demanded integration.Share what you think about it.And stay tuned.

#expert⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.Поговорили с Артемием про принципы, лежащие в основе решений, работающих с Big Data ⬇️***Большие данные, кластерные вычисления, MPP базы данных – всё это может звучать так сложно и загадочно не только для обывателя, но и для ИТ-специалистов.Однако, принципы, лежащие в основе решений, работающих с Big Data, логичны и интуитивно понятны. Они одинаково применимы и к инструментам экосистемы Hadoop (Hive, Spark, HBase, Kafka), и к аналитическим движкам корпоративного уровня (Ter…

An interesting approach on how to solve data modeling problem.Istead of going from source data to target data mart, you write your models backwards, starting from the desired result and then performing actions and steps to achieve it.1. Prototype with GSheets2. Mock out the final report you’re trying to build3. Mock the query that would produce this result4. Iterate5. Match this up with source data6. Move the logic into your pipeline orchestration toolFull post from Claire:https://discourse.getdbt.com/t/writing-models-backwards-an-unorthodox-approach-to-data-transformation/2287

Сегодня хотел бы поговорить о вопросах конвертирования финансовых показателей в разные валюты. Вопрос достаточно актуальный, так как большое количество компаний имеют мультинациональные зоны присутствия, строят аналитику глобального масштаба, готовят отчетность по международным стандартам.Покажу как этот вопрос решается с помощью современных подходов на примере кейса Wheely:– Расширение списка базовых валют– Регулярное обновление и получения актуальных курсов– Обеспечение корректности исторических показателей– Максимальное удобство и простота использования в аналитических инструментахhttps://habr.com/ru/company/otus/blog/558238/

Подготовил интереснейшее задание для Datathon по DWH / Analytics Engineering: Сквозная аналитика и практики data-driven для e-Commerce Пользуйтесь шансом влиться в движение, пообщаться, попрактиковаться на кейсе, приближенном к реальности. В качестве призов…

🔥 С 14 по 16 мая в OTUS пройдет открытое онлайн-соревнование по Data science. Участие бесплатное!Попробуйте свои силы в любом из двух направлений на выбор:✫ Machine Learning✫ Data Warehouse🏆 Главный приз — бесплатное обучение на любом курсе по Data Science.Регистрируйся, чтобы не пропустить обновления! О призах и правилах участия узнайте на вебинаре 14 мая.

Подготовил интереснейшее задание для Datathon по DWH / Analytics Engineering:Сквозная аналитика и практики data-driven для e-CommerceПользуйтесь шансом влиться в движение, пообщаться, попрактиковаться на кейсе, приближенном к реальности.В качестве призов – бесплатное участие в курсе Data Engineer или Analytics Engineer (новый!) на выбор.

Запись мастер-класса доступна, конечно, в рамках курса Skillbox, но Jupyter-ноутбук с пояснениями на русском языке в наличии для самостоятельного изучения и экспериментов.https://github.com/kzzzr/skillbox-kiva

Мастер-класс по Разведочному Анализу Данных – Exploratory Data Analysis – EDAKiva - это некоммерческая организация, которая позволяет нуждающимся более чем в 80 странах мира получать финансирование под различного рода проекты и нужды.Kiva хочет сделать так, чтобы собранные деньги тратились с максимальной пользой. В первую очередь, конечно же, их интересует не дисперсия пожертвований и не еще какие-нибудь статистические показатели, а ощутимые выводы и рекомендации, которые позволят им работать эффективнее и больше понимать специфику потребностей и уровень бедности в разных странах и регионах.– Проверьте, насколько имеющиеся данные чисты, то есть подвержены выбросам, пропущенным и недействите…

Performing set operations UNION, INTERSECT, MINUS with Looker BI toolThe problem:I would like to list and count all the users who have used product A but never used product B (in a specific period/area/country).You cannot achieve the desired result by simply slicing this table. One needs a more advanced technique:- MINUS operation on top of two sets of users:- Writing a subquery with IN or EXISTS - Self-joining a fact tableBut can I do this with BI tool?https://kzzzr.github.io/Performing-set-operations-UNION,-INTERSECT,-MINUS-with-Looker-BI-tool/

Performing custom ‘not empty’ testsdbt is shipped with essential schema tests which I covered in one of my previous posts on CORE DWH test suite. There are plenty of additional tests and handy macros shipped with the dbt-utils package, including equal_rowcount, expression_is_true, recency, at_least_one, etc.But still if you need something special you can easily add it yourself. For me this is signalling if one of my source tables is empty.https://kzzzr.github.io/Performing-custom-not-empty-tests/

Generating concatenate and surrogate keysSurrogate keys are the central point of any Data Warehouse uniquely identifying rows and connecting facts and dimensions tables. I usually utilize hash functions of source PK columns, which comes from Data Vault 2.0 and gives us consistent results coming from various sources.But sometimes in case of a compound key you might want to retain readability of the whole concatenated values. This is especially applicable for marketing analytics, where the row key might contain utm_source, utm_medium, utm_campaign, ads_group_id, keyword_id.https://kzzzr.github.io/Generating-concatenate-and-surrogate-keys/

Recommended Reading, Listening, Watching from Meltano Teamподборка дата- рассылок, блогов, ресурсов и комьюнитиhttps://meltano.com/handbook/resources/

Не «если», а «когда» когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…» сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял…

Не «если», а «когда»когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…»сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял, что всегда будут попадаться задачи, которые придётся делать первый раз. И это нормально! Типа «поднять для проекта инфру с нуля в облаке на кубере и настроить туда доступ облачному BI» — пфф! легко! (на самом деле совсем не легко, но опустим это))навеяно: ⁃ известный архитектор тоже не знает как он будет строить заказанный у него небоскрёб (но, конечно, предусмотрительно не говорит об это клиенту) (прочитал у Бабаевой https://t.me/changemark…

Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт. Разбирался сегодня со структурой этих данных: колонок всего 22, но…

Да, это хорошая идея вообще, потихоничку описываем.К сожалению, это не маленький список регшений и в формате комментариев к посту я не знаю как его уложить. Ключевые метрики описывают свои классы проблем, например, низкая конверсия – описывает проблемы продажи – то как плохо мы продаем и причины этого. Но это в идеальном мире, где метрики независимы – то есть базис метрик ортогонален друг другу. В реальном мире есть много проблем, например, проблема усреднения: эффективные когорты, каналы, кампании, посадочные страницы скрывают (усредняют) проблемы не эффективных.Конверсия зависит на части сегментов от ср. чека – выше ср. чек, сложнее решение о покупке, потенциально ниже конверсия – а на не…

комментарии в канале у Красинского — золото

Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт.Разбирался сегодня со структурой этих данных: колонок всего 22, но их них 10 со вложенной структурой (если всё разложить, будет 176!). Чтобы добраться до нужных значений внутри, приходится прибегать к ухищрениям типа UNNEST. И всё не мог понять зачем это нужно, пока не нашёл гайд как сделать из этого экспорта плоский формат. Оказывается, изначальная задумка вложенного формата в том, чтобы в одну таблицу «запихнуть» как бы четыре нормализованные… Когда стал ясен смысл, то и на данные смотреть теперь проще.…

хайрезы в ПДФ

Мета-Архитектура для работы с данными — исследование Andreessen & Horowitz на основне опроса сотен стартапов[оригинал, перевод]интересен общая схема и список всех участников. Выписал ребят из последней колонки:Output — итог, «конечная станция» для данных Dashboards Looker SupersetMode TableauEmbedded Analytics Sisense Looker cube.js Augmented Analytics Thoughtspot Outlier Anodot Sisu App Frameworks Plotly Dash Streamlit Custom Apps …via @data_days

В компании с налаженными процессами порог входа нижеСидят в отделе пять бородатых миддлов и всё у них слажено: все всё знают где что лежит, работа идёт, таски закрываются.Но вот приходит новенький и изображает Траволту из известного мема: «где тут у вас что?» Если в компании налажены процессы онбординга, то в новенького сразу прилетает куча пошаговых инструкций: куда писать код, к кому идти за менторством, где оформлять отпуск и брать печеньки.Если же процессов нет, то адаптация идёт в ручном режиме: старичок проводит новенького за ручку по всем углам и знакомит с порядками (а мог бы свой код писать, да). И хорошо, если ещё старичок ничего не забудет! Хотя в любом случае новичок поначалу бу…

Data Science — это направление знаний это что-то такое крупное; типа «медицины».в начале профессионального пути детали не важны и можно смело говорить, что хочешь стать «медиком» — со специализацией определишься уже ближе к третьему курсу.но вот если какая-нибудь больница опубликует вакансию о поиске «медика», то к ним придут все: от акушера до нейрохирурга — спасибо, что не администратор в приёмную!

Как в Postgres раздать юзерам выборочные права на разные схемы:https://towardsdatascience.com/how-to-handle-privileges-in-postgresql-with-specific-use-case-and-code-458fbdb67a73

data будни pinned «Экстрактор данных из Эгеи Эгея — это движок для блога. Все данные о постах, тэгах, просмотрах, лайках хранятся в базе данных (сюрприз!). Написал небольшой код, который достаёт из этой базы данных нужное и сохраняет в виде таблицы: в .csv или Google Sheets.…»

на данных из моего блога получилось такая визуализацияБлог у меня с 2017 года, но, видимо, что-то криво поставил и просмотры начали считаться только после последней переустановки на последнюю версию 2.10.По динамике просмотров выделяются три заметки: 1. Детективная история как я делал тестовое задание по анализу данных 2. Моё резюме в виде большой заметки (на момент обучения в Яндекс.Практикуме) 3. Отчёт-инструкция как я парсил сайт через встроенные функции в Гугл-таблицах (ещё до того как познакомился с Python)Ещё заметил, что постов стало в принципе меньше (как и свободного времени, хе-хе)А список тэгов, отсоритрованный по количеству заметок, напомнил, что когда-то у меня даже хватало вре…

Data Literacy в России запускает проект по популяризации «DAMA-DMBOK2: Cвода знаний по управлению данными». Первый вебинар пройдет уже сегодня, 1 декабря в 18:00, при участии экспертов из Магнит, QUBData и Qlik: https://dataliteracy.ru/see-dmbok-1 Книга «DAMA-DMBOK2: Cвода знаний по управлению данными» написана экспертами Международной ассоциации управления данными (DAMA) и представляет собой наиболее полное и актуальное введение в дисциплину управления данными с обзором лучших практик. DAMA-DMBOK2 действительно можно назвать сводом знаний. К примеру, только для написания первой главы составители осмыслили и переработали более 40 книг и научных статей по работе с данными. Поэтому, мы будем …

Кстати, у канала есть чат https://t.me/joinchat/A3kvLE-ck9-Ww7DUkTguRw и канал в slack ods #data_governance https://ods.ai/

Алхимики объявили неделю Data Governance Сегодня 3 спикера, поэтому начинаем пораньше17:00-18:00 "Управление мастер-данными" Павел Абдюшев, директор по развитию продуктов HFLabs 18:00-18:40 Доклад "Data Quality Framework для Data Lake MTS" и Q&A - Дмитрий Ежов, product owner, МТС 18:40-19:20 Доклад + Q&A "Data Governance на минималках" Наталья Хапаева, product owner, МТС Встречаемся в Spatial Chat https://spatial.chat/s/ods. Пароль: allhailtheoneandonlypartyparrot.

​​Доброе утро! Сегодня в комнате трека ML in Finance поговорим о Big Data 😎16:00-18:00 Доклад «Использование Big Data по ценам розничной онлайн-торговли в России» и Q&A с Алексеем Евсеевым, младшим научным сотрудником Института прикладных экономических наук РАНХиГС А сразу после продолжим обсуждение data-related вопросов со спикерами трека Data Governance 🤓18:00-19:00 Доклад “Self Service Data: инфраструктура для аналитиков” и Q&A с Романом Богатовым, Team lead команды аналитики, Островок 19:00-20:00 Доклад "Big Data Discovery. Использование enterprise data catalog (Alation) для формирования data driven культуры организации» и Q&A с Анастасией Ярошенко, экспертом по управлению данными, МТС …

10 октября в комнате трека Data Governance #опятьмитап: 🔸 15:00-16:00 Доклад “Управление качеством данных” и Q&A с Алексеем Ильиным из Adastra🔸 16:00-17:00 Доклад “Meta DWH о DWH для DWH” и Q&A с Евгением Ермаковым из Яндекс ТаксиВстречаемся в Spatial Chat https://spatial.chat/s/ods. Пароль: allhailtheoneandonlypartyparrot.

Друзья, до Data Fest осталось 2 дня!В этом году он проходит в весьма необычном формате, посмотрите трейлер того, что вас ждет: https://youtu.be/uchY0j3Acm4Зарегистрируйтесь уже сейчас, чтобы не терять время в выходные: ods.ai/events/datafest2020/joinНапоминаем, что на фесте будет три вида активностей:1️⃣ Трансляция на YouTube: https://youtu.be/J-boEj53LZk, которую может посмотреть любой желающий; 2️⃣ Треки, в которые мы преобразовали привычные тематические секции. Чтобы получить доступ к трекам нужно быть зарегистрированным на ods.ai — там будет происходить вся движуха;3️⃣ Нетворкинг с самыми крутыми представителями ODS сообщества в https://spatial.chat. Чтобы туда попасть, также необходимо…

Channel photo updated

Channel name was changed to «dg4all»

Channel created

When you build a machine learning model, the first step is always to load your data. Typically this means downloading files from object storage, or querying a database. To speed up the process, why not build the model inside the database so that you don't have to move the information? In this episode Paige Roberts explains the benefits of pushing the machine learning processing into the database layer and the approach that Vertica has taken for their implementation. If you are looking for a way to speed up your experimentation, or an easy way to apply AutoML then this conversation is for you.

Google pioneered an impressive number of the architectural underpinnings of the broader big data ecosystem. Now they offer the technologies that they run internally to external users of their cloud platform. In this episode Lak Lakshmanan enumerates the variety of services that are available for building your various data processing and analytical systems. He shares some of the common patterns for building pipelines to power business intelligence dashboards, machine learning applications, and data warehouses. If you've ever been overwhelmed or confused by the array of services available in the Google Cloud Platform then this episode is for you.

The way to build maintainable software and systems is through composition of individual pieces. By making those pieces high quality and flexible they can be used in surprising ways that the original creators couldn't have imagined. One such component that has gone above and beyond its originally envisioned use case is BookKeeper, a distributed storage system that is optimized for durability and speed. In this episode Matteo Merli shares the story behind the creation of BookKeeper, the various ways that it is being used today, and the architectural aspects that make it such a strong building block for projects such as Pulsar. He also shares some of the other interesting systems that have bee…

SQL is the most widely used language for working with data, and yet the tools available for writing and collaborating on it are still clunky and inefficient. Frustrated with the lack of a modern IDE and collaborative workflow for managing the SQL queries and analysis of their big data environments, the team at Pinterest created Querybook. In this episode Justin Mejorada-Pier and Charlie Gu share the story of how the initial prototype for a data catalog ended up as one of their most widely used interfaces to their analytical data. They also discuss the unique combination of features that it offers, how it is implemented, and the path to releasing it as open source. Querybook is an impressive…

Every part of the business relies on data, yet only a small team has the context and expertise to build workflows and pipelines to transform, clean, and integrate it. In order for the true value of your data to be realized without burning out your engineers you need a way for everyone to get access to the information they care about. To help make that a more tractable problem Blake Burch co-founded Shipyard. In this episode he explains the utility of a low code solution that lets non engineers create their own self-serve pipelines, how the Shipyard platform is designed to make that possible, and how it allows engineers to create reusable tasks to satisfy the specific needs of the business. …

The data warehouse has become the focal point of the modern data platform. With increased usage of data across businesses, and a diversity of locations and environments where data needs to be managed, the warehouse engine needs to be fast and easy to manage. Yellowbrick is a data warehouse platform that was built from the ground up for speed, and can work across clouds and all the way to the edge. In this episode CTO Mark Cusack explains how the engine is architected, the benefits that speed and predictable pricing has for the organization, and how you can simplify your platform by putting the warehouse close to the data, instead of the other way around.

Machine learning models use vectors as the natural mechanism for representing their internal state. The problem is that in order for the models to integrate with external systems their internal state has to be translated into a lower dimension. To eliminate this impedance mismatch Edo Liberty founded Pinecone to build database that works natively with vectors. In this episode he explains how this technology will allow teams to accelerate the speed of innovation, how vectors make it possible to build more advanced search functionality, and how Pinecone is architected. This is an interesting conversation about how reconsidering the architecture of your systems can unlock impressive new capabi…

Machine learning models use vectors as the natural mechanism for representing their internal state. The problem is that in order for the models to integrate with external systems their internal state has to be translated into a lower dimension. To eliminate this impedance mismatch Edo Liberty founded Pinecone to build database that works natively with vectors. In this episode he explains how this technology will allow teams to accelerate the speed of innovation, how vectors make it possible to build more advanced search functionality, and how Pinecone is architected. This is an interesting conversation about how reconsidering the architecture of your systems can unlock impressive new capabi…

Data governance is a phrase that means many different things to many different people. This is because it is actually a concept that encompasses the entire lifecycle of data, across all of the people in an organization who interact with it. Stijn Christiaens co-founded Collibra with the goal of addressing the wide variety of technological aspects that are necessary to realize such an important and expansive process. In this episode he shares his thoughts on the balance between human and technological processes that are necessary for a well-managed data governance strategy, how Collibra is designed to aid in that endeavor, and his experiences using the platform that his company is building t…

Data lineage is the common thread that ties together all of your data pipelines, workflows, and systems. In order to get a holistic understanding of your data quality, where errors are occurring, or how a report was constructed you need to track the lineage of the data from beginning to end. The complicating factor is that every framework, platform, and product has its own concepts of how to store, represent, and expose that information. In order to eliminate the wasted effort of building custom integrations every time you want to combine lineage information across systems Julien Le Dem introduced the OpenLineage specification. In this episode he explains his motivations for starting the ef…

Data lineage is the common thread that ties together all of your data pipelines, workflows, and systems. In order to get a holistic understanding of your data quality, where errors are occurring, or how a report was constructed you need to track the lineage of the data from beginning to end. The complicating factor is that every framework, platform, and product has its own concepts of how to store, represent, and expose that information. In order to eliminate the wasted effort of building custom integrations every time you want to combine lineage information across systems Julien Le Dem introduced the OpenLineage specification. In this episode he explains his motivations for starting the ef…

There is a lot of attention on the database market and cloud data warehouses. While they provide a measure of convenience, they also require you to sacrifice a certain amount of control over your data. If you want to build a warehouse that gives you both control and flexibility then you might consider building on top of the venerable PostgreSQL project. In this episode Thomas Richter and Joshua Drake share their advice on how to build a production ready data warehouse with Postgres.

Building an API for real-time data is a challenging project. Making it robust, scalable, and fast is a full time job. The team at Tinybird wants to make it easy to turn a continuous stream of data into a production ready API or data product. In this episode CEO Jorge Sancha explains how they have architected their system to handle high data throughput and fast response times, and why they have invested heavily in Clickhouse as the core of their platform. This is a great conversation about the challenges of building a maintainable business from a technical and product perspective.

Spark is one of the most well-known frameworks for data processing, whether for batch or streaming, ETL or ML, and at any scale. Because of its popularity it has been deployed on every kind of platform you can think of. In this episode Jean-Yves Stephan shares the work that he is doing at Data Mechanics to make it sing on Kubernetes. He explains how operating in a cloud-native context simplifies some aspects of running the system while complicating others, how it simplifies the development and experimentation cycle, and how you can get a head start using their pre-built Spark container. This is a great conversation for understanding how new ways of operating systems can have broader impacts…

The Data industry is changing rapidly, and one of the most active areas of growth is automation of data workflows. Taking cues from the DevOps movement of the past decade data professionals are orienting around the concept of DataOps. More than just a collection of tools, there are a number of organizational and conceptual changes that a proper DataOps approach depends on. In this episode Kevin Stumpf, CTO of Tecton, Maxime Beauchemin, CEO of Preset, and Lior Gavish, CTO of Monte Carlo, discuss the grand vision and present realities of DataOps. They explain how to think about your data systems in a holistic and maintainable fashion, the security challenges that threaten to derail your effor…

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Good machine learning starts with high quality data. Irina Malkova shares her experience managing and ensuring high-fidelity data, developing custom metrics to satisfy business needs, and discusses how to improve internal decision making processes.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Liam Li is a leading researcher in the fields of hyperparameter optimization and neural architecture search, and is the author of the seminal Hyperband paper. In this session, Liam discusses the evolution of hyperparameter optimization techniques and illustrates how every data scientist can benefit from neural architecture search. See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more. Adam Oliner discusses how to design your infrastructure to support ML, from integration tests to glue code, the importance of iteration, and centralized vs decentralized data science teams. He provides valuable advice for companies investing in ML and crucial lessons he’s learned from founding two companies.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Have you ever wondered how your purchasing behavior may reveal protected attributes? Or how data scientists and business play a role in combating bias? We discuss with Diana Pfeil recommendations to reduce bias and improve fairness, from SHAP to adversarial debiasing.See more at databricks.com/data-brew

For our second season, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.In the season opener, Matei Zaharia discusses how he entered the field of ML, best practices for productionizing ML pipelines, leveraging MLflow & the Lakehouse architecture for reproducible ML, and his current research in this field.See more at databricks.com/data-brew

Jules Damji and Tathagata Das guide us through their journey in big data and the evolution of data architecture in the past 30 years. They discuss some of the biggest changes in industry they’ve seen, as well as trends to look forward to in the coming years. This is a fun episode connecting all four authors of the Learning Spark, 2nd Edition book.See more at databricks.com/data-brew

Ellissa Verseput, ML Engineer at Quby, joins Denny and Brooke to discuss how Quby leverages ML to extract additional value from their data lake and how they manage this process.See more at databricks.com/data-brew

In this session, we discuss the lessons learned with Lara Minor, Senior Enterprise Data Manager at Columbia Sportswear, on how her team achieved a 70% reduction in pipeline creation time. This had reduced ETL workload times from four hours with previous data warehouses to minutes enabling near real-time analytics. Her team migrated from multiple legacy data warehouses, run by individual lines of business, to a single scalable, reliable, performant data lake.See more at databricks.com/data-brew

Delta Lake is an open source storage layer that brings reliability to data lakes. Delta Lake offers ACID transactions, scalable metadata handling, and unifies streaming and batch data processing. It runs on top of your existing data lake and is fully compatible with Apache Spark APIs. For our “Demystifying Delta Lake” session, we will interview Michael Armbrust - committer and PMC member of Apache Spark™ and the original creator of Spark SQL. He currently leads the team at Databricks that designed and built Structured Streaming and Delta Lake.See more at databricks.com/data-brew

Legacy approaches have failed to deliver on the promise of a single data architecture that can support every downstream use case from BI to AI. Lakehouse aspires to address this by combining the best of data warehouses and data lakes. Ali Ghodsi, Co-Founder and CEO of Databricks, and David Meyer, SVP of Product at Databricks, explain how. See more at databricks.com/data-brew

In our inaugural episode, we’d like to welcome data warehouse luminaries Barry Devlin, Susan O’Connell, and Donald Farmer to discuss the evolution of data warehouses, data lakes, and lakehouses.See more at databricks.com/data-brew

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Frank Trainer of Saggezza about technical excellence, writing code for your teammates, not yourself and the importance of SOLID architecture principles Read a transcript of this interview: https://bit.ly/2TEcZgp Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Insta…

Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagram: @infoqdotcom

- Youtube: www.youtube.com/infoq

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Ravi Lachman about the state of developer happiness through the COVID-19 pandemic, engineer burden and avoiding burnout. Read a transcript of this interview: https://bit.ly/3c3oAvZ Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: b…

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Aino Corry about common retrospective antipatterns and how to overcome them. Read a transcript of this interview: https://bit.ly/3eKee5G Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagram: @infoqdotcom

- Yo…

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Victor Nuṅez about how systemic team coaching helps teams perform more effectively and the importance of trusting teams as generative, creative and inteligent systems. Read a transcript of this interview: https://bit.ly/3xVIjHa Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedI…

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Nishant Bhajaria, Head of Privacy Architecture and Strategy at Uber about the need for privacy by design, the hard decisions that need to be made about privacy and the factors which need to be considered when making trade-offs. His new book provides concrete advice on where to start and how to apply good privacy practices. Read a transcript of this interview: https://bit.ly/2SlMdsF Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.co…

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Ken Charman of uFlexReward on Fixing Pay Equity, Collaborative Cultures, Devolving Decision Authority to Those Closest to the Work and Disrupting the Enterprise Software Purchasing Process. Read a transcript of this interview: https://bit.ly/3n9Hx4a Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- Lin…

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Bob Davis of Plutora about DevOps, Value Stream Mapping, making bottlenecks visible, and using metrics effectively. Read a transcript of this interview: https://bit.ly/3mPvw3S Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagr…

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Dimitar Karaivanov of Kanbanize about the six core practices of Kanban and the importance of metrics for improving the flow of work. Read a transcript of this interview: https://bit.ly/3g5vYK7 Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- …

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Esther Weinberg of The Ready Zone on building cultures of trust, respect & safety to enable resilience and the ability to respond to disruptive change. Read a transcript of this interview: https://bit.ly/3dwIkYw Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.c…

* This is a rebroadcasted episode on a popular subject about giving and receiving feedback. * In this podcast recorded at the Agile 2018 conference Shane Hastie, Lead Editor for Culture & Methods, spoke to Kim Scott, author of the book Radical Candor about what radical candor is and how it can be applied in teams and relationships. Read a transcript of this interview: https://bit.ly/2QGUeYe Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: pl…

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Joe Levy of Uplevel about the results of their Engineering Effectiveness survey, the levels of stress and burnout in engineering teams and what managers can do to support their teams. Read a transcript of this interview: https://bit.ly/30YGf1J Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/…

In this podcast Shane Hastie spoke to Wade Jackson of Inspired Learning about playfulness, enabling great team and organisational culture and unleashing creativity through collaborative disruption. Read a transcript of this interview: https://bit.ly/3qKH0pN Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- March 16, 2021

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/…

In this podcast the Culture and Methods editorial team discuss their views on the current state and trends in the Culture and Methods area that they monitor. The editorial team consists of Ben Linders, Craig Smith, Doug Talbot, Raf Gemmail, Shaaron Alvares and Shane Hastie. Unfortunately Shaaron was unable to join in the recording, however her perspectives are included in this and in the accompanying trends report article. Read a transcript of this interview: https://bit.ly/2OeJdfr Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.co…

Гость подкаста — Юра Филатов. Одна из областей его деятельности — информационный консалтинг или, иначе говоря, он помогает с трансформациями. Как-то так получилось, что подкаст вышел «исповедальным»: эмоциональным, чуть жёстким, с «иллюстрациями» и без «маркетингового налёта»:Как спутать автоматизацию с трансформацией.Когда вам не нужна трансформация на «примерах с мёдом».Почему по «государевому указу» у вас ничего не заработает.Что отвечать на «Ну давай, трансформируй нам тут всё».И какую роль здесь играет страх.

Гость подкаста — Света Аюпова из СКБ Контур. Света находит и проверяет новые бизнесы для Контура. Как-то так получилось, но Света нас убедила, что СКБ Контур — идеальное место для работы. Итак, в компании:Хорошие руководители, многие из которых работают в компании по 10 лет (как и большинство сотрудников).Равенство всех сотрудников на деле, а не на словах.Атмосфера как в казантипе, но без травы.Люди не уставшие, лица не серые.Все рано уходят домой.Много доверия, которое помогает быстро принимать решения.Как следствие, в компании малая текучка. Из СКБ Контур тяжело уходить. Да и зачем? Атмосфера приятная, как тёплый плед, а люди просто работают и растут. Например, руководитель Светы пришёл и…

Гость выпуска — Анатолий Панов. Кратко о нём:руководит разработкой всех вертикалей в Авито;пишет код только «по фану»;не собеседует инженеров;легко раскусил в Борисе латентного тимлида, когда он «собеседовался» в рубрике «Сханти Бориса» как разработчик.Поговорили про квартальные и годовые ОКR и ОКR-ревью, Performance Review, как почти распилили монолит, про техчас для новостей технического департамента, и прокачку функциональных коммьюнити.

Корпоративные ценности — это некие убеждения и принципы, которые все должны соблюдать, вроде «быть ответственным», «двигаться вперёд» и всё такое. Но зачем их соблюдать, если непонятно откуда они взялись? Зачем кто-то когда-то их выбил на скрижалях и повесил в главном зале? Без ответа на эти вопросы желание им следовать скорее не появится — они пластмассовые, не живые. Возможно поэтому в ЦИАН сделали по-другому — ценности списали с реальных людей, один из которых побывал у нас в гостях, а всем новичкам рассказывают как они появились и зачем.Как готовили ценности, важны ли они при найме и что такое словарь «разработческих» терминов, поговорили с Анной Штенгауэр (HR BP IT) и Мишей Юматовым (р…

У нас в гостях Ксения Мешкова — овнер в команде Райффайзенбанк. Она занимается развитием внутреннего корпоративного портала, о котором мы всё выведали: как он появился, а главное — зачем, как помог решить проблем в коммуникациях бизнеса и разработки. Также узнали, как в банке появился скрам, аджайл и LeSS, и как проходит гемба в банке.

В гостях у нас Кирилл Гурбанов — Head of Digital Banking в МТС. Поэтому мы поговорили про всё цифровое: диджитал, стартапы, виртуальные карты Apple, про суперприложение Тинькофф Банка, про Сбер как мессенджер, экосистемы, экосистемы суперприложений и зачем это нужно. Всё как всегда. Однако, будьте готовы к тому, что внезапно в подкаст ворвётся Лада Ларгус и порвёт шаблон.

Что такое внутренние коммуникации? Вот я «айтишник», я открыл «Джиру» – вот мои задачки, я беру, делаю, дальше тестировщикам, всё упало — какие коммуникации? Ан нет. Написать, правильно объяснить задачу и правильно спросить «что там делать» — это всё внутренние коммуникации. Об этом мы и поговорили с Екатериной Тышковской, руководителем службы внутренних коммуникаций банка ВТБ.Что такое гибридная работа, как компаниям сохранить офисную культуру и что такое культура согласия в новом выпуске «Ничего такого».

Когда у нас болит живот, мы идём к врачу. Когда у нас проблемы со сном, весом, ничего не хочется, раздражение и выгорание, мы обычно терпим. Или просто не знаем, что можно обратиться к психотерапевту и станет лучше. Об этом мы и поговорили с Иваном Замесиным — предпринимателем и основателем сервиса по подбору психотерапевтов Мета. Какие мифы мешают обратиться к специалисту, когда вы точно пойдёте к психотерапевту и чем психотерапия помогла Ивану, да так, что он создал сервис Мета. Список книг, которые советовал Иван:— «How people change: relationships and neuroplasticity in psychoterapy». — «Начало бесконечности», Дэвид Дойч. — Скотт Адамс «How to Fail at Almost Everything and Still Win Big…

Гость подкаста — Ярополк Раш, директор Scream School, где архитекторов, инженеров и мостостроителей переучивают в разработчиков игр, интерактивных и мультимедийных продуктов. Поговорили с Ярополком, почему архитекторы, инженеры и разработчики идут в gamedev, почему в России нет индустрии игр, почему человек должен быть счастливым и как с этим связана культура Netflix, а Голливуд — с дискомфортом.

Жанна Медведева работает в компании Exolaunch. Она бронирует места на ракетах Роскосмоса и SpaceX и запускает на них малые аппараты для клиентов, например, для космического агентства Германии. Самат вместе с Жанной обсуждают «новый космос». За сколько можно отправить спутник на орбиту, зачем там нужен шейкер и как вообще попасть в космическую индустрию. Приходите СЕГОДНЯ на нашу открытую запись в Москве и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Это последний эпизод 4 сезона «Запуска завтра». Спасибо, что слушаете нас! Мы вернемся с новым сезоном в августе. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://clck.ru/Pfti2 S4Ep3 «Как у…

В этом эпизоде — истории двух парней, которые украли данные у клабхауса. Александр Крушин построил на них сервис аналитики для рекламных агенств, а Дмитрий Соболев стал самым популярным пользователем русскоязычного клабхауса. Самат узнает подробности взломов у Димы и Саши, а устройство хакерских атак объясняет редактору подкаста, Юле Яковлевой. Приходите на нашу открытую запись 10 июня и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP6 «Докажи, что ты не робот. Как работают китайские мобильн…

Анна и Хорческа познакомились в общаге института в подмосковном Пущине, а через пару лет встретились в научной лаборатории в Торонто. Они исследовали белок и внезапно обнаружили новый способ синтезировать адипиновую кислоту, важный компонент для производства пластмассы. Обычно адипин получают из нефти. При этом сильно загрязняется планета. А Аня и Хорческа придумали, как сделать этот процесс дешевым и экологичным. Они рассказывают Самату о том, как устроены биотехнологии и как сделать открытие на миллиард долларов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskz…

Самат разговаривает о мошенничестве в интернете с директором по доверию и безопасности в Авито. По каким схемам у нас крадут деньги? Что никогда нельзя делать при покупке вещей онлайн? Как программисты попадают в преступные группировки и почему поддельные сайты работают лучше, чем настоящие? Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP14 «Крутой интерфейс, а прибыли — ноль. Как устроен дизайн мобильных приложений» https://zapuskzavtra.libsyn.com/9qj9c09wmznk 1:36 Как нашему гостю пришлось переехать из-за угроз мошенников 6:00 Фишинг. Как отличить на…

Компания Deepmind обучает алгоритмы искусственного интеллекта играть в игры. В 2016 году их компьютер Alpha Go победил чемпиона мира по го. Долгое время считалось, что научить машину этой игре нельзя, потому что в го важны интуиция и творческое мышление. В новом эпизоде Самат разговаривает с инженером из Google Deepmind Сергеем Бартуновым о том, как передать компьютеру человеческие способности, и где, кроме игр, это можно использовать. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S2EP4 «Железо, дата-центры и хостинги. Настоящий хардовый выпуск» https://z…

23 апреля 2021 года Медузу внесли в список иностранных агентов. 7 лет назад Самат участвовал в запуске Медузы, а потом проработал там техническим директором 3 года. В этом эпизоде Самат говорит о Медузе со своими бывшими коллегами. Егор Хмелев нанимал Самата на работу, а Борис Горячев стал новым техническим директором после ухода Самата. Втроём они вспоминают, как создавалось медиа, и обсуждают, как программисты обеспечивают Медузе сбор донатов, на которые она сейчас выживает. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Поддержать Медузу https://support…

Десять лет назад, чтобы оформить карту или перевести другу деньги, нужно было идти в банковское отделение и запоминать многозначный код. Сегодня все это можно сделать через телефон. О том, как в России появился онлайн-банкинг, Самат говорит с Анастасией Усковой, бывшим генеральным директором Рокетбанка. Настя объясняет, как происходят денежные транзакции, какую роль в них принимают платежные системы и Центробанк, как создать свой банковский движок и почему в Кремниевой долине до сих пор нельзя платить через Apple Pay. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapu…

Илон Маск обещает, что скоро Tesla выпустит настоящие беспилотники. Но пока что на рынке нет полностью автономных автомобилей. В их разработку вкладываются главные IT-компании в мире: Google, Amazon, и даже Apple. О беспилотных автомобилях Самат говорит с Сергеем Серебряковым. Сергей работал в Tesla, а потом перешел в сервис роботакси Cruise. Вместе с Сережей Самат разбирается, какие технологии используют, чтобы заменить водителя, и почему их все еще не хватает, чтобы мы стали ездить на беспилотниках. S2E5 «Бан для Шерон Стоун. Как работают сервисы знакомств» https://zapuskzavtra.libsyn.com/dxsbaem4943k Lex Fridman Podcast https://www.youtube.com/channel/UCSHZKyawb77ixDdsGog4iWA Этот подкас…

Уже год Самат вместе с Федей Борщевым делают свой бизнес «Федя & Самат». Они помогают компаниям настроить разработку. За это время к Феде и Самату обращались десятки заказчиков. Это были и небольшие стартапы, и региональные сети с миллионными оборотами. Но у всех серьезные проблемы с технологиями. В этом выпуске на примере реальных кейсов Самат и Федя обсуждают, почему у бизнесов такая плохая разработка, какие ошибки допускают программисты, и как им стать лучше. Выпуск про Endel «Сон, расслабление, фокус. Как приложение Endel подбирает звуковой фон для сотен тысяч пользователей» https://zapuskzavtra.libsyn.com/-endel Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Прак…

Самат не сидит в тиктоке, но в эту соцсеть хотя бы раз в месяц заходят 110 миллионов человек в Америке, и еще сотни миллионов пользователей по всему миру. Вместе с сейлз-менеджером из тиктока Юлией Коростелевой Самат обсуждает, как соцсети удалось набрать такую аудиторию и как она теперь ее монетизирует. Почему тикток успешнее продвигает бренды, чем фейсбук и инстаграм, как запускаются хэштег-челленджи на миллиарды просмотров и как платформа превращается в конкурента музыкальных лейблов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 3:35 Как Юля выслежива…

Долгое время главными производителями процессоров для компьютеров были компании Intel и AMD. Но в конце 2020 года Apple представила ноутбуки на своих собственных процессорах M1. Вместе с инженером из Intel Алексеем Корчиным Самат разбирается, как устроены процессоры, как их производят и почему компании Apple удалось сделать их эффективнее. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 6:32 Как производят процессоры и легируют кремний 16:15 Почему в России не делают крутых процессоров 24:15 Как можно сделать процессоры лучше 26:48 Как у Intel появился свой…

NFT — это невзаимозаменяемый токен (non-fungible token). Эта технология работает на блокчейне и позволяет передавать человеку право на владение цифровым предметом. Сейчас к NFT прикрепляют картины, музыкальные альбомы и скины из видеоигр и выставляют на специальные маркетплейсы. Например, основатель Twitter Джек Дорси продал в виде NFT-токена свой первый твит за 2,9 млн долларов. Самат разбирается в этой технологии с Александром Худжилиным. Саша занимается невзаимозаменяемыми токенами в блокчейн-стартапе NEAR. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra…

В мире есть 4 главные базы данных. Oracle, MySQL и Microsoft SQL принадлежат корпорациям. Четвертую, PostgreSQL, придумали ученые в Калифорнийском университете в Беркли и сделали опенсорсной. Вместе с американскими учеными эту базу данных разрабатывал Олег Бартунов. Спустя много лет он основал компанию, которая занимается поддержкой PostgreSQL и помогает ее использовать Яндексу и Министерству финансов РФ. Самат поговорил с Олегом о его работе с базами данных. Как Олег из ученого-астронома стал главных специалистом по PostgreSQL в России, как он наблюдал рождение IT-гигантов Кремниевой долины и как участвовал в создании рунета. Этот подкаст мы делаем совместно с сервисом онлайн-образования Я…

Есть стереотип, что без математического бэкграунда в IT делать нечего. Но какие именно задачи невозможно решить без знания алгоритмов? Самат разбирается со стереотипами вокруг математики в IT c Еленой Буниной. Елена преподает алгебру на мехмате МГУ, а еще она возглавляет Яндекс в России и менеджерит 5 000 программистов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 4:50 Какая доля программистов реально использует математику в работе 6:30 Как Лена тайком училась в Школе анализа данных, которую сама и создала 16:00 Какая математика нужна, чтобы сделать поис…

Шэньчжэнь называют китайской Кремниевой долиной. Там производят 90% всех гаджетов в мире. В первом эпизоде нового сезона «Запуска завтра» Самат изучает, как устроена индустрия хардвера в Китае. Почему никто не хочется связываться с этим бизнесом, какие типичные ошибки допускают в промышленном дизайне, как китайские заводы пережили коронавирус и почему фабрики не говорят клиентам о реальных сроках производства. Эти вопросы Самат обсуждает с Ильей Радаевым. Илья живет в Шэньчжэне и помогает стартапам наладить производственный цикл на местных фабриках. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&u…

В гостях у Moscow Python Podcast Teamlead компании Aviasales Антон Сидоров. Обсудили с Антоном его путь в разработку, переход поискового движка с Python на Go и еще много всего интересного . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Teamlead компании Evrone Иван Соловьев. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast выпускник курсов Learn Python, глава отдела тестирования компании Zipsale Татьяна Кулагина. Обсудили с Татьяной ее путь к Head QA. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast руководитель RnD разработки компании Lamoda Дмитрий Генинг. Обсудили с Дмитрием чем занимаются разработчики в RnD и конкретно в Lamoda. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast продюсер презентаций и художник Кирилл Анастасин. Обсудили с Кириллом как говорить с другими людьми, чтобы они вас поняли. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast евангелист Moscow Python, сооснователь курсов Learn Python, СТО в компании SunLight Илья Мельницкий. Обсудили с Ильей что такое IT не в IT компании и какие плюсы у retail компании. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Python-прокачка от Drylabs: https://drylabs.io/python-training

Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian P…

В гостях у Moscow Python Podcast евангелист Moscow Python, сооснователь курсов Learn Python, СТО в компании Zipsale Илья Лебедев. Обсудили с Ильей как становятся разработчиками после курсов и петпроджектов. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Мастер-класс Ильи Лебедева "Проектирование АПИ для тех, у кого нет 10 лет опыта" - https://learnpython.timepad.ru/event/1604348/

Мастер-класс Златы Обуховской "Разработка асинхронных приложений: начало" - https://learnpython.timepad.ru/event/1604560/

Python-прокачка от Dryl…

В гостях у Moscow Python Podcast Principal Architect компании Aligned Research Group Николай Марков. Обсудили с Николаем предстоящий вебинар python-прокачки от Drylabs и роль Python в управлении инфраструктурой. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Python-прокачка от Drylabs: https://drylabs.io/python-training

Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian Pyt…

В гостях у Moscow Python Podcast аналитик данных компании Лига Цифровой Экономики Павел Добрачев. Обсудили с Павлом его путь в аналитике данных, какую роль Python играет в аналитике данных. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast руководитель рекрутингового агентства Star-Staff Татьяна Аква. Обсудили с Татьяной особенности рынка IT-рекрутмента и тестовые задания при найме. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров.

Вакансия в Nvidia: https://nvidia.wd5.myworkdayjobs.com/NVIDIAExternalCareerSite/job/Russia-Moscow/Backend-Engineer_JR1935682 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция …

В гостях у Moscow Python Podcast выпускник курсов Learn Python, QA Automation engineer компании Voximplant Ася Макаровская. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast партнер в gms tech и g-mate Алексей Исаев. Обсудили с Алексеем основные этапы найма, ошибки и рекомендации при составлении резюме и многое другое. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Работа в лучших IT-компаниях мира: https://t.me/g_jobbot?start=u_mp

Канал g-mate на youtube: https://www.youtube.com/channel/UCBIpN_ujefDCn60jDl-V6xg

Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/lear…

В гостях у Moscow Python Podcast Data engineer компании X5 Retail Group, выпускник курсов Learn Python Юлия Пак. Обсудили с Юлией ее опыт смены профессии, поиска работы и впечатления от первой работы в IT. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast лидер Python практик компании S7 TechLab Антон Якунин. Поговорили с Антоном о опыте запуска MVP в большом компании. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

Вместе с Сергеем Немчинским разобрались в том, как выбрать себе первую профессию в IT, и как к ней правильно подготовиться. Спойлер – достаточно базового знания английского и мотивации. А дальше начинаются детали. Подробнее – в выпуске! Подключите облачное хранилище от Selectel: https://slc.tl/tYd8P. Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: t.me/podlodka Telegram-канал: t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова, Егор Толстой Полезные ссылки:

YouTube-канал Сергея:

https://…

Фронтендеры и бэкендеры есть не только в программировании, но и в разработке микросхем. Наш гость Валерий Шунков провел нам полноценный ликбез по тому, как устроены чипы, каким образом их проектируют, какие принципы, софт и языки для этого используют, и куда движется вся индустрия. Разверните облачный сервер для Data Science в Selectel: https://slc.tl/qEGC1. По промокоду Podlodka получите 1000 бонусных рублей на услугу. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаун…

Фасилитация, на первый взгляд, инструмент скрам-мастера, ну или на крайний случай тимлида. С независимым Agile-коачем Александрой Баптизманской разобрали, как фасилитация может быть полезна в том числе разработчикам. Разобрали теорию, а самое главное – разыграли по ролям фасилитацию архитектурного обсуждения. Направьте усилия команды на генерацию идей, об IT-инфраструктуре проекта позаботится Selectel: https://slc.tl/wHQM1. По промокоду Podlodka получите 1000 бонусных рублей на Облачную платформу. Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!

Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me…

Разрабатываемые нами продукты немыслимы без интерфейсов и дизайна, а дизайн немыслим без типографики. Что такое шрифт? Для чего в мире так много похожих шрифтов (спойлер: они, оказывается, все разные!) и почему они стоят так много? Как тенденции в ИТ влияют на развитие шрифтовой индустрии? И, в конце концов, как выбрать шрифт для своего блога или любимой IDE? Разбираемся по всеми вместе с Ильей Рудерманом, сооснователем шрифтовой студии CSTM Fonts и шрифтового магазина type.today. А после прослушивания этого выпуска вы сможете просить дизайнера на вашем проекте "поиграться со шрифтами" уже со знанием дела 👩🏽‍🎨 Развернуть облачный сервер с GPU в пару кликов в панели Selectel: https://slc.tl/…

В этом специальном выпуске мы делимся не классическим интервью с гостем, а записью митапа Yet Another Mobile Party. Наш подкаст начинался как "айосный" с выпусками про VIPER, а сейчас удивляет многообразием тем даже нас самих. Мы верим — мобильная разработка масштабнее, чем кажется, а интересы мобильных разработчиков шире стандартного набора тем на конференциях. Yet Another Mobile Party подтверждает эту гипотезу. Ребята осветили области разработки, которые связаны с мобилками, но при этом могут считаться "необычными": беспилотники, разработка Яндекс.Станции, компьютерное зрение. Еще вы узнаете ответы на насущные вопросы — как и, главное, зачем проводят алгоритмические секции (те самые!) на …

Что объединяет тракториста, агронома и задачу про охоту на уток в идеально круглом озере? А то, что все это было в нашем выпуске про тест-менеджмент! Гость выпуска и источник знаний, метафор и крутых историй – Алексей Петров из СберМаркета. 17 мая стартует конференция Podlodka QA Crew #4. Подробности на сайте https://podlodka.io/qacrew, а для любимых слушателей скидка по промокоду TRAKTORIST. Регистрируйтесь на Selectel Carrer Days и узнайте, как построить карьеру в сфере IT-инфраструктуры и облаков: https://slc.tl/p92Nd Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: t.me/podlodka Telegram-кана…

За что бы ни брался наш гость Сергей Еланцев, получается балансировщик нагрузки. Это произошло и с выпуском подкаста, в котором мы вспомнили модель OSI, детально разобрали различные алгоритмы балансировки и прошлись по всем готовым решениям L4 и L7 балансеров, которые есть на рынке. Positive Hack Days — международный форум по практической безопасности, который проходит в Москве ежегодно начиная с 2011 года. В этом году состоится юбилейный десятый форум, который пройдёт 20-21 мая в Москве, в Центре Международной Торговли. Следите за новостями на сайте https://www.phdays.com/ru/ и за прямым эфиром на сайте https://standoff365.com/. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Такж…

После этого выпуска вы наконец поймете что это за закрытие раундов, кто такие бизнес-ангелы и узнаете смысл других непонятных слов, которые пишут знакомые стартаперы в соцсетях. Александр Горный из United Investors провел нас по всем стадиям развития стартапа от гаража до IPO, показал с какими барьерами сталкиваются фаундеры на разных стадиях и самое важное – у кого брать на всё это деньги! Разверните приложение на облачных функциях от Selectel и не думайте о серверах: https://slc.tl/qT375. Промокод Podlodka дает 1000 рублей на услугу. Вводить сюда: my.selectel.ru/vpc/ Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и со…

Какую карьерную траекторию выбрать разработчику? Путь развития в тимлиды понятен и уже не раз обсуждался. А что насчет того, чтобы сменить IDE на OmniGraffle, код на стрелочки и стать архитектором? Владимир Иванов, архитектор продукта в Тинькофф Бизнес, а ранее Solution Architect в EPAM Systems помог нам разобраться в многообразии архитекторов и рассказал все о роли, задачах и буднях архитектора решений. После этого выпуска вы сможете с закрытыми глазами отличить Application Architect от Solution Architect, легко выстроите себе роадмап развития в архитекторы, и запасетесь десятком шуточек про необходимость наличия архитектора у вас на проекте! Оптимальное решение любых бизнес-задач с инфрас…

Это выпуск про язык программирования Haskell. За этим коротким словом скрывается целый увлекательный мир: функции, полная ленивость вычислений, мощная система типов, необычная и тесно связанная с академической средой история становления языка и многое другое! Мы предлагаем вам погрузиться в этот мир на следующие пару часов вместе с нашим гостем – Александром Вершиловым. Разверните облачную базу данных от Selectel в пару кликов: https://slc.tl/xcO3z, промокод Podlodka дает 1000 рублей на услугу. Вводить сюда: my.selectel.ru/vpc/ 19 апреля – старт Podlodka Android Crew, подробности на сайте: https://podlodka.io/droidcrew. Скидка по промокоду BRAVIT777 Поддержи лучший подкаст про IT: www.patre…

Консалтинг – один из возможных способов программисту стать независимым. В этом выпуске мы разбираемся, как стать консультантом, где искать клиентов, как построить работу с ними и сколько денег за свою работу брать. Своим опытом и байками делится Самат Галимов, ведущий подкаста «Запуск завтра» и партнер в консалтинговой компании «Федя и Самат». 12 апреля стартует конференция Podlodka Frontend Crew, а любимым подписчикам – приятная скидка по промокоду VISHENKA: https://podlodka.io/fecrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews…

Долго представлять эту тему не нужно, ведь выпуск входит в «золотой фонд фундаментальных выпусков» Podlodka и занимает место рядышком с "базами данных". Все, как вы любите – погружение в историю, разбор базовых компонентов и детские вопросы «а как загружается ОС?» с подробнейшими ответами на них. Под конец немного философских размышлений об упадке архитектуры ОС и стагнирующем настоящем, а также вероятности наступления светлого будущего. Осторожно, выпуск щедро приправлен байками! Managed Kubernetes от Selectel для современных проектов: https://slc.tl/Gz62X, промокод Podlodka дает 1000 рублей на услугу. Вводить сюда: https://my.selectel.ru/vpc/ Поддержи лучший подкаст про IT: www.patreon.c…

Что такое распределённые системы? Как и почему они стали мейнстримом в backend-разработке? Какие плюсы они несут? Все эти вопросы мы обсудили с Андреем Печкуровым из Hazelcast примерно за 15 минут. А дальше почти 2 часа обсуждения технических сложностей и того с чем предстоит столкнуться на пути к распределенности! Уже в ближайший понедельник 29 марта начнется конференция Podlodka Backend Crew, одной из тем недель которой будут как раз распределенные системы. По промокоду STAS777 скидос: https://podlodka.io/becrew Многие проблемы распределенных систем уходят с переходом в облака. Наши партнеры, компания Selectel (https://slc.tl/MEqHT), дают 1000р на облачную платформу по промокоду Podlodka…

Как известно, пристальное и сердитое смотрение в код позволяет устранить как минимум 50% ошибок и проблем. Но даже эта проверенная методика иногда (о ужас!) не помогает! И тогда на помощь приходит дебаггер. О том, какие тайны скрывает заветный жучок, о скольких крутых фичах дебаггера разработчики просто не знают и о философии дебаггинга нам рассказал Егор Ушаков из JetBrains! Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: t.me/podlodka Telegram-канал: t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателл…

Кто такой ментор? На каком этапе он бывает нужен техническому специалисту? И почему в Booking.com любой team lead должен получить навыки менторства?Сегодня с нами прометривается Георгий Могелашвили. Георгий работает Lead Developer в Booking.com и развивает свой проект GetMentor.Support the show (https://www.patreon.com/progulka)

Что такое райд-тех? Как интернет меняет города? И что общего между искусством и маркетингом?Сегодня с нам проветривается Даша Золотухина, которая руководит маркетингом бизнес-группе E-commerce и Ride-tech Яндекса. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

Как вымер странствующий голубь? В честь какой птицы называли пингвинов? И как мы все приблизили антропоцен?Сегодня по случаю мирового дня биоразнообразия с нами проветривается биолог Амирам Григоров.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Почему традиционные медиа больше не работают, не только в России, но и в мире? И как создать стартап, не будучи программистом? Сегодня с нами проветривается Тоня Самсонова. Тоня основала платформу The Question, а сейчас руководит Яндекс.Кью. Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

Что такое NFT? Как и почему «выстреливает» новое цифровое искусство? Какое будущее у рынка цифровых коллекций? Сегодня с нами проветриваются три художника, соавтора проекта NFT256: • Ваваев Максим — VFX Technical Artist, основатель NFT256, Москва.• Макарюк Богдан — Designer, 3d-artist, cооснователь NFT256, Харьков.• Дмитрий Белкин — Visual artist, cооснователь NFT256, Москва. Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

Почему спортсменам запрешено бежать марафон под музыку? Как пройти путь от приложений до приложений года для AppleWatch? И что в музыке сложнее всего генерировать нейронными сетями? Сегодня с нами проветривается Дмитрий Евграфов — композитор и один из создателей компании Endel. Не будьте такими душными, давайте лучше — проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Почему трейдинг полезен для рынков? Кто может заработать на бирже? Как машинное обучение и анализ данных сейчас применяются на финансовых рынках? С нам проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом. А в бонусный эпизод зашёл ещё • Леонид Меркин, финансовый математик, профессор Высшей экономики школы в Санкт-ПетербургеНе будьте такими душными, давайте лучше - прове…

Что такое высокочастотный трейдинг? Почему физики становятся хорошими квантами? Какой датасет может стоить миллион долларов в год? Сегодня с нами проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом.Не будьте такими душными, давайте лучше - проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www…

Как учёные обнаружили первый в мире вирус? Какие бывают прививки? И почему птичники — идеальные инкубаторы не только для яиц, но и для вирусов?Сегодня с нами проветривается Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Когда на марсе буду цвести яблони? Почему человек, как вид, не очень подходит для космических путешествий? И какие нерешённые проблемы стоят между человечеством и космосом?Сегодня с нами проветриваются• Екатерина Ефремова - астроном и популяризатор науки. Екатерина закончила аспирантуру Института астрономии РАН, работает в МПГУ им. Ленина и ведёт научно-популярный блог ЗонаЗвезд. • Алексей Малахов - старший научный сотрудник отдела отдела ядерной планетологии института космических исследований РАН.С днём космонавтики, космонавтики!Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (htt…

Почему люди становятся бездомными? Как им можно помочь? Что такое Неравнодуш, Ночной Автобус и Нормальное Место?Сегодня в выпуске по случаю Дня Бездомного Человека с нами проветривается PR-специалист Ночлежки Даниил Александров.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Как появились современные помидоры, бананы или коровы? Сколько есть вкусов и как мы их ощущаем? И какой вклад в то, что мы едим, делают генетики, а какой — повара?Сегодня с нами проветриваются• Всеволод Остахнович — автор телеграм-канала Food & Science.• Нариман Баттулин – кандидат биологических наук, заведующий лабораторией генетики развития Института цитологии и генетики СО РАН.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Что необходимо знать про ВИЧ? Кто такие ВИЧ-активисты? И как активизм может быть адекватным?Сегодня с нами проветривается журналистка Рита Логинова. Рита делает подкаст «Одни Плюсы» о людях, живущих с ВИЧ, и работает специалистом по коммуникациям некоммерческой организации «Гуманитарный проект» . Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Может ли современный энцефалограф читать мысли? Как работают нейроинтерфейсы? И что пока мешает прямой передачи мысли от мозга к мозгу? Сегодня с нами проветриваются:• Светлана Ким — аспирантка МГУ, которая исследует нейроинтерфейсы и, среди прочего, работала с устройством «НейроЧат», которое помогает общаться людям, перенёсшим инсульт.• Михаил Лебедев — Нейрофизиолог и разработчик нейроинтерфейсов, профессор Сколтеха и научный руководитель Центра биоэлектрических интерфейсов Высшей школы экономики.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Каково написать первую программу гусиным пером в мире, где нет даже электрических лампочек, о чем мечтали отцы кибернетики, когда создавали математическую модель нейрона, и чего мы сами ждем от чипов Neuralink— в заключительном эпизоде первого сезона, где гении пьют виски на даче, макаки играют в пинг-понг без рук, роботы лечат малярию и все очень много мечтают. Этот подкаст мы делаем вместе со SberDevices

Откуда у алгоритмов загоны и предрассудки, как роботам решать дилему вагонетки, и что нейросеть понимает про семейные ценности — в эпизоде, где спящие люди тихо едут на Теслах из киберпанка в киберкоммунизм. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Почему алгоритмы начали сами повторять достижения человечества, как научились предсказывать изобретения и что общего у малыша на карусели и нейросети GPT3. Этот подкаст мы делаем вместе со SberDevices Подкаст Ивана Ямщикова "Проветримся" https://www.patreon.com/progulka Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Как машины читают то, что у вас на лице написано, решают дилемму покерфейса, предсказывают выгорание и учатся испытывать эмоции сами. Этот подкаст мы делаем вместе со SberDevices Эпизод подкаста "Запуск завтра" про Давида Яна https://zapuskzavtra.libsyn.com/i7pyit9e0q2o Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы расскажем, что может нейросеть, которая провела две тысячи лет в Доте, как четыре бота сломали прятки и почему машинам нужно самоутвержаться за счет гроссмейстеров. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы разбираемся, зачем человеку роботы, которые могут воображать котов, писать небылицы, импровизировать в стиле Баха и писать стихи из поисковых запросов. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Как машины пытаются составить портрет человека по его кликам и лайкам, какие выводы о нем делают по чеку из магазина и почему вам лучше не знать, какой вы фрукт – в новом выпуске «Вы находитесь здесь». Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы расскажем, как симуляция безумия помогает машине притворяться человеком, зачем виртуальным ассистентам сценаристы и редакторы и как два бота торговались за мячик и сломали английский язык. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы расскажем, почему голосовые помощники не понимают шотландцев и чем им может помочь глухой с младенчества советский математик. Как робот находит песню, в которой вы помните только «ту-ту-ту-рум-ту-ту-рум». И правда ли, что умные колонки за нами шпионят. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В первом эпизоде мы рассказываем, как учили машину говорить так, чтоб ее можно было слушать без кринжа. Изобретатели и инженеры буквально столетиями пытались заставить машины говорить и придумали за это время самые странные звучащие объекты в истории. В этом выпуске вы услышите орущие свистки ацтеков, смех волынки с механическим ртом и песни безумных роботов. Заодно мы расскажем, чьим голосом на самом деле разговаривал Стивен Хокинг и почему запись живого диктора может звучать хуже, чем нейросеть. И почему все это ради пиццы. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; …

В этом подкасте мы расскажем о том, как человек учит машину всему, что умеет сам: постигать, творить, общаться и нервничать. Что о нас думает умная колонка? Зачем давать роботам цифровые эмоции? Может ли нейросеть действительно понять человека? О том, куда нас ведет развитие искусственного интеллекта, и как долго нам еще идти по дороге прогресса — слушайте в подкасте «Вы находитесь здесь»

The web was growing quickly in the ‘90s. But all that growth wasn’t going to lead to much if people couldn’t actually find any web sites. In 1995, an innovative new tool started crawling the web. And the search engine it fed opened the doors to the World Wide Web. Elizabeth Van Couvering describes trying to find websites before search engines, and how difficult it was becoming in the early ’90s to keep track of them all. Louis Monier talks about having to convince others how important search engines would become—and he showed them what a web crawler could do. Paul Cormier recounts taking the search engine from a research project to a commercial one. And Richard Seltzer wrote the book on sea…

We put a lot of trust into online shopping: sharing our names, addresses, and handing over money. In return, we have faith that the purchased item appears at our doorstep in a few days or weeks. That trust didn’t come easily. In 1995, we took our first steps out of the brick and mortar store to load our digital shopping cart. Robert Spector reveals how Amazon.com’s business foundations are in data—and being early to the internet. Sandeep Krishnamurthy recounts the rise of eBay. Angela Robinson describes the technology that makes secure transactions and trustworthy e-commerce possible. Kartik Shastri shares how difficult it was to store and process consumer data. And Katie Wilson explains ho…

Looking at the internet in 1995 is like looking back at awkward grade school yearbooks—all the weirdness and flaws stand out in stark contrast to what it’s grown into since. And web design took awhile to become a career—but it got a big boost in 1995. When the Batman Forever website launched to promote the movie, it showed people what was possible on the web. And it forever changed what we’d expect from a website. Jay Hoffmann describes the quirky designs of the early web. Richard Vijgen explains how we went from a lack of conventions to a homogenized web. Jeffrey Zeldman recounts building the Batman Forever movie’s website—and sowing the seeds of professional web design. Jessica Helfand ou…

The Hypertext Markup Language (HTML) gave everyone a foundation for building and viewing the World Wide Web. In 1995, its standardization led to dominance. Its simplicity helped it spread. And its solid common foundation helped shape the internet. Dr. Belinda Barnet explains what kind of framework was initially needed to build and navigate the Web. Jeff Veen describes the three ingredients Tim Berners-Lee combined to create HTML: the ideal language for the Web. Gavin Nicol recounts the need to standardize the quickly-growing language. And Gretchen McCulloch points out how HTML instills an inherent bias for English speakers to develop for the web.If you want to read up on some of our researc…

1995 was the year that ISPs became the dominant gateway to the information superhighway. But how’d we go from ARPANET all the way to that? It turns out, none of it would have happened without a team of intrepid engineers at the University of Michigan.Marc Weber tells us how a tension between academics and the military set the next evolution of the ARPANET. Douglas Van Houweling discusses the work his MERIT team did at the University of Michigan to build the national backbone of the NSFNET. Elise Gerich, MERIT’s systems manager, talks about how they made the leap from a T1 connection to a T3 to handle traffic from their growing network. And Janet Abbate emphasizes how all this set the stage …

The year is 1995. The internet starts going mainstream and the dot-com bubble begins its rapid inflation. But 10 years before all of this, a small team of systems administrators made a seemingly simple decision that would turn out to have a monumental impact on these events and would set the course of the internet for the foreseeable future. Dr. W. Joseph Campbell sets the stage for our season on the internet in 1995. Claire L. Evans explains how hard it was to find anything on the early internet. One team was charged with compiling that information in the early days of the ARPANET. Elizabeth “Jake” Feinler recounts being the internet’s sole librarian in those early days, and how she helped…

The internet’s been around for awhile now. And it’s safe to say that it’s changed much of our daily lives. But not so long ago, there were few people who realized how transformative the internet would become. Season 7 of Command Line Heroes looks back at those few who saw the internet’s early potential and forever shaped it during its most formative year: 1995. From the origins of e-commerce, to web design, to HTML, to the infrastructure holding it all together around the world, this season highlights the heroes who turned the nascent internet into the vital global network we know today. The first episode drops March 23, 2021. Subscribe today and sign up for the newsletter to get the latest…

If you think hard work is enough to guarantee success, you haven’t been listening. All season long, we’ve profiled Black inventors who haven’t quite been given their due. Arlan Hamilton is helping reverse that trend by leveling the playing field—and changing the venture capital game.Arlan Hamilton’s story mirrors many we’ve covered this season—overcoming adversity to find success. But she’s also helping redefine what success can look like and, in the process, is helping change the broader tech industry. Janice Omadeke lays out how diversifying the VC community in turn leads to greater diversity among founders receiving funding. Ramona Ortega explains how traditional VC priorities often pass…

Is the moon made of cheese? Of course not. But can a person walk on the surface? Not too long ago, we couldn’t answer that question. But with the help of Gladys Perkins, we soon figured out that we could send a team to the moon and have them safely land on its surface. There was a time when the United States was behind the Soviets in the space race. Everyone had their sights set on the moon. Andrew Chaikin describes NASA’s disastrous Ranger missions. Erik Conway explains how complicated the trajectory calculations were—and to top it all off, why they often couldn’t be done in advance. To succeed, NASA’s new Surveyor program would need the capability to adjust trajectory mid-flight. Gladys P…

Roy Clay had to chase after opportunities. But landing a promising position wasn’t the finish line. Roy Clay pushed those opportunities beyond their mandate, transforming an industry in the process.Kathy Cotton recounts how few opportunities Roy Clay had growing up—but how, later, talk of his genius helped him get his break in the tech industry. Chuck House describes how Clay’s qualifications and experience were just what Hewlett and Packard were looking for. Bill Davidow explains how Clay made his mark at HP building a department, and shaping the strategy for a revolutionary 16-bit minicomputer. And in Clay, Ken Coleman found a role model and mentor. He followed in Clay’s footsteps, and he…

It’s not easy to learn how to use computers when you can’t actually touch them. But that’s how Dr. Clarence Ellis started his career of invention—which would ultimately lead to reimagining how we all worked with computers and each other.Martez Mott describes the “Mother of all Demos” that would inspire a generation of builders. Gary Nutt recounts working with Dr. Clarence Ellis at Xerox PARC, and the atmosphere at the coveted research lab. Chengzheng Sun and Paul Curzon explain how Operational Transformation—the project to which Dr. Ellis devoted so much time and effort—laid the foundation for the collaborative tools many of us use every day. And Delilah DeMers shares how humble her father …

Sometimes an inventor designs a device for a specific purpose. Sometimes it’s to try something new. But successful inventions often shape industries beyond those they initially intended. Dr. Marc Hannah built an invention with far bigger effects than anyone could have imagined—like bringing dinosaurs to life, building liquid robots, and letting the Titanic set sail one more time. Raqi Syed gives some context on the evolution of special effects in the movie industry. Mark Grossman explains how the graphics world was more than ready for an upgrade. Tom Davis recounts the difficulties that he and his team had getting people to understand what was possible with the Geometry Engine. Luckily, Ste…

Dr. Mark Dean has a superpower. He wasn’t born with it. He wasn’t exposed to high levels of radiation. It’s a power he learned from his father. And because of it, he was able to revolutionize the personal computer. David Bradley explains how in the 1980s, IBM had a reputation for building big, enterprise mainframes. No one believed IBM could make a competitive PC. But that’s exactly what “Project Chess” was tasked with creating. Tony Hey describes the monumental shift in strategy it was for IBM to enter the PC market. Pete Martinez and Dennis Moeller recount their days working with Mark on the skunkworks project. And how IBM's strategy for creating a computer in under a year changed the per…

Aristotle and Eratosthenes are big names in geodesy. They got pretty close to measuring the size of the Earth. But the woman who got it done? She grew up a farmer, dreaming of something bigger. And her work changed how we see the world.Dr. Gladys West didn’t have much room for error in her quest for higher education. Marvin Jackson recounts the obstacles in her path—and the challenges she faced in her early career. Gavin Schrock traces how geodesy progressed before Dr. West, and how foundational her work was for the GPS systems that followed. Paul Ceruzzi describes the state-of-the-art technology available at Dahlgren that helped Dr. West model the world. Todd Humphreys explains how that mo…

Delivering Saas products involves a lot more than just building the product. Saas management involves customer relationship management, licensing, renewals, maintaining software visibility, and the general management of the technology portfolio. The company Blissfully helps businesses manage their SaaS products from within a complete IT platform with organization, automation, and security built in. The Blissfully

The post Blissfully: Comprehensive IT Management with Aaron White appeared first on Software Engineering Daily.

Amundsen was started at Lyft and is the leading open-source data catalog with the fastest-growing community and the most integrations. Amundsen enables you to search your entire organization by text search, see automated and curated metadata, share context with co workers, and learn from others by seeing most common queries on a table or frequently

The post Stemma: Understanding Big Data with Mark Grover appeared first on Software Engineering Daily.

Coinbase is a very popular and well trusted cryptocurrency platform for buying and selling digital assets like Bitcoin, Ethereum, and many more. With Coinbase you can manage your portfolio of cryptocurrencies in 1 place like you would for other investments. There are added features like scheduling recurring purchases of assets, time-delayed withdrawals from digital vaults,

The post Coinbase RN: Building the Cryptocurrency Ecosystem with Brent Walter and Jacob Thornton appeared first on Software Engineering Daily.

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post Oracle Cloud with Salman Paracha appeared first on Software Engineering Daily.

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post Digital Ocean with John Allspaw appeared first on Software Engineering Daily.

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post GCP with Liz Fong-Jones appeared first on Software Engineering Daily.

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post Azure with Troy Hunt appeared first on Software Engineering Daily.

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post AWS with Pete Cheslock appeared first on Software Engineering Daily.

Mark Saroufim is the author of an article entitled “Machine Learning: The Great Stagnation”. Mark is a PyTorch Partner Engineer with Facebook AI. He has spent his entire career developing machine learning and artificial intelligence products. Before joining Facebook to do PyTorch engineering with external partners, Mark was a Machine Learning Engineer at Graphcore. Before

The post Machine Learning: The Great Stagnation with Mark Saroufim appeared first on Software Engineering Daily.

Next week Corey Quinn will be guest hosting on Software Engineering Daily, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a

The post Special Edition Repeat: AWS Analysis with Corey Quinn appeared first on Software Engineering Daily.

Platforms like Ethereum have billions of dollars of market cap and large developer communities. However, it is still a challenge to build widely adopted DApps on it because of current limitations. Blockchain Proof of Work transactions are typically slow, and Proof of Stake transactions trade off decentralization to achieve high throughput. Transaction fees get expensive,

The post Polygon: Connecting Ethereum Compatible Blockchain Networks with Denis Ermolin appeared first on Software Engineering Daily.

AWS Outposts is a fully managed service that offers the same AWS infrastructure, AWS services, APIs, and tools to virtually any datacenter, co-location space, or on-premises facility for a truly consistent hybrid experience. AWS Outposts is ideal for workloads that require low latency access to on-premises systems, local data processing, data residency, and migration of

The post AWS Outpost Engineering with Joshua Burgin appeared first on Software Engineering Daily.

Flutter is a UI toolkit developed by Google that helps developers build natively compiled applications for mobile, web, desktop, and embedded devices from a single code base. Development is fast because the screen “hot reloads” as you develop, the architecture is layered for fast and expressive designs, and its widgets incorporate all critical platform differences

The post Flutter: Native Web and Mobile App Development with Allen Wyma appeared first on Software Engineering Daily.

Data exploration uses visual exploration to understand what is in a dataset and the characteristics of the data. Data scientists explore data to understand things like customer behavior and resource utilization. Some common programming languages used for data exploration are Python, R, and Matlab. Doris Jung-Lin Lee is currently a Graduate Research Assistant at the

The post Data Exploration with a New Python Library with Doris Lee appeared first on Software Engineering Daily.

Мало кто ожидал, что удалёнка затянется: скоро год, как пандемия перевернула формат работы айтишников. Многие верят, что им выпал шанс пожить так, как давно мечталось — и обсуждают, как использовать ситуацию. Многие снимаются с насиженных мест, чтобы мигрировать за город, к чистому воздуху и зеленым полям. Но что нужно, чтобы айтишник не просто стал ближе к земле, но и улучшил качество жизни? Поговорим об этом с Григорием Вовченко, управляющим директором центра развития финансовых технологий Россельхозбанка, и Иваном Гуменюком, топовым хабраавтором, который давно на удалёнке и рад этому. 1:50 Инфраструктура своими руками: интернет через кастрюлю, яхта под офис и прочие ноу-хау удалённых айт…

Облака давно покрывают небо IT, но осознанно ли они используются? Может, популярность облачных сервисов – это дань моде, а на самом деле вся инфраструктура так и живёт на прикроватных серверах? Или всё как раз наоборот? Мы на Хабре провели опрос ( https://habr.com/ru/article/528534/ ) о том, как айтишники используют облака сейчас и каким видят их будущее. Результаты обсуждаем в беседе с инсайдерами: Александром Худяковым, продакт-менеджером облачной платформы Selectel, и Александром Фатиным aka Лохматый Мамонт, евангелистом в компании Veeam и ведущим подкаста linkmeup. В выпуске: 8:25 Кто обитает в облаках: краткий обзор отечественного и зарубежного рынков 13:55 Безболезненный переезд в обл…

Где работают айтишники? Кажется, чуть ли не везде. Но даже в ряду тех, где все равны, иногда кто-то все-таки ровнее. Остались ли предубеждения к каким-то отраслям? Как себя ощущают сотрудники в тех сферах, о которых пока не совсем привычно говорить как о цифровизированных? В гостях Денис Колупаев, руководитель направления разработки AR/VR в Северстали, и Максим Корчагин, в чьем послужном списке есть и антарктическая станция, и чудо-школа. 2:50 Особенности работы айтишника на металлургическом производстве, в сельской школе и на научно-исследовательском судне

10:25 Как попадают в творческое IT (и при чём тут «Убойная сила»)

16:35 VR/AR на «Северстали»: костюм из фольги, расплавленный металл и…

0:43 YaC: новая конференция, Станция Макс и прикольные сервисы, habr.com/p/529786/ 13:20 89% взаимодействий со смартфоном пользователи начинают сами, а не из-за пуш-уведомлений, habr.com/p/530118/ 24:16 Власти США ещё на неделю отложили запрет TikTok, habr.com/p/530016/ 37:03 Ответы на вопросы слушателей: студенческие мечты, как начать делать подкаст, слушаем ли мы «Викли», кому нужна випассана, а также компании, где не стыдно работать 1:07:14 Мы завершаем этот сезон «Викли» и открываем независимый подкаст «Хоба!»:

- Apple Podcasts, https://apple.co/36f1Arb

- Google Podcasts, https://bit.ly/guglohoba

- Castbox, https://castbox.fm/vc/3562584

- Яндекс.Музыка, https://music.yandex.ru/album/129…

Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разных точек зрения и составить профессиональное мнение. Видкаст здесь: https://u.tmtm.ru/habrpro 1:45 Современные кибератаки: виды, этапы, примеры

10:35 Как не стать жертвой: меры предосторожности для частных лиц

15:50 Автоматическое обновление прошивки роутера – хорошо или плохо

16:40 Почему атаки на индустриальные предприятия опаснее, чем на финансовые

24:00 Мыслить, как киберпреступник: как специалисты по ИБ ищут уязвимости в корпоративных сетях – интересные кейсы

29:50 Особенности защиты россий…

Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разных точек зрения и составить профессиональное мнение. 1:40 Кто идёт работать в агентство, а кто в корпорацию И почему (спойлер: дело не в деньгах) 4:24 Почему удалёнка предпочтительнее офиса, даже заграничного 9:25 Аутсорс или аутстаф? Плюсы и минусы каждого из вариантов 17:25 Разнообразие проектов: где больше выбор, в агентстве или корпорации 21:35 Снова об особенностях работы на удалёнке: плюсы, минусы, инсайты 33:55 Текущее состояние рынка мобильной разработки Как привлечь и удержать классного…

1:14 Яндекс опубликовал внутренние принципы, habr.com/p/528908/ 19:58 Вы безумны, остановитесь пока не поздно, habr.com/p/528678/ 39:13 Playstation 5 официально в продаже в России, но ее не купить 53:05 Отвечаем на вопросы слушателей: как копить деньги Могли бы обсудить, но не обсудили:

- Электронная книга своими руками на STM32H750 от А до Э, habr.com/p/528148/ - Механико-цифровые часы из стальных шариков, habr.com/p/527818/ - Как я делал свой самолёт, habr.com/p/528008/ Упоминали в этом выпуске: - принципы Tesla, elonmusk.su/pismo-ilona-maska-sotrudnikam-i-partneram-tesla/

- «метод Netflix», medium.com/@Gafarov/netflix-method-5a428d80e604 ***

Участники

Ваня Звягин, anchor.fm/omfg-podcast

…

1:01 Новый чип Apple M1 на архитектуре ARM, habr.com/p/527416/ 16:22 Palm TX — редкий гость в 2020 году, habr.com/p/527002/ 28:22 RuVDS и их ЦОД в бомбоубежище, habr.com/p/527152/ 35:51 Минимализм ASCII-графики, habr.com/p/527388/ 41:14 Вопросы слушателей: когда работать, если слишком много встреч? Книги, которые мы читали в последнее время ***

Могли бы обсудить, но не обсудили

- Пишем «Змейку» для клавиатуры с подсветкой, habr.com/p/527386/

- Подземное захоронение жидких радиоактивных отходов, habr.com/p/526676/ ***

Участники

Ваня Звягин, anchor.fm/omfg-podcast

Адель Мубаракшин, t.me/exarg

Коля Землянский, t.me/shmedia_and_stuff

Далер Алиёров, t.me/dalerblog

Лев Пикалёв, t.me/levpik Звукор…

1:24 Маск: «Марс — свободная планета, там не действуют законы Земли», habr.com/p/525962/ 13:53 Rocket Lab запустит в космос гнома из Half-Life, habr.com/p/526240/ 18:33 Мышление письмом, habr.com/p/526336/ 31:15 Вопросы слушателей: есть ли в Хабре детский сад и празднуют ли у нас Хеллоуин ***

Могли бы обсудить, но не обсудили: - «Чистой» энергии не существует, habr.com/p/526368/

- «ВКонтакте» продала AliExpress слова «скидка» и «халява» для рекламы, habr.com/p/526524/ - Яндекс и Mail.ru работают над аналогами Zoom для школьников, habr.com/p/526314/ ***

Упоминали в выпуске:

- сабреддит Explain Me Like I’m 5, reddit.com/r/explainlikeimfive/

- реддит с phd одной строкой, reddit.com/r/AskReddit…

1:31 Apple покажет новые про-наушники в следующем году, habr.com/p/525226/ 13:31 Цвет в современных фильмах, habr.com/p/525252/ 24:43 Бета-тест Starlink стоит $99 в месяц, habr.com/p/525270/ 32:51 Астероид 16 Psyche состоит из металлов на 10¹⁹ долларов, habr.com/p/525504/ 39:18 Ответы на вопросы слушателей: страшно ли уходить с первой работы, какие проблемы бывают с макбуками Могли бы обсудить, но не обсудили:

- Как кодить, если лишился рук? habr.com/p/524664/ - Как 30 строк кода разорвали 27-тонный генератор, habr.com/p/525400/

- Медицинский чат-бот склонял пациентов к суициду, habr.com/p/525634/ - - - Рубрику «Сережа из Брянска» захватили ведущие - - - - Далер ищет работу — вот его сайт, …

1:50 LG выпустила в продажу гибкий 4K OLED-телевизор за $87 тысяч, habr.com/p/524294/ 12:26 В МТИ нейросеть научилась расшифровывать забытые языки, https://habr.com/ru/news/t/524480/ + проверяют отношения между языками 15:07 Tesla выпустила полноценный автопилот на дорогах, https://habr.com/ru/news/t/524640/ 24:37 Пассажиров Москвы пытаются отследить по MAC-адресам https://m.habr.com/ru/news/t/524224/ 35:05 Новый опрос сервиса Blind показал, что сотрудники Кремниевой долины измотаны удаленкой https://m.habr.com/ru/news/t/523958/ 43:28 Отвечаем на вопросы слушателей: какие вузы мы заканчивали, синдром самозванца — это миф или реальность? Могли бы обсудить, но не обсудили:

Популярная музыка н…

1:43 Apple представила:

- iPhone 12, habr.com/p/523336/ - HomePod mini, habr.com/p/523366/

- И убрала зарядки из комплектов, habr.com/p/523436/ 25:31 Представьте — вам дали гору денег, но забрали программирование навсегда. Обрадуетесь? Что будете делать? habr.com/p/523444/ 38:40 Россияне на МКС нашли место утечки воздуха с помощью пакетика чая, habr.com/p/523624/ 46:14 Отвечаем на вопросы слушателей: как не посадить зрение, TikTok + Oracle — это хорошо или плохо? ***

Могли бы обсудить, но не обсудили:

Эффект Телепорно: почему нормальные фразы на иностранном кажутся смешными, habr.com/p/523214/ Новый плацкарт в вагоне габарита Т, habr.com/p/523024/ Ноль смертей: как выжить в ДТП, habr.com/p/…

1:31 Бот в течение недели выдавал себя за человека на AskReddit, habr.com/p/522542/ 6:39 Документалка Social Dilemma, habr.com/p/520650/ 18:23 Sony полностью разобрала PlayStation 5 и показала, как приставка выглядит изнутри, habr.com/p/522488/ 29:39 Cистема, которая побуждает птиц собирать мусор в обмен на корм, habr.com/p/522034/ 35:21 Ответы на вопросы слушателей: как поймать интернет в деревне, много ли девушек в QA, котик ли Яндекс? 47:01 В рубрике «Сережа из Брянска» Machine Learning Podcast, который ведет Миша из Питера Могли бы обсудить, но не обсудили:

- Восстановление утраченных текстов с помощью современных технологий. Железо habr.com/p/521870/ - Смешные собеседования: истории ИТ…

«Интересно, много ли таких, кто ещё не понимает, какая польза от Big Data?» — это первый же комментарий к нашему с МТС опросу про Big Data. Больше половины опрошенных, как показали результаты, просто не используют Big Data. В то же время, в МТС — это важная часть бизнеса, и компания активно ищет специалистов в этой области. Открытые вакансии можно посмотреть по ссылке. → https://u.tmtm.ru/mts_podcast_job ← В чём причина противоречия? Какие байки ярче всего иллюстрируют заблуждения о больших данных? Какой на самом деле можно получить профит от Big Data? Сколько его придётся ждать и сколько денег необходимо в это вложить? Что лучше — построить свою внутреннюю службу или привлечь консультанта?…

1:07 Собянин требует отправить треть сотрудников домой, habr.com/p/521616/ и предыстория — habr.com/p/520560/, 14:18 Минпросвещения хочет TikTok, только свой и со школьниками, habr.com/p/521638/

22:18 Telegram внедрил комментарии для каналов, habr.com/p/521504/

25:16 Со следующего года все приложения Google Play будут платить комиссию 30%, включая Netflix и Spotify, habr.com/p521112/ 31:20 Ответы на вопросы слушателей: наш распорядок дня, как стать дата-сайентистом с нуля и в чем мы разочаровались в последнее время Могли бы обсудить, но не обсудили:

Как белорусский «Отдам даром» поднял первый раунд инвестиций в Долине, habr.com/p/521270/ Как я избавлялся от Google на Android, habr.com/p/520…

Как забыть почти обо всём и писать веб-приложения в платоническом вакууме (почти). Спонсор выпуска — компания Selectel (https://selectel.ru/). У них можно в том числе развернуть serverless-функции :)А вообще там хостинг, colocation, облачное хранилище, Kubernetes, VM, CDN и много еще всего. Спасибо им за поддержку подкаста. ——— Вы можете поддержать подкаст на Patreon → https://www.patreon.com/freetonik Вы будете получать выпуски раньше всех и без рекламы.

О роботах и людях: декан факультета ИКТ ИТМО Саша Капитонов о важности децентрализованных систем нахождения консенсуса, NFT как легальном способе роботу заработать себе на запчасти, разделении экономики на машинную и людскую. И еще много о чем, что не сразу ассоциируется с роботами — например, о необходимых им soft skills. На фото: как выглядела открытая запись подкаста в Ссылки в тему выпуска:

-=Выпуск 59=- Наталья Алфутова и Ярослав Кравцов рассказывают про жизнь медиахудожников во времена пандемии, про не всеми замеченное пришествие метавселенной в нашу жизнь и дразнят странными звуками робо-змеи. Ссылки на места, где про этот дуэт можно почитать и посмотреть, а не только послушать: в Инстаграме в ФБ в ФБ Очень активный Персональный

-=Выпуск 58=- Беседа с Я.И. Кузьминовым, ректором ВШЭ, о том, что пандемия и удаленка изменили и какие процессы ускорили в вузовском образовании — и почему эти изменения во благо. Ссылки на упомянутые в выпуске материалы: в Википедии про образование и уход из неё Максима Спиридонова с выступлениями Кузьминова и Ларьяновского

-=Выпуск 57=- Новогодний трёп, чтоб ненапряжно послушать на каникулах и самостоятельно вокруг пофантазировать; я комментирую в нем список 20 вещей, которые могут исчезнуть через 20 лет. Список взят , и я там не со всеми пунктами согласен.

-=Выпуск 56=- Сначала немного про точность попадания моего прошлогоднего прогноза, а потом — 10 направлений развития технологий, за которыми мне будет интересно наблюдать в 2021: где я ожидаю бурной и интересной жизни (а не собираюсь что-то конкретное предсказывать). Ссылки в тему: выпуск подкаста из предыдущей ссылки Мои , и почему другого просто нет

-=Выпуск 55=- Русина Лекух рассказывает о своей работе в Яндекс.Практикуме и о себе: невидимые снаружи стороны реферального маркетинга, управление репутацией не по учебникам, жизнь в образовательном стартапе. Ссылки по теме и про упоминавшееся в разговоре: Образовательная конференция Яндекса Конференция

-=Выпуск 54=- Рассказы про Тасманию, карантин и находки последних месяцев. И еще мы просто треплемся за жизнь :) Ссылки на объекты, упомянутые в нашем трёпе: Город Хобарт: Блог Ани: Канал Ани в телеграме: Блог Юры (очень технический): Приложение mmhmm для всех: (Доступ по бете.) Новость про Zoom-звонки в Red Dead Redemption: Приложение, в котором можно таскать юзерпики чтобы кучковаться с людьми: Музей MONA: Фестиваль Dark MOFO: Проект Наташи Алфутовой и Ярослава Кравцова по мероприятиям в виртуальной реальности

💪🏻 Новый эпизод, осознанный. В этом выпуске к нам пришел Артур Кузин — руководитель платформы компьютерного зрения в SberDevices.

Мы не стали обсуждать Kaggle и соревнования 😄

«это нах*й никому не нужно»

...как сказал один великий мудрец.

Да, выпуск вышел 🔞, осторожно нагота, запрещенные вещества (нет)

Обсудили: Медитация и випассана 🧘🏻

Как стать эмпатичным котиком 🐈

Нерабочий work-life баланс ⛵

Как может помочь вера в бога (в качалке 🥇 и не только)

Важность страха смерти ⚰️ И это далеко не все! И вопросы от GPT-3 точно были (на этот раз один).

Страница выпуска: https://parrotcast.link/2 Подписывайтесь на наш канал в Telegram: https://t.me/parrotcast,

Заходите к нам в чатик: https://t.me/pa…

🎙 Пилотный выпуск нашего подкаста! В гостях у нас Евгений Кашин – ML-инженер из Snap Inc. С Женей мы успели обсудить кучу вещей: Из Воронежа в Лондон 🇬🇧 Snapchat и маски 😷 Будущие прорывы в DS и AR 🚀 Вопросы от русской GPT-3 🤖 ... и многое другое 😉 Домашнее задание: отгадать, какие именно вопросы были сгенерированы нейросетью 🦾😄 Страница выпуска: https://parrotcast.link/1 Подписывайтесь на наш канал в Telegram: https://t.me/parrotcast, Заходите к нам в чатик: https://t.me/parrotcastchat,

Ставьте лайки мемам в Твиттере: https://twitter.com/parrotcast,

Оставляйте комментарии и пишите ваши отзывы! Уже совсем скоро увидимся в следующем выпуске! Music: Burn by Tony & Paul (tonyandpaul.net)

The terms “unit test” and “integration test” have always been rather murky, even by the slippery standards of most software terminology.

We asked him how he would define unit test, and his reply was something like “in the first morning of my training course I cover 24 different definitions of unit test”.

From the early days of XP-inspired unit testing there were those who disliked the term “unit test” and proposed using names like “microtest” or “programmer test” instead.

From this I infer that their definition of “unit test” is specifically what I would call a solitary unit test.

This semantic picture is made even muddier by the definition of Integration Test, which makes “unit test” look …

When well executed, a platform strategy promises to reduce costs and allow product development teams to focus on innovation.

Product thinking You must never forget that you are building products designed to delight their customers - your product development teams.

Operational excellence When you adopt an internal platform, you ask your product development teams for a great deal of trust.

Software engineering excellence A platform organisation is not just an operations department, so it needs more than operational capabilities.

Secondly, when your platform organisation is dependent on product teams’ appreciation of the platform’s benefits, it puts a strong pressure on your platform organisat…

Bitemporal history treats time as two dimensions: actual history records what history should be given perfect transmission of information, while record history captures how our knowledge of history changes.

Using Bitemporality Bitemporal history is a useful way of framing history when we have to deal with retroactive changes.

If we are merely recording a history, then we don't have to worry about it changing retroactively - we essentially ignore record history and only record actual history.

By layering an append-only record history over the actual history, we allow the actual history to be modified while creating a reliable history of its modifications.

Putting many perspective dimensions …

When people think of code reviews, they usually think in terms of an explicit step in a development team's workflow.

These days the Pre-Integration Review, carried out on a Pull Request is the most common mechanism for a code review, to the point that many people witlessly consider that not using pull requests removes all opportunities for doing code review.

After all, many problems that code reviews seek to remedy are problems that only become problems when the code is read in the future.

What if the only code review mechanism we have is the iteration from later programmers?

One concern is that code that's never read will never get reviewed - but mostly that's fine.

Pull Requests are a mechanism popularized by github, used to help facilitate merging of work, particularly in the context of open-source projects.

In terms of these patterns, pull requests are a mechanism designed to implement a combination of Feature Branching and Pre-Integration Reviews.

Some teams work better with pull requests, some teams would find pull requests a severe drag on the effectiveness.

The wide usage of pull requests has encouraged a wider use of code review, since pull requests provide a clear point for Pre-Integration Review, together with tooling that encourages it.

Pre-integration code review is just one way to do code reviews, and for many teams it isn't the best choic…

With idempotent receiver, even with multiple client retries, the server processes the request only once.

Idempotent and Non-Idempotent requests It is important to note that some of the requests are by nature idempotent.

With idempotent receiver, the client will send the lease request with the same request number.

class ConsistentCoreClient…int nextRequestNumber = 1; public void registerLease(String name, long ttl) { RegisterLeaseRequest registerLeaseRequest = new RegisterLeaseRequest(clientId, nextRequestNumber, name, ttl); nextRequestNumber++; //increment request number for next request.

Expiring the saved client requests The requests stored per client cannot be stored forever.

In this article, the first of a series, I introduce a framework for maximizing developer effectiveness.

I have found there is a stark contrast of approach between companies that have high and low developer effectiveness.

Case Study: Spotify Spotify conducted user research among their engineers to better understand developer effectiveness.

Organizational Effectiveness Highly effective organizations have designed their engineering organization to optimize for effectiveness and feedback loops.

Its leaders have worked to embed developer effectiveness into their culture, with the belief that moving quickly is both a technical and a business strategy.

The client accepts the key and the function to be invoked when it gets watch events from the server.

So all the methods accessing watch state needs to be protected by locks.

Pull based design in Kafka In a typical design for watches, the server pushes watch events to clients.

Deriving events from the key value store The events can be generated looking at the current state of the key value store, if it also numbers every change that happens and stores that number with each value.

Some events can be missed, before the watch is set again, so clients need to ensure they read the latest state, so that they don't miss any updates.

expireLease(leaseId); //submit a request so that followers know about expired leases submitExpireLeaseRequest(leaseId); }); } private Stream expiredLeases() { long now = System.nanoTime(); Map leases = kvStore.getLeases(); return leases.keySet().stream() .filter(leaseId -> { Lease lease = leases.get(leaseId); return lease.getExpiresAt() < now; }); }Followers start a no-op lease tracker.

class ReplicatedKVStore…public void onCandidateOrFollower() { if (leaseTracker != null) { leaseTracker.stop(); } leaseTracker = new FollowerLeaseTracker(this, leases); }The lease is represented simply as following:public class Lease implements Logging { String name; long ttl; //Time at which this lease expir…

The Capitol insurrection is another consequence of his lies - in this case his baseless attacks on the election results in 2020.

Muslim Americans have had to live in fear and have their movement curtailed because of the lies he tells about their disloyalty.

In general, I'm a strong defender of free speech - but while we must have free speech we must not be free of the consequences of that speech.

We learned then that letting media run free can let lies run ahead of reality.

We have seen how lies can undermine democracy, helping to polarize people into groups defined by simplistic identities.

In this article, the first of a series, I introduce a framework for maximizing developer effectiveness.

I have found there is a stark contrast of approach between companies that have high and low developer effectiveness.

Case Study: Spotify Spotify conducted user research among their engineers to better understand developer effectiveness.

Organizational Effectiveness Highly effective organizations have designed their engineering organization to optimize for effectiveness and feedback loops.

Its leaders have worked to embed developer effectiveness into their culture, with the belief that moving quickly is both a technical and a business strategy.

Patterns , a concept introduced by Christopher Alexander, is widely accepted in the software community to document design constructs which are used to build software systems.

Looking at distributed systems as a series of patterns is a useful way to gain insights into their implementation.

If we see the sample list of frameworks and platforms used in typical enterprise architecture today, it will look something like following:What follows is a first set of patterns observed in mainstream open source distributed systems.

Patterns technique also allows us to link various patterns together to build a complete system.

For the last several months, I have been conducting workshops on distributed s…

In this article, the first of a series, I introduce a framework for maximizing developer effectiveness.

I have found there is a stark contrast of approach between companies that have high and low developer effectiveness.

Case Study: Spotify Spotify conducted user research among their engineers to better understand developer effectiveness.

Organizational Effectiveness Highly effective organizations have designed their engineering organization to optimize for effectiveness and feedback loops.

Its leaders have worked to embed developer effectiveness into their culture, with the belief that moving quickly is both a technical and a business strategy.

I talk about "albums" because I'm still stuck in the mold of buying albums.

Given that was three decades ago, I've amassed a lot of music, and still find this way of exploring the musical world to suit me.

Bridges by Adam Baldych & Helge Lien Trio sample track: Mosaic The common take for jazz violin is the gypsy sound from Stefan Grapelli.

Holy Room by Somi sample track: Like Dakar Somi is an American singer-songwriter, who I've heard described as a melding of Sade and Fela Kuti.

I've long liked Laurie Anderson's music and this could be my favorite album of hers.

Найти группы похожих объектов с помощью SQLБывает, есть множество объектов с разными свойствами, и хочется идентифицировать группы похожих:объединить людей с одинаковым ФИО и адресами-телефонами в клиентской базе;сегментировать покупателей магазина по товарам, которые они приобрели;определить персоны в зависимости от сценариев, по которым люди взаимодействуют с сервисом.

Объединяем пары в группыПары есть, можно объединить их в группы.

with recursive -- Уникальные пары пользователей с одинаковыми свойствами.

-- Общий принцип: для каждой пары пользователей с одинаковыми свойствами -- выбираем все пары, которые пересекаются с ними.

Объединить пары в группы.

С помощью notifiers.

Оптимизируйте T, следите за R.

В стандартной библиотеке есть класс Counter. Он отлично подходит, чтобы считать количество объектов разных типов. Но что делать, если объектов миллиарды, и счетчик просто не помещается в оперативную память?

Поможет bounter — это счетчик, который предоставляет схожий интерфейс, но внутри построен на вероятностных структурах данных. За счет этого он занимает в

С помощью множества (set).

В стандартной библотеке есть встроенный планировщик задач (а чего вообще в ней нет?). Подробно расскажу в другой раз, но в целом он, скажем так, не слишком юзер-френдли.

Поэтому Дэн Бэйдер сделал schedule — «планировщик для людей». Смотрите, какой милый:

import schedule

import time def job(): print("I'm working...") schedule.

С помощью functool.partial()

Это #пакетик — еженедельная рубрика о полезных и интересных пакетах на Python.

Мой сегодняшний выбор — пакет Сета Мортона natsort, который сортирует строки привычным для человека образом.

Допустим, у нас есть список важных гостей. Он в легком беспорядке:

data = [ "4 - Дуглас", "2 - Клер", "11 -

Оконные функции: скользящие агрегатыЭто пятая, заключительная статья из серии Оконные функции в картинках.

Скользящие агрегаты — это те же сумма и среднее.

Скользящее среднее по расходамСудя по данным, доходы у Марины растут: 94К ₽ в январе → 104К ₽ в сентябре.

Функции агрегацииСкользящие агрегаты используют те же самые функции, что и агрегаты обычные:min() и max()и count() , avg() и sum()Разница только в наличии фрейма у скользящих агрегатов.

Скользящие агрегаты (сумма и среднее в динамике).

Второй язык для питонистаЕсли вы давно и хорошо знаете питон, некоторые моменты в нем могут напрягать.

Динамический язык с тяжелым наследием, который в свежих версиях решили превратить в Java образца 2005 года.

Старый язык, в который запихнули все что только можно.

Язык, в котором простота возведена в абсолют — всё есть данные.

Лично я выбрал Go, потому что устал от фичастых языков и наслоений абстракций.

RIP веб 2010–2020.

Оконные функции: агрегацияЭто четвертая статья из серии Оконные функции в картинках.

Например, среднюю зарплату по каждому региону или количество золотых медалей у каждой страны в зачете Олимпийских игр.

Сравнение с фондом оплаты трудаУ каждого департамента есть фонд оплаты труда — денежная сумма, которая ежемесячно уходит на выплату зарплат сотрудникам.

window w as ( partition by department )Для расчета fund подойдет обычная функция sum() — ее можно использовать поверх окна.

Поэтому в нашем запросе fund отражает не сумму всех зарплат по департаменту, а сумму только по самарским сотрудникам.

Конкретные примеры вызова линуксовых утилит вместо портянки с документацией.

Оконные функции: смещениеЭто третья статья из серии Оконные функции в картинках.

Например, сравниваем страны, которые занимают 5 и 6 место в мировом рейтинге ВВП — сильно ли отличаются?

Самые крупные — между Дарьей и Борисом (10%) и Мариной и Иваном (13%).

Так что оконную функцию можно вызывать прямо внутри вычислений, и вы не раз встретите такие запросы в документации и примерах.

Мы ожидаем, что first_value() вернет первую запись it-секции ( salary = 84 ), а last_value() — последнюю ( salary = 120 ):Вместо этого last_value() возвращает salary = 104 :Ожидание РеальностьДело в том, что функции first_value() и last_value() работают не просто с секцией окна.

Для презентаций, отчетов и дашбордов.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

It’s the first Fri-yay of June, which means it’s time for another Demo Day!

Taylor kicked off Demo Day by recapping our launch of MeltanoHub for Singer on Monday.

Next we had community member Pablo Seibelt share how he used the Meltano Tap SDK to build a tap for Decentraland to pull data from thegraph.com.

Overall, this was a fantastic Demo Day and we’re very appreciative of community members who take the time to share their work.

Our next Meltano Demo Day is on Friday, June 18 and we have our next office hours session on Wednesday, June 9.

In case you missed it, we covered three big topics this week in office hours: Meltano Hub launch (which we’ll demo officially in Friday’s Demo Day), the new Stream Maps capability we are adding to the Singer SDK and Singer ecosystem, and our work on a native Athena target for Meltano and dbt.

Click through to YouTube description for topics and timestamps.

New Stream Maps FeatureThe bulk of time this week was dedicated to discussing the new draft spec for our Stream Maps capability.

This new capability adds a variety of new inline stream transformation capabilities, including: data encryption, PII obfuscation, stream aliasing, stream bifurcation, stream filtering, and more.

This is an extrem…

MeltanoHub, or the Hub for short, is the best place to discover Singer Taps and Targets and all plugins supported out-of-the-box by Meltano.

There are over 200 taps and targets on MeltanoHub, making it the most comprehensive catalog of open source data connectors anywhere.

And now we’ve built MeltanoHub to solve one of the last challenges facing the Singer ecosystem: discoverability.

We believe the launch of MeltanoHub for Singer makes these great parts of the Singer ecosystem evident while simultaneously elevating the ecosystem to the next level of usefulness.

The Future of Singer is BrightThe Meltano team will continue to lift up the Singer ecosystem through MeltanoHub, the SDK for Taps a…

Today, we are excited to release Meltano version 1.75.0, which:allows meltano commands to be used from a subdirectory of a project ( thanks Charles Julian Knight !)

To upgrade Meltano and your Meltano project to the latest version, navigate to your project directory, activate the appropriate virtual environment, and run meltano upgrade .

This will upgrade the meltano package and apply any necessary changes to your project.

This post describes updates since the v1.74.0 release on May 11.

For a full history of recent updates, please see the Meltano changelog.

Another Friday, another fantastic Demo Day!

We’ll continue to dogfood the tool and keep this as a representative method of structuring and organizing a Meltano project.

Next we had Daigo Tanaka from ANELEN talk about his consulting company and Handoff, the open source tool that he wrote for his clients.

This was a great Demo Day and we’re really appreciative of community members who take the time to share their work.

Our next Meltano Demo Day is on Friday, June 4 and we have our next office hours session on Wednesday, May 26.

Today we are excited to announce the latest version of Singer SDK for taps!

In this release, we are adding the ability to create Parent-Child stream relationships, which was the most-requested feature by developers using the SDK.

Where previously, tap developers needed to create complex nested loops and error checking, this new SDK feature quickly and easily define relationships between parent and child streams.

The SDK automatically takes care of orchestration, error handling, and state tracking.

(#39, !89)Come see the SDK in actionTomorrow in our fortnightly Demo Day, we’ll be demoing an end-to-end Meltano implementation which utilizes the new Parent-Child streams capability.

I am excited to announce the latest version of the Singer SDK.

With this release we’ve focused on bug fixes and stability improvements that will continue to make the tap development process better than ever.

(!86)If you’ve already built a tap with the SDK, simply run poetry update singer-sdk to import the latest SDK version for your tap.

Two big features now in previewWhile this release focused on stability improvements, we’ve also been simultaneous building out the two most requested features: our Target SDK and Parent-Child Streams and we have an early preview now available for both.

If you would like to take either of these for a spin, please check out the preview of the Target SDK here …

Last week, it was once again our turn to host a GitLab Group Conversation (a publicly live streamed Q&A on the GitLab Unfiltered YouTube channel) on Meltano!

We used the opportunity to share a recap of:If you’re curious, check out the presentation on Google Slides and the Q&A on YouTube.

The presentation content is also reproduced below, as is an embedded video of the Q&A!

Group Conversation Presentation4 releases since the last GC (2021-03-15)V1.72.0 – Added support for shortcut commands to invoke, Added support for sqlfluff utility for linting SQL transforms, Added mashey variant of tap-slack, Added documentation for using a custom Python Package Index (PyPi), Added transferwise variant o…

Today, we are excited to release Meltano version 1.74.0, which:adds support for a new meltano remove command, allowing users to easily and cleanly remove plugins when they are no longer needed (thanks Reuben Frankel!)

To upgrade Meltano and your Meltano project to the latest version, navigate to your project directory, activate the appropriate virtual environment, and run meltano upgrade .

This will upgrade the meltano package and apply any necessary changes to your project.

This post describes updates since the v1.73.0 release on April 29.

For a full history of recent updates, please see the Meltano changelog.