How Intelligent Automation Platform supports conversational AI and agent-automation to improve the Airbnb customer experienceBy Zhiheng Xu, Alex Zhou, Jeremy Wang, Zecheng Xu, Ziyi Wang, Jiayu Lou, Liuming Zhang, Gary Pan, Jeffrey Zhao, Yisong Wang, Priyank Singhal, Claire Xiong, Wayne Zhang, Ben Ma, Hao Wang, Carter Appleton, Anthony CliftonWith the rapid development of Machine Learning and Natural Language Processing technologies, conversational AI has attracted huge attention in recent years. More and more conversational AI applications such as virtual assistants, smart speakers, and customer support chatbots have been developed to help people in their daily lives.At Airbnb, we have deve…

Part 4 of our series on Airbnb’s Page Performance Score.Luping LinAirbnb’s home grown Page Performance Score (PPS) is designed to capture the rich, complex realities of performance by collecting a multitude of user-centric performance metrics and formulating them into one single 0-100 score. In this post we will deep dive into how we define and implement these metrics on Android. Make sure you read the overview blog post first to familiarize yourself with our PPS metrics and formula.InstrumentationUniversal Page Tracking SystemThe entire customer journey on Airbnb is divided into different pages, each of which has its own measured PPS. In order to support this page-based performance trackin…

Part three of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at AirbnbElizabeth Nammour, Pinyao Guo, Jamie Chong, Wendy JinIntroductionIn Part 1 and Part 2 of our blog series, we gave an overview of the Data Protection Platform (DPP). We focused on how we built a global understanding of Airbnb’s data and its associated security and privacy risks. In this blog post, we will describe how we use this understanding to provide powerful and automated security and privacy engineering capabilities and empower data governance. In order to reduce risk across the entire Airbnb organization, we sought to address the following concerns:Acc…

This is a continuation of our series on Airbnb’s Page Performance Score, a score that measures multiple performance metrics from real users on any platform. Series: Part 1 and Part 2.Nicholas MillerAt Airbnb, we created the Page Performance Score to provide our engineers and data scientists a multitude of user-centric performance metrics to better understand and improve our products. In this post, we will dive deeper into how we define these metrics and instrument them on iOS.Page SystemThe entire customer journey on Airbnb is divided into different pages, each of which has its own measured Page Performance Score (PPS). In order to support this page-based performance tracking system, we bui…

A deep dive into Airbnb’s collaborative hosting infrastructureBy: Angeline RaoIntroductionAirbnb’s mission is to empower Hosts to deliver one-of-a-kind stays that make it possible for guests to experience the world in a more authentic and connected way. Sometimes hosting is handled by one person, but in many cases hosting is a group effort. Hosts often share their responsibilities with another trusted person, such as a family member or a neighbor. These trusted partners are Co-Hosts on the Airbnb platform who are granted access to the Host’s listing, reservations, and messaging with guests.Co-Hosting is just one form of Host collaboration. As hosting has become mainstream, the scale of host…

Learn what web performance metrics Airbnb tracks, how we measure them, and how we consider tradeoffs between them in practice.Josh NelsonHow long did it take for this web page to load? It’s a common question industrywide, but is it the right one? Recently, there has been a shift from using single seconds-based metrics like “page load”, to metrics that paint a more holistic picture of performance, representing the experience from a website user’s perspective. At Airbnb, measuring the web performance that our guests and hosts actually experience is critical. Previously, we described how Airbnb created a Page Performance Score to combine multiple metrics from real users into a single score. In…

Learn how Airbnb built the Page Performance Score, a 0–100 score that measures multiple performance metrics from real users on any platform.Andrew ScheuermannPerformance is important at Airbnb and part of our Commitment to Craft. A fast experience is good for business and critical to our mission to “create a world where anyone can belong anywhere”.Before we can create a fast experience we need to agree on what “fast” measures. Web, iOS, and Android each have different platform-specific performance metrics. For product engineers it can be challenging to understand which of these metrics to prioritize, and for management it’s difficult to compare platforms and keep progress reports succinct.W…

My Journey to Airbnb — Elizabeth PonceForging a path to a technical role at AirbnbElizabeth PonceMany Airbnbers know Elizabeth for her role as a community builder and leader — the co-lead for the Global Co-Lead for the Genders Marginalized in Tech (GemTech) resource group at Airbnb, and the host of amazing events like our company-wide Dog President Election. What people might not know is that Elizabeth has been on an incredible journey since joining Airbnb in 2017. She started as a customer support specialist, spent years developing a deep technical skillset, and is now a systems engineer on the BizTech team.Elizabeth discovered software engineering relatively later in her career. Her first…

Ottr is a serverless Public Key Infrastructure framework that handles end-to-end certificate rotations without the use of an agent. The purpose of the blog is to provide an overview on Ottr with sample reference architecture, logical and network flows, and highlight the benefits of the solution. For installation instructions, skip to the Open Source section of the article.Kenneth YangIntroductionManaging certificates for Public Key Infrastructure (PKI) is a difficult problem to solve at scale for any organization. While there are a number of agent-based solutions to automate certificate rotations for Linux and Windows distributions, the process to broker certificates for network infrastruct…

Part two of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at AirbnbElizabeth Nammour, Pinyao Guo, Wendy JinIntroductionIn Part 1 of our blog series, we introduced the Data Protection Platform (DPP), which enables us to protect data in compliance with global regulations and security requirements. We stressed that understanding our data, by keeping track of where personal and sensitive data is stored in our ecosystem, is a necessary building block to protecting the data. In this blog post, we will discuss the challenges companies often face when trying to pinpoint the exact location of personal and sensitive data. As a stopgap,…

Learn more about how to migrate your Kafka cluster from one Zookeeper cluster to another without any user impact.By: Edmund MokIntroductionKafka is an open-source distributed event-streaming platform. It depends on Zookeeper, another open-source distributed coordination system, to store cluster metadata. At Airbnb, Kafka forms the backbone of our data infrastructure, powering use cases such as event logging and change data capture that help us better understand our guests and hosts, and make decisions that improve our product.We run several production Kafka clusters, the largest of which being our oldest cluster consisting of hundreds of brokers and supporting over 1GB/s of incoming traffic…

How innovation in technology and people processes have enabled iOS developers to remain productive in a large codebase.Every iOS engineer remembers the joy of seeing their first application running on an iOS device. The human-centric interface of the iPhone brings the program to life. When you choose iOS development as a career, that joy grows as your application touches more people’s lives.Affecting more users often involves new iOS features, flows, and functionality. But as an application grows to serve more users, new features and functionality can introduce additional weight and complexity, which slows product iteration and precludes atomic refactors.We have undergone this journey as an…

Leveraging technical learning and development to enable engineers to do their best work.Authors: Hanna Dooley, Jennifer Rice, Tamera ScholzIntroductionThe Airbnb TechED team believes each individual’s success is critical to the health of our technical teams. This fundamental belief in the power of human potential drives us to bring high quality, relevant educational content to our technical teams to meet both their needs and the needs of Airbnb. We work with our technical leaders and subject matter experts (SMEs) to build and deliver unique, interactive, multimodal learning experiences at scale.We have three principles for approaching technical learning:Embrace the adventureShare what you k…

Consolidating long-running, lightweight tasks for improved resource utilizationBy: Yingbo Wang, Kevin YangIntroductionAirflow is a platform to programmatically author, schedule, and monitor data pipelines. A typical Airflow cluster supports thousands of workflows, called DAGs (directed acyclic graphs), and there could be tens of thousands of concurrently running tasks at peak hours. Back in 2018, Airbnb’s Airflow cluster had several thousand DAGs and more than 30 thousand tasks running at the same time. This amount of workload would often result in Airflow’s database being overloaded. It also made the cluster quite expensive since it required a lot of resources to support those concurrent t…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Colin McFarland, Mihir Tendulkar, and Travis BrooksThis is the last post in an overview series on experimentation at Netflix. Need to catch up? Earlier posts covered the basics of A/B tests (Part 1 and Part 2 ), core statistical concepts (Part 3 and Part 4), how to build confidence in a decision (Part 5), and the the role of Experimentation and A/B testing within the larger Data Science and Engineering organization at Netflix (Part 6).Earlier posts in this series covered the why, what and how of A/B testing, all of which are necessary to reap the benefits of experimentation for product development. But without a little magic,…

Angus CrollNetflix is used by 222 million members and runs on over 1700 device types ranging from state-of-the-art smart TVs to low-cost mobile devices.At Netflix we’re proud of our reliability and we want to keep it that way. To that end, it’s important that we prevent significant performance regressions from reaching the production app. Sluggish scrolling or late rendering is frustrating and triggers accidental navigations. Choppy playback makes watching a show less enjoyable. Any performance regression that makes it into a product release will degrade user experience, so the challenge is to detect and fix such regressions before they ship.This post describes how the Netflix TVUI team imp…

By Vikram Srivastava and Marcelo MaywormNetflix has one of the most complex data platforms in the cloud on which our data scientists and engineers run batch and streaming workloads. As our subscribers grow worldwide and Netflix enters the world of gaming, the number of batch workflows and real-time data pipelines increases rapidly. The data platform is built on top of several distributed systems, and due to the inherent nature of these systems, it is inevitable that these workloads run into failures periodically. Troubleshooting these problems is not a trivial task and requires collecting logs and metrics from several different systems and analyzing them to identify the root cause. At our s…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Colin McFarland, Andy Rhines, Sophia Liu, Mihir Tendulkar, Kevin Mercurio, Veronica Hannan, Ting-Po LeeEarlier posts in this series covered the basics of A/B tests (Part 1 and Part 2 ), core statistical concepts (Part 3 and Part 4), and how to build confidence in decisions based on A/B test results (Part 5). Here we describe the role of Experimentation and A/B testing within the larger Data Science and Engineering organization at Netflix, including how our platform investments support running tests at scale while enabling innovation. The subsequent and final post in this series will discuss the importance of the culture of ex…

Project by Netflix’s Cloud Infrastructure Security team (Alex Bainbridge, Mike Grima, Nick Siow)Cloud security is a hard problem, but an even harder one is cloud security at scale. In recent years we’ve seen several cloud focused data breaches and evidence shows that threat actors are becoming more advanced with their techniques, goals, and tooling. With 2021 set to be a new high for the number of data breaches, it was plainly evident that we needed to evolve how we approach our cloud infrastructure security strategy.In 2020, we decided to reinvent how we handle cloud security findings by redefining how we write and respond to cloud detections. We knew that given our scale, we needed to rel…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Michael Lindon, and Colin McFarlandThis is the fifth post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix), Part 2 (What is an A/B Test?), Part 3 (False positives and statistical significance), and Part 4 (False negatives and power). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of developing a culture of experimentation within an organization.In Parts 3 (False p…

by Liwei Guo, Ashwin Kumar Gopi Valliammal, Raymond Tam, Chris Pham, Agata Opalach, Weibo NiAV1 is the first high-efficiency video codec format with a royalty-free license from Alliance of Open Media (AOMedia), made possible by wide-ranging industry commitment of expertise and resources. Netflix is proud to be a founding member of AOMedia and a key contributor to the development of AV1. The specification of AV1 was published in 2018. Since then, we have been working hard to bring AV1 streaming to Netflix members.In February 2020, Netflix started streaming AV1 to the Android mobile app. The Android launch leveraged the open-source software decoder dav1d built by the VideoLAN, VLC, and FFmpeg…

by Christos G. Bampis, Chao Chen, Anush K. Moorthy and Zhi LiIntroductionMeasuring video quality at scale is an essential component of the Netflix streaming pipeline. Perceptual quality measurements are used to drive video encoding optimizations, perform video codec comparisons, carry out A/B testing and optimize streaming QoE decisions to mention a few. In particular, the VMAF metric lies at the core of improving the Netflix member’s streaming video quality. It has become a de facto standard for perceptual quality measurements within Netflix and, thanks to its open-source nature, throughout the video industry.As VMAF evolves and is integrated with more encoding and streaming workflows with…

Data Engineers of Netflix — Interview with Pallavi PhadnisThis post is part of our “Data Engineers of Netflix” series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Pallavi Phadnis is a Senior Software Engineer at Netflix.Pallavi Phadnis is a Senior Software Engineer on the Product Data Science and Engineering team. In this post, Pallavi talks about her journey to Netflix and the challenges that keep the work interesting.Pallavi received her master’s degree from Carnegie Mellon. Before joining Netflix, she worked in the advertising and e-commerce industries as a backend software engineer. In her free time, she enjoys watching Netflix and traveling…

Open-Sourcing a Monitoring GUI for Metaflow, Netflix’s ML Platformtl;dr Today, we are open-sourcing a long-awaited GUI for Metaflow. The Metaflow GUI allows data scientists to monitor their workflows in real-time, track experiments, and see detailed logs and results for every executed task. The GUI can be extended with plugins, allowing the community to build integrations to other systems, custom visualizations, and embed upcoming features of Metaflow directly into its views.https://medium.com/media/9389f8a3d6aaab2925a26771476c3dc8/hrefMetaflow is a full-stack framework for data science that we started developing at Netflix over four years ago and which we open-sourced in 2019. It allows da…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the fourth post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix), Part 2 (What is an A/B Test?), Part 3 (False positives and statistical significance). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.In Part 3: False positives and statistical significance, we defined the two types of mistak…

By Ian HakenLast year the AddTrust root certificate expired and lots of clients had a bad time. Some Roku devices weren’t working right, Heroku had problems, and some folks couldn’t even curl. In the aftermath Ryan Sleevi wrote a really great blog post not just about the issue of this one certificate’s expiry, but the problem that so many TLS implementations have in general with certificate path building. If you haven’t read that blog post, you should. This post is probably going to make a lot more sense if you’ve read that one first, so go ahead and read it now.To recap that previous AddTrust root certificate expiry, there was a certificate graph that looked like this:The AddTrust certific…

by Joel Sole, Mariana Afonso, Lukas Krasula, Zhi Li, and Pulkit TandonIntroducing the banding artifacts detector developed by Netflix aiming at further improving the delivered video qualityBanding artifacts can be pretty annoying. But, first of all, you may wonder, what is a banding artifact?Banding artifact?You are at home enjoying a show on your brand-new TV. Great content delivered at excellent quality. But then, you notice some bands in an otherwise beautiful sunset scene. What was that? A sci-fi plot twist? Some device glitch? More likely, banding artifacts, which appear as false staircase edges in what should be smoothly varying image areas.Bands can show up in the sky in that sunset …

By Minal MishraQuality of a client application is of paramount importance to global digital products, as it is the primary way customers interact with a brand. At Netflix, we have significant investments in ensuring new versions of our applications are well tested. However, Netflix is available for streaming on thousands of types of devices and it is powered by hundreds of micro-services which are deployed independently, making it extremely challenging to comprehensively test internally. Hence, it became important to supplement our release decisions with strong evidence received from the field during the update process.Our team was formed to mine health signals from the field to quickly eva…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the third post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix) and Part 2 (What is an A/B Test?). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.In Part 2: What is an A/B Test we talked about testing the Top 10 lists on Netflix, and how the primary decision metric for this test was a meas…

Shayda Rahgozar | Reclutamiento; Nishant Roy | Ingeniería de Software; e Indy Prentice | Ingeniería de SoftwareThis article was originally published in English. Read the English version here.Las entrevistas técnicas son el componente clave para conseguir un puesto en el equipo de ingeniería. Todo, desde la preparación hasta la formulación de preguntas adecuadas, es importante para que la entrevista sea un éxito. En este artículo, el equipo de Pinterest de Reclutamiento e Ingeniería comparten consejos y trucos para tener una entrevista exitosa de principio a fin.Cómo prepararte para la entrevistaShayda Rahgozar, ReclutamientoPractica: Durante la entrevista, no debería ser la primera vez que …

Justin Mejorada-Pier | Ingeniero de software, jefe de tecnología de la plataforma de análisisThis article was originally published in English. Read the English version here.En general, se tiene la impresión de que las entrevistas son una experiencia poco agradable pero necesaria. Los/las candidatos/as sienten que son estresantes y muchos acuden a ellas luego de haber tenido malas experiencias en el pasado. Sin embargo, las entrevistas son la mejor oportunidad que tienen las empresas para articular y demostrar sus valores, cultura y enfoque empresarial. Es contraproducente que la primera interacción de un/a candidato/a con la empresa sea una experiencia incómoda, causar estrés con preguntas …

Author: Kangnan Li | Software Engineer, Key Value SystemsUnblock deadlock for PininfoServiceThis is part 1 of a two-part blog series.Reading both parts of this series will give you insight into some debugging techniques we are using in the Pinterest Engineering Key Value Systems team (a team derived from the previous Serving System). Related projects owned by this team can be seen in blogs and presentations on Terrapin, Rocksplicator (1 and 2), Aperture and Realpin.In this series, we divide the contents as below:Part 1How to set up a test/canary environmentHow to design tests with control variablesHow to design tests for root/leaf (ie. routing/persistence layer) separationPart 2How to gener…

Cómo fomenta Pinterest un ecosistema sano de comentarios gracias al aprendizaje automáticoYuanfang Song | ingeniero de aprendizaje automático para la confianza y la seguridad; Qinglong Zeng | director de ingeniería de señales de calidad de contenido; Vishwakarma Singh | jefe de aprendizaje automático para la confianza y la seguridadThis article was originally published in English. Read the English version here.A medida que Pinterest sigue evolucionando para pasar de ser un lugar donde solo se guardan ideas a una plataforma para descubrir contenido que inspira a la acción, aumenta el contenido nativo de los creadores que publican directamente en esta plataforma. Con el crecimiento del ecosis…

Maxine Qian | Data Scientist, Experimentation and Metric SciencesIdeas fuel innovation. Innovation drives our product toward our mission of bringing everyone the inspiration to create a life they love. The speed of innovation is determined by how quickly we can get a signal or feedback on the promise of an idea so we can learn whether to pursue or pivot. Online experimentation is often used to evaluate product ideas, but it is costly and time-consuming. Could we predict experiment outcomes without even running an experiment? Could it be done in hours instead of weeks? Could we rapidly pick only the best ideas to run an online experiment? This post will describe how Pinterest uses offline re…

Mansfield Mark | Mobile Test Tools Lead, Metrics Quality and Test ToolsSummaryIn our efforts to shift left (in which testing is performed earlier, or moved left on the project timeline), this blog covers how we began running a large end-to-end UI test suite before every commit to our Android and iOS repositories. This project involved careful coordination of UI testing, test infrastructure, and developer productivity.After shipping, we were able toDecrease investigation and failure resolution timeRaise our test suite’s pass rate from <50% to >90%Enable our UI test platform to support more tests from more teamsCode Change LifecycleLet’s break up the change lifecycle into 4 steps:Code Review:…

Nikil Pancha | ingeniero de software, Andrew Zhai | ingeniero de software, Chuck Rosenberg | jefe del Grupo de Tecnologías Avanzadas y Jure Leskovec científico jefe, Grupo de Tecnologías AvanzadasThis article was originally published in English. Read the English version here.En Pinterest, se muestran miles de millones de ideas todos los días, y el modelado neuronal de las representaciones de datos para contenido, usuarios y consultas de búsqueda es clave en la mejora constante de estas recomendaciones impulsadas por el aprendizaje automático. Las buenas representaciones de datos (muestras de entidades discretas en forma de vectores de números) permiten realizar una generación de candidatos …

In 2021, hundreds of millions of people turned to Pinterest as a positive source of inspiration through experiences powered by Pinterest engineers.In another pandemic year, Pinterest engineers welcomed new teammates across the world including in Mexico City, Toronto and Poland. We banned weight loss ads and introduced the Creator Code for a more positive internet, made Pinterest more inclusive and algorithms less biased with hair pattern search, brought AR to eyeshadow try on, expanded shopping tech around the world, introduced ways for creators to build their businesses, and launched live experiences through Pinterest TV.As we wrap up this year and look forward to 2022, here’s a recap of t…

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Equipo de Analytics en Tiempo RealThis article was originally published in English. Read the English version here.En esta serie de publicaciones, hablaremos sobre Pinterest Analytics como plataforma en Druid y compartiremos algunas lecciones sobre el uso de Druid. Esta es la tercera entrega de la serie, y en ella hablaremos sobre las lecciones que aprendimos acerca de la optimización de Druid para casos de uso en tiempo real.Lecciones sobre la optimización de Druid para casos de uso en tiempo realCuando introdujimos Druid en Pinterest, se usó principalmente para atender consultas de datos ingeridos por lotes…

Monil Mukesh Sanghavi | Software Engineer, Real Time Analytics Team;Rui Zhang | Software Engineer, Real Time Analytics Team;Hao Jiang | Software Engineer, Real Time Analytics Team;Miao Wang | Software Engineer, Real Time Analytics Team;In 2018, we launched Goku, a scalable and high performant time series database system, which served as the storage and query serving engine for short term metrics (less than one day old). In early 2020, we launched GokuL (Goku long term), which extended Goku’s capability by supporting long term metrics data (i.e. data older than a day and upto a year). Both of these completely replaced OpenTSDB. For GokuL, we used 3 clusters of i3.4xlarge ssd backed ec2 insta…

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Equipo de Analytics en Tiempo RealThis article was originally published in English. Read the English version here.En esta serie de entradas, analizaremos Pinterest Analytics como plataforma en Druid y compartiremos algunas lecciones sobre el uso de Druid. Esta es la segunda entrega de la serie, y en ella hablaremos sobre las lecciones que aprendimos acerca de la optimización de Druid para casos de uso por lotes.Lecciones sobre la optimización de Druid para casos de uso por lotesVisibilidad del sistemaDurante el proceso de incorporación de diferentes casos de uso, descubrimos que faltaban muchas métricas crít…

Isabel Tallam | Senior Software Engineer; Jian Wang | Senior Software Engineer; Jiaqi Gu| Senior Software Engineer; Yi Yang | Senior Software Engineer; and Kapil Bajaj | Engineering Manager, Real-timeAnalytics teamLike many companies, Pinterest sees an increase in traffic in the last three months of the year. We need to make sure our systems are ready for this increase in traffic so we don’t run into any unexpected problems. This is especially important as Pinners come to Pinterest at this time for holiday planning and shopping. Therefore, we do a yearly exercise of testing our systems with additional load. During this time, we verify that our systems are able to handle the expected traffic…

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Equipo de Analytics en Tiempo RealThis article was originally published in English. Read the English version here.En esta serie de entradas, analizaremos Pinterest Analytics como plataforma en Druid y compartiremos algunas lecciones sobre el uso de Druid. Esta es la primera entrega de la serie del blog; en ella, se incluye una breve historia sobre el cambio a Druid, la arquitectura del sistema con Druid y algunas lecciones sobre la optimización de los tipos de host para Mmap.Una breve historia sobre el cambio a DruidTradicionalmente, la mayoría de los casos de uso analíticos en Pinterest se realizaban con te…

Yuanfang Song | Machine Learning Engineer, Trust and Safety; Qinglong Zeng | Engineering Manager, Content Quality Signals; and Vishwakarma Singh | Machine Learning Lead, Trust and SafetyAs Pinterest continues to evolve from a place to just save ideas to a platform for discovering content that inspires action, there’s been an increase in native content from creators publishing directly to Pinterest. With the creator ecosystem on Pinterest growing, we’re committed to ensuring Pinterest remains a positive and inspiring environment through initiatives like the Creator Code, a content policy that enforces the acceptance of guidelines (such as “be kind” and “check facts”) before creators can publ…

Kelvin Jiang |Software Engineer; Keshava Subramanya | Engineering Manager; Yeming Shi | Software Engineer, Ads IntelligenceIntroductionPinterest is a visual discovery engine that helps Pinners find inspirational ideas. Advertisers use Pinterest to connect with Pinners on these journeys to inspiration, and seek to promote products or services efficiently.The Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched the Campaign Budget Optimization product for Pinterest Ads.Campaign Budget Optimization, or CBO, is an automated ads product that benefits advertisers by dis…

Training AI models at a large scale isn’t easy. Aside from the need for large amounts of computing power and resources, there is also considerable engineering complexity behind training very large models. At Facebook AI Research (FAIR) Engineering, we have been working on building tools and infrastructure to make training large AI models easier. Our [...]

Read More...

The post Fully Sharded Data Parallel: faster AI training with fewer GPUs appeared first on Facebook Engineering.

We will be hosting a talk about our work on, “A Platform Agnostic Observability System for AI Accelerators” during our virtual Systems @Scale event at 10:20 a.m. PT on Wednesday, June 30, followed by a live Q&A session. Please submit any questions to systemsatscale@fb.com before the event. Accelerators are special-purpose hardware devices optimized for specific [...]

Read More...

The post Asicmon: A platform agnostic observability system for AI accelerators appeared first on Facebook Engineering.

People upload hundreds of millions of videos to Facebook every day. Making sure every video is delivered at the best quality — with the highest resolution and as little buffering as possible — means optimizing not only when and how our video codecs compress and decompress videos for viewing, but also which codecs are used [...]

Read More...

The post How Facebook encodes your videos appeared first on Facebook Engineering.

Introduction

Cadence is a multi-tenant orchestration framework that helps developers at Uber to write fault-tolerant, long-running applications, also known as workflows. It scales horizontally to handle millions of concurrent executions from various customers. It is currently used by hundreds of …

The post Cadence Multi-Tenant Task Processing appeared first on Uber Engineering Blog.

Uber’s backend is an exemplar of microservice architecture. Each microservice is a small, individually deployable program performing a specific business logic (operation). The microservice architecture is a type of distributed computing system, which is suitable for independent deployments and scaling …

The post CRISP: Critical Path Analysis for Microservice Architectures appeared first on Uber Engineering Blog.

Introduction

Each day, Uber moves millions of people around the world and delivers tens of millions of food and grocery orders. This generates a large number of financial transactions that need to be stored with provable completeness, consistency, and compliance. …

The post How Uber Migrated Financial Data from DynamoDB to Docstore appeared first on Uber Engineering Blog.

Background

Apache Kafka® is widely used across Uber’s multiple business lines. Take the example of an Uber ride: When a user opens up the Uber app, demand and supply data are aggregated in Kafka queues to serve fare calculations. …

The post Introducing uGroup: Uber’s Consumer Management Framework appeared first on Uber Engineering Blog.

Scaling our data infrastructure with lower hardware costs while maintaining high performance and service reliability has been no easy feat. To accommodate the exponential growth in both Data Storage and Analytics Compute at Uber, the Data Infrastructure team massively overhauled …

The post Improving HDFS I/O Utilization for Efficiency appeared first on Uber Engineering Blog.

Introduction

The Fulfillment Platform is a foundational Uber domain that enables the rapid scaling of new verticals. The platform handles billions of database transactions each day, ranging from user actions (e.g., a driver starting a trip) and system actions …

The post Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner appeared first on Uber Engineering Blog.

Uber recently launched a new capability: Ads on UberEats. With this new ability came new challenges that needed to be solved at Uber, such as systems for ad auctions, bidding, attribution, reporting, and more. This article focuses on how we …

The post Real-Time Exactly-Once Ad Event Processing with Apache Flink, Kafka, and Pinot appeared first on Uber Engineering Blog.

At Uber, real-time mobile analytics events—generated by button taps, page views, and more—form the backbone of the mobile data workflow process.

To process these events, our Mobile Data Platform Team designed and developed the Fontana library, which converts the nearly-one-million-QPS …

The post YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process appeared first on Uber Engineering Blog.

Problem

Uber deploys a few storage technologies to store business data based on their application model. One such technology is called Schemaless, which enables the modeling of related entries in one single row of multiple columns, as well as …

The post Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System appeared first on Uber Engineering Blog.

Introduction

Uber’s GSS (Global Scaled Solutions) team runs scaled programs for diverse products and businesses, including but not limited to Eats, Rides, and Freight. The team transforms Uber’s ideas into agile, global solutions by designing and implementing scalable solutions. One …

The post Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework appeared first on Uber Engineering Blog.

Uber has one of the largest deployments of Apache Kafka in the world, processing trillions of messages and multiple petabytes of data per day. As Figure 1 shows, today we position Apache Kafka as a cornerstone of our technology stack. …

The post Enabling Seamless Kafka Async Queuing with Consumer Proxy appeared first on Uber Engineering Blog.

Introduction

Data is crucial for our products. Data analytics help us provide a frictionless experience to the people that use our services. It also enables our engineers, product managers, data analysts, and data scientists to make informed decisions. The impact …

The post How Data Shapes the Uber Rider App appeared first on Uber Engineering Blog.

Background

Drivers within the same area may have quite different earnings, depending on the trips they take. For example, consider two hypothetical drivers in downtown San Francisco. Two riders request two rides: one is within downtown San Francisco, and the …

The post Powering the Network Pricing Model with Near Real-Time Features appeared first on Uber Engineering Blog.

Introduction

Our engineers have the responsibility of ensuring a consistent and positive experience for our riders, drivers, eaters, and delivery/restaurant partners.

Ensuring such an experience requires reliable systems: our apps have to work when anyone needs them. A major component …

The post Eats Safety Team On-Call Overview appeared first on Uber Engineering Blog.

At Spotify, data rules all. We log a variety of data, from listening history, to results of A/B testing, to page load times so we can analyze and improve the Spotify service. We instrument and log data across every surface that is running Spotify code through a system called the Event Delivery Infrastructure (EDI). Throughout [...]

TL;DR Remember what life was like before smartphones? Remember manually having to sync your computer’s playlists with your iPod every time you added a few songs? One of Spotify’s core products, our mobile app, was designed specifically to leave all of that busywork in the past, changing how we travel with our music forever. In [...]

What’s the best way to assess your developers’ experience and performance to discover what they need help with? Is it by measuring something arbitrary, like how many lines of code they’ve written or how many commits they’ve made? Nope. How much useful data are you really getting out of those numbers anyway? Instead, it’s more [...]

We’ve just open sourced Pedalboard, Spotify’s framework for adding effects to audio in Python. Pedalboard makes it easy to use studio-quality audio effects in your code, rather than just in your digital audio workstation (DAW). If you ask any music or podcast producer where they spend most of their time, chances are they’ll say their [...]

TL;DR Over the years, Spotify’s brand has expanded to encompass a number of products, from mobile apps to web players to car things. But sitting at the core is our flagship product, the one that started it all: the desktop app. In the first episode of our podcast series, “Spotify: A Product Story”, host and [...]

8:30am I’m at my best after nine hours’ sleep, so I tend to wake up pretty late, shower and dress as though I’m going into the office. Although I’ve been in Stockholm a while now, I’m still not a fan of the Swedish breakfast of bread and cheese or salami – give me Nutella on toast [...]

Team purpose and pride — my team hit those high marks, but it was a long journey to get there from where we started. At Spotify, we strive for “aligned autonomy” among our teams. Meaning: we align on what it is we set out to do, but preserve flexibility to choose how we’ll achieve those [...]

TLDR; In episode 08 of our podcast series “Spotify: A Product Story”, we share stories and lessons from building and open sourcing Backstage, our homegrown developer portal. Hear why a developer-friendly, market-based platform like Backstage could only have been developed at Spotify (where autonomy is prized, not top-down mandates) and why that ends up making [...]

There is no excerpt because this is a protected post.

When a design system first starts out, the promise of visual consistency glows bright — the ideal product would have only one set of buttons, a unified typography scale, and elements that look the same no matter which designer made the design or which developer programmed them to be real and deployed. As the product [...]

Nour is a Security Engineer at Spotify New York – juggling her busy day job with completing her Masters in Cyber Security and looking after her 10-month-old daughter, Leya.

Search @ Spotify Search is a well-established functionality across different industries, devices, and applications. When users come to any kind of search, they already have something in mind, whether they come looking for one thing in particular or are open to becoming inspired. Spotify Search is no exception, helping a vast majority of users find joy [...]

For the past couple of years, we’ve been on a mission to modernize our Spotify clients by creating one single desktop UI for both the Desktop application and the Web Player. We couldn’t build everything we wanted to for our users with our old setup, so we decided to do something about it. In the [...]

At Ripple, we are moving towards building complex business models out of raw data. To do this successfully, we need to automate our historically manual processes. Even with a digital-first approach, many of our internal processes were done by hand, making them great candidates to be automated.

Did you miss Snowflake’s Media Data Cloud Summit, or are you interested in rewatching or sharing a session? Fear not: All sessions are now available to watch on demand. The online conference featured Snowflake executives, customers, and partners showcasing how the Media Data Cloud enables advertising, media, and entertainment businesses to build a new data […]

The post Snowflake’s Media Data Cloud Summit: Now Available on Demand! appeared first on Snowflake.

Bagel Brands is the parent company for Einstein Bros. Bagels, Bruegger’s, Noah’s New York Bagels, and Manhattan Bagel. Headquartered in Denver, Colorado, the company serves 1,100+ domestic franchise and license locations supported by 16,000+ employees. To drive its data analytics and data science initiatives, Bagel Brands chose Snowflake on Azure as its primary modern data […]

The post Bagel Brands Simplifies Data Architecture with Snowflake Professional Services appeared first on Snowflake.

The Snowflake Data Cloud is a powerful place to work with data because we have made it easy to do difficult things with data, such as breaking down data silos, safely sharing complex data sets, and querying massive amounts of data. As customers move to the Data Cloud, their needs and timelines vary—our goal is […]

The post Expanding the Data Cloud with Apache Iceberg appeared first on Snowflake.

About William Hill Founded in 1934 as a postal and telephone betting service, William Hill was historically synonymous with the world of horse racing. Since then, the company has continued to grow into other sporting avenues, with the retail arm—which opened in 1966—now amounting to more than 1,400 shops. Fully embracing the potential of the […]

The post How William Hill Pivoted to Real-Time Data and Personalised Customer Experiences appeared first on Snowflake.

The final month of 2021 brought new capabilities for data governance, expanded insights for Snowflake Data Marketplace providers, and several new providers added to the Marketplace. For the full list, see the Release Notes. Data Governance More options for customizing object tags To ensure consistency with object tagging (currently in public preview), tag administrators can […]

The post New Snowflake Features Released in December 2021 appeared first on Snowflake.

Allergan Aesthetics, an AbbVie company, develops, manufactures, and markets a portfolio of aesthetics brands and products. Its aesthetics portfolio includes facial injectables, body contouring, plastics, and skin care. Allergan Data Labs (ADL) is a group within Allergan with a mission to grow the company’s medical aesthetics business with actionable intelligence. According to Tory Brady, Associate […]

The post How Allergan Aesthetics Uses Snowflake and Segment to Generate Personalized Offers and Reduce Customer Acquisition Cost appeared first on Snowflake.

When companies realized data was a resource and not just the by-product of sales, they began to offer customers additional value: free products, savings, money back, even a club-like exclusivity. They often did it, and still do it, with customer loyalty programs, which were frequently expressed in the form of a physical card, such as […]

The post The Next Great Loyalty Program Is an Ecosystem appeared first on Snowflake.

With hundreds of SaaS products in a given company, it’s getting more and more challenging and time-consuming to manage supplier relationships and negotiate contracts. Vendr has completely transformed this entire process by creating a SaaS buying platform where stakeholders can easily handle the relationships and contracts of their different software suppliers in a centralized platform. […]

The post Automating Customer Touchpoints with Snowflake, Hightouch, and dbt Cloud appeared first on Snowflake.

In the book “The Adventure of Copper Beeches”, the great detective Sherlock Holmes declared, “Data! Data! Data! I can’t make bricks without clay.” In other words, pieces of data were the essential building blocks the famous sleuth needed to solve any mystery. But as we find ourselves emerging (yes, hopefully so) from a global pandemic, […]

The post Does Data Monetization Seem Daunting? Here’s How to Start appeared first on Snowflake.

The media and advertising landscape is transforming rapidly. Viewers are changing their habits, industry standards are shifting, and there is increased scrutiny around data use and consumer privacy. To help the media and advertising industry thrive in this new era, Snowflake recently announced the launch of the Media Data Cloud, which empowers organizations to unlock […]

The post Register Now for the Media Data Cloud Summit! appeared first on Snowflake.

Snowflake had the chance to hear from EQT Group’s Head of Data Management, Pedram Birounvand, at Data Innovation Summit Sweden to find out how the private equity firm is leveraging agile data architecture to support its mission of future-proofing the companies it invests in—driving superior returns, and making a positive impact on the future. Enabling […]

The post How EQT Group Uses Agile Data Architecture in Its Organization for Superior Returns appeared first on Snowflake.

With the advent of the modern data estate, companies are no longer working with a single type of source data. Multiple systems come together to support business workloads that have very different data platform requirements. However, flexibility often brings complexity. Organizations struggle to understand the overall picture of the different data assets upon which the […]

The post Snowflake Announces New Integration With Microsoft Azure Purview appeared first on Snowflake.

I’m on a journey to help make machine learning (ML) and artificial intelligence (AI) more accessible to everyone. I became fascinated by AI more than 20 years ago when I implemented strategies for playing games such as Hex and Qubic (3D tic-tac-toe) in some of my undergraduate computer science courses. I dabbled in AI planning […]

The post Why Snowflake Was My Next Strategic Move After Google appeared first on Snowflake.

At the end of each year, Spotify packages and presents data to its users with a marketing campaign called Spotify Wrapped. The data that Spotify gathers from its users are given back to its users in such a way that the users themselves have proven enthusiastic users of that data. This includes not just who […]

The post Delighting Customers with Data appeared first on Snowflake.

Since the release of Cloudera Data Engineering (CDE) more than a year ago, our number one goal was operationalizing Spark pipelines at scale with first class tooling designed to streamline automation and observability. In working with thousands of customers deploying Spark applications, we saw significant challenges with managing Spark as well as automating, delivering, […]

The post Cloudera Data Engineering 2021 Year End Review appeared first on Cloudera Blog.

Challenges and Opportunities Data Presents to AI

The post The Rise of Unstructured Data appeared first on Cloudera Blog.

How to use machine learning to avoid bad candy hot spots and maximize supply and demand imbalances

The post The Ultimate Map to finding Halloween candy surplus appeared first on Cloudera Blog.

Airflow has been adopted by many Cloudera Data Platform (CDP) customers in the public cloud as the next generation orchestration service to setup and operationalize complex data pipelines. Today, customers have deployed 100s of Airflow DAGs in production performing various data transformation and preparation tasks, with differing levels of complexity. This combined with Cloudera […]

The post Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering appeared first on Cloudera Blog.

Modak, a leading provider of modern data engineering solutions, is now a certified solution partner with Cloudera. Customers can now seamlessly automate migration to Cloudera’s Hybrid Data Platform — Cloudera Data Platform (CDP) to dynamically auto-scale cloud services with Cloudera Data Engineering (CDE) integration with Modak Nabu™. Modak’s Nabu™is a born in the […]

The post Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak NabuTM appeared first on Cloudera Blog.

If your organization is using multi-tenant big data clusters (and everyone should be), do you know the usage and cost efficiency of resources in the cluster by tenants? A chargeback or showback model allows IT to determine costs and resource usage by the actual analytic users in the multi-tenant cluster, instead of attributing those to […]

The post Struggling to Manage your Multi-Tenant Environments? Use Chargeback! appeared first on Cloudera Blog.

Many customers looking at modernizing their pipeline orchestration have turned to Apache Airflow, a flexible and scalable workflow manager for data engineers. With 100s of open source operators, Airflow makes it easy to deploy pipelines in the cloud and interact with a multitude of services on premise, in the cloud, and across cloud providers for […]

The post Supercharge your Airflow Pipelines with the Cloudera Provider Package appeared first on Cloudera Blog.

Across the federal government, agencies are struggling to identify, organize, analyze, and act on troves of data. It’s a problem that leaders are working actively to tackle, but they’re in a race against immeasurable volumes of data that is continuously being generated in perpetuity in stores known and unknown. At the Internal Revenue Service, decades’ […]

The post Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers appeared first on Cloudera Blog.

The shift to cloud has been accelerating, and with it, a push to modernize data pipelines that fuel key applications. That is why cloud native solutions which take advantage of the capabilities such as disaggregated storage & compute, elasticity, and containerization are more paramount than ever. At Cloudera, we introduced Cloudera Data Engineering (CDE) as […]

The post Optimizing Cloudera Data Engineering Autoscaling Performance appeared first on Cloudera Blog.

When we announced the GA of Cloudera Data Engineering back in September of last year, a key vision we had was to simplify the automation of data transformation pipelines at scale. By leveraging Spark on Kubernetes as the foundation along with a first class job management API many of our customers have been able to […]

The post Automating Data Pipelines in CDP with CDE Managed Airflow Service appeared first on Cloudera Blog.

After the launch of CDP Data Engineering (CDE) on AWS a few months ago, we are thrilled to announce that CDE, the only cloud-native service purpose built for enterprise data engineers, is now available on Microsoft Azure. CDP Data Engineering offers an all-inclusive toolset that enables data pipeline orchestration, automation, advanced monitoring, visual profiling, and […]

The post Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure appeared first on Cloudera Blog.

Introduction Many Cloudera customers are making the transition from being completely on-prem to cloud by either backing up their data in the cloud, or running multi-functional analytics on CDP Public cloud in AWS or Azure. The Replication Manager service facilitates both disaster recovery and data migration across different environments. Using easy-to-define policies, Replication Manager solves […]

The post Migrate Hive data from CDH to CDP public cloud appeared first on Cloudera Blog.

A sturdy data infrastructure coupled with a proficient workforce are pillars for an organization’s digital transformation efforts. McKinsey lists building capabilities for the workforce of the future as one of five categories of factors improving the chances of a successful digital transformation. Investing the right amount in digital talent and scaling up workforce planning and […]

The post Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore appeared first on Cloudera Blog.

Data pipelines are in high demand in today’s data-driven organizations. As critical elements in supplying trusted, curated, and usable data for end-to-end analytic and machine learning workflows, the role of data pipelines is becoming indispensable. To keep up, data pipelines are being vigorously reshaped with modern tools and techniques. At Cloudera, we recently introduced several […]

The post Modernizing Data Pipelines using Cloudera Data Platform – Part 1 appeared first on Cloudera Blog.

Apache YuniKorn (Incubating) has just released 0.10.0 (release announcement). As part of this release, a new feature called Gang Scheduling has become available. By leveraging the Gang Scheduling feature, Spark jobs scheduling on Kubernetes becomes more efficient. What is Apache YuniKorn (Incubating)? Apache YuniKorn (Incubating) is a new Apache incubator project that offers rich scheduling […]

The post Spark on Kubernetes – Gang Scheduling with YuniKorn appeared first on Cloudera Blog.

There are a lot of benefits of using artificial intelligence in 2022. One of the biggest reasons that many people use AI is to improve their marketing strategies. A recent survey found that 64% of marketers reported that data-driven marketing strategies are more important than ever. One of the biggest reasons big data is so […]

The post Editing Guide for AI-Driven YouTube Video Creators appeared first on SmartData Collective.

Legal analytics is an evolving discipline that is changing the future of the legal profession. Law firms are expected to spend over $9 billion on legal analytics technology by 2028. But what is legal analytics? How will it change the legal profession? Last year, we published an article on the ways that big law and […]

The post How Data Analytics Can Change the Way In-House Legal Departments Do Business appeared first on SmartData Collective.

Big data is undoubtedly changing the future of modern business. One study from KPMG found that 70% of businesses feel their big data initiatives are going to be invaluable to the future of their business model. How they choose to leverage their data is going to be vital to their future success. Smart Businesses Search […]

The post Businesses Find Brilliant New Ways to Leverage the Power of Data appeared first on SmartData Collective.

Artificial intelligence technology is becoming more valuable than ever. The market was estimated to be worth over $50 billion by the end of 2020 and is growing around 20% a year. One of the biggest reasons AI is growing in popularity is due to its role in mobile app design. There are a lot of […]

The post AI Technology is Becoming Essential for App Store Publishers appeared first on SmartData Collective.

There is no denying the fact that AI is transforming the cybersecurity industry. A double-edged sword, artificial intelligence can be employed both as a security solution and a weapon by hackers. As AI enters the mainstream, there is much misinformation and confusion regarding its capabilities and potential threats. Dystopian scenarios of all-knowing machines taking over […]

The post AI-Powered Cyberattacks: Hackers Are Weaponizing Artificial Intelligence appeared first on SmartData Collective.

Savvy business owners need to appreciate the benefits of using AI technology to make the most out of their business models. Entrepreneurs considering purchasing existing businesses have discovered that AI technology can be highly useful. You can use AI technology when you are considering purchasing a new website. You will be able to tell whether […]

The post 5 Ways to Use AI to Vet a Content Site Before Purchasing It appeared first on SmartData Collective.

The marketing profession has been fundamentally changed due to advances in artificial intelligence and big data. The market size for AI in marketing is expected to grow over 31% a year through 2028. It is growing at an even faster pace as more companies discover new benefits. Unfortunately, there are a number of AI-driven marketing […]

The post Problems Solved with AI And Machine Learning in Customer Service appeared first on SmartData Collective.

Data analytics has arguably become the biggest gamechanger in the field of finance. Many large financial institutions are starting to appreciate the many advantages that big data technology has brought. Markets and Markets estimates that the financial analytics market will be worth $11.4 billion in the next two years. Companies in the financial sector aren’t […]

The post Ways Data Analytics Helps Business Owners Resolve Financial Issues appeared first on SmartData Collective.

Artificial intelligence has become a lot more important for many industries. There are a lot of companies that use AI technology to streamline certain functions, bolster productivity, fight cybersecurity threats and forecast trends. The market for AI technology is going to continue to grow as more companies discover the benefits it provides. In November, Garter […]

The post Different Software Testing Strategies When Creating AI Applications appeared first on SmartData Collective.

Advances in artificial intelligence have been shaping the state of the Internet for years. One of the biggest changes has been in the arena of cybersecurity. AI technology has been a double-edged sword for the cybersecurity sector. On the one hand, it offers robust protection against data breaches, malware and other online security threats. Cybersecurity […]

The post AI Underscores Passwordless Authentication Risks for Internet Users appeared first on SmartData Collective.

Introduction It is no secret that businesses that are looking to maximize profit in the near future are looking at the role AI can play to unlock potential profits. For businesses in industries that rely on Computer-Aided Design (CAD) the question can be asked, how is AI transforming their industry or supplementing current technology to […]

The post The Fascinating Role of AI in the Evolution of Computer-Aided Designs appeared first on SmartData Collective.

There is no denying the fact that artificial intelligence has become important in the field of web design. A growing number of web developers are using data analytics, AI and other big data tools to make the most out of their strategy. In fact, e-commerce and SaaS platforms are part of the reason that the […]

The post The Top AI-Based Web Design Trends For 2022 appeared first on SmartData Collective.

Big data technology has become an invaluable asset to so many organizations around the world. There are a lot of benefits of utilizing data technology, such as improving financial reporting, forecasting marketing trends and efficient human resource allocation. It is crucial to business growth, as companies transition to more digital business models. Companies around the […]

The post How To Use Data For Smarter Business Decisions appeared first on SmartData Collective.

Big data is a phrase that the industry coined in 1987, but it took years before it became truly popular. By the time the name was a household term, big data was everywhere, and companies were seeking ways to store and use the data. Data scientists knew that big data could hold valuable insights. The […]

The post Artificial Intelligence and the Future of Databases in the Big Data Era appeared first on SmartData Collective.

Reading Time: 4 minutes What is Apache Airflow? Airflow is a platform to programmatically author, schedule and monitor workflows.These functions achieved with Directed Acyclic Graphs (DAG) of the tasks. It is an open-source and still in the incubator stage. It was initialized in 2014 under the umbrella of Airbnb since then it got an excellent reputation with approximately 800 contributors on GitHub and 13000 stars. The main functions of Apache Airflow is to schedule workflow, monitor Continue Reading

The post Introduction to Apache Airflow appeared first on Knoldus Blogs.

Reading Time: 4 minutes Let us go through the basic overview of Pentaho Data Integration, its importance, ETL Process, etc. So, let’s start. The first question arises that What is Pentaho? Pentaho is a leading business intelligence tool that makes it possible for an organization to easily access, organize, and analyze data. Nowadays it is very popular and has set the benchmark for the most used and preferred component Continue Reading

The post Basic Overview Of Pentaho Data Integration appeared first on Knoldus Blogs.

Reading Time: 3 minutes Routing is an integral part of a microservice architecture. For example, `/` may be mapped to your web application, `/api/users` is mapped to the user service and `/api/shop` is mapped to the shop service. Netflix Zuul Zuul is a JVM-based router and server-side load balancer from Netflix. It provides a single entry to our system, which allows a browser, mobile app, or other user interface to consume services from multiple hosts Continue Reading

The post Differences between Netflix zuul and Spring cloud gateway appeared first on Knoldus Blogs.

Reading Time: 6 minutes What is an API? Why do we need it? An API gateway is programming that sits in front of an API ( Application Programming Interface) and is the single-entry point for defined back-end APIs and microservices (which can be both internal and external). Sitting in front of APIs, the gateway acts as protection, administering security and scalability, and high availability. To put it simply, API Continue Reading

The post Spring Cloud API Gateway With An Example appeared first on Knoldus Blogs.

Reading Time: 5 minutes Apache Kafka is a software platform that is based on a distributed streaming process. It is a publish-subscribe messaging system that lets exchanging of data between applications, servers, and processors as well. Apache Kafka was originally developed by LinkedIn, and later it was donated to the Apache Software Foundation. Apache Kafka has resolved the lethargic trouble of data communication between a sender and a receiver. Architecture Continue Reading

The post Introduction to Kafka appeared first on Knoldus Blogs.

Reading Time: 4 minutes Pentaho Data Integration (PDI) provides the Extract, Transform, and Load (ETL) capabilities that facilitate the process of capturing, cleansing, and storing data using a uniform and consistent format that is accessible and relevant to end-users and IoT technologies. What is Pentaho? Pentaho is business intelligence (BI) software or a set of tools. It consists of a few set of tools that provides solutions for Data Continue Reading

The post Introduction to Pentaho Data Integration appeared first on Knoldus Blogs.

Reading Time: 2 minutes What is Tensorflow? Tensorflow is an open source , high performance library for numerical computation. It is also be used for mathematical computations and is not only limited to machine learning. It uses Python to provide a front-end API for building applications with the framework, and executes those applications in high-performance C++. TensorFlow can train and run deep neural networks. It has an extensive ecosystem Continue Reading

The post Tensorflow : Introduction appeared first on Knoldus Blogs.

Reading Time: 3 minutes As we all know, most of the systems uses Kafka for distributed and real time processing of large scale of messages. Before starting on this topic, i assume that you all are familiar with basic concepts of Kafka such as brokers, partitions, topics, producer and consumer. Here we are discussing about Log Compaction. What is Log Compaction Kafka log compaction is hybrid approach that makes Continue Reading

The post Apache Kafka : Log Compaction appeared first on Knoldus Blogs.

Reading Time: 4 minutes In this blog, I am going to explore the difference between using streams and loops and how we can manage the maintainability of the code. There are many opinions regarding the performance of both the things that which one is better streams or loops. As we know, A stream is a sequence of objects that supports various methods which can be pipe-lined to produce the Continue Reading

The post Java Streams vs Loop appeared first on Knoldus Blogs.

Reading Time: 4 minutes Apache Hive is an open-source data warehouse system used to query and analyze large datasets. Data in Apache Hive can be categorized into the following three parts : Tables Partitions Buckets What is Bucketing in Hive? Bucketing in the hive is the concept of breaking data down into ranges, which are known as buckets, to give extra structure to the data so it may be Continue Reading

The post Best Way of Optimization: Bucketing in Hive appeared first on Knoldus Blogs.

Reading Time: 5 minutes Problem Statement We all know when it comes to ‘Communication’ it’s regarded as something that must happen as a part of project management activities, using basic/generic tools, such as Slack or eMails. However, without a well-thought-out communication strategy and tools designed to store and regulate project information and communications, many companies are throwing lakhs of rupees out the window with every project they attempt to Continue Reading

The post Communication – Spine of Project Success appeared first on Knoldus Blogs.

This blog is posted by Ernesto Ramos, a WeCloudData alumni from our full-time Data Science diploma program. Ernesto is a project manager at BeamData, a Toronto-based Data Science consulting company. Prior to joining BeamData, Ernesto worked in R&D at a major pharmaceutical company and completed his MSc in Pharmacology at the University of Toronto. At... View Article

The post A Rewarding Journey From Consulting to Data Science appeared first on WeCloudData.

Jobs in the field of Data Engineering are in great demand. But how do you get a job like this? 1) Set your personal Goals The first thing you have to do is set personal goals. What do you actually want to achieve? Where do you see yourself in the next few years? What exactly do you want to...

You want to become a Data Engineer, but don't know how to set up a data engineering project? I will show you! Do not make this mistake! First of all you should not make the mistake that unfortunately many people make! Often people want to build the whole thing from the beginning. They say:...

What is the difference between data science and data engineering? Data Science

Data Scientists work with the data and are basically doing the analytics part. They take the data and create new insights. They do the analytics for instance by using Machine Learning techniques or do just simple...

When you watch the blueprint I also use in my cookbook you see the different phases: Connect, Processing Framework, Store and Buffer. At the beginning you think about where you validate the data? To make sure that the data is okay and makes sense. Do you validate the data directly on the API -...

I get often asked: What is the best or easiest cloud platform to start with for data engineering? Here are my thoughts on this. A general overview. Market shares Amazon Web Services (AWS) is globally the biggest cloud provider (approx. 50% of the market). This goes for the US and the EU...

Armadillo is the fully featured audio player library Scribd uses to play and

download all of its audiobooks and podcasts, which is now open

source. It specializes in playing HLS

or MP3 content that is broken down into chapters or tracks. It leverages

Google’s Exoplayer library for its audio engine. Exoplayer wraps a variety of

low level audio and video apis but has few opinions of its own for actually

using audio in an Android app. The leap required from Exoplayer to audio player

is enormous both in terms of the amount of code needed as well as the amount of

domain knowledge required about complex audio related subjects. Armadillo

provides a turn-key solution for powering an audio player an…

Scribd offers a variety of publisher and user-uploaded content to our users and

while the publisher content is rich in metadata, user-uploaded content

typically is not. Documents uploaded by the users have varied subjects and

content types which can make it challenging to link them together. One way to

connect content can be through a taxonomy - an important type of structured

information widely used in various domains. In this series, we have already

shared how we identify document

types and extract information

from documents, this post

will discuss how insights from data were used to help build the taxonomy and

our approach to assign categories to the user-uploaded documents.

Building the…

Extracting metadata from our documents is an important part of our discovery

and recommendation pipeline, but discerning useful and relevant details

from text-heavy user-uploaded documents can be challenging. This is

part 2 in a series of blog posts describing a multi-component machine learning

system the Applied Research team built to extract metadata from our documents in order to enrich downstream discovery models. In this post, we present the challenges and

limitations the team faced when building information extraction NLP models for Scribd’s text-heavy documents and how they were solved.

As mentioned in part 1, we now have a way of identifying text-heavy documents. Having done that, w…

Delta Lake is integral to our data platform which is why we have invested

heavily in delta-rs to support our

non-JVM Delta Lake needs. This year I had the opportunity to share the progress

of delta-rs at Data and AI Summit. Delta-rs was originally started by my colleague QP just over a year ago and it has now grown to now a multi-company project with numerous contributors, and downstream projects such as kafka-delta-ingest.

In the session embedded below, I introduce the delta-rs project which is

helping bring the power of Delta Lake outside of the Spark ecosystem. By

providing a foundational Delta Lake library in Rust, delta-rs can enable native

bindings in Python, Ruby, Golang, and more.We…

User-uploaded documents have been a core component of Scribd’s business from

the very beginning, understanding what is actually in the document corpus

unlocks exciting new opportunities for discovery and recommendation.

With Scribd anybody can upload and share

documents, analogous to YouTube and videos. Over

the years, our document corpus has become larger and more diverse which has

made understanding it an ever-increasing challenge.

Over the past year one of the missions of the Applied Research team has been to

extract key document metadata to enrich

downstream discovery systems. Our approach combines semantic understanding with

user behaviour in a multi-component machine learning system.

…

The long term success of our data platform relies on putting tools into the

hands of developers and data scientists to “choose their own adventure”. A big

part of that story has been Databricks which we

recently integrated with Terraform to make it easy to

scale a top-notch developer experience. At the 2021 Data and AI Summit, Core

Platform infrastructure engineer Hamilton

Hord and Databricks engineer Serge

Smertin presented on the Databricks terraform provider

and how it’s been used by Scribd.

In the session embedded below, they share the details on the Databricks (Labs)

Terraform

integration

and how it can automate literally every aspect required for a production-grade

platform: data secu…

Streaming data from Apache Kafka into Delta Lake is an integral part of

Scribd’s data platform, but has been challenging to manage and

scale. We use Spark Structured Streaming jobs to read data from

Kafka topics and write that data into Delta Lake tables. This approach gets the job

done but in production our experience has convinced us that a different

approach is necessary to efficiently bring data from Kafka to Delta Lake. To

serve this need, we created

kafka-delta-ingest.

The user requirements are likely relatable to a lot of folks: My application emits data into Kafka that I want to analyze later.

I want my Kafka data to land in the data warehouse and be queryable pretty soon after inge…

Scribd stores billions of records in Delta Lake but writing

or reading that data had been constrained to a single tech stack, all of that

changed with the creation of delta-rs.

Historically using Delta Lake required applications to be implemented with or

accompanied by Apache Spark. Many of our batch

and streaming data processing applications are all Spark-based, but that’s not

everything that exists! In mid-2020 it became clear that Delta Lake would be a

powerful tool in areas adjacent to the domain that Spark occupies. From my

perspective, I figured that would soon need to bring data into and out of Delta

Lake in dozens of different ways. Some discussions and prototyping led to the

creati…

Transitioning from a more traditional database operation (read ACID, RDBMS blah blah) background to a newer data platform is always interesting. As it constantly challenges all yours year old wisdom and kind of forces you to adapt to newer way of getting things done.

At Scribd we have made

Delta Lake a cornerstone of our data platform. All data in

Delta Lake is stored in Apache Parquet format enabling Delta Lake to leverage

the efficient compression and encoding schemes that are native to Parquet. The

Delta Lake transaction log (also known as the DeltaLog) is an ordered record of

every transaction that has ever been performed on a Delta Lake table since its

inception. So a particular datase…

At Scribd we use Airflow as a scheduler for most of our batch workloads, this blog is not about Airflow so we are not getting into why Airflow. This is about one of the biggest challenge that we faced while using Airflow and finally conquer. That is how to do authentication and authorisation for Airflow. Of course Airflow does support LDAP and at Scribd we started using LDAP with Airflow initially, but as the organisation grow and more and more user started using Airflow, it became imperative that we integrate Airflow with our SSO provider that is Okta.

Sadly there is a lack of resources on how to implement airflow with Okta specifically. This write up will describe the journey of integrati…

Building recommendations systems like those implemented at large companies like Facebook and Pinterest can be accomplished using off the shelf tools like Elasticsearch. Many modern recommendation systems implement embedding-based retrieval, a technique that uses embeddings to represent documents, and then converts the recommendations retrieval problem into a similarity search problem in the embedding space. This post details our approach to “embedding-based retrieval” with Elasticsearch.

Context

Recommendations plays an integral part in helping users discover content that delights them on the Scribd platform, which hosts millions of premium ebooks, audiobooks, etc along with over a hundred …

Before the COVID-19 pandemic, the amount of data being produced — and collected — on a daily basis was growing at an accelerated rate. This led to an increase in demand for data scientists all around the world. With the increase in demand came the need for specialized course offerings that could teach the right […]

The post How to Use Dataquest to Achieve Your Learning Goals appeared first on Dataquest.

It's no secret that data professionals spend a lot of time studying theory and later practicing what they learned on their own. Because of the nature of the job, being able to demonstrate your ability to solve problems is crucial when hunting for a data science job. Data science competitions are one of the best […]

The post Data Science Competitions You Should Participate In appeared first on Dataquest.

For many up-and-coming data professionals, landing your first “real” data science job can feel like a bit of a “Catch 22.” You can’t get hired without a certain amount of professional data science experience, but you can’t get the experience without getting hired. While it may seem unreasonable for employers to expect you to have a […]

The post How to Get Real-World Data Science Experience appeared first on Dataquest.

Enter your text hereData science jobs are abundant, and the numbers are growing. Despite the influx in demand, some data professionals are still struggling to find a job. If you’ve filled out numerous job applications you feel you’re easily qualified for, only to be rejected, you’re certainly not alone. In this article, we’ll go over some […]

The post 17 Reasons Why You’re Getting Rejected for Data Science Jobs appeared first on Dataquest.

Careers in data science are some of the most sought-after in the world and that trend shows no signs of stopping. With the widespread use of AI, IoT devices, and streaming and real-time communication services, it’s no surprise many people are pursuing careers in data. In fact, data scientist is the second best job in […]

The post Discovering Your Data Science Career in 2021 appeared first on Dataquest.

We're excited to kick off the 30 Day Dataquest Challenge! Here’s why:Building learning habits is crucial to your data career, but it can be difficult to get into a new habit. Maybe you’ve tried building before, but, time and time again, you fall off. Something comes up. What starts off exciting becomes too difficult. Before […]

The post 30-Day Data Science Challenge appeared first on Dataquest.

Everyone’s journey to become a data scientist is different, and the learning curve will vary depending on many factors, including time availability, prior knowledge, the tools you use, etc. One learner shares his story about how he became a data scientist in 6 months with Dataquest. Here’s how his journey began:As the title suggests, this […]

The post How I Learned Data Science in 6 Months appeared first on Dataquest.

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

The post Data Analyst Skills – 8 Skills You Need to Get a Job appeared first on Dataquest.

In the fast-growing field of data, the "big three" job roles are data engineer, data analyst, and data scientist. Figure out which is the best fit for you.

The post Data Engineer, Data Analyst, Data Scientist — What’s the Difference? appeared first on Dataquest.

No matter what industry you're in, you need data skills to future-proof your career. You might be thinking: Vik is the CEO of a company that teaches data science - of course he'd say that! But stick with me for a few more paragraphs, I'll walk you through how data was key to all of the […]

The post You Need Data Skills to Future-Proof Your Career appeared first on Dataquest.

Logz.io is an AWS Partner Network (APN) Advanced Technology Partner with AWS Competencies in DevOps, Security, and Data & Analytics. Logz.io offers a software as a service (SaaS) observability platform based on best-in-class open-source software solutions for log, metric, and tracing analytics. Customers are sending an increasing amount of data to Logz.io from various data […]

Highlights from the five most viewed posts published on the Infrastructure & Automation Blog in 2021.

Gitlab CI is a tool utilized by many enterprises to automate their Continuous integration, continuous delivery and deployment (CI/CD) process. A Gitlab CI/CD pipeline consists of two major components: A .gitlab-ci.yml file describing a pipeline’s jobs, and a Gitlab Runner, an application that executes the pipeline jobs. Setting up the Gitlab Runner is a time-consuming […]

Today’s businesses face an unprecedented growth in the volume of data. A growing portion of the data is generated in real time by IoT devices, websites, business applications, and various other sources. Businesses need to process and analyze this data as soon as it arrives to make business decisions in real time. Amazon Managed Streaming […]

Data is being produced, streamed, and consumed at an immense rate, and that rate is projected to grow exponentially in the future. In particular, JSON is the most widely used data format across streaming technologies and workloads. As applications, websites, and machines increasingly adopt data streaming technologies such as Apache Kafka and Amazon Kinesis Data […]

Streaming ETL jobs in AWS Glue can consume data from streaming sources such as Amazon Kinesis and Apache Kafka, clean and transform those data streams in-flight, as well as continuously load the results into Amazon Simple Storage Service (Amazon S3) data lakes, data warehouses, or other data stores. The always-on nature of streaming jobs poses […]

Database performance monitoring is critical for application availability and productivity. A good monitoring practice can ensure a small issue is identified in time before it develops into a big problem and causes service disruption. In the AWS Cloud, you can use analytical and monitoring tools like Amazon RDS Performance Insights and Amazon CloudWatch metrics and […]

Traditionally, companies have run most of their workloads using relational databases, and they have been the most popular choice for data management for over three decades. Relational databases are rooted in the relational model as proposed by E.F. Codd and C.J. Date in the 1980s. Relational databases support a wide variety of use cases, from […]

Security is a key factor to consider when choosing or migrating to a database. Cloud security at AWS is the highest priority. Security and compliance is a shared responsibility between AWS and the customer. This shared model can help relieve your operational burden, because AWS allows you to securely manage your databases in the cloud […]

This post is co-authored by Ayman Shoukry, Specright’s Chief Technology Officer and Kevin Tran, Engineering Manager at Specright. The world is experiencing a tectonic shift in how things are made, and most supply chains weren’t ready. We saw it in the thousands of empty shelves early on in the COVID-19 pandemic. We see it in […]

Amazon Neptune is a fast, reliable, fully managed graph database service that makes it easy to build and run applications that work with highly connected datasets. Whether you’re creating a new graph data model and queries, or exploring an existing graph dataset, it can be useful to have an interactive query environment that allows you […]

Even after more than a hundred years after its introduction, histology remains the gold standard in tumor diagnosis and prognosis. Anatomic pathologists evaluate histology to stratify cancer patients into different groups depending on their tumor genotypes and phenotypes, and their clinical outcome [1,2]. However, human evaluation of histological slides is subjective and not repeatable [3]. […]

From training new models to deploying them in production, Amazon SageMaker offers the most complete set of tools for startups and enterprises to harness the power of machine learning (ML) and Deep Learning. With its Transformers open-source library and ML platform, Hugging Face makes transfer learning and the latest ML models accessible to the global […]

The volume of data being generated globally is growing at an ever-increasing pace. Data is generated to support an increasing number of use cases, such as IoT, advertisement, gaming, security monitoring, machine learning (ML), and more. The growth of these use cases drives both volume and velocity of streaming data and requires companies to capture, […]

Many customers are modernizing their data architecture using Amazon Redshift to enable access to all their data from a central data location. They are looking for a simpler, scalable, and centralized way to define and enforce access policies on their data lakes on Amazon Simple Storage Service (Amazon S3). They want access policies to allow […]

Deploying and configuring AWS Data Migration Service (AWS DMS) across multiple environments involves several configurations, testing, and provisioning of AWS DMS resources. This can be time-consuming and error-prone due to the large number of settings involved. The AWS Cloud Development Kit (AWS CDK) lets you define your cloud infrastructure as code in one of five […]

Data lakes have become very popular with organizations that want a centralized repository that allows you to store all your structured data and unstructured data at any scale. Because data is stored as is, there is no need to convert it to a predefined schema in advance. When you have new business use cases, you […]

Natural language understanding is applied in a wide range of use cases, from chatbots and virtual assistants, to machine translation and text summarization. To ensure that these applications are running at an expected level of performance, it’s important that data in the training and production environments is from the same distribution. When the data that […]

This is the second post in the two-part series on how Tyson Foods Inc., is using computer vision applications at the edge to automate industrial processes inside their meat processing plants. In Part 1, we discussed an inventory counting application at packaging lines built with Amazon SageMaker and AWS Panorama . In this post, we […]

Database object validation plays a key role in the database migration process. It’s the process of determining whether all the source database objects have been successfully migrated to the target database by comparing their types and counts. If you miss the validation phase, you may encounter run time errors due to missing database objects which […]

PostgreSQL supports block-based (physical) replication as well as the row-based (logical) replication. Physical replication is traditionally used to create read-only replicas of a primary instance, and utilized in both self-managed and managed deployments of PostgreSQL. Uses for physical read replicas can include high availability, disaster recovery, and scaling out the reader nodes. Although there is […]

The Amazon Machine Learning Solutions Lab (MLSL) recently created a tool for annotating text with named-entity recognition (NER) and relationship labels using Amazon SageMaker Ground Truth. Annotators use this tool to label text with named entities and link their relationships, thereby building a dataset for training state-of-the-art natural language processing (NLP) machine learning (ML) models. Most […]

Real-time insight is critical when it comes to building trading strategies. Any delay in data insight can cost lot of money to the traders. Often, you need to look at historical market trends to predict future trading pattern and make the right bid. More the historical data you analyze, better trading prediction you get. Back […]

In deep learning, batch processing refers to feeding multiple inputs into a model. Although it’s essential during training, it can be very helpful to manage the cost and optimize throughput during inference time as well. Hardware accelerators are optimized for parallelism, and batching helps saturate the compute capacity and often leads to higher throughput. Batching […]

Recommendation systems are one of the most widely adopted machine learning (ML) technologies in real-world applications, ranging from social networks to ecommerce platforms. Users of many online systems rely on recommendation systems to make new friendships, discover new music according to suggested music lists, or even make ecommerce purchase decisions based on the recommended products. […]

Cloud security at AWS is the highest priority. Amazon SageMaker Studio offers various mechanisms to protect your data and code using integration with AWS security services like AWS Identity and Access Management (IAM), AWS Key Management Service (AWS KMS), or network isolation with Amazon Virtual Private Cloud (Amazon VPC). Customers in highly regulated industries, like […]

Using the `astro` library to implement ETL use cases in Airflow.

An overview of Airflow decorators and how they can improve the DAG authoring experience.

How to implement deferrable operators to save cost and resources with Airflow.

A beginner's guide to figuring out what's going wrong with your Airflow DAGs

Apache Airflow or Apache Beam? Or both, working together? Let's have a closer look at two popular data management open source tools.

How to use catchup, backfill, and cleared task instances in Airflow.

Learn how Datasembly went from using native Airflow to cooperating with Astronomer.

Learn how Hightouch drives action in marketing & sales teams with Reverse ETL, SQL, and Apache Airflow

Learn what is the process of building a ML pipeline, what are the steps, and how to do it with Airflow and Astronomer.

Find out what is reverse ETL and how to use Census and Airflow together to improve data orchestration.

A conversation with the BBC's Principal Data Engineer about how Apache Airflow helps them deliver personalized experiences to the audience.

Everything you need to know about scheduling your Airflow DAGs.

It's here! Discover the major Airflow 2.2.0 features including customisable timetables, deferrable tasks, Airflow standalone and many more.

Is Big Data Architecture the answer to major business problems, or just a crucial piece of a bigger puzzle? Discover our insights on the topic in this short blog post!

Learn what are the challenges of the banking industry today, and how Apache Airflow can help with digital transformation.

Four modules designed to help the established analytics engineer plan for rapid growth.

Four modules of curated Coalesce content for teams just beginning their analytics engineering journey.

Covering both dbt Labs and dbt Cloud, these certifications represent a long-standing commitment to information security and privacy.

The metrics layer generated a lot of buzz at Coalesce, prompting some exciting and important conversations. In short: the dbt Server that will make metrics accessible will be source available. This will provide users control, while enabling us to build a sustainable business.

Last year we placed a big bet on foundational work — stability, reliability, and speed. 12 months, and a 600% increase in enterprise business later, we're focused on establishing dbt as the default standard for all enterprise data teams.

dbt Core v1.0.0 has arrived. This major milestone enables users with production-grade workflows to safely and reliably build on top of dbt Core for years to come. Take a look at how we got here, and what's next for dbt.

dbt Labs now offers five free courses for the emerging analytics engineer. Those new to dbt will find everything they need to get started (and badged!) in our dbt Learn Fundamentals course, while seasoned users can go deeper on topics like macros, materializations, and project refactoring.

Dec 6-10, 2021: Coalesce is back with 85 speakers, 65+ sessions, and a little razzle-dazzle. Targeting 4 time zones (EST, PST, GMT, and AEDT)—there are plenty of opportunities to join us live. Find out what’s new, what’s staying the same, and how to prepare.

Exciting developments in our partnership with Snowflake.

Your code doesn't have to do the same thing everywhere it runs. Separate code from configuration - and set config based on context.

Where to begin when migrating legacy SQL transformation code to dbt? In a new (free!) on-demand course, analytics engineers from dbt Labs unpack the refactoring process they've employed across dozens of projects.

Choosing between Continuous Delivery and Continuous Deployment based on business needs

It's finally (almost) here. The best way to get ready is by upgrading *now* to the latest & greatest that dbt Core has to offer

We are cancelling in-person events for the remainder of 2021. We know these are disappointing news but remain confident that it's the right decision for safely engaging with our dbt Community.

With the DAG-in-the-IDE (now available to all dbt Cloud users), analytics engineers can seamlessly navigate the core structure of their dbt project with low friction and low cognitive load, making the entire development process more intuitive, pleasant, and efficient.

Oakland, CA — December 2, 2021 — Great Place to Work® has honored Fivetran as one of this year's Best Workplaces for Parents™. This is Fivetran’s third time being honored by Great Place to Work and the first time named to this prestigious list of workplaces for parents, ranking at #69. Earning a spot means that Fivetran is one of the best companies to work for in the country. The Best Workplaces for Parents award is based on analysis of survey responses from more than 6 million current U.S. employees. In that survey, 94% of employees said Fivetran is a great place to work, compared to 59% of employees at a typical U.S.-based company. “We are honored to be recognized by Great Place to Work t…

How life for data professionals keeps getting better (and more interesting!)

You can now set up Fivetran data pipelines via Databricks Partner Connect. Here’s how to do it.

A recent survey from Wakefield Research finds that when enterprises build their own data pipelines, decision-making and revenue suffer.

Oakland, Calif., November 17, 2021 — Fivetran, the leading automated data integration provider, today announced it ranks 122 on the Deloitte Technology Fast 500™, a ranking of the 500 fastest-growing technology, media, telecommunications, life sciences, fintech, and energy tech companies in North America, now in its 27th year. Fivetran grew 1,668.93% during this period."We are honored to be recognized by Deloitte in the Technology Fast 500 list for the second year running,” said George Fraser, CEO of Fivetran. “With our recent Series D funding and acquisition of HVR, we look forward to expanding our business and product offerings to a wider array of customers and continuing our mission to m…

Follow these tips to ensure that your database schema delivers maximum utility for data warehouse users, data analysts, and data scientists.

A good database schema is indispensable for making data warehouses work. Get it wrong, and you’ll be in a world of hurt.

When Fivetranners are moved to give back — to their own communities or the global community — Fivetran helps increase their impact.

The publisher of Vogue, Vanity Fair, GQ and The New Yorker connects and monetizes trillions of data points

A leading researcher explains how emotion, intuition and storytelling can be more powerful than data.

The Business Spend Management company uses Fivetran’s data integration solution to better understand customer behavior on its SaaS platform

Our priority is improving the experience of every customer — without compromising the features you rely on.

Understand the impact of data transfer and egress costs across Microsoft Azure, Amazon Web Services and Google Cloud Platform.

A new employee resource group helps parents and guardians feel comfortable asking for what they need.

The Looker API allows you to programmatically manage your Looker environment. Learn how to do it here!

Tarballs are used industry-wide for packaging and distributing files, and this is no different at Databricks. Every day we launch millions of VMs…

The post Creating a Faster TAR Extractor appeared first on Databricks.

This post is a part of our blog series on our frontend work. You can see the previous one on “Simplifying Data +…

The post Taming JavaScript Exceptions With Databricks appeared first on Databricks.

We are excited for the release of Delta Sharing 0.3.0, which introduces several key improvements and bug fixes, including the following features: Delta…

The post Delta Sharing Release 0.3.0 appeared first on Databricks.

According to Sophos, 46% of all malware now uses Transport Layer Security (TLS) to conceal its communication channels. A number that has doubled…

The post Hunting Anomalous Connections and Infrastructure With TLS Certificates appeared first on Databricks.

The World Health Organization defines pharmacovigilance as “the science and activities relating to the detection, assessment, understanding and prevention of adverse effects or…

The post Improving Drug Safety With Adverse Event Detection Using NLP appeared first on Databricks.

This is the second part of a two-part series of blog posts that show an end-to-end MLOps framework on Databricks, which is based on Notebooks. In the first post, we presented a complete CI/CD framework on Databricks with notebooks. The approach is based on the Azure DevOps ecosystem for the Continuous Integration (CI) part and...

The post Implementing MLOps on Databricks using Databricks notebooks and Azure DevOps, Part 2 appeared first on Databricks.

The potential for computer vision applications to transform retail and manufacturing operations, as explored in the blog Tackle Unseen Quality, Operations and Safety Challenges with Lakehouse enabled Computer Vision, can not be overstated. That said, numerous technical challenges prevent organizations from realizing this potential. In this first introductory installment of our multi-part technical series on...

The post Enabling Computer Vision Applications With the Data Lakehouse appeared first on Databricks.

An open secret of geospatial data is that it contains priceless information on behavior, mobility, business activities, natural resources, points of interest and more. Geospatial data can turn into critically valuable insights and create significant competitive advantages for any organization. Look no further than Google, Amazon, Facebook to see the necessity for adding a dimension...

The post Building a Geospatial Lakehouse, Part 1 appeared first on Databricks.

It is no secret that GPUs are critical for artificial intelligence and deep learning applications since their highly-efficient architectures make them ideal for compute-intensive use cases. However, almost everyone who has used them is also aware of the fact they tend to be expensive! In this article, we hope to show that while the per-hour...

The post Are GPUs Really Expensive? Benchmarking GPUs for Inference on the Databricks Clusters appeared first on Databricks.

This blog relates to an ongoing investigation. We will update it with any significant updates, including detection rules to help people investigate potential exposure due to CVE-2021-44228 both within their own usage on Databricks and elsewhere. Should our investigation conclude that customers may have been impacted, we will individually notify those customers proactively by email....

The post Log4j2 Vulnerability (CVE-2021-44228) Research and Assessment appeared first on Databricks.

With hundreds of developers and millions of lines of code, Databricks is one of the largest Scala shops around. This post will be a broad tour of Scala at Databricks, from its inception to usage, style, tooling and challenges. We will cover topics ranging from cloud infrastructure and bespoke language tooling to the human processes...

The post Scala at Scale at Databricks appeared first on Databricks.

It’s been an exciting last few years with the Delta Lake project. The release of Delta Lake 1.0 as announced by Michael Armbrust in the Data+AI Summit in May 2021 represents a great milestone for the open source community and we’re just getting started! To better streamline community involvement and ask, we recently published...

The post The Foundation of Your Lakehouse Starts With Delta Lake appeared first on Databricks.

Ray is an open-source project first developed at RISELab that makes it simple to scale any compute-intensive Python workload. With a rich set of libraries and integrations built on a flexible distributed execution framework, Ray brings new use cases and simplifies the development of custom distributed Python functions that would normally be complicated to create....

The post Ray on Databricks appeared first on Databricks.

Genomic technologies are driving the creation of new therapeutics, from RNA vaccines to gene editing and diagnostics. Progress in these areas motivated us to build Glow, an open-source toolkit for genomics machine learning and data analytics. The toolkit is natively built on Apache Spark™, the leading engine for big data processing, enabling population-scale genomics. The...

The post Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools appeared first on Databricks.

acc + value) as sum FROM ( SELECT order_number, clicked_items:[*][1] as all_click_counts, from_json(clicked_items:[*][1], 'ARRAY')::ARRAY as all_click_count_array FROM autoloaderBronzeTable ) Unfortunately, not all data comes to us in a usable structure. For example, the column clicked_items is a confusing array of arrays in which the count comes in as a string. Below is a snippet of...

The post 10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse appeared first on Databricks.

Hello everyone, as a Data Engineering consultant I don't always have the luxury that a Data Engineering environment is setup already, so I have to do that first. I find it sometimes quite a process to make a choice where and how to deploy each tool in the best way. Some cloud providers are making this choice a bit easier by providing those tools out of the box, but this is paired with somewhat lower customization and higher usage costs. So it is still a tradeoff. A trend that I am seeing is that a lot of tools can nowadays be deployed on Kubernetes, which is a container orchestrator and supports automatically scaling resources up and down based on application load. I see the benefit of usin…

Modeling question from a n00b: My org has customers and often the business questions are around already-aggregated facts about each customer. For example: "How many customers have 1-100 transactions, 101-1000 transactions, etc". I think to get these answers I create factless fact tables, but for the purpose of data exploration (for non-technical end users) I'd like to roll up a count of those transactions by customer and store it as an attribute of the customer. I'm sure there is a different way to think about this so any direction is appreciated! submitted by /u/Successful-Pick9288 [link] [comments]

I'm having trouble inserting local tables from SQL Server into my Redshift linked server, via ODBC connection. I'm able to query tables, join with local tables, and insert values manually. The only error I get is inserting from a local table. I've double-checked and both the Redshift and local table have the exact same schema. I've used both insert queries below, and each has the same output: --Testing Inserting Local SQL Tables INSERT INTO [REDSHIFT].[dev].[public].test (ID, Name) SELECT ID, Name FROM [LOCAL_DB].[dbo].[TEST_TABLE] OR INSERT INTO OPENQUERY (REDSHIFT,'select Id, Name from dev.public.test') SELECT Id, Name FROM [LOCAL_DB].[dbo].[TEST_TABLE] --Output OLE DB provider "MSDASQL" …

I'm analyzing data extracted from an API in the form of JSON files in Jupyter Notebook. What I'd like to do is dump all the JSON files the API can access into a data lake or warehouse and then write simpler SQL to access what I need when I need it. Any recommendations on free/cheap data warehousing / data lake solutions that could do the job? All I can think of is BigQuery, Databricks and maybe AWS? ​ Thnks and apologies for the newbie question. submitted by /u/Tizniti [link] [comments]

My team has a pretty large pipeline setup. Running the entire pipeline with production data (prerod environment) takes like 8 hours. We have some lower-tier environments with smaller datasets where things take like 20 minutes, but at the end of the day, the issue with these datasets is that they might be ok for building the happy path but bugs are not always apparent until we hip preprod and run an 8 hour execution. Having 8 hours of downtime minimum per user story is forcing my team to take on larger end-to-end stories. The reason for this is that breaking a story into 3 or 5 pieces would mean running the whole pipeline a lot more. On the other hand, user stories feel too large at the mome…

submitted by /u/adnanrahic [link] [comments]

I believe that companies are waking up to the fact that the time of Data Engineers is better spent on creating assets and building pipelines, not maintaining a dimensional model or optimizing a SQL query. There are many cloud products (GCP, AWS, Azure) that have optimization algorithms that can outperform any human. I think that dimensional models like star schemas, are going the way of the cube. Soon to be relegated to outdated technology. Cloud compute has gotten so cheap, and cloud storage has gotten so cheap, that the cost/benefit analysis is now incredibly obvious: spend more on good engineers, spend more on cloud compute, and get more value per dollar. I explain more about how Google …

I'm a data engineer with 5 years of experience in public sector primarily working with Microsoft stack (including azure). Been looking for jobs and got these two offers 1) Senior Data Engineer In a greenfield startup, that has been hiring a lot and had a number of acquisitions over the past few years. Job sounds very technical and in a small team which i feel would be a great challenge. 2) Enterprise Data Architect In a large established organization, building data model through low code from CRM solutions but involves a lot of comms with loads of stakeholders, and setting up the general data strategy for organization. I felt it would be a great opportunity to learn the other side of things…

Title says it all ..... Searched the internet alot, couldn't find anything other than few half baked stuffs.... Any leads would be extremely helpful! submitted by /u/johnyjohnyespappa [link] [comments]

Recently I have completed 2 courses on Udemy. i.e. Azure Databricks & Spark Core For Data Engineers(Python/SQL) and Azure Data Factory For Data Engineers - Project on Covid19 I am looking for a Beginner level Project on Azure Data Engineering! Tech stack I have covered and am comfortable with: Azure Data Factory, Azure Databricks, Azure CLoud Things I have NOT learned in this course: AWS, AirFlow, Docker and Kubernetes. Can anyone please suggest/share the resources if you are already working on the Azure stack? Big Thanks in Advance :) submitted by /u/Dileep_2077 [link] [comments]

Dear all, I would greatly appreciate any feedback on this, if you have the patience to read through the lenghtly post. Context: I'm a DA with occasional DE duties, working for a startup. I have little DE knowledge/experience (but I enjoy the exposure). In particular I have no experience with BQ or any other DW. Right now I want us to move away from doing BI on our transactional database (MySQL) and instead copy our transactional data into BQ. As I understand it (again, little knowledge of the field), the most straightforward solution is to use tools like airflow or managed services like fivetran, in order to mirror (a subset of) our transactional database into BQ. But I have a dilema, as th…

Just saw it on their website as I was looking for the job postings: https://www.snowflake.com/data-cloud-academy-data-scientists/?utm_cta=homepage-featured-data-scientist-school submitted by /u/pendulumpendulum [link] [comments]

Hi group, How will you answer an interview question that ask you to describe the necessary steps to create end to end data pipelines and what are the stacks you used in creating your pipelines? submitted by /u/FlyingOnEaglesWings [link] [comments]

A post to present you — using simple words — another option to cluster data in Python.Continue reading on Towards Data Science »

Prior Knowledge in AI — Is it Really “Cheating”?Why is prior knowledge so important for AI systems?Let’s start things off with an optical illusion: the famous Rubiks Cube, invented in 1984 and speed-solved by only the fastest elite solvers, and cherished by many in the public today. I want to focus on a specific illusion of the Rubiks Cube that’s quite popular involving color and illumination.Website Accessed: http://www.internetbestsecrets.com/2009/06/ames-window-and-color-perception.htmlI want to ask you a simple question: is the center square in the front face and the center square on the top face the same shade? Clearly, not! One of the center squares is orange while the other is brown.…

Revealing what’s going on while you play with your DataContinue reading on Towards Data Science »

Using the idea of a phrase-level expressiveness to design a succinct and unobtrusive query languageDemo of wikipedia_ql tool (Image by author)After months of digging into generative art in JS and handling the recent Ruby version, I am now returning to my Python open data project — WikipediaQL.It is still in the early/experimental stages, and the last few months of writing gave me the idea that for my mindset, it would be much easier to write about the project and ideas behind it simultaneously with developing.Previous months of work on WikipediaQL were quite chaotic: I’ve tried to build some feature I imagined should be useful, spent several weeks on it, then it was ready, then I started to…

From raw audio to TFRecord to padding batchesThere are multiple ways of feeding data to a Neural Network. Most often, Numpy arrays and CSV/Pandas files are used. Additionally, TensorFlow offers a custom storage format, TFRecord. It’s handy but not very beginner-friendly.Photo by Richard Horvath on UnsplashThough many datasets are readily available, such as MNIST or CIFAR, you sometimes have to implement custom ones yourself. Thankfully, getting other datasets into the TFRecord format is not that hard once you’ve done it a few times. Here, we’ll go over parsing the UrbanSound8K dataset, store it in the TFRecord format, and, finally, iterate over its samples.Dataset descriptionThe UrbanSound8…

Stop doing things one step and time and use Pipelines!Continue reading on Towards Data Science »

Get quick insights into your data with just a few lines of codeContinue reading on Towards Data Science »

According to a recent study by HFS, 75 percent of executives don’t trust their data. Here’s why and what data-reliant teams can do about it.

When it comes to achieving reliable data, Monte Carlo, the leading data observability platform and dbt, the data build tool, are better together. Here's why.

Learn how the data engineering team at Clearcover increased data quality coverage across their stack by 70 percent with Monte Carlo.

With Monte Carlo and Prefect’s strategic partnership and integration, data engineering teams can seamlessly manage the reliability of their data engineering workflows.

Bob Muglia, the former CEO of Snowflake, discusses what’s next for the tooling and technologies powering data analytics and engineering.

Data reliability is becoming a critical focus for modern data teams. Drawing inspiration from software engineering, here's how to get started.

When it comes to ensuring your data team is happy and productive, answering these seven questions will make all the difference.

Monte Carlo’s field-level lineage functionality is now offered as part of our automated, end-to-end data observability platform.

How the data team at The Farmer's Dog, a fresh dog food company, achieves reliable data pipelines with automated, end-to-end data observability.

Monte Carlo Insights is the first solution on the market to offer customers operational analytics about their data environment.

Five reasons why you should attend IMPACT, the world's first Data Observability summit on Wednesday, November 3, 2021.

Best practices for building a data team at a hypergrowth startup, from hiring your first data engineer to IPO.

Mammad Zadeh, former VP of Engineering at Intuit, shares his take on one of data's hottest topics: data mesh.

What is data observability and does it make sense for your stack? Here’s your go-to guide to starting on the path towards data trust.

Нашел стандарт для описания метаданных Open Metadata: https://open-metadata.org/

Интересный движ намечается в январе 2022 года — Data Engineer Zoomcamp Это 9 недельный курс в формате zoom-лекций и практических занятий по дата инжинирингу. Примечательно что он абсолютно бесплатный для всех, нужна лишь предварительная регистрация по ссылке.…

https://groupby1.substack.com/p/data-engineering

https://ottertune.com/blog/2021-databases-retrospective/

Запись докладов ранее анонсированной конференции: https://youtu.be/WHN8bLSqebQ

https://hakibenita.com/postgresql-unknown-features

#вакансияАналитик DWH (от Junior до Senior)МоскваAccentureВ IT-компании Accenture, входящей в список 500 крупнейших компаний и 100 лучших работодателей мира, открыта позиция аналитика DWH.Обязанности:— выявлять требования к данным, сценарии их использования и анализа в корпоративном хранилище данных и отчетности в тесном взаимодействии с бизнес-подразделениями;— проектировать логическую модель данных корпоративного ХД (детальный слой и витрины данных) и ETL-процессы интеграции данных с различными системами-источниками;— анализировать причины расхождений данных в различных витринах корпоративного хранилища данных, участвовать в определении эталонных данных;— проводить тестирование и приемку …

Интересная статья про то как в Великобритании строили COVID-дэшборд на PostgreSQL, Citus и Microsoft Azure. В статье речь идёт про этот дэшборд.Я был очень удивлён, что такой профессиональный подход к проектированию и построению отказоустойчивых систем есть у государственных органов. Более того, к сервису можно подключаться по API, есть даже официальные клиенты под разные языки. Например, вот python-клиент.Статья полна технических деталей по реализации, и даже есть ER-диаграмма моделирования данных в БД. Несомненно крутой кейс и пример открытого государства. Нам о таком остаётся только мечтать 🙏

Интересный движ намечается в январе 2022 года — Data Engineer ZoomcampЭто 9 недельный курс в формате zoom-лекций и практических занятий по дата инжинирингу. Примечательно что он абсолютно бесплатный для всех, нужна лишь предварительная регистрация по ссылке.У этой инициативы уже есть полупустой репозиторий на гитхабе: https://github.com/DataTalksClub/data-engineering-zoomcamp, там же можно ознакомиться подробнее с предстоящими темами для изучения.Старт намечен на 17 января 2022 года

💥 DWHard митап21 декабря / вторник 17:00 - 20:00 (мск)Три часа - три темы: 👉🏻 Data MeshПоговорим про применение микросервисной архитектуры в DWH. Как применяли данный подход в Яндекс Go, стоит ли это того, и как сохранить единообразие и управлять таким разрозненным гетерогенным хранилищем?👉🏻 История озера данных, которое зацвелоПоговорим про адаптацию Vertica в Ozon как технологической основы для DataLake. Рассмотрим, какие шишки набивали, что получилось хорошо, а что - не очень. Обсудим нюансы поддержки пользователей и соблюдение границ применимости даталейка под их нужды.👉🏻 Недетальный неслой хранилищаПоговорим про выбор модели для создания хранилища данных (Data Vault, Anchor modeling ил…

В догонку про доклады. На канале конференции Hydra стали доступны доклады с прошедшей Hydra 2021На конференции выступали именитые спикеры, например, есть доклад от Andy Pavlo про ретроспективу NewSQL баз данных за прошедшее десятилетие. Меня также заинтересовал доклад про распределённые транзакции, я не понимаю как возможно добиться транзакционности в распределённой среде, поэтому буду "курить".Загляните в их плейлист, наверняка найдёте что-то интересное для себя.

Вебинар от Astronomer про data lineage в Apache Airflow: https://www.youtube.com/watch?v=2s013GQy1Sw

Приглашаем дата-инженеров на demo-занятие 13 декабря в 20:00 «Написание коннекторов для Spark». Открытый вебинар проведет Вадим Опольский. Вадим работает в Luxoft DXC Technology на Big Data проекте. Преподаватель разберет с вами подключение к внешним системам из коробки и создание кастомного коннектора для подключения к нестандартным БД.Demo-занятие входит в программу онлайн-курса «Spark Developer» от OTUS и позволяет оценить качество материалов курса. Пройдите вступительное тестирование, чтобы попасть на мероприятие https://otus.pw/5FCC/

Wes McKinney в рамках Database talks от CMU рассказывает про Apache Arrow: https://youtu.be/YhF8YR0OEFkApache Arrow это новый вид колоночного in-memory формата данных. Более подробно про сам формат можно узнать из доклада или сайта https://arrow.apache.org/overview/

Для всех новичков в datalearn записал короткий но важный ролик:Практически каждый урок каждого модуля имеет домшнее задание или лабораторную работу. Я всегда прошу сохранять результат работы в Git, но никогда не показывал как это делать. Теперь вот показал.Из видео вы узнаете:- Как зарегистрироваться в Git- Создать репозитория для своих файлов- Как можно упростить задачу и использовать GitHub Desktop- Узнаете как вы можете использовать Git в командной строке (по желанию)- Узнаете как используют git в реальных условия, на пример создания собстевнного branch, модификации файлов и push их обратно в репозиторий в Visual Code (IDE)- Узнаете как создавать файлы в Markdown- Покажу вам отличный при…

Я сейчас читаю лекции в университете по Cloud Computing для бизнес студентов. Студенты подключаются из Канады, Филипин, Кореи и Южной Америки. Cloud Computing это технический топик и лабы там тоже технические. Иногда мне жалко студентов, мне кажется они засыпают. Я их развлекаю картинками из комиксов про облачные вычисления и историями из Амазона и Майкрософт. Но вчера зашел вопрос про поиск работы в Канаде. Я далеко ходить не стал, показал картинку с лошадкой и рогом из рожка для мороженного с подписью fake it till you make it, показал им канадские зарплаты, рассказал как нужно создать себе резюме на примере мужичка, который работал security guard. Упомянул про 20 собеседований, которые на…

Lake House архитектура становится все популярней. Вендоры активно развивают open source решения и добавляют их к себе в портфолио.1. Snowflake (неожиданно) решил добавить поддержку Apache Iceberg.2. AWS Elastic Map Reduce (Hadoop) добавил поддержку Apache Iceberg, до этого они активно использовали Hudi и Delta Lake (последнее мы даже использовали в Alexa).3. Apache Hudi написали пост по результатам 2021 года. И другой пост про Change Data Capture подход с использованием Debezium (для Postgres и Mysql).В общем и целом, lake house наше будущее, пока что. А дальше видно будет=)

Недавно думал о современных требованиях к инженерам. Все вы знакомы с моим разделением специалистов на бизнес ориентированных (gentle) и инженерно-технических(hardcore). Что уж там лукавить, 2м быть лучше, даже если зарплата будет одинакова(а она одинакова на западе💯), возможностей больше у 2х, именно поэтому мы всегда открыты новому и продолжаем постигать азы питона, командной строки и Гита.😋Но теперь можно разделить специальность в другой плоскости:- создание инфраструктуры с 0- использование существующей инфраструктурыИ не важно какая роль, может быть задача по созданию и использованию платформы данных, может быть выбор BI инструмента.Ведь получается, могут взять нас на работу, а там уже…

Раньше все дети учили английский любыми возможными способами! Теперь все дети учат англиский и программирование, тоже, всеми возможными способами! В будущем, надо будет учить детей работать руками.

Статья про сравнение Airflow, Prefect и Dagstrer. Набор такого дата хипстера со знанием питона и неотъемлемая часть buzz word - modern data stack, про который я любил рассказывать на конференциях в 2018 году и раньше. Теперь мне уже стыдно даже в канале писать про modern data stack. Это уже как писать про современное средство передвижение - электро автомобиль🤗Кстати со всеми этими workflow-orchestration инструментам, есть одна большая проблема - production использование. Запустить докер на ноутбуке и установить туда airflow, а вот чтобы сделать production ready систему это уже большая и сложная задача. И самое главное у наших open source инструментов очень ограниченная документация по этому…

Полностью согласен с автором, что нужно знать SQL, CLI (командная строка), git. Именно поэтому datalearn именно с этого начинается и используются SQL, git, CLI почти во всех модулях.

Писал про Microsoft Garage - место где можно изучать 3d printing, паяние, микроконтроллеры. Ещё у них есть библиотека, где можно брать вещи напрокат, например робот Romomaster S1. Есть дроны, и Microsoft Lens. Я взял этот танк поиграть детям. Его цена почти 700$. Можно управлять с телефона, работает по wifi. Есть возможность использовать визуальный coding, и даже поддержка python, чтобы сделать его автономным. В целом это штука не стоит своих денег. Код можно писать только через app, и если только телефон , то экран малюсенький. На сайте есть "типа тренинги по роботам", но на самом деле это несколько 10ти минутных роликов вводных. Отличная идея и технология, но вот интерфейс для взаимодейст…

Если google относится к SQL как языку программирования, то почему бы и нам так не думать про него. А вы как его воспринимаете?

https://mobile.twitter.com/ergestx/status/1479811885377765383

Я люблю рассказывать про 2 типа дата инженера - gentle и hardcore. А вот в этой статье тоже есть 2 типа инженера:(1) Data Engineers: Software engineers, DataDescribed as: Software engineering specialists, with data as the core specialisation, who can focus on the niche areas of data engineering and can work with complex real-time data systems.Needed When: Only required in tech businesses, and only when software engineers cannot assist. This is not needed for 99% of businesses and these candidates know what they want to work on and have the agency to decide.(2) Data Engineers: Solutions oriented engineers, DataDescribed as: Business optimisers. Data engineers that engineer data because it is…

Многие знакомы с Agile и Scrum. И только ленивый не используют эти подходы на работу. Всякие daily stand up, retrospective, poker planning, и sprint planning уже въелось глубоко в голову🙈 А вот в статье Don’t Make Data Scientists Do Scrum есть opinion на эту тему.

В комментах расшарили хорошее видео про open source менеджер паролей для Linux - pass. Вообще идея использовать хороший менеджер пароль в современном мире очень правильная. В идеале для каждой системы должен быть свой уникальный пароль и включен MFA. Это для личного пользования, а для рабочего, особенно когда работаем с данными, это крайне важно!

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🎰 Wordle продолжает захватывать мирПопулярность игры в слова с крайне простым интерфейсом бьет все рекорды, блоггеры и не только хвастаются результатами в сети (особенно, в Twitter), а аналитики собирают статистику, строят графики и анализируют игру и игроков вдоль и поперек. 📉 Лучшая новость для студентов и начинающих аналитиков (и не только)Возможно, вы уже слышали о библиотеке Faker, но мы все-таки расскажем. Эта библиотека позволяет сгенерировать нужные вам случайные данные для разработки, учебных проектов и вообще любых целей, кроме, пожалуй, научных и исследовательских. Она доступна на языках Ruby, Python, …

Не пора ли менять стандарт SQL?На глаза попалось несколько ссылочек на эту тему:1. PRQL — Pipelined Relational Query Language. Его идея в том, чтобы представить обращение к базе данных как логически выстроенный пайплайн трансформаций. Например, вместо такого запросаSELECT TOP 20 title, country, AVG(salary) AS average_salary, SUM(salary) AS sum_salary, AVG(salary + payroll_tax) AS average_gross_salary, SUM(salary + payroll_tax) AS sum_gross_salary, AVG(salary + payroll_tax + benefits_cost) AS average_gross_cost, SUM(salary + payroll_tax + benefits_cost) AS sum_gross_cost, COUNT(*) as countFROM employeesWHERE salary + payroll_tax + benefits_cost > 0 AND country = 'USA'GROUP BY title, countryO…

Десять open-source альтернатив вашему Google AnalyticsНа hackernews был интересный тред, где спрашивали про различные open-source аналоги для Google Analytics. Мы изучили тред и делимся находками. Описание — компиляция заявленного на сайтах платформ + собственное мнение.▪️PostHog — наверное, самая известная и нашумевшая сейчас платформа для продуктовой аналитики, анализа воронки, записи сеансов, пометок функций и многого другого.▪️GoatCounter — удобная платформа для веб-аналитики без отслеживания личных данных пользователей. Бесплатна для некоммерческого использования.▪️Piwik — достаточно олдскульный уже инструмент для анализа пути клиента по веб-сайтам и приложениям. Вновь важной частью яв…

Использование регулярок в SQLКак найти телефонные номера в столбце данных? А e-mail адреса? На помощь приходят регулярные выражения. Понятно, что их можно изучать и отдельно и хорошие референсы я уже давал в канале, но что если регулярные выражения хочется использовать в SQL-запросе? Разбираем несколько типовых примеров в свежей статье в блога LEFT JOIN!

Кому нужен SQL в IT? Почти всем!SQL Pro - канал по SQL. Контент канала: 1. Задачи2. Трюки языка3. Туториалы 4. Основы для начинающихУчить SQL - https://t.me/sqlprofi

Недавно рассказывал про наш клевый проект по анализу постов @temablog и про генератор реплик в стиле Артемия 🗣А сегодня уже сам Артемий Лебедев в выпуске новостей рассказывает про наш труд и генератор! 🎉🎉🎉Спасибо всей команде, кто принимал участие в проекте: Егор, Света, вы молодцы! 👍👍

В продолжение нашей статьи на Хабре об использовании Яндекс.Облака новая статья на vc.ru уже с цифрами.

Как можно получить максимум от данных из CRM-системы? Обработать их с помощью функций и проанализировать с помощью Yandex DataLens. В нашем блоге на vc.ru команда дата-аналитиков из Valiotti Analytics делится своим опытом →#yacloud_news

🎮Wordle – игра, которая быстро завирусилась, а потом собрала волну хейта 🔥То ли дело в праздничных выходных, то ли это просто удачное стечение обстоятельств, то ли гениальные навыки автора идеи (а может и все вместе), но в начале января за считанные дни игра Wordle набрала огромную популярность. Скорее всего, повлиял тот факт, что создатель в первую очередь отталкивался от собственных желаний, создавая игру для себя и своей подруги. Так ведь часто получаются самые лучшие продукты. 📝 Что это за игра такая?Суть игры простая – нужно угадать слово из 5 букв за 6 попыток. Если вы угадали букву и место, на котором она должна быть – она становится зеленой, если только букву – желтой, а если такой …

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞💸 Больше никаких фраз “зарплата по итогам собеседования” (пока только в Нью-Йорке)Поиск работы с каждым днем становится все более сложной задачей: требования к кандидатам растут, вакансий все меньше, а соискателей все больше. Еще сильнее дело усложняется тем, что часть вакансий публикуются без указания ожидаемой зарплаты на старте работы или хотя бы зарплатной вилки. Люди проходят несколько кругов изнурительных собеседований, а затем узнают, что зарплата вообще не соответствует их ожиданиям. И вот, на радость всем желающим найти новую работу, власти Нью-Йорка приняли закон, который запретит публикацию любых вакан…

SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

Reverse ETL — один из популярных трендов на Западе.Кратко о том, что это за класс инструментов. Обратный ETL позволяет забирать данные из DWH и прогружать их в различные CRM / Sales / Support системы (обычно их называют Destination в интерфейсе Reverse ETL), обеспечивая постоянную синхронизацию. Таким образом, например, в инструментах маркетологов создаются или обновляются записи о лидах (различные свойства и параметры лида).Последний выпуск Data Engineering подкаста как раз об одном из инструментов Grouparoo.Но есть и другие известные решения по теме: ▪ Hightouch [коммерческий] ▪ Grouparoo и их статья про Reverse ETL [opensource] ▪ Airbyte [opensource] Сталкивались ли с подобными инструмен…

🎄Врываемся в рабочие будни с креативным проектом 🔬Возможно вы помните, что несколько лет назад Артемий Лебедев презентовал в своей студии алгоритм “Николай Иронов“, который заменил работу множества дизайнеров, создавая креативные решения для логотипов и фирменного стиля компании. Вряд ли он ожидал, что мы сможем создать текстовую модель, которая заменит его самого, да ещё и напишем об этом статью.Никаких больше спойлеров – скорее читайте статью на Хабре (и голосуйте за нее!) и протестируйте наш сервис генерации постов а-ля Артемий.Вот, например, что получается у нас – "С Новым Годом…»!

Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии 3.37.2. И включил пачку стандартных расширений вроде R*Tree. А в планах еще приделать все расширения из sqlean, вот тогда заживем вообще.https://sqlime.org/

Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем с 12:15.https://we.fo/1604736632P.S. Поскольку к записи мы специально не готовились, звучу я как из ведра. Но если потерпеть минуту, вы привыкнете 😁

Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NULL — пустое значение.Пока ничего необычного (только типов маловато по сравнению с другими СУБД).А как вам такое:SQLite может хранить данные любого типа — вне зависимости от того, какой тип указан на столбце.Хотите записать число 3.14 в integer-поле? Пожалуйста (и никакого округления). Или, может быть, 'привет' в поле типа real? Без проблем.Дело в том, что SQLite хранит тип не только на столбце, но и на каждом значении в таблице. Именно поэ…

Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person->'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enhancements.md

Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенных функций по сравнению с PostgreSQL или Oracle.К счастью, авторы заложили в SQLite механизм расширений, на котором можно сделать почти все что угодно. В результате интернет заполнен обрывочными расширениями, которые добавляют функцию-другую.Мне хотелось большой системности.Так появился проект sqlean — в нем я собираю вместе недостающие в SQLite функции, распределяю их по модулям, рефакторю код, пишу тесты и документацию. Получается что-то …

Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-998138191

Читаем и пишем файлы прямо из SQLiteУ CLI-утилиты sqlite есть встроенные функции writefile и readfile. Я их немного доработал и оформил в виде расширения fileio.Пишем в файл:select writefile('hello.txt', 'hello world');Читаем:select readfile('hello.txt');Выводим содержимое каталога:select * from lsdir('.');Для любителей делать все на свете, не покидая SQL ツ

SQLite GUIПо запросу «sqlite gui» в гугле на первой позиции стоит программа «DB Browser for SQLite». На мой взгляд, она плоха примерно всем, и такая популярность ничем не оправдана.Если вы работаете под Windows, обратите внимание на sqlite-gui. Она легкая, быстрая, удобная, и с кучей приятных дополнительных фич вроде настраиваемых шорткатов, генератора данных и даже встроенного REST API сервера.А еще автор (к сожалению, не знаю даже его имени) пишет классные статьи про SQLite на хабре.

Быстрый поиск похожих слов на SQLНаписал статью о том, как искать похожие слова и исправлять опечатки на большом словаре (1.5 млн записей).рассчет → расчетсонце → солнцеабривиатура → аббревиатураПопутно вы узнаете, как считать расстояние между словами, что такое фонетические коды, и как использовать фонетику и расстояния для моментального поиска (<50 мс).https://antonz.ru/similar-words/

Если вы написали отличную статью, о которой никто не знаетВ русскоязычном айти есть несколько «селебрити», которых все читают и обсуждают. И намного больше малоизвестных ребят, которые пишут классные статьи. У селебрити и так все отлично, а вот остальным я бы хотел помочь найти свою аудиторию. Поэтому провожу эксперимент! Готов опубликовать ссылку на вашу статью, если она мне понравится. Бесплатно. Знаменитостью это вас не сделает, но статью точно увидит больше людей.Все условия

Датасет слов английского языкаОбнаружил, что у Оксфордского университета есть списки распространенных слов и выражений английского языка. Доступны в традиционно «удобном» формате — html-амбразуре на сайте либо PDF.Извлек их и сделал нормальные наборы данных в CSV.Атрибутика:— слово— часть речи— уровень (A1, A2, B1, B2, C1)— ссылка на подробное определение— ссылка на озвучку в ogghttps://github.com/nalgeon/words

SQLite 3.37Тут у sqlite вышла новая версия! Да какая — теперь он научился проверять типы данных (двадцать лет ругали, что не проверяет).Написал обзор основных изменений:https://habr.com/ru/news/t/592085/

«Родительскому» курсу про SQLite такая популярность и не снилась 🤷

500 учеников на курсе про «окошки»!Зашел сегодня на «Степик» и увидел, что на курс по оконным функциям записались уже 500 человек. Когда его делал, совсем не рассчитывал на такую популярность.Вообще, курс про «окошки» появился как спин-офф моего большого курса «SQLite для аналитики». Там был модуль «оконные функции», и он мне самому так понравился, что на его основе сделал отдельный курс.Судя по всему, получилось неплохо, потому что студентов много и отзывы очень позитивные. Люди находят курс без всякой рекламы. Полностью прошли курс 40% участников — это очень недурно для онлайн-формата. Выпускники пишут, что стали регулярно использовать «окошки» в повседневной работе — лучший результат, чт…

Мы ищем Python-разработчиков в штат Яндекс.Практикума.Создаём социально значимый продукт и бизнес: помогаем нашим студентам получить новую цифровую профессию или навык.Бэкенд-разработчику в Практикуме предстоит: → проектировать и внедрять новые форматы прохождения курсов, проектных работ;→ добавлять на платформу новые тренажёры для студентов;→ внедрять запуск кода на новых языках программирования;→ развивать инструменты для машинного обучения и анализа данных;→ проектировать архитектуру и инфраструктуру для новых внешних и внутренних сервисов;→ ускорять работу платформы во всем мире, чтобы помогать Практикуму завоевывать новые рынки.Мы будем рады видеть в нашей команде человека, который— ум…

Тренды в сфере работы с данными 2022. Основной пост1️⃣ Data Mesh Признаться честно, меня всегда пугают новые термины, которым нельзя дать конкретное определение. На мой взгляд, такие термины рискуют стать buzzword. Data Mesh как раз такой термин — дать его определение в одном предложении сложно. Это не какая-то конкретная технология/технологический стек или процесс. Правильнее назвать это концепцией хранения данныхData Mesh появляется в противовес централизованным хранилищам данных. Можно сказать, что это микросервисная архитектура хранения данных, в которой существует некоторое количество разнородных источников данных с высокой атомарностьюУ каждого хранилища может быть свой бизнесовый оун…

Наткнулся на любопытную статью с описанием 6 трендов в сфере работы с данными, которые будут (а может и не будут) популярны в 2022Список такой:1️⃣ Data Mesh2️⃣ Metrics Layer3️⃣ Reverse ETL4️⃣ Active Metadata & Third-Gen Data Catalogs5️⃣ Data Teams as Product Teams6️⃣ Data ObservabilityВ целом, видно смещение в область data governance и изменение парадигмы восприятия данных крупными компаниями не как побочного следствия жизнедеятельности продукта/сервиса/системы, а как одного из ключевых элементов — можно сказать топлива для принятия решений и для роста показателей (отсюда вытекает тезис «Data Teams as Product Teams»). Как следствие, увеличивающаяся демократизация данных и сфокусированность …

Data-аналитик в Яндекс БанкОдин из самых молодых и перспективных сервисов Яндекса в поисках data-аналитика. Задач много и все они действительно важны. Если вы устали от бесконечного построения отчетов в Экселе и хотите, чтобы результат вашего труда влиял на пользовательский опыт миллионов клиентов и экономику Банка – эта вакансия для вас.Команда собралась отличная: есть ребята из других сервисов Яндекса и есть коллеги, которые раньше уже работали в финтех-проектах. На видео — руководитель аналитики Саша подробнее рассказывает о том, чем предстоит заниматься.Если сложности вас не пугают, а мотивируют, и вы хотите быстро прокачаться и вырасти вместе с новым проектом – переходите на страницу, …

🎄Итоги годаЯ люблю итоги года, для меня это время выгрузить данные и поиграться. Сделал дашборд про каналы, по которым были данные за год и я знаком с авторами. Они крутые эксперты, спасибо им, что готовы делиться информацией! Рекомендую. Полный список за чем слежу сам тут. Виз получился аля «bar-chart race на максималках». Прикольно двигать ползунок. Если выбрать скейл «год», то видно топ постов за все время, есть необычные инсайты. Например, топ-1 это этот пост в канале Андрея Дорожного =) А вот связи между каналами можно увидеть в проекте Left Join и Андрея.📈 Приятно удивлён приросту подписчиков за год. Мне казалось, что потенциальная аудитория сильно меньше. Рад, что вам полезно и интер…

Хорошая статья на Хабре с подборкой прикладных задач аналитики данных, решённых на SQL. Отличный материал для того, чтобы рассмотреть различные подходы и самые распространенные проблемы на понятных и доступных примерах. Например, есть задачи на работу с пропущенными значениями, временными рядами и дубликатами. В общем, всё что я обычно всегда играючи делал в Pandas, но как решить на SQL меня всегда смущало (уж не силён я в нём)https://habr.com/ru/company/otus/blog/541882/

По статистике 7 часов ежедневно мы проводим онлайн, половину тратим впустую. Станьте исключением и присоединяйтесь к каналу "AI анализ и развитие", в котором вы найдете знания о:• машинном обучении (data science, нейросетях); • секретах продуктивности и личного развития; • методиках анализа и критической оценки информации; • а на десерт - интересные факты и юмор.Погрузитесь в мир аналитики и прокачайте навыки 21 века вместе со специалистом, который сделает ваше путешествие понятным и увлекательным.Подписывайтесь на @ai_analysis

Аналитик DWH (от Junior до Senior)Москва и Московская область130–250 тысяч рублейВ IT-компании Accenture, входящей в список 500 крупнейших компаний и 100 лучших работодателей мира, открыта позиция аналитика DWH.Чем предстоит заниматься:— выявлять требования к данным, сценарии их использования и анализа в корпоративном хранилище данных и отчетности в тесном взаимодействии с бизнес-подразделениями;— проектировать логическую модель данных корпоративного ХД (детальный слой и витрины данных) и ETL-процессы интеграции данных с различными системами-источниками;— анализировать причины расхождений данных в различных витринах корпоративного хранилища данных, участвовать в определении эталонных данных…

Алексей Селезнев опубликовал на хабре статью, в которой собрал пакеты реализующие на R популярные приёмы Python.● Декораторы● Множественное присваивание● Списковые включения● Индексирование с нуля● Обработка исключений (try - except)● Классическое ООП в R● Логирование (logging)● Работа с табличными данными (pandas)https://habr.com/ru/post/587480/Подписывайтесь на канал Алексея про использование языка R – https://t.me/R4marketing

🧑‍🎓 Матрица компетенций BI-аналитикаСделал матрицу компетенций, она родилась за год большой работы по менторству BI-аналитиков и «сериала» с Русланом. С радостью и гордостью хочу поделиться ей с комьюнити. Получилось круто.Матрица будет полезна и новичкам — есть подсветка проседающих навыков и ссылки на учебные материалы. И компаниям — для составления планов развития сотрудников.Необходимо оценить себя по 68 навыкам из 6 направлений, которые важны BI-аналитику на мой взгляд. Каждый навык имеет уровень «прокачки» от 1 до 4 и описание, с примером ожиданий знаний от уровня. Но это только пример, при сомнениях, оцените навык по ощущениям от «джун» до «лид».Матрица – не истина в последней инстан…

SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

Вышел достойный внимания Tableau Data Viz Catalogue от Zen Master Toan Hoang - сборник туториалов по построению чартов. Такой viz каталог адаптируется в BI культуру компании - работает как "How to" инструкция для разработчиков и дополняет BI стайл гайд. Этот пример отличается различимым авторским почерком, здесь мне кажется 20% чартов имеют нетипичный и интересный (хотя местами на любителя) дизайн.Есть и другие хорошие виз-каталоги tableau:- Design Tip Catalogue | by Zak Geis (увидел у Reveal the Data)- The Tableau Chart Catalog by Kevin Flerlage- Tableau Cook Book by Josh Weyburne- Visual Vocabulary by Andy Kriebel#tableautips #инфодизайн

3 причины подписаться на аккаунт @selectel🔥1. Основы программирования простым языком и без снобизма.2. Полезные факты о железе, дата-центрах и хостингах.3. Актуальные новости из IT.Подписывайся, чтобы получать больше IT-материалов и каждый день узнавать что-то новое!

Чтобы понимать, как в продукте создается ценность, важно спрашивать себя - как именно клиенты пользуются вашим продуктом: -- есть фичи которыми пользуются интенсивно в течение дня, но не регулярно. -- а бывает наоборот - клиенты пользуются фичами регулярно в течение месяца, но не так интесивно в течение дня.Я уже делился постом про Матрицу Вовлеченности — простой и эффективный инструмент для ранжирования фич по популярности и интенсивности использования. Павел Левчук написал второй пост из серии постов про продуктовую аналитику по мотивам своего выступления на Матемаркетинг-2021 — про Матрицу Интенсивностиhttps://ecommerce-in-ukraine.blogspot.com/2021/12/intensity-matrix.html

Хехе, я прошляпил тут. Уже сегодня в 18-30.У ребят уже 6 митап будет. Очень хочу послушать про Greate Expectations ибо пайплайны строить все научились и DQ сейчас - одна из основных проблем.

🚨25 января в 18:30 у нас пройдет онлайн Citymobil Data Meetup #6.Олег Стрельников из Ситимобил расскажет, как выбирали фреймворк для DataQuality, что от него ждали и почему остановились на GreatExpectations. Покажет, как встроили его в архитектуру DWH, с какими проблемами столкнулись и как их побороли.Максим Шевченко из MTS BigData расскажет про интересный и одновременно простой способ проверки некоторых гипотез валидности таргетинга в наружной рекламе и о том, как его можно использовать в других реальных задачах.🗓Расписание:👉18:30 - 18:40 – Вступительное слово Алексей Чернобровов | Head of Data Science | Ситимобил👉18:40 - 19:10 – Как мы качество данных проверяемОлег Стрельников | Руководит…

Да-да, я в последнее время много читаю разных статей, поэтому вот вам еще одна замечательная.https://erikbern.com/2021/07/07/the-data-team-a-short-story.htmlХороший рассказ, основанный на реальных событиях, про то, как выглядят многие Data Teams в компаниях, какой творится беспорядок и как это все превратить в более-менее работающую машину.Скажем так, отличное чтиво для тех, кто планирует становиться CDO или что-то в этом роде. Оч похоже на книжку "Проект Феникс" (кстати, тоже советую прочитать).#инженерные_практики

Еще одна интересная статья, которую хотелось бы обсудить с вами: The future history of Data Engineeringhttps://groupby1.substack.com/p/data-engineeringВот несколько интересных мыслей из статьи:...Most businesses' data engineering needs have been solved or will shortly be solved by managed services that 10 years ago would require endless and extensive self-built ETL pipelines, databases and tools......The implications are that while Data Engineering is growing rapidly, so too are the forces that will undermine the need for Data Engineers, and the current under-supply of competent engineers will lead to an over-supply of junior engineers......Businesses should strive not to have people worryi…

https://www.datanami.com/2021/12/23/2022-big-data-predictions-from-the-cloud/?utm_source=rss&utm_medium=rss&utm_campaign=2022-big-data-predictions-from-the-cloudТак, тут несколько дней назад на канале @data1984 наткнулся на статью (ссылка выше).И так вышло, что я совсем не согласен с автором. Решил закинуть ее вам и предложить темку для обсуждения. Что происходит?Автор (и его респонденты) утверждают, большинство компаний:а) будут мигрировать не в чистое облако, а в некий гибрид облака и on-prem. Или более того, делать свои private-cloud-on-prem, для того, чтобы получать плюшки работы как с облаком, только уже на своем железе.б) все очень сильно боятся вендор-лока, поэтому будут делать свои …

https://twitter.com/OsipovSimon/status/1471069655443853325Чтобы множество раз не отвечать, почему наши пути с Semrush расходятся, я в Твиттере написал большой тред про это.

Data Engineering Zoomcamp!Вот такое вот клевое название у ребят из DataTalksClub. Они проводят бесплатные зум-кемпы по разным темам и вот добрались до DE. Начало 17 января 22 и бесплатно.Может быть кому-нибудь интересно будет послушать / посмотретьПрограмма следующая:1. Data warehousing (BigQuery)2. Batch processing (Airflow, Spark)3. Analytics engineering (DBT)4. Stream processing (Kafka)Подробнее тут: https://t.co/KpYI2S5aIqСлак Data Talks Club https://datatalks.club/slack.html

Так, во всем этом потоке новых статей и видосиков, как вы ориентируетесь? Напишите в комментарии! (Да-да, я прикрутил обсуждения)Какие источники использую я?- RSS. Обычная читалка, типа Feedly, подписываюсь на интересные мне сайты, читаю раз в неделю заголовки и, если нравится предпросмотр, читаю глубже. Из последнего подписался на All Things Distributed.- Infomate. Продвинутая RSS, материал подобран уже, спасибо всем, кто постарался.- Telegram. Тут подписан на профильные группы, типа @rockyourdata или @DE_events- Twitter. Подписываемся на адекватных лидеров мнений (а не шитпостеров) и читаем периодически, что они приносят.- LinkedIn. Вот тут редко, но все же иногда проскальзывает материал,…

https://drecon.org/На просторах англоязычного интернета нашлась еще одна конференция по Data Engineering, но теперь с модной приставкой Reliability.Доклады разные, кажется, что есть что послушать, однако это лишь на мой вкус. Поэтому лучше самому составить свое мнение, посмотрев на расписание.Учтите, конференция по МСК будет вечер/ночь.

Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил). У него тут прекрасное интервью вышло…

Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил).У него тут прекрасное интервью вышло на тему будущего дата инженеров.Главные моменты - Скорость ETL и аналитики сильно возросла- Единообразие в данных все еще сложно достижимо, но это норм- Управление изменениями все также проблема, но уже есть инструменты - Данные должны быть неизменяемыми, иначе хаос придет- DE роль слишком объемная и начала дробиться на специализации- Операционка все еще доставляет проблем, просто теперь она распределеннаяНагло подсмотрел ссылку на инте…

https://coalesce.getdbt.com/Так, в недавнем докладе на TechTrain я рассказывал про разные пути развития Data Engineer. Так вот, “единорогом” на этом пути считается многорукая шива под названием Analytics Engineer. Это тот, кто вам и данных найдет, и построит пайплайн, положит это все в систему аналитики (которую сам может поднять) и сделает отчет для бизнеса. При этом, он сам пояснит бизнесу, зачем и почему этот отчет им нужен.DBT в декабре проводит бесплатную онлайн конференцию Coalesce - The Analytics Engineering Conference.Кажется, будет интересненько.Регистрация по ссылке выше. Там же и программа конференции, воркшопов и дискуссий.

Только сегодня Astronomer раздаёт бесплатно курсы и сертификации по Airflow - по промокоду airflow-free-certhttps://academy.astronomer.io/page/astronomer-certification

https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.htmlТут Airflow 2.2.0 подвезли.Из заметного:➡️ Custom Timetables (AIP-39)➡️ Deferrable Tasks (AIP-40)➡️ Custom @task decorators and @task.docker➡️ Validation of DAG params➡️ Testing Connections from the UI - test the credentials for your Connection actually work➡️ Duplication Connections from the UI➡️ DAGs “Next run” info is shown in the UI, including when the run will actually start➡️ airflow standalone command runs all of the Airflow components directly without docker - great for local development

Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень больших компаний, и облаков в России немного, а большинство это on-prem компоненты. Тут все очевидно было. Как и с языком программирования: почти половина пишет на Python, 30% на Scala и всего 9% на Java. Тоже предсказуемо.А вот неочевидное:1) Лишь 11% ответивших считают, что самый главный технический навык это ЯП, 36% за SQL и 43% за знание тулинга и фреймворков. Литкоднинужен?😁2) Лишь 30% сразу начали заниматься DE, все остальные - перека…

Datalens from Yandex is quite powerful BI tool.Especially when you use it on top of Clickhouse which makes analytics interactive with sub-second latency.Amongst outstanding features I've already tried:— Advanced functions to built almost anything one can imagine: timeseries, arrays, geo, window functions— Nice and customizable charts integrating with dashboard — Sharing with team / anyone on the internetThe more I use it, the more I love it.— Useful docs with examples and how-to— Really friendly community here in Telegram (important!)— It is free of charge!Take a look at how I managed to build Year-over-Year analysis with LAG function and draw different kinds of viz!LAG([Выручка (₽)], 52 OR…

I will try to overcome normalization another day 😄Leave a comment / reaction if you are interested

Airbyte Clickhouse destinationAirbyte deployed Clickhouse destination which I already use to gather data from multiple sources.By default it replicates all the data as JSON blobs (all the attributes inside one String field)To get it flattened you either have to do it yourself or use Airbyte normalization.1. Flattening manually with JSON functionsJSONExtract(_airbyte_data, 'id', 'UInt64') as id➕ Could be tricky and exhausting if you have a lot of attributes.➖ Works extremely fast2. Airbyte normalization (= dbt underneath 😉)➕ It will flatten all your data automaticallyTechnically it is auto-generated dbt project➖ Still a little bit buggy and looks like a work in progress.I almost managed to g…

Hey, long time no see 🙂We have just started our engagement with dbtLabs at Wheely.Guys will try to conduct audit and help us improve our dbt deployment even further.They have already access to:– dbtCloud (jobs)– Github repo (code)– Redshift (database)– Looker (bi + monitoring)– Slack (communicating)And yesterday was the Kick-off call. Overall great impressions.What is going to happen:– Audit: Deployment + Performance– Audit: Project Structure– Features/Fix'sI will keep you posted.

AWS denounces its own error logsYour post may include a non-inclusive word (master)😭😂

The world ain't all sunshine and rainbows. It's a very mean and nasty place.Especially when you use select *When a base table changes, all the downstream dependencies might break down.Please don't deploy such things to production.⬇️⬇️⬇️#bugs

Если кто был со мной на собесах разработчиков DWH, то знают, что я люблю задавать вопрос "знаете ли что такое dbt"? И пока никто из кандидатов не ответил "да")А знать эту штуку хорошо бы, потому что она по сути реализует подход "DWH as a Code" в том смысле, что добавляет возможности работать со структурой DWH как с кодом обычного приложения. Появляется версионирование, генерация SQL, макросы, тестирование, управление зависимостями и т д. Правильность этого подхода демонстрирует то, что крупные компании, работающие с данными, пишут свои внутренние решения для генерации SQL (пример - Яндекс.Go).Ниже запись митапа на эту тему от моего коллеги Артемия Козыря. Рекомендую к просмотру.

В эту субботу (18 декабря) в Москве с 12:00 до 17:00 в рамках DevsCamp мы снимаем живые подкасты (это значит, что можно прийти и посмотреть съемки, задать вопросы спикерам при желании, понетворкаться, покушать и т.д. Всё как на неформальных митапах)Я буду участвовать в одном из подкастов.Также будет ряд других интересных тем.Трансляция будет вот здесь, а живое обсуждение - в чате DevsCamp в ТГ.Подробности: https://t.me/teamleadcampchat/2307#meetup

Трансляция на YouTube, начинаем! https://www.youtube.com/watch?v=10H45iYaCc8

Трансляция на YouTube, начинаем!https://www.youtube.com/watch?v=10H45iYaCc8

[RU] Привет!Сегодня 14 декабря онлайн-митап пользователей dbt в 19.00Приходите, если уже работаете с dbt или планируете/рассматриваете использование dbt у себя в компании.В программе 4 интересных доклада и ответы на вопросы:- Почему вашей компании нужен dbt?- Опыт использования dbt cloud в modern data stack- Макросы dbt как единая версия правды- Сбор статистики по запускам dbt и поиск узких мест в графеhttps://space307.team/dbtmeetup

Looker action -> Braze (Customer engagement platform)Let's keep observing ways to build reverse-ETL pipelines.Looker enables its user to leverage Actions Hub – way of integrating Looker with 3rd party tools. Amongst most notable are:– Airtable– S3– Braze– Dropbox– gDrive / gSheets / gAnalytics / gAds– Hubspot– mParticleWe calculate certain labels/traits/dimensions on our passengers/chauffeurs based on their behaviour and services usage in DWH.Looker Action enables scheduled sync of data from Redshift to Braze user cards.All you need to perform sync is:– Identifier (user_id / external_id)– Dimensions which will become traits in Braze card– Schedule for this ActionThen in Braze we are able to…

#анонсВ докладе Артемий расскажет про- Анализ T2M команд разработки на событиях Github (Webhook)- Аналитику документ-ориентированной БД MongoDB- Использование специальных функций и типов данных, оптимизация скоростиДобавить в календарь 🗓(всякое бывает, и время может измениться, хотя мы постараемся, чтобы такого не было! Но все равно в день конференции следите за финальной сеткой выступлений)#DevsCamp#TeamLeadCamp#TeamLead

Continued:Also, pay attention to how a model is built with dbt_utils.unpivot macro:{{ dbt_utils.unpivot( relation=ref('dim_chauffeurs_labels'), cast_to='varchar', exclude=['actual_dt', 'chauffeur_id'], field_name='label', value_name='value') }}A list of attributes unloaded could be expanded or narrowed without actual code changes. Schema is ['actual_dt', 'chauffeur_id', 'label', 'value']

Let’s examine some integrations I currently useUNLOADing customer/partner/chauffeur labels to S3 bucket filesLet’s say we want to exchange some data with other teams be it Backend, Financial Service, Frontend. You may also treat it as publishing data for whom it may concern, so there could be multiple consumers.Could be easily automated it with dbt + Redshift UNLOAD:– Create a model with desired attributes and rows– Materialize it as a view– Add dbt post-hook with UNLOAD script– Schedule it on a daily/hourly basisAs a result:– No actual excessive data is stored – materialized='view'– Export is always up-to-date as it is scheduled with dbt jobs– UNLOAD is performed only with production runs–…

Head of ML в Blockchain.com готовит ЕТЛ-инфраструктуру. Интересно почитать рассуждения со стороны МЛ плюс тред на 100+ комментов. А ещё там вакансии для инженеров данных с релокейтом в Лондон

Одной из задач, стоящих перед мной в Blockchain.com, является подготовка инфраструктуры к росту объемов хранимых и используемых данных, деплоя моделей машинного обучения, работающих как в риалтайме так и по батчам и инфраструктуры для финансовых данных.Будь я в России, то наверное пошел бы по проторённой дорожке: Hadoop, Postgres, Spark, Clickhouse,KafkaНо так как я имею преимущество нахождения текущей инфры в хорошем облаке, почему бы этим не воспользоваться?Тем более что от нескольких друзей я услышал про новый паттерн Data Lakehouse.В классической истории есть Data Lake где хранится всякое и есть DWH где хранится всякое обработанное, вытащенное и очищенное из Data LakeЧто предлагает Data…

🧪 ЭКСПЕРИМЕНТ! 👨‍🔬 пятничная флудилка↓ здесь можно передать привет коллегам, маме или коту (если они, конечно, читают))или скинуть последний мем… или поделиться интересной ссылкой…или спросить за жизнь…ну или просто поздороваться с товарищами-читателями 👋

В опросе лидируют BI-разработчики, что в принципе логично 🙂Рассказываю, как это было у нас: собрались, значит, все отделы вместе, чтобы рассказать кто что делает, какие есть успехи, в чём возникают проблемы и с чем надо помочь.Выходят продакты… делаем приложение удобным для заказа, проводим кастдевы, ездим в поля, а ещё активно считаем ретеншен и хотели бы получать валидные данные из источников в ДВХ!Выходят маркетинговые аналитики… значит, у нас тут перформанс, бюджеты, сегментация. Хотим, чтобы все расходы были в одном месте и подтягивались автоматически, чтобы мы могли сравнить их с выручкой — рассчитываем здесь на помощь ДВХ!Выходит отдел b2b продаж… в общем, у нас тут много продажников…

DWH Яндекс GO нанимает…… всех 🙂Удобно, что тут проходишь сначала в общий поток, а потом можно определиться в конкретную команду. И есть из чего выбрать: ⁃ можно в зрелые Такси или Маркет ⁃ можно в молодые и дерзкие Лавку или Драйв ⁃ а можно в девственный «стартап» — Доставку (← я тут)А над этим всем есть ещё отделы по инфраструктуре — пилят hNhM (свой аналог Anchor Modelin / Data Vault) и помогают с проектированием; плюс отдельные ребята, которые занимаются платформой — свой аналог распределённого ETL-оркестратора на основе Luigi.Все вместе мы пробуем в Data Mesh (пока вроде получается).И везде есть свободные места, все нанимают: ⁃ Инженеров данных (хе-хей!) ⁃ ETL-разработчиков (это лайт-ве…

Инженеры данных и аналитикиВ небольших компаниях инженеры данных как человек-пароход: сам данные достал из источника, сам спроектировал слои и сущности в двх, сам сделал графики и положил их на дашборды (может, это и называют Analytics Engineer?)То есть тут роль меньше человека: один человек включает в себя несколько ролей.Чем больше компания, тем мельче роль: отдельные люди занимаются экстрактом, другие — отвечают за платформу обработки данных и инфраструктуру хранилища. Есть выделенная роль аналитика (в Яндексе их называют «партнёры по данным») — они разговаривают с бизнесом, изучают предметную область и отвечают за качество и консистентность данных. Это к ним потом приходят с вопросами «…

Про процесс собеседованийТак, отлично! Опрос ↑ показал, что можно писать про Яндекс. Я то я переживал, что будет неинтересно 🙂Не знаю с чего начать — пожалуй, начну с начала, т.е. с собеседованийОбщий порядок для инженера данных выглядел так: 0. Знакомство и скрининговое интервью с рекрутером 1. Секция про SQL + программирование 2. Секция про SQL + программирование 3. Секция про алгоритмы 4. Знакомство с командами (1-3) 5. ОфферУдобно, что собесишься сразу во весь Яндекс: у всех отделов одна «очередь», единый поток кандидатов. Собеседовать могут ребята из любых сервисов и вроде на этом этапе не важно, куда именно ты планировал попасть.0. РекрутерВ прошлом году я сам откликался, и на первом …

Внимание, опрос!Не так давно попал в DWH Яндекс GO: тут ребята идут в data mesh со своим гибридом Anchor Modeling и Data Vault. Каждый день крутятся несколько тысяч ЕТЛ-процессов, обновляя сколько-то там сущностей. А в конце всего этого пайплайна находится отдел Ромы Бунина (@revealthedata) со своей космической BI-системой и стайл-гайдами.Кажется, можно было бы больше рассказывать про разную местную внутрянку. Что думаете? Что было бы интересно узнать?

тимлид и ответственностьПлоская структура без руководителей и менеджеров хорошо работает в небольших системах. При росте системы растёт и сложность; и появляется свой «налог» — должен кто-то отдельный заниматься процессами и рулить этим хаосом.Правильный тимлид — это не просто прораб, который утром раскидал задачки рабочим, а потом весь день покуривает сигару в тенёчке. На самом деле это малоприятная работа: ⁃ читать чужой код (бр-р-р!) и делать ревью, ⁃ грумить бэклог следить за задачами: непонятные уточнять, переписывать, дополнять контекст, вставлять скриншоты ⁃ следить за показателями тайм-ту-маркет: чтобы новые фичи пилились за разумное время ⁃ организовывать, корочеНа примере гостя по…

Подглядывать через плечо к программистамКогда мой питон-код перестал вмещаться в юпитер-ноутбуки, пришла идея подсматривать как там тру-программисты пишут код. Как оборачивать одинаковые кусочки кода в функции, как функции раскладывать по модулям, как в целом писать так, чтобы потом можно было в этом разобратьсяhttps://t.me/data_days/46Это получился такой прикладной уровеньЧем дальше подсматриваю, тем более высокоуровневые вещи открываются. Например, есть проблема скорости разработки: легко пилить новые фичи, когда кода немного; но потом система становится сложнее и каждая новая фича затрагивает всё больше её частей. Если не прикладывать усилий, то скорость разработки будет стремиться к нул…

Но на этом остановиться я не мог и сделал чарт в Гугл-таблицах (да простят меня коллеги из BI), чтобы узнать как на самом деле выглядит распределение высот гор в Японии.Взял список гор с высотами (спасибо Википедии и стандартной формуле IMPORTHTML), округлил значения до 100 и в сводной таблице посчитал количество гор для каждого такого «бакета».Видно, что количество гор логично увеличивается с уменьшением высоты. Так же видно и «пропуски» по некоторым высотам, которые автор исходной визуализации так мастерски спрятал.Гугл-таблица с данными, вдруг вам тоже интересно

Увидел такую визуализацию и залип (спасибо каналу Data-comics)Как автор так удачно разместил все горы в аккуратные треугольники? Какое красивое естественное распределение получается: 1 уровень — одна гора (Фуджи); 2 уровень — три; и дальше по нарастающей.Потом заметил пропуски на некоторых уровнях — всё таки гор определённых не обязательно больше, чем предыдущих. Классная получилось визуализация, что в неё можно вглядываться и открывать всё больше деталей. И, кажется, всё равно пришлось немного округлить высоту каждой горы до какого-то значения. А потом вспомнил, что это карта 1886 года и вряд ли они тогда знали, что высота Фуджи именно 3 776 метра. Так что автору скорее всего и округлять н…

Датаи́зм (data-ism) — философская парадигма, провозглашающая, что Вселенная состоит из потоков данных и что ценность всякого явления или сущности определяется их вкладом в обработку данных. Согласно этой концепции, никто не должен препятствовать движению информации. Напротив, каждому следует становиться частью информационного пространства, потребляя данные и обогащая его новыми.https://ru.wikipedia.org/wiki/Датаизм=== Узнал о новой «религии» (?). Не знаю пока, что с этим делать, но лучше быть в курсе 🙂

BREAKING: всея отечественного дата сайенса — Валерий Бабушкин — завёл свой канал. Стопудов там будет интересно.https://t.me/cryptovalerii/3П.С.: не могу пройти мимо упоминания «пирамиды» — это та самая пирамида, на которую я опирался, когда приходил в инжиниринг данных ^_^https://t.me/data_days/159

Кстати, об алгоритмах — вот Антон Жиянов коротко и чётко описал в чём там суть, зачем вообще понимать сложность какого-то алгоритма.Там серия из 4 постов, вот первый:https://t.me/ohmypy/114

https://medium.com/yandex-self-driving-car/the-story-behind-the-creation-of-yandexs-delivery-robot-e07017940589

Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратить в DMP, какие проблемы возникают в процессе разработки и как мы их решаем.🎓 Разработка платформы управления данными. Доклад Яндекса

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

Data platforms are exemplified by a complex set of connections that are subject to a set of constantly evolving requirements. In order to make this a tractable problem it is necessary to define boundaries for communication between concerns, which brings with it the need to establish interface contracts for communicating across those boundaries. The recent move toward the data mesh as a formalized architecture that builds on this design provides the language that data teams need to make this a more organized effort. In this episode Abhi Sivasailam shares his experience designing and implementing a data mesh solution with his team at Flexport, and the importance of defining and enforcing data…

Data engineering is a relatively young and rapidly expanding field, with practitioners having a wide array of experiences as they navigate their careers. Ashish Mrig currently leads the data analytics platform for Wayfair, as well as running a local data engineering meetup. In this episode he shares his career journey, the challenges related to management of data professionals, and the platform design that he and his team have built to power analytics at a large company. He also provides some excellent insights into the factors that play into the build vs. buy decision at different organizational sizes.

Data quality control is a requirement for being able to trust the various reports and machine learning models that are relying on the information that you curate. Rules based systems are useful for validating known requirements, but with the scale and complexity of data in modern organizations it is impractical, and often impossible, to manually create rules for all potential errors. The team at Anomalo are building a machine learning powered platform for identifying and alerting on anomalous and invalid changes in your data so that you aren't flying blind. In this episode founders Elliot Shmukler and Jeremy Stanley explain how they have architected the system to work with your data warehou…

Applications of data have grown well beyond the venerable business intelligence dashboards that organizations have relied on for decades. Now it is being used to power consumer facing services, influence organizational behaviors, and build sophisticated machine learning systems. Given this increased level of importance it has become necessary for everyone in the business to treat data as a product in the same way that software applications have driven the early 2000s. In this episode Brian McMillan shares his work on the book "Building Data Products" and how he is working to educate business users and data professionals about the combination of technical, economical, and business considerat…

Reverse ETL is a product category that evolved from the landscape of customer data platforms with a number of companies offering their own implementation of it. While struggling with the work of automating data integration workflows with marketing, sales, and support tools Brian Leonard accidentally discovered this need himself and turned it into the open source framework Grouparoo. In this episode he explains why he decided to turn these efforts into an open core business, how the platform is implemented, and the benefits of having an open source contender in the landscape of operational analytics products.

Data observability is a set of technical and organizational capabilities related to understanding how your data is being processed and used so that you can proactively identify and fix errors in your workflows. In this episode Metaplane founder Kevin Hu shares his working definition of the term and explains the work that he and his team are doing to cut down on the time to adoption for this new set of practices. He discusses the factors that influenced his decision to start with the data warehouse, the potential shortcomings of that approach, and where he plans to go from there. This is a great exploration of what it means to treat your data platform as a living system and apply state of th…

Communication and shared context are the hardest part of any data system. In recent years the focus has been on data catalogs as the means for documenting data assets, but those introduce a secondary system of record in order to find the necessary information. In this episode Emily Riederer shares her work to create a controlled vocabulary for managing the semantic elements of the data managed by her team and encoding it in the schema definitions in her data warehouse. She also explains how she created the dbtplyr package to simplify the work of creating and enforcing your own controlled vocabularies.

This has been an active year for the data ecosystem, with a number of new product categories and substantial growth in existing areas. In an attempt to capture the zeitgeist Maura Church, David Wallace, Benn Stancil, and Gleb Mezhanskiy join the show to reflect on the past year and share their thought son the year to come.

The data mesh is a thesis that was presented to address the technical and organizational challenges that businesses face in managing their analytical workflows at scale. Zhamak Dehghani introduced the concepts behind this architectural patterns in 2019, and since then it has been gaining popularity with many companies adopting some version of it in their systems. In this episode Zhamak re-joins the show to discuss the real world benefits that have been seen, the lessons that she has learned while working with her clients and the community, and her vision for the future of the data mesh.

Data Engineering is still a relatively new field that is going through a continued evolution as new technologies are introduced and new requirements are understood. In this episode Maxime Beauchemin returns to revisit what it means to be a data engineer and how the role has changed over the past 5 years.

One of the perennial challenges of data analytics is having a consistent set of definitions, along with a flexible and performant API endpoint for querying them. In this episode Artom Keydunov and Pavel Tiunov share their work on Cube.js and the various ways that it is being used in the open source community.

Building a well managed data ecosystem for your organization requires a holistic view of all of the producers, consumers, and processors of information. The team at Metaphor are building a fully connected metadata layer to provide both technical and social intelligence about your data. In this episode Pardhu Gunnam and Mars Lan explain how they have designed the architecture and user experience to allow everyone to collaborate on the data lifecycle and provide opportunities for automation and extensible workflows.

Spark is a powerful and battle tested framework for building highly scalable data pipelines. Because of its proven ability to handle large volumes of data Capital One has invested in it for their business needs. In this episode Gokul Prabagaren shares his use for it in calculating your rewards points, including the auditing requirements and how he designed his pipeline to maintain all of the necessary information through a pattern of data enrichment.

The core to providing your users with excellent service is to understand them and provide a personalized experience. Unfortunately many sites and applications take that to the extreme and collect too much information. In order to make it easier for developers to build customer profiles in a way that respects their privacy Serge Huber helped to create the Apache Unomi framework as an open source customer data platform. In this episode he explains how it can be used to build rich and useful profiles of your users, the system architecture that powers it, and some of the ways that it is being integrated into an organization's broader data ecosystem.

A/B testing and experimentation are the most reliable way to determine whether a change to your product will have the desired effect on your business. Unfortunately, being able to design, deploy, and validate experiments is a complex process that requires a mix of technical capacity and organizational involvement which is hard to come by. Chetan Sharma founded Eppo to provide a system that organizations of every scale can use to reduce the burden of managing experiments so that you can focus on improving your business. In this episode he digs into the technical, statistical, and design requirements for running effective experiments and how he has architected the Eppo platform to make the pr…

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.For our season 3 finale, Nithya Ruff discusses the open-source ecosystem, ways to contribute to open-source projects (hint: it’s not just about the code), and how businesses can balance community and company interests. With 95% of open-source contributions coming from men, Nithya also educates us on how to improve diversity & inclusion in the open-source community.See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.We interview Junta Nakai in our most unique location yet - Brooklyn Kura - the first non-Japanese sake distillery in New York. In this episode, Junta shares the philosophical, economic, and tactical approaches to sustainability and ESG, as well as the secrets to brewing sake in the US. See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Did you know that the average tenure of a board member is longer than the average tenure of a marriage in the United States? In this episode, Coco Brown discusses the benefits and drawbacks of the long tenures of corporate boards, their current structure, the impact of recent legislation, and the importance of executive education to guide you through all of this. See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.What does it mean to make your machine learning system “production-ready”? Yaron Singer walks us through the infrastructure, testing procedures, and more that help make ML systems ready for the real world in this episode of Data Brew.See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Have you ever had a spam call automatically blocked for you? You can thank First Orion for that - in one day they blocked or scam tagged over 108 million calls - just on T-Mobile alone! In this episode, we have the pleasure to chat with Charles Morgan and Kent Welch, CEO and CDO, respectively, of First Orion to discuss Arkansan data culture, First Orion’s one hundred day program, and team culture.See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics. In this season opener, Elena Donio shares her experience using data and domain knowledge to disrupt the traditional service and sales compensation model. She also discusses how to build companies that scale, manage corporate cultural evolution, and the influence of corporate boards.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.We branch, version, and test our code, but what if we treated data like code? Tim Hunter joins us to discuss the open-source Data-Driven Software (DDS) package and how it leads to immense gains in collaboration and decreased runtime for data scientists at any organization.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Is there ever a “one-size fits all” approach for feature engineering? Find out this and more with Amanda Casari and Alice Zheng, co-authors of the Feature Engineering for Machine Learning book.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.What does it mean for a model to be “interpretable”? Ameet Talwalkar shares his thoughts on IML (Interpretable Machine Learning), how it relates to data privacy and fairness, and his research in this field.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Erin LeDell shares valuable insight on AutoML, what problems are best solved by it, its current limitations, and her thoughts on the future of AutoML. We also discuss founding and growing the Women in Machine Learning and Data Science (WiMLDS) non-profit.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Good machine learning starts with high quality data. Irina Malkova shares her experience managing and ensuring high-fidelity data, developing custom metrics to satisfy business needs, and discusses how to improve internal decision making processes.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Liam Li is a leading researcher in the fields of hyperparameter optimization and neural architecture search, and is the author of the seminal Hyperband paper. In this session, Liam discusses the evolution of hyperparameter optimization techniques and illustrates how every data scientist can benefit from neural architecture search. See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more. Adam Oliner discusses how to design your infrastructure to support ML, from integration tests to glue code, the importance of iteration, and centralized vs decentralized data science teams. He provides valuable advice for companies investing in ML and crucial lessons he’s learned from founding two companies.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Have you ever wondered how your purchasing behavior may reveal protected attributes? Or how data scientists and business play a role in combating bias? We discuss with Diana Pfeil recommendations to reduce bias and improve fairness, from SHAP to adversarial debiasing.See more at databricks.com/data-brew

For our second season, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.In the season opener, Matei Zaharia discusses how he entered the field of ML, best practices for productionizing ML pipelines, leveraging MLflow & the Lakehouse architecture for reproducible ML, and his current research in this field.See more at databricks.com/data-brew

Гость подкаста — Юра Филатов. Одна из областей его деятельности — информационный консалтинг или, иначе говоря, он помогает с трансформациями. Как-то так получилось, что подкаст вышел «исповедальным»: эмоциональным, чуть жёстким, с «иллюстрациями» и без «маркетингового налёта»:Как спутать автоматизацию с трансформацией.Когда вам не нужна трансформация на «примерах с мёдом».Почему по «государевому указу» у вас ничего не заработает.Что отвечать на «Ну давай, трансформируй нам тут всё».И какую роль здесь играет страх.

Бесконечная онлайн-витрина, ПВЗ по всей стране и сложная логистическая система под капотом — масштабы современных маркетплейсов не сопоставимы ни с одним оффлайн-магазином. В том, как работают маркетплейсы, мы разбираемся на примере Яндекс.Маркета. Партнер этого эпизода — компания Яндекс. Наши совместные выпуски выходят по вторникам, раз в две недели. Книга The Everything Store https://en.wikipedia.org/wiki/The_Everything_Store Книга «Alibaba. История мирового восхождения» https://eksmo.ru/book/alibaba-istoriya-mirovogo-voskhozhdeniya-ITD838069/ 1:30 Чем маркетплейс отличается от интернет-магазина 4:10 Зачем на маркетплейсах так много товаров 10:00 Как продвинуть свой товар на маркетплейсе …

Сергей Голованов, главный эксперт «Лаборатории Касперского», «читает вирусы как книги». За 20 лет работы в информационной безопасности Сергей наблюдал как из подростковой игрушки вирусы превращались в оружие. В этом эпизоде Самат вместе с Сергеем обсуждают эту трансформацию и разбираются, как устроены вирусы и как за их счет мошенники крадут у банков деньги и доводят страны до экологических катаклизмов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra. Узнать подробнее о курсе «IT-рекрутер» можно по ссылке https://clck.ru/aknpp. Слушайте эпизод подкаста «В о…

В новом эпизоде Самат разговаривает с основателем компании «Моторика» Ильей Чехом о протезировании. Как соединить железо с культей и заставить его двигаться, как уберечь умную руку от багов и почему скоро мы все станем киборгама — рассказывает человек, благодаря которому тысячи людей по миру снова могут махать друг другу. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Станьте наставником или ревьюером в Яндекс.Практикуме: https://clck.ru/aiYsW Что может дать наставничество разработчику: истории от первого лица: https://habr.com/ru/company/yandex_praktikum/…

Вы дома один, но все время разговариваете с кем-то вслух? Если лет 10 назад это действительно могло выглядеть странно, то сегодня этим никого не удивить. Ну, в случае если у вас есть умная колонка. Сегодня голосового помощника можно спросить буквально обо всем – от прогноза погоды до теорий возникновения жизни на Земле. Самат решил разобраться, что у умной колонки внутри и как именно работает «умный дом». Сайты от Сергея и Андрея: The Verge https://www.theverge.com Gizmodo China https://gizmodo.com/search?q=china&blogId=4 2:34 Как работает умный дом 9:47 Устройства умного дома на вайфае и на протоколах Зигби и Мэттр 15:26 Как устроено производство умных колонок Яндекса 20:38 Как коронавирус…

Этот новогодний эпизод — кроссовер с подкастом «Поэпизодный клан», в котором сценаристы говорят и шутят о кино. Самат собрался вместе с ведущими «Клана» Николаем Куликовым и Константином Майером, чтобы обсудить, как технологии вводятся в сюжет фильма, почему образ хакера — это почти то же самое, что и образ Бабы-Яги, и чем Нео из «Матрицы» похож на Иисуса Христа. Рекомендуем пересмотреть фильм «Матрица» 1999 года перед прослушиванием! Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум. Узнать подробнее о курсе «Go-разработчик» можно по ссылке https://practicum.yandex.ru/promo/go-profession?utm_source=pr&utm_medium=content&utm_campaign=pr_content_go-profession_za…

больше, чем близкие друзья и родственники. Это хорошо или плохо? И как это вообще работает? Самат разбирается вместе со специалистами из рекламных технологий Яндекса. Партнер этого эпизода — компания Яндекс. Наши совместные выпуски будут выходить по вторникам, раз в две недели. Сайты для онлайн-маркетологов: https://ppc.world https://sostav.ru Таймкоды: 3:15 Как разместить рекламу в интернете 12:15 Как устроено таргетирование в онлайн-рекламе 19:30 Как рекламные платформы собирают информацию о пользователях 29:25 Рекламный аукцион: как и за что платят рекламодатели 40:05 Как именно реклама появляется на сайтах 45:09 Сколько Яндекс зарабатывает на рекламе Вступайте в чат подкаста в телеграме…

Поисковых систем в мире меньше, чем компаний, которые запускают ракеты. Пользователю просто получить любую информацию в интернете, а инжинерам надо поддерживать базу данных с миллиардами веб-страниц и находить среди них нужные за доли секунды. О том, как компьютер понимает наши запросы и выбирает для них ответы Самат говорит с руководителем Яндекс.Поиска Максимом Загребиным. Партнер этого эпизода — компания Яндекс. Наши совместные выпуски будут выходить по вторникам, раз в две недели. 3:00 Как скачать все страницы из интернета 7:28 В каком формате веб-страницы хранятся в базе данных 12:40 Что происходит, когда пользователь делает запрос 25:36 Как обработать запрос с белибердой 31:20 Что алг…

Пятый сезон подкаста мы завершаем новым празднично — открытой записью эпизода. Самат встретился с инвестором Кириллом Беловым и узнал, как работают венчурные фонды, что и как нужно питчить инвестору, как оценить стоимость стартапа и какие IT-тренды ждут нас в ближайшем будущем. Ссылка на запись youtube-трансляции разговора Самата и Кирилла: https://youtu.be/NXub8CLL08Q Друзья, пройдите, пожалуйста, наш опрос! https://s878737.typeform.com/to/gm1WwitT Курс «DevOps для эксплуатации и разработки» от Яндекс.Практикум: https://practicum.yandex.ru/promo/devops-course?utm_source=pr&utm_medium=content&utm_campaign=pr_content_devops-course_zapuskzavtra 3-4 декабря пройдет ежегодная и самая большая те…

Сделать карту, на которой будет отображен весь мир — нетривиальная задача. Но для создателей приложения Maps.me она была еще сложнее. Они задумали карту, которая работала бы офлайн. Хотя для обработки данных о нашей планете в телефоне не хватает ни процессора, ни памяти. О том, как в Maps.me решали эту проблему и откуда вообще берется информация о мире Самат разговаривает с сооснователем сервиса, Юрием Мельничеком. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Пройти бесплатный тренажер по математике можно по ссылке https://practicum.yandex.ru/math-founda…

Как за день доставить из Москвы во Владивосток крупногабаритный груз? А маленький пакет из Сочи в Тамбов? А как не потерять посылку, проверить ее на запрещенные вещества и сэкономить на перевозках, если у тебя таких посылок — 22 миллиона в год? Самат говорит о доставке с Сергеем Климашем, заместителем генерального директора СберЛогистики. Сергей рассказывает, как банк становится новой почтой, а в России силами Сбера, Озона и Яндекса появляется новая транспортная система. Не пропустите нашу открытую запись 8 ноября! Она будет проходить на ютуб-канале Либо/Либо по этой ссылке https://www.youtube.com/watch?v=NXub8CLL08Q. Нажимайте на колокольчик, и тогда ютуб вам напомнит о мероприятии, и вы н…

А еще 5G, LTE, отели базовых станций, антенны, мобильные операторы, аукционы частот, роуминг и сетевые уязвимости. О телекоммуникациях Самат говорит с основателем компании Fairwaves Александром Чемерисом, который обеспечивал связью африканские деревни и штат Оахака в Мексике. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Сайт Доки: https://doka.guide/ Не пропустите нашу открытую запись 8 ноября! Подписывайтесь на канал Либо/Либо https://www.youtube.com/c/ЛибоЛибо/videos и присоединяйтесь к событию на фейсбуке https://www.facebook.com/events/27196747817629…

В одном из эпизодов «Запуска завтра» герой рассказывал, что работа над CRM-системой в Microsoft была самой скучной в его жизни. Это программное обеспечение нужно любому бизнесу, но при этом в его создании нет ничего интересного. Сегодня Самат разговаривает с человеком, который придерживается противоположной точки зрения. Юлиана Гордон была CRM-директором Ozon, внедряла CRM в Мегафоне и МТС, а сейчас занимается своей школой электронной торговли iWENGO. Юлиана объясняет, почему CRM — это не просто таблица с данными, а главный инструмент, благодаря которому бизнес зарабатывает миллионы. Приходите на открытую запись подкаста 8 ноября! Покупайте билеты по ссылке https://dkrassvet.space/events/za…

Мы часто думаем, что к психологу нужно идти с проблемами в личной жизни, а рабочие вопросы пытаемся решить сами или не решаем вовсе. Мы хотим разобраться, о чем в IT-тусовке говорить не принято и как обсуждать проблемы, с которыми сталкивается каждый из нас. Как разговаривать о повышении? как победить синдром самозванца? как бороться с токсичностью в команде и как разруливать конфликты? Во всем этом Самат разбирается вместе с IT-психологом Анастасией Калашниковой. Ссылки от Анастасии: Сервис по оценке себя и поиску ментора: https://getmentor.dev/ Подкаст Psy v IT https://t.me/psyvit Подкаст NewHR https://t.me/newhrpodcast Курс «Аналитик Данных» от Яндекс.Практикум: https://practicum.yandex.…

Вечером 4 октября перестал работать Facebook и принадлежащие ему компании. Сбой случился из-за сетевых проблем. Сети Самат обсуждает вместе с техническим директором ВКонтакте Александром Тоболем и с главой сетевой инфраструктуры Mail.ru Group Еленой Якуповой. За что отвечают протокол BGP и DNS-сервера, как конфигурируется сеть и как это все связано с тем, что вечер понедельника мы провели без соцсетей. Прочитать о том, как студенты Практикума делали бота в телеграме, можно по ссылке https://vk.com/@yandex.practicum-sbor-i-otpravka-soobschenii-iz-telegram-v-slack-opyt-sozdani Проект о сетях https://linkmeup.ru/ 4:30 Как происходит передача информации между сетями разных провайдеров 11:30 Поч…

В гостях у Moscow Python Podcast Python Техлид компании СберДевайсы Владимир Соколов. Поговорили с Владимиром о том, чем может заниматься Python разработчик в ML системах и о проблемах речевой аналитики. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Python руководитель разработки ML систем компании СберДевайсы Денис Усачев. Поговорили с Денисом о том, для чего нужна автоматизация и о возможных вариантах автоматизации. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Python разработчик компании Утконос Онлайн Павел Кузнецов. Поговорили с Павлом о том, что делает Python в retail и в частности в Утконос Онлайн. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Python ведущий разработчик компании BestDoctor Александр Хмелевский. Поговорили с Александром о самоорганизации, ценностях в команде и социальной валюте. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

Поехали с нами! https://www.meetup.com/Moscow-Python-Beer-Meetup/events/282228798/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Python developer компании Grid Dynamics Russia Лариса Петрова. Поговорили с Ларисой о ее пути в разработку, обсудили опыт прохождения собеседований и подготовку к ним. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Grid Dynamics Russia: https://careers.griddynamics.com/discover-openings Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Pyt…

В гостях у Moscow Python Podcast ведущий разработчик компании NVIDIA Роман Сакал. Поговорили с Романом о том, на чем писать код, на чем его пишут в NVIDIA и о том, почему Python is the second best language. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast технический директор компании Geecko Никита Обухов. Поговорили с Никитой о рынке найма разработчиков и о DevRel. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция GeekRel: https://conf.geecko.com/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

Злата приглашает всех на GTC

Конференция GTC: https://www.nvidia.com/ru-ru/gtc/

В гостях у Moscow Python Podcast старший владелец продукта компании Сибур Диджитал Вадим Щемелинин. Поговорили с Вадимом о Индустрии 4.0, видеоаналитике в нефтехимии и о многом другом.. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция HighLoad++: https://www.highload.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast руководитель подразделения World of Tanks Game Logic компании Wargaming Левон Авакян. Поговорили с Левоном о правильном развитии разработчика. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast разработчик компании Recall Masters Анатолий Щербаков. Поговорили с Анатолием о документации к вашему коду, почему она нужна и о подходе Docs as Code. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast junior разработчик компании AdCombo Александр Шейкин. Поговорили с Александром о его пути в разработчики Python, первом опыте работы. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Data Science компании Лаборатория Касперского Дмитрий Аникин. Поговорили с Дмитрием о Python в машинном обучении, инфраструктуре моделей и многом другом. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

Шок-контент – мы закопали код-ревью!

На деле, конечно, все не так просто: код-ревью – это всего лишь одна из разновидностей peer review со своими границами применимости. Какие еще есть подходы, и когда они бывают полезны – обсудили с Филиппом Дельгядо! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки:

Доклад Фила с Podlodka Techlead Crew

https://www.youtube.com/watch?v=…

Аригато! Никакое обсуждение бережливого производства не обойдется без таких теминов как кайдзен, пока-йоке, гемба, муда, мура, мури. Вместе с Алексеем Пименовым прошли весь путь от подходов в машиностроении до бережливого производства ПО. Разобрались насколько подходы применимы в IT, а главное почему с ним должны познакомиться современные управленцы. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов,…

Вы просили – мы сделали! В этом выпуске мы продолжили обсуждать сети, но на сей раз чуть больше внимания уделили железкам, а также беспроводным сетям. Выпуск самодостаточен, но наилучший эффект будет, если вы уже слышали первую часть :) Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова

Открывайте игристое, доставайте мандаринки и подключайтесь к нашему новогоднему выпуску! Здесь все: итоги года, наши планы и много веселья! А еще в этом выпуске минимум экспертного мнения, зато много нас – ваших любимых ведущих ❤️ Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова, Стас Цыганов, Егор Толстой, Аня Симонова

Podlodka — это уже давно больше, чем разбор айтишных тем. Мы любим говорить о всем, что интересно IT специалистам, и часто эти темы лежат далеко за пределами языков программирования и инструментов разработки. Тема родительства рано или поздно затрагивает большинство из нас, а количество вопросов, мифов и страхов вокруг нее — огромное. Наталья Ремиш, автор мультиков со смыслом “Про Миру и Гошу”, детская писательница, основатель клуба поддержки родителей “В своем уме” поделилась огромным опытом и ответила на кучу наших вопросов о том, зачем и как быть счастливыми родителями. Разверните гибкую инфраструктуру в Selectel и ускорьте развитие финтех-проектов: https://slc.tl/wSpOn Поддержи лучший п…

Может ли робот написать симфонию, сотворить шедевр? Сейчас вряд ли, но еще никогда мы не были так близки к этому. Мы поговорили с Алексеем Тихоновым из Яндекса про то, как создаются нейросети, способные творить. Разверните гибкую и надежную инфраструктуру для финтех-проекта в Selectel: https://slc.tl/pXF6A Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки:

Профиль Алексе…

IDE уже много лет упрощают рутину разработчиков. Но что, если в своем развитии они пошли не туда? Максим Шафиров, СЕО JetBrains и разработчик новой IDE Fleet, делится своими мыслями про проблемы существующих решений и тем, как они решаются в IDE нового поколения. В выпуске много крутых идей про то, как могут выглядеть рабочие процессы, обсуждений архитектуры Fleet, Projector и Remote Development в IDEA, и ламповых воспоминаний о первых IDE. Приходите разрабатывать Fleet в компанию JetBrains: https://spb.hh.ru/vacancy/47469968 Разверните гибкую и производительную базу данных для службы доставки или интернет-магазина в Selectel: https://slc.tl/n9sui Поддержи лучший подкаст про IT:

www.patreon…

Геймдизайн – наука или искусство? А что должны знать и уметь люди, которые профессионально им занимаются? Как оценить, насколько игра получается веселой? На эти и другие вопросы нам помог ответить Святослав Торик, Head of Game Design в компании Nexters. Решите задачи e-commerce-проектов с гибкой IT-инфраструктурой Selectel: https://slc.tl/8bajG Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор …

А вы знали, что голливудские компании в производстве спецэффектов активно используют инструменты написанные отечественным разработчиком? В гости позвали автора – Романа Белова. Поговорили и про инструменты, и про производственный цикл фильмов, и про виды и способы реализации визуальных эффектов. Решите задачи e-commerce-проектов с гибкой IT-инфраструктурой Selectel: https://slc.tl/O5czU Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPod…

В выпуск позвали сооснователя и CEO Wallarm Ивана Новикова. Начали с сетевых слоев, но в основном говорили про уровень приложений. Именно на этом уровне файрволы развиваются последние годы. Не обошли стороной концепцию Zero Trust. А под конец обсудили куда файрволы развиваются. Отказоустойчивые облачные базы данных для интернет-магазинов и сервисов доставки в Selectel: https://slc.tl/BAvsG Промокод на 500₽ на SoftSkills Crew: LIKE_A_BOSS Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkaca…

В индустрии существует бессчетное количество разновидностей аналитиков: продуктовые, системные, бизнес, финансовые и многие другие. В выпуске вместе с Алексеем Белозерским мы разбираемся в их классификации и закапываемся в специфику работы бизнес-аналитика: основные задачи, используемые подходы и инструменты. Узнайте, как подготовить IT-инфраструктуру к сезону распродаж, на бесплатном вебинаре от Selectel: https://slc.tl/gDOfD 22 ноября стартует конференция для продакт-менеджеров Podlodka Product Crew. Промокод на скидку: ANALYTICS. https://podlodka.io/productcrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетя…

Пополняем золотую коллекцию языковых выпусков Podlodka долгожданным эпизодом про Golang! Все, как вы любите — история развития, области применения, ключевые фичи, экосистема, и немного холивара про сильные и слабые стороны. Погрузил в мир Go, объяснил, почему “less is exponentially more” и как это отражается на том, что язык предлагает разработчикам Алексей Палажченко — программист из Sidero Labs и ведущий подкаста GolangShow. Аккуратно! В выпуске чересчур много шуток про дженерики! Гибкие облачные базы данных для многопользовательских игр и других игровых проектов в Selectel: https://slc.tl/H6I7r Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и…

Замахнулись на необъятное и обсудили компьютерные сети! Одного выпуска для такой тему явно мало, поэтому пока мы сфокусировались на интернете, и подробно изучили приключения сигнала на пути от пользователя к целевому сервису. В гостях у нас Тёма Гавриченков из Servers.com, которого вы можете помнить из нашего выпуска про дата-центры. Разверните гибкую и производительную облачную базу данных для своего игрового проекта в облаке Selectel: https://slc.tl/z9sWf C 8 ноября стартует новый сезон конференции Podlodka Backend Crew! По промокоду TANNENBAUM скидка для слушателей этого выпуска, а подробности и расписание на сайте https://podlodka.io/becrew. Поддержи лучший подкаст про IT:

www.patreon.c…

Лучший выпуск про лучший язык программирования с лучшим гостем, а в гости пришел наш коллега по подкастном цеху, автор Hegel.js, а с недавних пор еще и разработчик из команды Kotlin/JS & Wasm: Артем Кобзарь. Начали с истории появления JS, традиционно для языковых выпусков обсудили сильные и слабые is not a function стороны, а закончили обсуждением как его выучить по-настоящему. Ведь большинство разработчиков не столько пишут на JS, сколько на фреймворках. Гибкая и надежная IT-инфраструктура для игровых разработчиков в Selectel: https://slc.tl/Wcp8O Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат:…

Как один мальчик отказался ходить по струнке? Как одна девочка плохо себя вела и попала в историю?Новый Год — самое время для сказок, историй и тостов! Мы решили прочитать вам пару историй из книги «Наука на ночь», которую пишут Ксюша и Иван, а заодно создать новогоднее настроение всей командой подкаста.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Как машинное обучение помогает учиться людям? Что делает робота милым, а что пугающим? И почему речевые ассистенты совсем недавно заговорили мужскими голосами?Сегодня с нами проветриваются: Анна Дёгтева - лингвист, антрополог, разработчица голосовых интерфейсовСоня Терпугова - она делает стартап SmallTalk2.me - AI помощник в разговорном английском, а до этого около 8 лет работала в ЯндексеНе будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Как сохранить исчезающий язык? Что именно сравнивают в сравнительной лингвистике? И что такое «калсарикянни»?Сегодня с нами проветривается Ксения Шагал — линвист и типолог из Хельсинкского университета.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Как деревья сигнализируют о приближающихся землетрясениях в Африке? Как создать студию, создающую метавселенные? И можно ли выращивать картины из плесени? Сегодня с нами проветриваются три специалиста, которые занимаются Искусство и наука: Дарья Федорова - био-художница Ольга Киселева - биохудужник, директор Института науки и искусства Сорбонны, лауреат Гран-при Art & Science Евросоюза за био-арт проект EDEN Наталья Алфутова - медиа-художница, соосновательница " Мастерской 15 " Не будьте такими душными, давайте лучше - проветримся! Подпишись в Телеграм на канал @progulka ApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаПоддержите шоуSupport the show (https://www.patreon.com/progulka)

Как в России появились свои беспилотники? Чем можно удивить участников CES в Вегасе? И как изменятся автомобили, когда не надо будет сидеть за рулём?Сегодня с нами проветривается Антон Слесарев — руководитель разработки беспилотных автомобилей Яндекса.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

Как создать рекламное агентство? Почему "креативные индустрии" делают всех богаче? И как меняется реклама в двадцать первом веке?Сегодня с нами проветривается Виталий Быков — основатель агетнства "Red Keds" и организатор фестиваля креативных индустрий Great 8.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)

С чего начинать путь в мир комиксов? Как сделать независимое издательство? И что делать, если у тебя есть двести миллионов рублей?Сегодня с нами проветривается Виталий Терлецкий. Автор комиксов и издатель Терлецки Комикс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)

Как работают венчурные инвестиции? Какой путь проходит компания от стартапа до единорога? Что ожидает рынок технологических инвестиций на горизонте в несколько лет?Сегодня с нами проветриваются: Алексей Менн - партнер венчурного фонда Begin CapitalМария Шутова - генетик, научный консультант, в прошлом - аналитик фонда 4Bio CapitalНе будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаПоддержи шоу Support the show (https://www.patreon.com/progulka)

Что такое социальные науки? Зачем их изучать? И как связаны молоко и демократия? Сегодня с нами проветривается доцент Высшей школы экономики в Санкт-Петербурге Андрей Щербак.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show Support the show (https://www.patreon.com/progulka)

Как в Сибири изучали возможность создания космических поселений? И где в России надо учиться на шеф-повара?Добро пожаловать в Красноярск, который нам показался чем-то похожим на культурную столицу Японии.Сегодня с нами проветриваются:— Егор Задереев, руководитель группы научных коммуникаций Красноярского научного центра СО РАН, кандидат биологических наук.— Николай Григорьев, руководитель проектного офиса Института Гастрономии Сибирского Федерального Университета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаАвтор и ведущий — Иван ЯмщиковАвтор рубрики Just One More Thing — Ксения ДруговейкоРежи…

Как пользователь может обучать алгоритмы? Почему люди залипают в ТикТок? И что случается с вашим постом до того, как его увидят ваши друзья?Сегодня с нами проветриваются:— Алексей Сенников — руководитель направления модерации социальной сети Одноклассники— Натальи Казаченко — руководитель группы аналитики качества рекомендаций в ЯндексеНе будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Как организовать фестиваль стрит-арта в своём городе? Как уличные художники меняют современную культуру? И где в России смотреть классный стрит-арт? Сегодня с нами проветриваются:— Анна Клец — организатор фестиваля Стенограффия в Екатеринбурге.— Зося Леутина — художник графитист и муралист, одна из организаторов фестиваля Графит науки в Новосибирске.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Кого и как лечит искусственный интеллект? Зачем нужна персонализированная медицина? И как алгоритмы могут помочь нам "укрепить" здоровье?Сегодня с нами проветриваются— Иван Дрокин — со-основатель и директор по науке braingarden.ai, со-основатель и директор по исследованиям botkin.ai — Булат Загидуллин — аспирант университета Хельсинки, интерн в компании Байер.— Дмитрий Бычков — aспирант университета Хельсинки, специалист по анализу данных в стартапе Kaliber Labs.Не будьте такими душными, давайте лучше — проветримся!Support the show (https://www.patreon.com/progulka)

Что такое космизм? Как мало кому известное мистико-философское учение изменило и продолжает менять современный мир?В нашем сотом юбилейном выпуске мы поговорим с Людмилой Будневой из НГУ и Верой Алексеевой из музея Константина Циолковского о русском космизме.Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Как "киллеры" сохраняют ваше здоровье? Чем врождённый иммунитет отличается от приобретённого? И как образ жизни влияет на иммунитет? Сегодня с нами проветривается Софья Касацкая. Софья получила PhD по иммунологии в СколТехе и ведёт канал Shameless Bacteria про иммунологию, биологию, медицину и прочее интересное.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Каково написать первую программу гусиным пером в мире, где нет даже электрических лампочек, о чем мечтали отцы кибернетики, когда создавали математическую модель нейрона, и чего мы сами ждем от чипов Neuralink— в заключительном эпизоде первого сезона, где гении пьют виски на даче, макаки играют в пинг-понг без рук, роботы лечат малярию и все очень много мечтают. Этот подкаст мы делаем вместе со SberDevices

Откуда у алгоритмов загоны и предрассудки, как роботам решать дилему вагонетки, и что нейросеть понимает про семейные ценности — в эпизоде, где спящие люди тихо едут на Теслах из киберпанка в киберкоммунизм. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Почему алгоритмы начали сами повторять достижения человечества, как научились предсказывать изобретения и что общего у малыша на карусели и нейросети GPT3. Этот подкаст мы делаем вместе со SberDevices Подкаст Ивана Ямщикова "Проветримся" https://www.patreon.com/progulka Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Self-driving cars are seemingly just around the corner. These robots aren’t quite ready for the streets. For every hyped-up self-driving showcase, there’s a news story about its failure. But the good news is that we get closer every year. Alex Davies steers us through the history of autonomous vehicles. Alex Kendall maps the current self-driving landscape. And Jason Millar takes us under the hood of these robots’ computers to better understand how they make decisions.If you want to read up on some of our research on self-driving cars, you can check our all our bonus material over at redhat.com/commandlineheroes. Follow along with the episode transcript.

When a robot goes bad, who is responsible? It’s not always clear if the user or the manufacturer is liable when a robot leaves the lot. Human behavior can be complex—and often contradictory. Asking machines to interpret that behavior is quite the task. Will it one day be possible for a robot to have its own sense of right and wrong? And barring robots acting of their own accord, whose job is it to make sure their actions can’t be hijacked? AJung Moon explains the ethical ramifications of robot AI. Ryan Gariepy talks about the levels of responsibility in robotic manufacturing. Stefanie Tellex highlights security vulnerabilities (and scares us, just a little). Brian Gerkey of Open Robotics di…

HitchBOT was an experiment in stewardship: A small, rudimentary robot unable to move on its own, depending on the kindness of passersby to help it along its journey. Until it met an untimely end. Trust is a two-way street, and because robots are not powered by their own moral code, they rely on humans to supply both empathy and support. Dr. Frauke Zeller shares HitchBOT’s origin story. Eli Schwartz recounts his heartbreak upon learning what happened in Philadelphia. Dr. Julie Carpenter analyzes why it all went down. And Georgia Guthrie epitomizes the outpouring of sympathy that followed. Together, they tell a layered story about humans, and how we respond to robots. With HitchBOT, we find a…

For years, prosthetic technology focused on form over function, on masking lost limbs, rather than agency and usability. But things are changing. Innovations in robotics are giving more people more options, with lower thresholds of entry—and lower price tags, too. Tilly Lockey takes us through her journey with prosthetic arms. Brian Schulz gives some history of mechanical prosthetics, and what it means for people to reach embodiment with their devices. Tyler Hayes talks about the software that made advancements in assistive technology possible. Charlie Kemp discusses his work building universal robot interfaces, and how they can benefit everyone. And Henry and Jane Evans explain how robots …

Who says tech talk has to be boring? On Compiler, we dig into tech topics big, small, and strange. We talk to people who know the code, and bring their perspectives back to you. Intrigued? Here's a preview episode.Software development teams often reach a crossroads. Should they perform maintenance and address bug issues, or add new features to satisfy users? The former isn’t as exciting, but sometimes the most important work is invisible to those who reap the benefits. For now, the project has been released, and everyone wants to celebrate. But there’s an elephant in the room, one that teams can ignore—at least, for a while. In this episode of Compiler, we unpack the concept of technical de…

It’s hard enough to make a functional, reliable robot. Many people also want to make those robots in our image. That’s a tough needle to thread. Often, the most efficient design isn’t the most human-like one. But that isn’t stopping us from reaching for those humanoid robots. Professor Shigeki Sugano argues in favor of creating human-shaped robots. But it’s such an enduring challenge, we’ve come up with a name for it: the uncanny valley. Evan Ackerman walks us through the uncanny valley’s treacherous terrain. Deanna Dezern shares how she’s connected to her robot companion. And Dor Skuler explains how he deliberately avoided making his robots look like humans.If you want to read up on some o…

One of the first functional robots appeared on TV in 1966. That’s earlier than some of us expect. The Unimate’s televised premiere sparked the world’s imagination. It represented a host of possibilities. Those possibilities, however, also implied a coming competition that would last for decades. Dag Spicer tells the story of the Unimate, the first industrial robot—and how little the American public trusted it. But that distrust wasn’t universal. Tomonori Sanada explains how the Unimate was received very differently in Japan. Joe Campbell describes the dangers of working alongside industrial robots. But he’s working to change that with cobots. And Paul Shoup shares how his company, employees…

Building a physical robot isn’t cheap—even when it’s the final version. Designing a robot and testing it over and over again? That takes a lot of tries. And likely more than a few failures on the way to success. Luckily, simulation software is reducing the scrap heap—and bringing down the costs of building robots from the ground up. Kevin Knoedler shares how simulation software allows him to program and design robots from home. And even though he doesn’t have the budget or support of major research institutions like DARPA, his robots still end up winning major competitions. Evan Ackerman points out that winning those competitions takes a lot of skills. But amateurs have more ways than ever …

The 1980s promised robotic servants were in reach. They’d clean up our houses. Bring us drinks. Usher in an era of leisure. We didn’t get robot butlers. But if we look around, we’ll find an army of robotic servants already automating away domestic drudgery. Richard Rowland recounts the extent to which Androbot over-promised on its ability to build a robot servant. 40 years later, we still don’t have robot maids. Monroe Kennedy III walks us through the complexities of seemingly simple tasks. To make things more difficult, each attempt to build a robot had to build the hardware AND write the code from scratch. Keenan Wyrobek explains that’s why he helped write and share the Robot Operating Sy…

Robots have a special place in our imaginations. Writers, artists, directors, and more have shown how robots can change our world—for better or far, far worse. In the real world, robots seem a long way off. But are they? Season 8 of Command Line Heroes is all about the rise of the robots. They just may not be what you expect. We meet the first industrial robot, take a journey through the uncanny valley, and investigate a possible robot crime. Season 8 covers the robots that are in our midst—and the determined dreamers who bring them to life. The first episode drops September 7, 2021. Follow today and sign up for the newsletter to get the latest updates.

The Y2K bug generated a lot of fear, but all that hype fizzled when the new millennium didn’t start with a digital apocalypse. It turns out that fear was just aimed at the wrong catastrophe. While plenty were riding high on the rise of the internet beyond the Y2K scare, another disaster had been brewing since 1995—and would bring them back down. But the dot-com bubble wasn’t the end. The internet was here to stay. Not long after the turn of the millennium, the dot-com economy collapsed. Peter Relan points to the flawed business plans that fueled the dot-com bubble, and how many entrepreneurs and investors underestimated the complexity of building a business on the internet. Ernie Smith tell…

1995 laid the groundwork for a truly global World Wide Web. But not every country took the same path to connecting to the internet. Some resisted, wanting to create their own version. Others had to fight for access, not wanting to be left behind. And while we made huge strides in connecting the world in those early years, we still have a long way to go. Julien Mailland recounts the rollout of France’s Minitel service—how it was years ahead of the internet, but eventually lost its lead. Steve Goldstein explains what was involved in building the infrastructure to expand the NSFNET beyond the United States. Gianluigi Negro shares how China pushed for its connection, and how different it would …

The web was growing quickly in the ‘90s. But all that growth wasn’t going to lead to much if people couldn’t actually find any web sites. In 1995, an innovative new tool started crawling the web. And the search engine it fed opened the doors to the World Wide Web. Elizabeth Van Couvering describes trying to find websites before search engines, and how difficult it was becoming in the early ’90s to keep track of them all. Louis Monier talks about having to convince others how important search engines would become—and he showed them what a web crawler could do. Paul Cormier recounts taking the search engine from a research project to a commercial one. And Richard Seltzer wrote the book on sea…

We put a lot of trust into online shopping: sharing our names, addresses, and handing over money. In return, we have faith that the purchased item appears at our doorstep in a few days or weeks. That trust didn’t come easily. In 1995, we took our first steps out of the brick and mortar store to load our digital shopping cart. Robert Spector reveals how Amazon.com’s business foundations are in data—and being early to the internet. Sandeep Krishnamurthy recounts the rise of eBay. Angela Robinson describes the technology that makes secure transactions and trustworthy e-commerce possible. Kartik Shastri shares how difficult it was to store and process consumer data. And Katie Wilson explains ho…

Looking at the internet in 1995 is like looking back at awkward grade school yearbooks—all the weirdness and flaws stand out in stark contrast to what it’s grown into since. And web design took awhile to become a career—but it got a big boost in 1995. When the Batman Forever website launched to promote the movie, it showed people what was possible on the web. And it forever changed what we’d expect from a website. Jay Hoffmann describes the quirky designs of the early web. Richard Vijgen explains how we went from a lack of conventions to a homogenized web. Jeffrey Zeldman recounts building the Batman Forever movie’s website—and sowing the seeds of professional web design. Jessica Helfand ou…

Historically, search engines made money by showing sponsored ads alongside organic results. As the idiom goes, if you’re not paying for something, you are the product. Neeva is a new take on search engines. When you search at neeva.com, you get the type of result you’d expect from a search engine minus any advertising. In

The post Ad-free Search on Neeva with Darin Fisher appeared first on Software Engineering Daily.

Tabnine is an AI assistant that helps software engineers write more efficient code. It’s been trained on a large corpus of source code or can be trained based on your specific codebase. Either way, the resulting model offers predictive completion of code that can make programmers more productive. In this episode, I interview Eran Yahav,

The post Tabnine with Eran Yahav appeared first on Software Engineering Daily.

Protecting your customers begins with best practices for securely capturing, storing, and protecting the data you collect for or about them. When an organization has a large enough dataset, needs typically arise for doing analytical workloads or training machine learning models on this data. If you use random or mock data to generate a report

The post Privacy Engineering with Alex Watson appeared first on Software Engineering Daily.

When businesses share a common need such as payroll, commercial offerings can compete for market share with software solutions that easily adapt to a variety of businesses. Not all tasks can be easily commoditized or standardized. Take content moderation as an example. Every site that accepts user generated content is likely to have unique and

The post Flowdash with Nick Gervasi appeared first on Software Engineering Daily.

If you’re working on a proof of concept which you hope will help you raise funding, it’s fine to take a few shortcuts. Use the tech stack you know the best, don’t fall in love with your code, and when you start to experience growing pains, hopefully you’ll have the time to thoughtfully and carefully

The post Uber State Machine with Uday Kiran Medisetty appeared first on Software Engineering Daily.

Writing software is an absolute joy. Getting software to build is a chore. Thus, build systems emerged as a solution to automate this chore. At some point software engineers either use or hear legends about make and makefiles. While perhaps being the historically known tool, a great deal of thought has gone into approaches to

The post Build Tools with Benjy Weinberger appeared first on Software Engineering Daily.

I have taken a break from interviews on Software Engineering Daily. I’ll be returning to host the show this year, and want to make a post about why I needed some rest. The last two years have been extremely difficult for me and I have not responded well to it. After getting COVID in March

The post Mental Health appeared first on Software Engineering Daily.

Infrastructure as code is a concept that has delighted software engineers, dev ops, and engineering management across the board. It’s neither fun nor efficient to configure the infrastructure and environments software teams require. Operating software at scale on a cloud, on-prem, or hybrid model is a problem of modernity that many enterprises find surprisingly challenging.

The post Infrastructure as Code with Rob Hirschfeld appeared first on Software Engineering Daily.

Pinterest is a visual discovery engine people use to find ideas in home, food, style, beauty, and more. The service grew quickly after its founding in 2010 and the company has grown to be a global team of thousands of professionals spanning time zones and continents. To deliver the smooth experience Pinterest users have come

The post Pinterest Engineering appeared first on Software Engineering Daily.

Charlie Gerard is an incredibly productive developer. In addition to being the author of Practical Machine Learning in JavaScript, her website charliegerard.dev has a long list of really interesting side projects exploring the intersection of human computer interaction, computer vision, interactivity, and art. In this episode we touch on some of these projects and broadly

The post Practical Machine Learning in JavaScript with Charlie Gerard appeared first on Software Engineering Daily.

TechLit Africa is a non-profit on a mission to lessen African poverty by leveraging the internet. Rural Africans lack digital skills and computers to gain from the digital economy, even though developed countries have an abundance of used computers. That’s where TechLit Africa comes in. They accept used computers, refurbish them with custom classroom code,

The post TechLit Africa with Nelly Cheboi appeared first on Software Engineering Daily.

Getting a computer program to run the same in different environments has been a recurring problem since the earliest days of software systems. Software versioning, versions of dependencies, hardware configurations, and CPU instruction set differences are just a few examples of challenges engineers have faced to get their software to run in different settings. A

The post Codename One with Steve Hannah appeared first on Software Engineering Daily.

If you haven’t encountered a data quality problem, then you haven’t yet worked on a large enough project. Invariably, a gap exists between the state of raw data and what an analyst or machine learning engineer needs to solve their problem. Many organizations needing to automate data preparation workflows look to Trifacta as a solution. The post Trifacta with Joe Hellerstein appeared first on Software Engineering Daily.

Getting a computer program to run the same in different environments has been a recurring problem since the earliest days of software systems. Software versioning, versions of dependencies, hardware configurations, and CPU instruction set differences are just a few examples of challenges engineers have faced getting their software to run in different settings. A core

The post Codename One with Steve Hannah appeared first on Software Engineering Daily.

Однажды ты понял, как снизить затраты на продукт и улучшить его качество. Но идея так и осталась идеей: задача затерялась, а ты превратился в механического исполнителя тикетов из Jira. Мириться с этим нельзя: надо организовать работу так, чтобы инициатива разработчиков не гасла, подобно искрам на снегу.

Чтобы разобраться в этом вопросе, мы побеседовали с нашими гостями о том, как разработчики могут влиять на развитие продукта, как не потеряться в завале идей и в чем главная ошибка Совы – эффективного менеджера. Ответить на эти вопросы нам помогли: - Сергей Лавренев, руководитель по развитию продуктов из департамента по развитию онлайн-сервисов банка «Хоум Кредит», - Роман Хазеев, заместител…

Кто-то при слове Agile вспоминает мемы, кто-то вечный статус «в раннем доступе» у игр, кто-то — постоянные спринты. Мы заглянем чуть глубже и с помощью наших гостей узнаем, когда Agile эффективен, а когда нет; можно ли пренести Agile на личную жизнь — и постараемся понять, почему раньше без него можно было обойтись, а теперь нет. В нашей виртуальной студии вместе с scrum-мастером Анатолием Кукаевым из Промсвязьбанка и директором продуктовой разработки PropellerAds Анатолием Ивановым мы обсудили:

1:00 Любимые шутки про Agile. Объясняем, почему это смешно

3:40 Agile в реальной жизни на примерах: где это применимо и как работает

11:50 Почему гибкие методики Agile так актуальны в быстро меняюще…

В этом выпуске мы обсудили, как перейти от монолита к микросервисной архитектуре и построить свою платформу с теми, кто встал на этот путь. Рассказываем, как микросервисная архитектура меняет организацию команд, какие технические вызовы создает и что может дать своя платформа для микросервисов.

Гости:

Александр Тяпков, заместитель технического директора по вопросам backend-разработки в онлайн-кинотеатре IVI,

Артем Желтак, руководитель backend-разработки в inDriver. 1:10 С чем на бытовом уровне сравнить распил монолита на микросервисы. Наводим порядок в гараже, покупаем теннисные мячи в магазине теннисных мячей

3:50 Распил неизбежен? Немного драматические истории перехода на микросервисы

7:4…

Настраивать и контролировать процессы в IT-компании не проще, чем пилить код. Преуспеть в этом помогает DevOps, естественным продолжением которого в сфере информационной безопасности стал DevSecOps. О нём и поговорим. Вместе с нашими гостями мы рассмотрели Ивана-царевича как модель угрозы; обсудили, как быть на шаг впереди злоумышленников; как сложить слово «безопасность» из процессов, инструментов и знаний; какая главная цель DevSecOps, как перейти к нему от DevOps и с чего надо начиать внедрение и изучение этих практик. Мы взглянули на вопрос с двух сторон: реализации на практике и разработки инструментов. В этом нам помогли Алексей Бабенко, лидер команды тестирования безопасности приложе…

Открытый код или коробочное решение? Open Source — вот он, бери и делай, только допиливать нужно будет самому. С другой стороны, коробки — проверенный временем вариант, хотя и дорого. В этом выпуске вебкаста Хабр ПРО обсудим, какой из подходов может стать мейнстримом, как выбрать подходящую под цели бизнеса лицензию и какие условия должны быть соблюдены, чтобы открытый код был безопасным. Участники:

Андрей Аврамчук, ведущий, Хабр;

Сергей Елин, тимлид ERLANG-разработчиков Osnova;

Роман Шеховцов, корпоративный архитектор Центра развития финансовых технологий Россельхозбанка. 1:15 Разница между открытым и свободным ПО

4:15 Насколько критичен выбор лицензии, какие критерии надо рассмотреть в пе…

Сколько нужно DevOps, чтобы выкрутить одну лампочку? В этом выпуске мы ответили на этот и другие более практические вопросы о работе с микросервисами, которые наши пользователи оставляют на Хабр Q&A. Обсуждаем, в чём разница между микросервисами и сервисами, какие технологии нужны для микросервисов, где их разворачивать, как хранить исходный код и отслеживать жизнь микросервиса. Мы разобрали эти вопросы с двух точек зрения: self-hosting и работы с облачными сервисами. Наши гости: Денис Рылеев, руководитель направления автоматизации в Россельхозбанке, и Михаил Чугунов, системный инженер компании ЕПАМ, занимающийся внедрением DevOps-практик в облачных решениях AWS.

1:05 Вечные вопросы: скольк…

Сцилла и Харибда современной разработки: с одной стороны, приложения должны быть стабильными и цельными, с другой — надо использовать актуальные инструменты. Приходится балансировать между усложнением разработки и устареванием стека. В этом выпуске мы обсудили, как держать равновесие. Мы пригласили тех, кто определяет развитие технической части приложений. Разработчики расскажут, как выстраивать технический стек, как далеко можно прогнозировать в нашем изменчивом мире и являются ли микросервисы серебряной пулей. Кирилл Маканков, руководитель направления мобильной разработки малого и среднего бизнеса в ПСБ, расскажет, какие проблемы ему приходится решать при планировании технического стека, …

Десять лет назад на прилавках появилась новинка от Apple — iPhone 4S, и два друга — Илья и Руслан — решили заняться iOS-разработкой. Прошло время. Илья Меркулов теперь Head of Mobile в FUNCORP, а Руслан Курмакаев переехал в Сиэтл и стал Senior iOS Developer в Facebook. Мы устроили телемост Москва—Сиэтл и в прямом эфире обсудили с Ильёй и Русланом, как бы те начали свой карьерный путь в 2021 году. Выбрали бы они iOS-разработку? С чего бы начали изучение технологий? Как развивалась бы их карьера и каких ошибок они бы избежали? 1:00 Каково было начинать карьеру в iOS-разработке десять лет назад

6:20 Точки роста джуна: фиксим баги, учим английский, читаем книги

11:00 Вредные привычки и особенно…

IT — как Зазеркалье: чтобы оставаться на месте, надо идти, чтобы двигаться — бежать. В IT-компаниях это понимают, и потому одни разработчики учат других. В этот выпуск Хабр Про мы пригласили тех, кто вращает круговорот знаний, и вместе с ними обсудили обмен опытом через теорию и через практику. Настя Артамонова, главный специалист по обучению в Мир Plat.Form, рассказала, как митапы развивают технических специалистов и как внутреннее обучение становится ступенькой к внешним курсам (но не всегда). А Олег Миронов, руководитель Центра Компетенций АО «Флант», объяснил, как учить на боевых проектах и как тимлиды становятся кураторами для джунов. Содержание: 2:00 Обучение внутри компаний: теоретич…