Ari Balogh, CTO at Airbnb, shares how striving towards excellence has served us well in a time of uncertainty.If you’ve ever been part of a startup, you understand the importance of speed. Sometimes it feels like nothing else matters, since getting your products to market quickly can determine whether you survive. When Airbnb was an emerging company with a radical new vision for travel, we often had to prioritize speed in making tough engineering tradeoffs.These decisions paid off, and Airbnb grew into a platform that supports millions of Hosts and Guests globally. Now, in addition to delivering fast, our success depends on providing an experience of exceptional quality that considers every…

Part one of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at Airbnb.Elizabeth Nammour, Wendy Jin, Shengpu LiuOur community of hosts and guests trust that we will keep their data safe and honor their privacy rights. With frequent news reports of data security breaches, coupled with global regulations and security requirements, monitoring and protecting data has become an even more critical problem to solve.At Airbnb, data is collected, stored, and propagated across different data stores and infrastructures, making it hard to rely on engineers to manually keep track of how user and sensitive data flows through our environment. …

How Airbnb is powering automated support to enhance the host and guest experienceGavin Li, Mia ZhaoCustomer Support (CS) can make or break a guest’s travel experience. To support Airbnb’s community of guests and Hosts, we have been investing heavily in developing intelligent CS solutions leveraging state-of-the-art natural language processing (NLP), machine learning (ML), and artificial intelligence (AI) technologies.In this blog post, we’ll introduce the automated support system at Airbnb, which employs the latest task-oriented conversational AI technology, through the lens of a recently launched feature called Mutual Cancellation. We will describe in detail how we framed the business prob…

Gaining trust in data with extensive data quality, accuracy and anomaly checksAs shared in our Data Quality Initiative post, Airbnb has embarked on a project of massive scale to ensure trustworthy data across the company. To enable employees to make faster decisions with data and provide better support for business metric monitoring, we introduced Midas, an analytical data certification process that certifies all important metrics and data sets. As part of that process, we made robust data quality checks and anomaly detection mandatory requirements to prevent data bugs propagating through the data warehouse. We also created guidelines on which specific data quality checks need to be impleme…

How AI-based Sentiment Models Complement Net Promoter ScoreBy Shuai Shao, Mia Zhao, Yuanyuan NiNet Promoter Score (NPS) is a well-accepted measurement of customer satisfaction in most customer-facing industries. We leverage NPS at Airbnb to help measure how well we serve our community of guests and hosts through our customer service. But NPS has two major drawbacks: 1) NPS is sparse, given only a fraction of users respond to the survey, and 2) NPS is slow. It takes at least a week for results to show up. Airbnb uses A/B testing heavily across our core products and customer service offerings. In the A/B testing world, the longer it takes to see results and interpret experiments, the longer i…

The propensity score matching model powering how we optimize for long-term decision-makingBy Mitra Akhtari, Jenny Chen, Amelia Lemionet, Dan Nguyen, Hassan Obeid, Yunshan ZhuAt Airbnb, we have a vision to build a 21st century company by operating over an infinite time horizon and balancing the interests of all stakeholders. To do so effectively, we need to be able to compare, in a common currency, both the short and long-term value of actions and events that take place on our platform. These actions could be a guest making a booking or a host adding amenities to their listing, to name just two examples.Though randomized experiments measure the initial impact of some of these actions, others…

How Airbnb ships features faster across web, iOS, and Android using a server-driven UI system named Ghost Platform 👻.By Ryan BrooksBackground: Server-Driven UIBefore we dive into Airbnb’s implementation of server-driven UI (SDUI), it’s important to understand the general idea of SDUI and how it provides an advantage over traditional client-driven UI.In a traditional world, data is driven by the backend and the UI is driven by each client (web, iOS, and Android). As an example, let’s take Airbnb’s listing page. To show our users a listing, we might request listing data from the backend. Upon receiving this listing data, the client transforms that data into UI.This comes with a few issues. Fi…

Our playbook for driving down non-inclusive terminologyBy: Michael Bachand, Amanda Vawter, Dan Federman, Jake Silver, Julia Wang, Mark TaiCode is our craft. At Airbnb, we view our code and product as a reflection of our values. Each developer imbues their work with a piece of themselves. We want all engineers to be proud of the codebase in which they work and the systems that they use every day.We want to share with you some of the work that we are doing at Airbnb to build an inclusive engineering culture. We hope that sharing our story may energize and bolster similar efforts to eliminate non-inclusive terminology throughout the industry.Bootstrapping ChangeAirbnb’s mission is to create a …

Metric Infrastructure with Minerva @ AirbnbPart II: The six design principles of Minerva compute infrastructureBy: Amit Pahwa, Cristian Figueroa, Donghan Zhang, Haim Grosman, John Bodley, Jonathan Parks, Maggie Zhu, Philip Weiss, Robert Chang, Shao Xie, Sylvia Tomiyama, Xiaohui SunIntroductionAs described in the first post of this series, Airbnb invested significantly in building Minerva, a single source of truth metric platform that standardizes the way business metrics are created, computed, served, and consumed. We spent years iterating toward the right metric infrastructure and designing the right user experience. Because of this multi-year investment, when Airbnb’s business was severel…

Building a Faster Web Experience with the postTask SchedulerWhen was the last time you opened a page on a website and tried to click on something multiple times for it to work? Or the last time you swiped on an image in a carousel and it stuttered and shifted around unnaturally?While this type of experience happens far too often, we can use tools that can help us make better, more responsive experiences for users. Scheduling and prioritizing tasks efficiently can be the difference between a responsive experience and one that feels sluggish.At Airbnb, we’ve been collaborating with the Chrome team on improving performance using a prioritized task scheduler to implement new patterns and improv…

OMNI is an intuitive, homegrown platform that supports message creation, processing, and distribution to engage our guests and hosts at the right time and on the right channels.By Paritosh Aggarwal and Henry WuIntroductionAirbnb is a busy marketplace with millions of active users across the globe. Billions of messages are exchanged each year — both between Airbnb and our users, and between our host and guest communities. To facilitate the scaling of these messages, we invested in building a reliable, scalable, and cost-effective communication platform.The Promotions and Communications Platform (internally called “OMNI”) forms a core pillar of Marketing Technology at Airbnb. Marketing Techno…

By: Jing Guo, Henry Wu, Abhrajit Mukherjee, Shike MeiIntroductionAirbnb’s mission is to “Create a world where anyone can belong anywhere.” This message is delivered to people all around the world through marketing, e.g., See What’s Possible When It’s Made Possible by Hosts. It helps Airbnb connect guests and hosts to build a strong community, and undoubtedly contributes to the impressive growth of the company.Figure 1. Airbnb Marketing DomainsMarketing at Airbnb is exciting — it presents challenges on numerous fronts, one of which is accounting for campaign tracking across the different ad platforms (see Figure 1). Tracking enables the Marketing team to have the full capability to analyze t…

Data is the voice of our users at scale. In the midst of the COVID-19 pandemic, we saw that travel with Airbnb has become hyper-local.Part-I: Introducing Minerva — Airbnb’s Metric PlatformAuthors: Robert Chang, Amit Pahwa, Shao XieIntroductionAt Airbnb, we lean on data to inform our critical decisions. We validate product ideas through randomized controlled experiments, and we track our business performance rigorously to ensure that we maximize values for our stakeholders. To achieve these goals, we needed to build a robust data platform that serves the internal users’ end-to-end needs.While we have previously shared how we ingest data into our data warehouse and how to enable users to cond…

by Alan Yao, Dipak Pawar, Blair Wu, and Abhishek ParmarThe ProblemOver the last couple of years, Airbnb engineering moved from a monolithic Ruby on Rails architecture to a service oriented architecture. In our Rails architecture, we had an API per resource to access the underlying data. These APIs had authorization checks to protect sensitive data. As there was a single way to access a resource’s data, managing these checks was easy. In the transition to SOA, we moved to a layered architecture where there are data services that wrap databases and presentation services hydrating from multiple data services. The initial approach to moving the permission checks from monolith to SOA was to move…

The path to cloud efficiency begins with a cost data foundationby Anna Matlin and Tamar EtermanIntroductionBusiness profitability and sustainability are powerful reasons to invest in infrastructure efficiency, but it is easy to feel lost about how to actually reduce costs. A foundation of robust and actionable data is essential for a successful efficiency program. At Airbnb, building this foundation made it possible to prioritize savings opportunities and ushered in a wave of cost reductions, summarized in a previous post.More importantly, cost data has become a lever for long-term control. The team can react quickly before a spike wreaks havoc on the monthly bill and plan ahead when a big …

By Ricky Gardiner, Alex BorysovBackgroundIn our previous post, we discussed how we utilize FieldMask as a solution when designing our APIs so that consumers can request the data they need when fetched via gRPC. In this blog post we will continue to cover how Netflix Studio Engineering uses FieldMask for mutation operations such as update and remove.Example: Netflix Studio ProductionMoney Heist (La casa de papel) / NetflixPreviously we outlined what a Production is and how the Production Service makes gRPC calls to other microservices such as the Schedule Service and Script Service to retrieve schedules and scripts (aka screenplay) for a particular production such as La Casa De Papel. We can…

Written by Jose Fernandez, Arthur Gonigberg, Julia Knecht, and Patrick ThomasIn 2017, Netflix Studios was hitting an inflection point from a period of merely rapid growth to the sort of explosive growth that throws “how do we scale?” into every conversation. The vision was to create a “Studio in the Cloud”, with applications supporting every part of the business from pitch to play. The security team was working diligently to support this effort, faced with two apparently contradictory priorities:1) streamline any security processes so that we could get applications built and deployed to the public internet faster2) raise the overall security bar so that the accumulated risk of this giant an…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis introduction is the first in a multi-part series on how Netflix uses A/B tests to make decisions that continuously improve our products, so we can deliver more joy and satisfaction to our members. Subsequent posts will cover the basic statistical concepts underpinning A/B tests, the role of experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.Netflix was created with the idea of putting consumer choice and control at the center of the entertainment experience, and as a company…

By Alex Borysov, Ricky GardinerBackgroundAt Netflix, we heavily use gRPC for the purpose of backend to backend communication. When we process a request it is often beneficial to know which fields the caller is interested in and which ones they ignore. Some response fields can be expensive to compute, some fields can require remote calls to other services. Remote calls are never free; they impose extra latency, increase probability of an error, and consume network bandwidth. How can we understand which fields the caller doesn’t need to be supplied in the response, so we can avoid making unnecessary computations and remove calls? With GraphQL this comes out of the box through the use of field…

By Benson Ma, Alok AhujaIntroductionAt Netflix, hundreds of different device types, from streaming sticks to smart TVs, are tested every day through automation to ensure that new software releases continue to deliver the quality of the Netflix experience that our customers enjoy. In addition, Netflix continuously works with its partners (such as Roku, Samsung, LG, Amazon) to port the Netflix SDK to their new and upcoming devices (TVs, smart boxes, etc), to ensure the quality bar is reached before allowing the Netflix application on the device to go out into the world. The Partner Infrastructure team at Netflix provides solutions to support these two significant efforts by enabling device ma…

By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng ZengBackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces many interesting challenges; one of the challenges is how to provide visibility of Studio data across multiple phases and systems to facilitate operational excellence and empower decision making. Netflix is known for its loosely coupled microservice architecture and with a global studio footprint, s…

Data Engineers of Netflix — Interview with Kevin WylieThis post is part of our “Data Engineers of Netflix” series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Kevin WylieKevin Wylie is a Data Engineer on the Content Data Science and Engineering team. In this post, Kevin talks about his extensive experience in content analytics at Netflix since joining more than 10 years ago.Kevin grew up in the Washington, DC area, and received his undergraduate degree in Mathematics from Virginia Tech. Before joining Netflix, he worked at MySpace, helping implement page categorization, pathing analysis, sessionization, and more. In his free time he enjoys garde…

By Gim Mahasintunan on behalf of Data Platform Engineering.Supporting a rapidly growing base of engineers of varied backgrounds using different data stores can be challenging in any organization. Netflix’s internal teams strive to provide leverage by investing in easy-to-use tooling that streamlines the user experience and incorporates best practices.In this blog post, we are thrilled to share that we are open-sourcing one such tool: the Netflix Data Explorer. The Data Explorer gives our engineers fast, safe access to their data stored in Cassandra and Dynomite/Redis data stores.Netflix Data Explorer on GitHubHistoryWe began this project several years ago when we were onboarding many new Dy…

A Script Authoring SpecificationBy: Bhanu Srikanth, Andy Swan, Casey Wilms, Patrick PearsonThe Art of Dubbing and SubtitlingDubbing and subtitling are inherently creative processes. At Netflix, we strive to make shows as joyful to watch in every language as in the original language, whether a member watches with original or dubbed audio, closed captions, forced narratives, subtitles or any combination they prefer. Capturing creative vision and nuances in translation is critical to achieving this goal. Creating a dub or a subtitle is a complex, multi-step process that involves:Transcribing and timing the dialogue in the original language from a completed show to create a source transcription…

By Alok Tiagi, Hariharan Ananthakrishnan, Ivan Porto Carrero and Keerti LakshminarayanNetflix has developed a network observability sidecar called Flow Exporter that uses eBPF tracepoints to capture TCP flows at near real time. At much less than 1% of CPU and memory on the instance, this highly performant sidecar provides flow data at scale for network insight.ChallengesThe cloud network infrastructure that Netflix utilizes today consists of AWS services such as VPC, DirectConnect, VPC Peering, Transit Gateways, NAT Gateways, etc and Netflix owned devices. Netflix software infrastructure is a large distributed ecosystem that consists of specialized functional tiers that are operated on the …

Data Engineers of Netflix — Interview with Dhevi RajendranDhevi RajendranThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Dhevi Rajendran is a Data Engineer on the Growth Data Science and Engineering team. Dhevi joined Netflix in July 2020 and is one of many Data Engineers who have onboarded remotely during the pandemic. In this post, Dhevi talks about her passion for data engineering and taking on a new role during the pandemic.Before Netflix, Dhevi was a software engineer at Two Sigma, where she was most recently on a data engineering team responsible for bringing in datasets fr…

Data Engineers of Netflix — Interview with Samuel SetegneSamuel SetegneThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Samuel Setegne is a Senior Software Engineer on the Core Data Science and Engineering team. Samuel and his team build tools and frameworks that support data engineering teams across Netflix. In this post, Samuel talks about his journey from being a clinical researcher to supporting data engineering teams.Samuel comes from West Philadelphia, and he received his Master’s in Biotechnology from Temple University. Before Netflix, Samuel worked at Travelers Insurance i…

Part of our series on who works in Analytics at Netflix — and what the role entailsBy Sean Barnes, Studio Production Data Science & EngineeringI am going to tell you a story about a person that works for Netflix. That person grew up dreaming of working in the entertainment industry. They attended the University of Southern California, double majored in data science and television & film production, and graduated summa cum laude. Upon graduation, they received an offer from Netflix to become an analytics engineer, and pursue their lifelong dream of orchestrating the beautiful synergy of analytics and entertainment. Pretty straightforward, right?!Such a linear trajectory would make for a comp…

Written by Colby Callahan, Megha Manohara, and Mike Azar.Managing and operating asynchronous workflows can be difficult without the proper tools and architecture that puts observability, debugging, and tracing at the forefront.Imagine getting paged outside normal work hours — users are having trouble with the application you’re responsible for, and you start diving into logs. However, they are scattered across multiple systems, and there isn’t an easy way to tie related messages together. Once you finally find useful identifiers, you may begin writing SQL queries against your production database to find out what went wrong. You’re joining tables, resolving status types, cross-referencing da…

A file and folder interface for Netflix Cloud ServicesWritten by Vikram Krishnamurthy, Kishore Kasi, Abhishek Kapatkar, Tejas Chopra, Prudhviraj Karumanchi, Kelsey Francis, Shailesh BirariIn this post, we are introducing Netflix Drive, a Cloud drive for media assets and providing a high level overview of some of its features and interfaces. We intend this to be a first post in a series of posts covering Netflix Drive. In the future posts, we will do an architectural deep dive into the several components of Netflix Drive.Netflix, and particularly Studio applications (and Studio in the Cloud) produce petabytes of data backed by billions of media assets. Several artists and workflows that may …

Dafang He | Software Engineer, Home Candidate Generation; Andrew Liu | Software Engineer, Home Candidate Generation; Jay Adams | Software Engineer, InspireIntroPinterest is a place where users (Pinners) can save and discover content from both web and mobile platforms, and where increasingly Creators can publish native content right to Pinterest. We hold billions of content (Pins) in our corpus and serve personalized recommendations that inspire Pinners to create a life they love. One of the key and most complicated surfaces for Pinterest is the home feed, where Pinners will see personalized feeds based on their engagement and interests. In this blog, we will discuss how we unify our light-w…

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamThis is a three-part blog series. Click to read part 1 and part 2.In this blog post series, we are going to discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the third of the blog post series, and will discuss learnings on optimizing Druid for real-time use cases.Learnings on Optimizing Druid for Real Time Use CasesWhen we first brought Druid to Pinterest, it was mainly used to serve queries for batch ingested data. Over time, we have been shifting to a real-time based reporting system to make metrics ready for query within minutes o…

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamThis series is three parts. To read part 1, click here. Part 3 coming soon.In this blog post series, we’ll discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the second of the blog post series, and will discuss learnings on optimizing Druid for batch use cases.Learnings on Optimizing Druid for Batch Use CasesSystem VisibilityDuring the process of onboarding different use cases, we found many critical system metrics were missing in Druid. In response, we added metrics on usage of processing threads, merge buffers, rows in memory, etc.,…

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamIn this blog post series, we’ll discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the first of the blog post series with a short history on switching to Druid, system architecture with Druid, and learnings on optimizing host types for Mmap.A Short History on Switching to DruidHistorically, most of the analytical use cases in Pinterest were powered by Hbase, which was then a well-supported, key value store in the company. All the reporting metrics were precomputed in an hourly or daily batch job, transformed into a key value data mode…

Ryan Cooke | Mánager de ingenieríaThis article was originally posted in English; read the English version here.Pinterest, como muchas empresas de tecnología, depende en gran medida de los datos para orientar la toma de decisiones e impulsar el aprendizaje automático. Esta estrategia depende fundamentalmente de que los datos sean precisos. A lo largo de los años, trabajamos para mejorar los procesos por los cuales corroboramos que podemos confiar en los datos clave para tomar decisiones y asegurarnos de que las métricas sean precisas.Cómo puede haber errores en los datosPara aquellos que no están familiarizados con las métricas, este puede parecer un problema extraño. Algo como el número de …

Bhalchandra Pandit | Software EngineerOverviewWe describe a novel approach we took to improving S3 read throughput and how we used it to improve the efficiency of our production jobs. The results have been very encouraging. A standalone benchmark showed a 12x improvement in S3 read throughput (from 21 MB/s to 269 MB/s). Increased throughput allowed our production jobs to finish sooner. As a result, we saw 22% reduction in vcore-hours, 23% reduction in memory-hours, and similar reduction in run time of a typical production job. Although we are happy with the results, we are exploring additional enhancements in the future. They are briefly described at the end of this blog.MotivationWe proces…

Nishant Roy | Tech Lead, Ads Serving PlatformIn May 2020, Pinterest launched a partnership with Shopify that allowed merchants to easily upload their catalogs to the Pinterest platform and create Product Pins and shopping ads. This vastly increased the number of shopping ads in our corpus available for our recommendation engine to choose from, when serving an ad on Pinterest. In order to continue to support this rapid growth, we leveraged a key-value (KV) store and some memory optimizations in Go to scale the size of our ad corpus by 60x. We had three main goals:Simplify scaling our ads business without a linear increase in infrastructure costsImprove system performanceMinimize maintenance …

Cathy Yang | Software Engineer, Trust & SafetyOne of our biggest priorities at Pinterest is keeping Pinners safe, and that includes protecting them from spam. The Trust & Safety team’s goal is not only to catch spam, but to remove it as quickly as possible to minimize Pinner impact.The goal of spammers is to make money, and the best way to do this is to spam at scale. It’s a numbers game: one million spam emails are much more effective than one spam email. In order to remove spam quickly, we look at common trends in spam attacks to identify suspect behavior.To achieve the scale required to be effective, spammers must automate their actions, and each of these “attacks” can be thought of as a…

Ankita Wagh | Software Engineer, Storage and CachingHBase is one of the most critical storage backends at Pinterest., powering many of our online traffic storage services like Zen (graph database) and UMS (wide column data store). Although HBase has many advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, and Hadoop integration, it doesn’t natively support advanced indexing and querying. Secondary indexing is one of the most demanded features by our clients, but supporting that directly in HBase is quite challenging. Maintaining separate index tables as the number of indexes grows is not a scalable solution in terms of query …

Felix Fang | Software Engineer, Advertiser Solutions GroupChi Xu | Software Engineer, Advertiser Solutions GroupPinterest is where people go to plan and shop, making ideas and ads from brands helpful in taking Pinners from inspiration to action. It’s our goal to ensure ads continue to be additive and not intrusive on Pinterest. Because of the unique and powerful first party signals on the platform, advertisers can reach Pinners based on their interests, intent and engagement on the platform.To help in delivering the right ads to the right Pinners in an audience of hundreds of millions of people, we offer advertisers features to achieve relevance including Actalike (AAL) audiences, also know…

This article was originally published in English, view the English version here.Yuru Shao | Ingeniero de softwareAalaa Satti | Ingeniero de softwareAmine Kamel | Jefe de seguridad de producciónEn Pinterest, un método con el que garantizamos la seguridad de la cuenta es mediante la protección de las contraseñas de los usuarios. Las contraseñas pueden ser problemáticas por una gran cantidad de razones, incluido el hecho de que las personas suelen reutilizar sus contraseñas, eligen aquellas que son fáciles de recordar y comparten los detalles que componen sus contraseñas o sus contraseñas reales con otras personas. Por lo tanto, lidiar con estos problemas no es tarea fácil si deseamos ofrecer …

Lu Niu & Chen Qin | Software Engineers, Stream Processing Platform TeamTo best serve Pinners, creators, and advertisers, Pinterest leverages Flink as its stream processing engine. Flink is a data processing engine for stateful computation over data streams. It provides rich streaming APIs, exact-once support, and state checkpointing, which are essential to build stable and scalable streaming applications. Nowadays Flink is widely used in companies like Alibaba, Netflix, and Uber in mission critical use cases.Xenon is the Flink-based stream processing platform at Pinterest. The mission is to build a reliable, scalable, easy-to-use, and efficient stream platform to enable data-driven products…

Erika Sun & Keshava Subramanya | Ads Intelligence TeamThe Ads Intelligence team at Pinterest is charged with building and maintaining machine learning and algorithm-driven recommendations and the Recommendations Ranker to provide advertisers with the best experience in reaching relevant Pinners and help them reach their campaign goals. As part of this work, we leverage data in various algorithms to generate recommendations. These recommendations then appear on multiple surfaces, such as the external-facing Ads Manager and internal tools for our sales team. We use the insight and feedback found in past recommendation adoptions to improve future recommendation generation logic. The following …

Sanchay Javeria | Software Engineer, Big Data Query Platform, Data EngineeringAshish Singh | Technical Lead, Big Data Query Platform, Data EngineeringTo achieve our mission of bringing everyone inspiration through our visual discovery engine, Pinterest relies heavily on making data-driven decisions to improve the Pinner experience for over 475 million monthly active users. Reliable, fast, and scalable interactive querying is essential to make those data-driven decisions possible. In the past, we published how Presto at Pinterest serves this function. Here, we’ll share how we built a scalable, reliable, and efficient interactive querying platform that processes hundreds of petabytes of data …

Training AI models at a large scale isn’t easy. Aside from the need for large amounts of computing power and resources, there is also considerable engineering complexity behind training very large models. At Facebook AI Research (FAIR) Engineering, we have been working on building tools and infrastructure to make training large AI models easier. Our [...]

Read More...

The post Fully Sharded Data Parallel: faster AI training with fewer GPUs appeared first on Facebook Engineering.

We will be hosting a talk about our work on, “A Platform Agnostic Observability System for AI Accelerators” during our virtual Systems @Scale event at 10:20 a.m. PT on Wednesday, June 30, followed by a live Q&A session. Please submit any questions to systemsatscale@fb.com before the event. Accelerators are special-purpose hardware devices optimized for specific [...]

Read More...

The post Asicmon: A platform agnostic observability system for AI accelerators appeared first on Facebook Engineering.

People upload hundreds of millions of videos to Facebook every day. Making sure every video is delivered at the best quality — with the highest resolution and as little buffering as possible — means optimizing not only when and how our video codecs compress and decompress videos for viewing, but also which codecs are used [...]

Read More...

The post How Facebook encodes your videos appeared first on Facebook Engineering.

Designing a personalized ranking system for more than 2 billion people (all with different interests) and a plethora of content to select from presents significant, complex challenges. This is something we tackle every day with News Feed ranking. Without machine learning (ML), people’s News Feeds could be flooded with content they don’t find as relevant [...]

Read More...

The post How machine learning powers Facebook’s News Feed ranking algorithm appeared first on Facebook Engineering.

Facebook’s services rely on fleets of servers in data centers all over the globe — all running applications and delivering the performance our services need. This is why we need to make sure our server hardware is reliable and that we can manage server hardware failures at our scale with as little disruption to our [...]

Read More...

The post How Facebook keeps its large-scale infrastructure hardware up and running appeared first on Facebook Engineering.

Problem

Uber deploys a few storage technologies to store business data based on their application model. One such technology is called Schemaless, which enables the modeling of related entries in one single row of multiple columns, as well as …

The post Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System appeared first on Uber Engineering Blog.

Introduction

Uber’s GSS (Global Scaled Solutions) team runs scaled programs for diverse products and businesses, including but not limited to Eats, Rides, and Freight. The team transforms Uber’s ideas into agile, global solutions by designing and implementing scalable solutions. One …

The post Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework appeared first on Uber Engineering Blog.

Uber has one of the largest deployments of Apache Kafka in the world, processing trillions of messages and multiple petabytes of data per day. As Figure 1 shows, today we position Apache Kafka as a cornerstone of our technology stack. …

The post Enabling Seamless Kafka Async Queuing with Consumer Proxy appeared first on Uber Engineering Blog.

Introduction

Data is crucial for our products. Data analytics help us provide a frictionless experience to the people that use our services. It also enables our engineers, product managers, data analysts, and data scientists to make informed decisions. The impact …

The post How Data Shapes the Uber Rider App appeared first on Uber Engineering Blog.

Background

Drivers within the same area may have quite different earnings, depending on the trips they take. For example, consider two hypothetical drivers in downtown San Francisco. Two riders request two rides: one is within downtown San Francisco, and the …

The post Powering the Network Pricing Model with Near Real-Time Features appeared first on Uber Engineering Blog.

Introduction

Our engineers have the responsibility of ensuring a consistent and positive experience for our riders, drivers, eaters, and delivery/restaurant partners.

Ensuring such an experience requires reliable systems: our apps have to work when anyone needs them. A major component …

The post Eats Safety Team On-Call Overview appeared first on Uber Engineering Blog.

Introduction Content quality is critical to the support experienced by Uber’s customers. Consider an Eater who reached out for help to cancel a very delayed order. The same resolution, such as refunding the charge, can be delivered alongside a robotic-sounding …

The post Unifying Support Content to Enable More Empathetic and Personalized Customer Support Experiences appeared first on Uber Engineering Blog.

With Uber’s business growth and the fast adoption of big data and AI, Big Data scaled to become our most costly infrastructure platform. To reduce operational expenses, we developed a holistic framework with 3 pillars: platform efficiency, supply, and demand …

The post Efficiently Managing the Supply and Demand on Uber’s Big Data Platform appeared first on Uber Engineering Blog.

As Uber’s business has expanded, the underlying pool of data that powers it has grown exponentially, and thus ever more expensive to process. When Big Data rose to become one of our largest operational expenses, we began an initiative to …

The post Cost-Efficient Open Source Big Data Platform at Uber appeared first on Uber Engineering Blog.

Introduction

Big data is at the core of Uber’s business. We continue to innovate and provide better experiences for our earners, riders, and eaters by leveraging big data, machine learning, and artificial intelligence technology. As a result, over the last …

The post Challenges and Opportunities to Dramatically Reduce the Cost of Uber’s Big Data appeared first on Uber Engineering Blog.

Uber delivers efficient and reliable transportation across the global marketplace, which is powered by hundreds of services, machine learning models, and tens of thousands of datasets. While growing rapidly, we’re also committed to maintaining data quality, as it can greatly …

The post How Uber Achieves Operational Excellence in the Data Quality Experience appeared first on Uber Engineering Blog.

For a company of our size and scale, robust, accurate, and compliant accounting and analytics are a necessity, ensuring accurate and granular visibility into our financials, across multiple lines of business.

Most standard, off-the-shelf finance engineering solutions cannot support the …

The post Uber’s Finance Computation Platform appeared first on Uber Engineering Blog.

Introduction

Apache Pinot is an open source data analytics engine (OLAP), which allows users to query data ingested from as recently as a few seconds ago to as old as a few years back. Pinot’s ability to ingest real-time data …

The post Pinot Real-Time Ingestion with Cloud Segment Storage appeared first on Uber Engineering Blog.

Introduction to Fulfillment at Uber

Uber’s mission is to help our consumers effortlessly go anywhere and get anything in thousands of cities worldwide. At its core, we capture a consumer’s intent and fulfill it by matching it with the right …

The post Uber’s Fulfillment Platform: Ground-up Re-architecture to Accelerate Uber’s Go/Get Strategy appeared first on Uber Engineering Blog.

We’ve just open sourced Pedalboard, Spotify’s framework for adding effects to audio in Python. Pedalboard makes it easy to use studio-quality audio effects in your code, rather than just in your digital audio workstation (DAW). If you ask any music or podcast producer where they spend most of their time, chances are they’ll say their [...]

TL;DR Over the years, Spotify’s brand has expanded to encompass a number of products, from mobile apps to web players to car things. But sitting at the core is our flagship product, the one that started it all: the desktop app. In the first episode of our podcast series, “Spotify: A Product Story”, host and [...]

8:30am I’m at my best after nine hours’ sleep, so I tend to wake up pretty late, shower and dress as though I’m going into the office. Although I’ve been in Stockholm a while now, I’m still not a fan of the Swedish breakfast of bread and cheese or salami – give me Nutella on toast [...]

Team purpose and pride — my team hit those high marks, but it was a long journey to get there from where we started. At Spotify, we strive for “aligned autonomy” among our teams. Meaning: we align on what it is we set out to do, but preserve flexibility to choose how we’ll achieve those [...]

TLDR; In episode 08 of our podcast series “Spotify: A Product Story”, we share stories and lessons from building and open sourcing Backstage, our homegrown developer portal. Hear why a developer-friendly, market-based platform like Backstage could only have been developed at Spotify (where autonomy is prized, not top-down mandates) and why that ends up making [...]

There is no excerpt because this is a protected post.

When a design system first starts out, the promise of visual consistency glows bright — the ideal product would have only one set of buttons, a unified typography scale, and elements that look the same no matter which designer made the design or which developer programmed them to be real and deployed. As the product [...]

Nour is a Security Engineer at Spotify New York – juggling her busy day job with completing her Masters in Cyber Security and looking after her 10-month-old daughter, Leya.

Search @ Spotify Search is a well-established functionality across different industries, devices, and applications. When users come to any kind of search, they already have something in mind, whether they come looking for one thing in particular or are open to becoming inspired. Spotify Search is no exception, helping a vast majority of users find joy [...]

For the past couple of years, we’ve been on a mission to modernize our Spotify clients by creating one single desktop UI for both the Desktop application and the Web Player. We couldn’t build everything we wanted to for our users with our old setup, so we decided to do something about it. In the [...]

5:00 am My days begin with an early morning wake-up call from Zev – he comes through at around 5am and we get a couple of dedicated hours of playtime before the rest of the world gets up. It’s fun – this morning, we baked oatmeal cookies. Then once my wife and I are ready, we [...]

At Ripple, we are moving towards building complex business models out of raw data. To do this successfully, we need to automate our historically manual processes. Even with a digital-first approach, many of our internal processes were done by hand, making them great candidates to be automated.

As the Ripple Data Engineering team expanded it needed to programmatically enforce software engineering best practices. The team created a CI/CD pipeline that automatically validates and tests new features for data applications in Google Cloud Platform (GCP).

We are delighted to announce the public preview of serverless tasks in Snowflake! Snowflake tasks allow users to schedule the execution of a SQL statement. Over the last two years, we have seen a tremendous growth in tasks in Snowflake. In addition to organic growth as the Snowflake customer base and usage have grown, we […]

The post Taking Serverless to Task appeared first on Snowflake.

Consumption-based, aka usage-based, pricing is hardly new. Anyone with an electricity, gas, or water bill knows that the amount you pay each month varies depending on your usage. More recently, disruptive companies have pushed other industries (transportation, hospitality, communications, and insurance) to transform by providing usage-based products and services via software applications. As consumers, we […]

The post Consumption-based Pricing: Ensuring Every Customer’s Value and Success appeared first on Snowflake.

Earlier this year as Californians were getting vaccinated by the millions, state leaders were figuring out how to give Californians the option of a digital vaccination record—one that wouldn’t get lost, ripped, or ruined in a washing machine. Just a few months later, the California Department of Public Health (CDPH) and the California Department of […]

The post Snowflake Provides the Data Backbone for California’s Digital COVID-19 Vaccine Record appeared first on Snowflake.

Account-based marketing, or ABM, is more often used as targeted demand generation—not one-to-one marketing. In a 2020 study of more than 300 organizations worldwide, Forrester found that “a significant number of respondents claimed they were using an ABM approach but weren’t doing what we would consider the basics of ABM, such as working with sales.”1 […]

The post How To Get True ROI From Your Account-Based Marketing (ABM) appeared first on Snowflake.

August releases from Snowflake include several updates and enhancements to Snowflake, among them new capabilities for data governance and security that help organizations better know, protect, and unlock value from their data. Several leading data providers also joined Snowflake Data Marketplace, offering data sets for everything from targeted demographics to ecommerce purchase data and reviews […]

The post NEW SNOWFLAKE FEATURES RELEASED IN AUGUST 2021 appeared first on Snowflake.

According to a recent PwC U.S. CEO survey, 84% of CEOs plan to increase their investment in digital transformation.1 This investment is especially important in the financial services (FinServ) industry, where legacy systems often impede the smooth and speedy flow of data that is necessary for transaction processing. According to a recent Economist Intelligence Unit […]

The post How Snowflake’s Data Cloud Helps FinServ Customers appeared first on Snowflake.

Data engineers, data scientists, and data analysts at Snowflake build various ETL and ELT data pipelines that run at different set schedules to obtain information, to make better informed decisions, and to provide analytical insights that drive company strategy. A reliable, efficient, and trustworthy workflow management system is crucial to make sure these pipelines run […]

The post Migrating Airflow from Amazon EC2 to Kubernetes appeared first on Snowflake.

If you’ve played critically acclaimed 2K Games1 (part of Take-Two Interactive Software) such as NBA 2K, Borderlands, Sid Meier’s Civilization, or WWE SuperCard, you can appreciate the creativity and quality development that go into delivering some of the most popular and entertaining games today. In a recent webinar, 2K Games’ Head of Mobile Analytics, Hao […]

The post Snowflake Data Cloud and Snowflake Data Marketplace Inform Game Dev, Delivers Business Insights at 2K Games appeared first on Snowflake.

As the adoption of the Snowflake Data Cloud and Power BI continues to gain momentum across all business and vertical markets, it’s important that the capabilities, user experience, and integration of Snowflake and Power BI continue to evolve to provide best-in-class experiences to our users. To this end, Snowflake and Microsoft have developed a strong […]

The post Custom SQL Now Supported in the Snowflake Connector for Power BI! appeared first on Snowflake.

Corporate finance must change. Across industries, an organization’s Finance team should shed light on what’s happening today with revenue and other financial indicators, while also predicting what the future may hold. And they must do the same for the entire organization. Until recently, it would have been impossible to meet these expectations. Excel-driven forecasting requires […]

The post Data Science: The Future of Corporate Finance appeared first on Snowflake.

Over the last couple of years, the data mesh architecture has emerged as a new framework to help solve many of the challenges that have plagued organizations, especially as they’ve scaled their data and data teams and tried to deliver more value, faster. Removing these barriers to data and delivering value at scale is a […]

The post Empower Data Teams with a Data Mesh Built on Snowflake appeared first on Snowflake.

Beauty and lifestyle retailer Douglas offers more than 130,000 products across its network of online shops, beauty marketplace, and over 2,000 stores. Based in Düsseldorf, Douglas looks to inspire its customers to live their own kind of beauty with a previously unparalleled assortment of products. Formerly a multi-channel retailer, Douglas is now evolving into Europe’s […]

The post Douglas Evolves from Retail Stores to Ecommerce and Leverages Snowflake to Democratize Its Data appeared first on Snowflake.

During the process of turning data into insights, the most compelling data often comes with an added responsibility—the need to protect the people whose lives are caught up in that data. Plenty of data sets include sensitive information, and it’s the duty of every organization, down to each individual, to ensure that sensitive information is […]

The post The Journey to Processing PII in the Data Cloud appeared first on Snowflake.

It’s a great time to be a data architect. In fact, from a career point of view, it’s a great time to be a data anything. Companies are discovering the extraordinary value of analytics. That makes it a candidates’ market, said McElla Pappas, VP – US West for recruiting firm Harnham, which specializes in data […]

The post The Annotated Data Architect Resume appeared first on Snowflake.

Data is central to how we run our businesses, establish our institutions, and manage our personal and professional lives. Nearly every interaction generates data, whether it’s from software applications, social media connections, mobile communications, or many types of digital services. Multiply those interactions by a growing number of connected people, devices, and interaction points, and […]

The post 5 Guidelines for Reliable Data Pipeline Processing appeared first on Snowflake.

Across the federal government, agencies are struggling to identify, organize, analyze, and act on troves of data. It’s a problem that leaders are working actively to tackle, but they’re in a race against immeasurable volumes of data that is continuously being generated in perpetuity in stores known and unknown. At the Internal Revenue Service, decades’ […]

The post Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers appeared first on Cloudera Blog.

The shift to cloud has been accelerating, and with it, a push to modernize data pipelines that fuel key applications. That is why cloud native solutions which take advantage of the capabilities such as disaggregated storage & compute, elasticity, and containerization are more paramount than ever. At Cloudera, we introduced Cloudera Data Engineering (CDE) as […]

The post Optimizing Cloudera Data Engineering Autoscaling Performance appeared first on Cloudera Blog.

When we announced the GA of Cloudera Data Engineering back in September of last year, a key vision we had was to simplify the automation of data transformation pipelines at scale. By leveraging Spark on Kubernetes as the foundation along with a first class job management API many of our customers have been able to […]

The post Automating Data Pipelines in CDP with CDE Managed Airflow Service appeared first on Cloudera Blog.

After the launch of CDP Data Engineering (CDE) on AWS a few months ago, we are thrilled to announce that CDE, the only cloud-native service purpose built for enterprise data engineers, is now available on Microsoft Azure. CDP Data Engineering offers an all-inclusive toolset that enables data pipeline orchestration, automation, advanced monitoring, visual profiling, and […]

The post Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure appeared first on Cloudera Blog.

Introduction Many Cloudera customers are making the transition from being completely on-prem to cloud by either backing up their data in the cloud, or running multi-functional analytics on CDP Public cloud in AWS or Azure. The Replication Manager service facilitates both disaster recovery and data migration across different environments. Using easy-to-define policies, Replication Manager solves […]

The post Migrate Hive data from CDH to CDP public cloud appeared first on Cloudera Blog.

A sturdy data infrastructure coupled with a proficient workforce are pillars for an organization’s digital transformation efforts. McKinsey lists building capabilities for the workforce of the future as one of five categories of factors improving the chances of a successful digital transformation. Investing the right amount in digital talent and scaling up workforce planning and […]

The post Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore appeared first on Cloudera Blog.

Data pipelines are in high demand in today’s data-driven organizations. As critical elements in supplying trusted, curated, and usable data for end-to-end analytic and machine learning workflows, the role of data pipelines is becoming indispensable. To keep up, data pipelines are being vigorously reshaped with modern tools and techniques. At Cloudera, we recently introduced several […]

The post Modernizing Data Pipelines using Cloudera Data Platform – Part 1 appeared first on Cloudera Blog.

Apache YuniKorn (Incubating) has just released 0.10.0 (release announcement). As part of this release, a new feature called Gang Scheduling has become available. By leveraging the Gang Scheduling feature, Spark jobs scheduling on Kubernetes becomes more efficient. What is Apache YuniKorn (Incubating)? Apache YuniKorn (Incubating) is a new Apache incubator project that offers rich scheduling […]

The post Spark on Kubernetes – Gang Scheduling with YuniKorn appeared first on Cloudera Blog.

Update August 2021: Starting with CDE v1.9, you can now use the python-env resource (Option 2) for all Python packages, including those dependent on C base libraries such as Pandas, Pyarrow, etc. Use custom-runtime-image (Option 3) only for custom libraries & more advanced scenarios. Apache Spark is now widely used in many enterprises for building […]

The post Managing Python dependencies for Spark workloads in Cloudera Data Engineering appeared first on Cloudera Blog.

What is Cloudera Data Engineering (CDE) ? Cloudera Data Engineering is a serverless service for Cloudera Data Platform (CDP) that allows you to submit jobs to auto-scaling virtual clusters. CDE enables you to spend more time on your applications, and less time on infrastructure. CDE allows you to create, manage, and schedule Apache Spark jobs […]

The post Cloudera Data Engineering – Integration steps to leverage Spark on Kubernetes appeared first on Cloudera Blog.

In the previous blog post, we looked at some of the application development concepts for the Cloudera Operational Database (COD). In this blog post, we’ll see how you can use other CDP services with COD. COD is an operational database-as-a-service that brings ease of use and flexibility to Apache HBase. Cloudera Operational Database enables developers […]

The post Using other CDP services with Cloudera Operational Database appeared first on Cloudera Blog.

This is part 2 in this blog series. You can read part 1, here: Digital Transformation is a Data Journey From Edge to Insight This blog series follows the manufacturing, operations and sales data for a connected vehicle manufacturer as the data goes through stages and transformations typically experienced in a large manufacturing company on […]

The post Next Stop – Building a Data Pipeline from Edge to Insight appeared first on Cloudera Blog.

The digital revolution is making a deep impact on the automotive industry, offering practically unlimited possibilities for more efficient, convenient, and safe driving and travel experiences in connected vehicles. This revolution is just beginning to accelerate – in fact, according to a recent Applied Market Research study, the global connected car market was valued at […]

The post Data – the Octane Accelerating Intelligent Connected Vehicles appeared first on Cloudera Blog.

In this blog we will take you through a persona-based data adventure, with short demos attached, to show you the A-Z data worker workflow expedited and made easier through self-service, seamless integration, and cloud-native technologies. You will learn all the parts of Cloudera’s Data Platform that together will accelerate your everyday Data Worker tasks. This […]

The post An A-Z Data Adventure on Cloudera’s Data Platform appeared first on Cloudera Blog.

When it comes to machine learning (ML) in the enterprise, there are many misconceptions about what it actually takes to effectively employ machine learning models and scale AI use cases. When many businesses start their journey into ML and AI, it’s common to place a lot of energy and focus on the coding and data […]

The post Enabling The Full ML Lifecycle For Scaling AI Use Cases appeared first on Cloudera Blog.

All businesses need a system to accurately track their expenses. Without it, they would not be able to keep reliable records and would likely soon find themselves in financial trouble. To track expenses, most businesses rely on some form of expense management software. However, not all expense management software options are created equal. Some offer […]

The post Benefits of Having AI-Powered Software Solutions for Expense Management appeared first on SmartData Collective.

Big data has been a gamechanger for countless companies in virtually every industry. The construction industry is no exception. Construction analytics is a new field that was worth just over $5 billion in 2018. It is growing at a rate of over 19% a year and should be worth $15.21 billion by 2026. Why is […]

The post Using Building Analytics to Mitigate the Costs of Construction Mistakes appeared first on SmartData Collective.

Artificial intelligence has become very important in modern digital and traditional media. There are a number of different types of AI applications in conventional media. One of the biggest trends has been the inception of social TV. The Evolving Role of AI on Social TV The increase of social media has made TV more entertaining […]

The post The Impact of Artificial Intelligence on Social TV appeared first on SmartData Collective.

More and more businesses and organizations treat data as an essential asset. The importance of managing and leveraging data cannot be overestimated. The process of interpreting and analyzing data and putting it into context helps businesses and organizations make informed decisions, predict trends, anticipate expectations, improve security, optimize internal operations, and stay ahead of competitors. […]

The post How AI-Driven Data Analytics Tools Benefit Businesses and Organizations appeared first on SmartData Collective.

In the current economic turbulent times, showing business stakeholders that your knowledge sharing and reusing brings business value works as a driving force for investing in a knowledge management tool. But, how do you convince stakeholders about the importance of knowledge management? Simple! Use data and analytics to back your claims. The simplest way is […]

The post The Growing Role of Analytics in Business Knowledge Management appeared first on SmartData Collective.

Weather forecasting technology has grown from strength to strength in the last few decades. Gone are the days when you had to wait for the local news channel to share the weather forecasts for the next day. Nor do you have to reach out to the newspaper to find out what the weather is going […]

The post Is Data Analytics Ushering in the Modern Age of Weather Forecasting? appeared first on SmartData Collective.

Artificial intelligence is one of the fastest-growing technologies. It grew 270% in just four years since more companies started noticing its benefits and adopted this technology. eCommerce businesses are no exception. Over 50 percent of them use AI for various purposes, like creating personalized services and automation. This article will share the basic concept of […]

The post Artificial Intelligence for eCommerce: A Closer Look appeared first on SmartData Collective.

In this virtual age of social media, we love to customize our profiles, blogs, and business pages. We love to personalize our pages with quirks and branding that shows off our personalities and likes. We have found that AI technology can be very useful, because it allows you to nuance the visuals and messages for […]

The post AI-Driven Customization Provides Tremendous Benefits for Your Brand appeared first on SmartData Collective.

Analytics technology has helped improve financial management considerably. It is important to know how to use data analytics to improve your budget, cut costs and make sound investment decisions. One way to use analytics is to invest in cryptocurrencies more wisely. You can find some great ways to identify trends in the cryptocurrency industry. However, […]

The post Using Analytics To Decide Which Cryptocurrency To Invest In appeared first on SmartData Collective.

Cryptocurrencies are undoubtedly the rave of the moment. There are stories all over the internet about how crypto made someone a millionaire overnight. However, the crypto market experienced a significant downtrend recently with prices plummeting as low as 30% from peak prices in a matter of days. This has raised questions about the future of […]

The post Can Predictive Analytics Identify Future Crypto Profitability? appeared first on SmartData Collective.

Data is an important part of any business, including areas that focus on product development. With data, you can analyze it and then incorporate your findings into the development stages of the product’s creation. As such, you end up with a final product that is a lot more effective than it would be without that […]

The post The Growing Role of Analytics in Product Development appeared first on SmartData Collective.

Data is the backbone of effective digital marketing, and content is not just king; it is the entire royal family. When you combine both, you get one of the most formidable and effective marketing strategies ever. Businesses worldwide, especially SaaS businesses, have discovered that smart, measurable content marketing is the key to achieving their business […]

The post Businesses Discover the Importance of Merging Analytics and Content Marketing appeared first on SmartData Collective.

Data analytics has upended the world of business in countless ways. A growing number of businesses are discovering new applications for data analytics technology as they strive to streamline operations and boost their bottom lines. Many companies have found that analytics technology is ideal for optimizing their business models in a number of ways. This […]

The post 4 Ways to Use Analytics to Measure and Optimize Business Growth appeared first on SmartData Collective.

Analytics technology is very important for online businesses. You need to pay close attention to analytics data on various KPIs to determine whether your strategy is working well and what tweaks need to be made. As an eCommerce entrepreneur, you have the benefit of being able to access a plethora of data at any time […]

The post Top eCommerce Metrics for Online Businesses to Study with Analytics appeared first on SmartData Collective.

Reading Time: 3 minutes Hi everyone! Almost a month back I wrote a blog on Message Queue and there I told you that soon I’ll start writing about Simple Queue Service. For a basic understanding of Message Queues, you can have a look here. Talking about Simple Queue Service, it’s a service provided by AWS, and in short, just known as SQS. What is Simple Queue Service? AWS SQS Continue Reading

The post Simple Queue Service – Quick Start | AWS SQS – Part 1 appeared first on Knoldus Blogs.

This blog is posted by Ernesto Ramos, a WeCloudData alumni from our full-time Data Science diploma program. Ernesto is a project manager at BeamData, a Toronto-based Data Science consulting company. Prior to joining BeamData, Ernesto worked in R&D at a major pharmaceutical company and completed his MSc in Pharmacology at the University of Toronto. At... View Article

The post A Rewarding Journey From Consulting to Data Science appeared first on WeCloudData.

It has FINALLY arrived! Our long awaited Data Engineering diploma program has launched at last. As the leading institute for data science and technology, WeCloudData, is excited to announce the official start of our first Data Engineering diploma program to be on February 17th, 2021! Focusing on guiding students through gaining the required skills and... View Article

The post Toronto Institute of Data Science and Technology, WeCloudData, Launches New Data Engineering Diploma Program appeared first on WeCloudData.

Data Engineering Series #1: 10 Key tech skills you need, to become a competent Data Engineer. Data Engineering Series #2: Cloud Services and FOSS in Data Engineer’s world “Open Source (OSS) frameworks have improved the quality of Big Data processing with its diverse set of tools addressing numerous use cases In fact, if you are a... View Article

The post Data Engineering Series #2: Cloud Services and FOSS in Data Engineer’s World appeared first on WeCloudData.

Bridging the gap between Application Developers and Data Scientists, the demand for Data Engineers rose up to 50% in 2020, especially due to increase in investments on AI based SaaS products. After going through multiple Job Descriptions and based on my experience in the field , I have come up with the detailed skill sets to... View Article

The post Data Engineering Series #1: 10 Key Tech Skills You Need, to Become a Competent Data Engineer. appeared first on WeCloudData.

The blog is posted by WeCloudData’s full-time data science diploma program student Yining Zhuang. In this blog, I would like to share my experience with people who are thinking of changing their career path from business to data science. I hope my journey can encourage people who are struggling in their current position, and help... View Article

The post Career Switch from Accountant to Data Scientist with WeCloudData appeared first on WeCloudData.

What is the difference between data science and data engineering? Data Science

Data Scientists work with the data and are basically doing the analytics part. They take the data and create new insights. They do the analytics for instance by using Machine Learning techniques or do just simple...

When you watch the blueprint I also use in my cookbook you see the different phases: Connect, Processing Framework, Store and Buffer. At the beginning you think about where you validate the data? To make sure that the data is okay and makes sense. Do you validate the data directly on the API -...

I get often asked: What is the best or easiest cloud platform to start with for data engineering? Here are my thoughts on this. A general overview. Market shares Amazon Web Services (AWS) is globally the biggest cloud provider (approx. 50% of the market). This goes for the US and the EU...

In one of my livestreams, a viewer asked me the question: Scala or PySpark? Which one I prefer and why, I'll answer you in this video: https://youtu.be/64iMuH2QLjE Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to...

How to draw architecture diagrams for AWS, Google Cloud and Azure in an easy and time-saving way? Check out this video to find out! The tool is really great! https://youtu.be/hNoVd-XKbmI Let me know in the comments how you think about it! See you later. Andreas Check out our Data...

Jobs as a Junior Data Engineer are in great demand. But what do you really earn as such? Check out this video to find out:https://youtu.be/Yve3Yl37mrE Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing...

You're an aspiring Data Engineer and don't know exactly how to proceed to best acquire all the skills you need? Then be sure to watch this video. There you will get a roadmap on how to proceed: https://youtu.be/LKhdmm4CzbU Let me know in the comments how you think about it! See you...

SQL and Python - two skills everyone talks about. But what other skills should you have as a Data Engineer? Check out this video to find out: https://youtu.be/8f1AL_BW6nQ Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy...

You got a job rejection? No need to worry. You can learn from it! How? I explain it to you in this video: https://youtu.be/Gp9kEG_cuOM Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing of Data Science!

You work as a Data Engineer but your company titles your job differently and doesn't want to give you a Data Engineer title? No need to worry. Chek out this video to see what you should do: https://youtu.be/qmzF2dthv58 Let me know in the comments how you think about it! See you...

How deep do you need to know operating systems for Data Engineering? Watch this video to find out: https://youtu.be/nFzFvyeUY2o Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing of Data Science!

You want to gain knowledge about a platform. But you are not sure which platform to choose? Check out this video, to see what you need to know to make that decision: https://youtu.be/t5a3QvXdav8 Let me know in the comments how you think about it! See you later. Andreas Check out our...

Spark is just great! But what makes it that great and how would i rate it on a scale of 1 to 10? Check out this video to find out: https://youtu.be/b0_4d-8qkoM Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the...

Scribd offers a variety of publisher and user-uploaded content to our users and

while the publisher content is rich in metadata, user-uploaded content

typically is not. Documents uploaded by the users have varied subjects and

content types which can make it challenging to link them together. One way to

connect content can be through a taxonomy - an important type of structured

information widely used in various domains. In this series, we have already

shared how we identify document

types and extract information

from documents, this post

will discuss how insights from data were used to help build the taxonomy and

our approach to assign categories to the user-uploaded documents.

Building the…

Extracting metadata from our documents is an important part of our discovery

and recommendation pipeline, but discerning useful and relevant details

from text-heavy user-uploaded documents can be challenging. This is

part 2 in a series of blog posts describing a multi-component machine learning

system the Applied Research team built to extract metadata from our documents in order to enrich downstream discovery models. In this post, we present the challenges and

limitations the team faced when building information extraction NLP models for Scribd’s text-heavy documents and how they were solved.

As mentioned in part 1, we now have a way of identifying text-heavy documents. Having done that, w…

Delta Lake is integral to our data platform which is why we have invested

heavily in delta-rs to support our

non-JVM Delta Lake needs. This year I had the opportunity to share the progress

of delta-rs at Data and AI Summit. Delta-rs was originally started by my colleague QP just over a year ago and it has now grown to now a multi-company project with numerous contributors, and downstream projects such as kafka-delta-ingest.

In the session embedded below, I introduce the delta-rs project which is

helping bring the power of Delta Lake outside of the Spark ecosystem. By

providing a foundational Delta Lake library in Rust, delta-rs can enable native

bindings in Python, Ruby, Golang, and more.We…

User-uploaded documents have been a core component of Scribd’s business from

the very beginning, understanding what is actually in the document corpus

unlocks exciting new opportunities for discovery and recommendation.

With Scribd anybody can upload and share

documents, analogous to YouTube and videos. Over

the years, our document corpus has become larger and more diverse which has

made understanding it an ever-increasing challenge.

Over the past year one of the missions of the Applied Research team has been to

extract key document metadata to enrich

downstream discovery systems. Our approach combines semantic understanding with

user behaviour in a multi-component machine learning system.

…

The long term success of our data platform relies on putting tools into the

hands of developers and data scientists to “choose their own adventure”. A big

part of that story has been Databricks which we

recently integrated with Terraform to make it easy to

scale a top-notch developer experience. At the 2021 Data and AI Summit, Core

Platform infrastructure engineer Hamilton

Hord and Databricks engineer Serge

Smertin presented on the Databricks terraform provider

and how it’s been used by Scribd.

In the session embedded below, they share the details on the Databricks (Labs)

Terraform

integration

and how it can automate literally every aspect required for a production-grade

platform: data secu…

Streaming data from Apache Kafka into Delta Lake is an integral part of

Scribd’s data platform, but has been challenging to manage and

scale. We use Spark Structured Streaming jobs to read data from

Kafka topics and write that data into Delta Lake tables. This approach gets the job

done but in production our experience has convinced us that a different

approach is necessary to efficiently bring data from Kafka to Delta Lake. To

serve this need, we created

kafka-delta-ingest.

The user requirements are likely relatable to a lot of folks: My application emits data into Kafka that I want to analyze later.

I want my Kafka data to land in the data warehouse and be queryable pretty soon after inge…

Scribd stores billions of records in Delta Lake but writing

or reading that data had been constrained to a single tech stack, all of that

changed with the creation of delta-rs.

Historically using Delta Lake required applications to be implemented with or

accompanied by Apache Spark. Many of our batch

and streaming data processing applications are all Spark-based, but that’s not

everything that exists! In mid-2020 it became clear that Delta Lake would be a

powerful tool in areas adjacent to the domain that Spark occupies. From my

perspective, I figured that would soon need to bring data into and out of Delta

Lake in dozens of different ways. Some discussions and prototyping led to the

creati…

Transitioning from a more traditional database operation (read ACID, RDBMS blah blah) background to a newer data platform is always interesting. As it constantly challenges all yours year old wisdom and kind of forces you to adapt to newer way of getting things done.

At Scribd we have made

Delta Lake a cornerstone of our data platform. All data in

Delta Lake is stored in Apache Parquet format enabling Delta Lake to leverage

the efficient compression and encoding schemes that are native to Parquet. The

Delta Lake transaction log (also known as the DeltaLog) is an ordered record of

every transaction that has ever been performed on a Delta Lake table since its

inception. So a particular datase…

At Scribd we use Airflow as a scheduler for most of our batch workloads, this blog is not about Airflow so we are not getting into why Airflow. This is about one of the biggest challenge that we faced while using Airflow and finally conquer. That is how to do authentication and authorisation for Airflow. Of course Airflow does support LDAP and at Scribd we started using LDAP with Airflow initially, but as the organisation grow and more and more user started using Airflow, it became imperative that we integrate Airflow with our SSO provider that is Okta.

Sadly there is a lack of resources on how to implement airflow with Okta specifically. This write up will describe the journey of integrati…

Building recommendations systems like those implemented at large companies like Facebook and Pinterest can be accomplished using off the shelf tools like Elasticsearch. Many modern recommendation systems implement embedding-based retrieval, a technique that uses embeddings to represent documents, and then converts the recommendations retrieval problem into a similarity search problem in the embedding space. This post details our approach to “embedding-based retrieval” with Elasticsearch.

Context

Recommendations plays an integral part in helping users discover content that delights them on the Scribd platform, which hosts millions of premium ebooks, audiobooks, etc along with over a hundred …

We're excited to kick off the 30 Day Dataquest Challenge! Here’s why:Building learning habits is crucial to your data career, but it can be difficult to get into a new habit. Maybe you’ve tried building before, but, time and time again, you fall off. Something comes up. What starts off exciting becomes too difficult. Before […]

The post 30-Day Data Science Challenge appeared first on Dataquest.

Everyone’s journey to become a data scientist is different, and the learning curve will vary depending on many factors, including time availability, prior knowledge, the tools you use, etc. One learner shares his story about how he became a data scientist in 6 months with Dataquest. Here’s how his journey began:As the title suggests, this […]

The post How I Learned Data Science in 6 Months appeared first on Dataquest.

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

The post Data Analyst Skills – 8 Skills You Need to Get a Job appeared first on Dataquest.

In the fast-growing field of data, the "big three" job roles are data engineer, data analyst, and data scientist. Figure out which is the best fit for you.

The post Data Engineer, Data Analyst, Data Scientist — What’s the Difference? appeared first on Dataquest.

No matter what industry you're in, you need data skills to future-proof your career. You might be thinking: Vik is the CEO of a company that teaches data science - of course he'd say that! But stick with me for a few more paragraphs, I'll walk you through how data was key to all of the […]

The post You Need Data Skills to Future-Proof Your Career appeared first on Dataquest.

If you’re interested in becoming a data analyst, or even just interested in adding some data skills to your resume, you’ve probably wondered: do I need some kind of data analytics certification?Finding the real answer to this question is tricky. There are a million data analytics certificate programs out there, and they all have a […]

The post Data Analytics Certification: Do You Need a Certificate to Get a Job as a Data Analyst? appeared first on Dataquest.

A lot of the SQL interview questions you'll find on the web are generic: "What is SQL?" You'll never be asked that. We've got real questions to help you prep.

The post SQL Interview Questions — Real Questions to Prep for Your Job Interview appeared first on Dataquest.

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

The post Want a Job in Data? Learn SQL. appeared first on Dataquest.

If you want to work in data, do you need a SQL certification? That’s a question that can be difficult to answer, especially with different organizations pushing to get you to spend money on their certificate programs. Table Of Contents (click to expand) 1Do you need to learn SQL? Yes.2Do you need a SQL certificate? […]

The post Do You Need a SQL Certification to Get a Data Job in 2021? appeared first on Dataquest.

This is a guest post by Pınar Köse Kulacz, Innovation Director at Arçelik. Arçelik, the leading global manufacturer of household appliances, has collaborated with AWS since 2019 to increase efficiency and innovate on new services. Here at Arçelik, we believe that data and artificial intelligence provide a critical advantage over competitors in the global consumer […]

The ability to detect fraudulent card payments is becoming increasingly important as the world moves towards a cashless society. For decades, banks have relied on building complex mathematical models to predict whether a given card payment transaction is likely to be fraudulent or not. These models must be both accurate and precise—they must catch fraudulent […]

Amazon SageMaker Studio is the first fully integrated development environment (IDE) for machine learning (ML). With a single click, data scientists and developers can quickly spin up Studio notebooks to explore and prepare datasets to build, train, and deploy ML models in a single pane of glass. We’re excited to announce a new set of […]

Amazon EMR on Amazon EKS is a deployment option for Amazon EMR that allows you to run Apache Spark on Amazon Elastic Kubernetes Service (Amazon EKS). If you run open-source Apache Spark on Amazon EKS, you can now use Amazon EMR to automate provisioning and management, and run Apache Spark up to three times faster. […]

This is a guest post co-written by Rahul Monga, Principal Software Engineer at Rapid7. Rapid7 InsightVM is a vulnerability assessment and management product that provides visibility into the risks present across an organization. It equips you with the reporting, automation, and integrations needed to prioritize and fix those vulnerabilities in a fast and efficient manner. […]

Amazon SageMaker Studio provides a single, web-based visual interface where you can perform all ML development steps, improving data science team productivity by up to 10 times. Studio gives you complete access, control, and visibility into each step required to build, train, and deploy models. You can quickly upload data, create new notebooks, train and […]

Intelligent document processing (IDP), as defined by IDC, is an approach by which unstructured content and structured data is analyzed and extracted for use in downstream applications. IDP involves document reading, categorization, and data extraction, by using AI’s processes of computer vision (CV), Optical Character Recognition (OCR), and natural language processing (NLP) on provided texts.[1] […]

Multiple industries such as finance, mortgage, and insurance face the challenge of extracting information from documents and taking a specific action to enable business processes. Intelligent document processing (IDP) helps extract information locked within documents that is important to business operations. Customers are always seeking new ways to use artificial intelligence (AI) to help them […]

Think about the last time you opened a bank account, applied for insurance, or refinanced your home. It was probably done on paper. The number of documents in a mortgage packet alone is over 100 pages long. What do you do with all that paper? For many companies across a variety of industries, including financial […]

Optimizing a database is an important activity for new and existing application workloads. You need to take cost, operations, performance, security, and reliability into consideration. Conducting benchmark tests help with these considerations. With Amazon Aurora PostgreSQL-Compatible Edition, you can run multiple benchmark tests with different transaction characteristics matching your data access patterns. In this post, […]

Gridium creates software that lets people run commercial buildings at a lower cost and with less energy. Currently, half of the world lives in cities. Soon, nearly 70% will, while buildings utilize 40% of the world’s electricity. In the U.S. alone, commercial real estate value tops one trillion dollars. Furthermore, much of this asset class […]

Amazon Transcribe is an automatic speech recognition (ASR) service that makes it easy for developers to add speech to text capabilities to their applications. Since launching in 2017, Amazon Transcribe has added numerous features to enhance its capabilities around converting speech to text. Some of these features include automatic language detection, custom language models, vocabulary […]

Amazon Transcribe is an automatic speech recognition (ASR) service that makes it easy to add speech-to-text capabilities to your applications. Speech or audio data is virtually impossible for computers to search and analyze. Therefore, recorded speech needs to be converted to text before it can be used in applications. Automatic content redaction is a feature […]

The recent pandemic and the impossibility of meeting customers in person has made two-way contact centers an effective tool for sales representatives to reach to customers. Amazon Connect is the ideal service to manage these contacts, and its adoption gives you the opportunity to gather new business insights. Thanks to Amazon Connect, you can program […]

AWS customers use Amazon Keyspaces (for Apache Cassandra) to modernize their Cassandra workloads. Keyspaces offers customers scalability and fast performance to provide users a great end-user experience. Amazon Keyspaces is a scalable, highly available, and managed Apache Cassandra-compatible database service. With Amazon Keyspaces, you can run your Cassandra workloads on AWS using the same Cassandra […]

Financial services organizations use data from various sources to discover new insights and improve trading decisions. Finding the right dataset and getting access to the data can frequently be a time-consuming process. For example, to analyze daily trading activity, analysts need to find a list of available databases and tables, identify its owner’s contact information, […]

Customers developing software as a service (SaaS) applications often need to send outgoing webhooks (HTTP call-backs in response to events) to other SaaS applications such as Salesforce, Marketo, or ServiceNow. When processing webhooks, you often have to implement custom logic or services to enqueue and emit these events. This introduces additional complexity and operational overhead. […]

Flink Forward Global 2021 is a 2-day virtual conference for the Apache Flink and stream processing communities. Apache Flink is an open-source distributed engine for processing data streams that can support both streaming and batch workloads. Amazon Kinesis Data Analytics is a fully managed service for Apache Flink on AWS that reduces the complexity of […]

Amazon Fraud Detector is a fully managed service that makes it easy to identify potentially fraudulent online activities, such as the creation of fake accounts or online payment fraud. Unlike general-purpose machine learning (ML) packages, Amazon Fraud Detector is designed specifically to detect fraud. Amazon Fraud Detector combines your data, the latest in ML science, […]

Amazon Relational Database Service (Amazon RDS) makes it easy to set up, operate, and scale a relational database in the cloud. It provides cost-efficient and resizable capacity while automating time-consuming administration tasks, such as hardware provisioning, database setup, patching, and backups. It frees you to focus on your applications, so you can give them the […]

Amazon QuickSight is a fully-managed, cloud-native business intelligence (BI) service that makes it easy to connect to your data, create interactive dashboards, and share these with tens of thousands of users, either within QuickSight itself, or embedded in software as a service (SaaS) apps. QuickSight Enterprise Edition recently added row-level security (RLS) using tags, a […]

This post was authored by Simon Rolfes. Simon played 288 Bundesliga games as a central midfielder, scored 41 goals, and won 26 caps for Germany. Currently, he serves as Sporting Director at Bayer 04 Leverkusen, where he oversees and develops the pro player roster, the scouting department, and the club’s youth development. Simon also writes […]

Time series data is one of the fastest growing categories of source data used by organizations to provide better services, analysis, and insights to their end-users. High on the list of requirements is the speed at which streaming data can be ingested and accessed by existing and new applications. One of the enabling technologies being […]

It’s data, data everywhere! To turn data into information, and information into insight, we need to understand our data to its full extent and make use of the statistics derived from it. Applying the obtained results successfully while making business decisions remains a challenge for most organizations, even today. This is partly due to the […]

Managing database users through identity federation allows you to manage authentication and authorization procedures centrally. Amazon Redshift, a fast, fully managed cloud data warehouse, provides browser-based plugins for JDBC/ODBC drivers, which helps you easily implement identity federation capabilities added with multi-factor authentication (MFA) to secure your data warehouse, and also helps automation and enforcement of […]

The detection and prevention of financial crime continues to be an important priority for banks. Over the past 10 years, the level of activity in financial crimes compliance in financial services has expanded significantly, with regulators around the globe taking scores of enforcement actions and levying $36 billion in fines. Apart from the fines, the […]

This blog post will demonstrate how to leverage Jenkins with Amazon Elastic Kubernetes Service (EKS) by running a Jenkins Manager within an EKS pod. In doing so, we can run Jenkins workloads by allowing Amazon EKS to spawn dynamic Jenkins Agent(s) in order to perform application and infrastructure deployment. Traditionally, customers will setup a Jenkins Manager-Agent […]

If you have large mission-critical workloads running on an on-premises Microsoft SQL Server database, you may be looking for ways to migrate to AWS with minimal to near-zero downtime. In this post, we show you a solution for migrating your on-premises SQL Server database to Amazon Relational Database (Amazon RDS) for SQL Server using the […]

Many universities like transcribing their recorded class lectures and later creating captions out of these transcriptions. Amazon Transcribe is a fully-managed automatic speech recognition service (ASR) that makes it easy to add speech-to-text capabilities to voice-enabled applications. Transcribe assists in increasing accessibility and improving content engagement and learning outcomes by connecting with both auditory and […]

Here we are introducing the inconsistency detector for Java in Amazon CodeGuru Reviewer. CodeGuru Reviewer automatically analyzes pull requests (created in supported repositories such as AWS CodeCommit, GitHub, GitHub Enterprise, and Bitbucket) and generates recommendations for improving code quality. For more information, see Automating code reviews and application profiling with Amazon CodeGuru. The Inconsistency Principle […]

Breaking down what a modern data stack means in practice. We discuss four core components, five reasons to set it up, and how to orchestrate it.

Check out the story of CRED—a FinTech company based in India—and how they leveraged the power of Apache Airflow.

Extract, transform, load. Discover the vital steps and methods of building an ETL process for your business.

Using pools to control task parallelism in Airflow.

Everything you need to know about data silos—how they influence your business, where they come from, and how to fix them.

A conversation with Societe Generale about their Airflow implementation and development of the data orchestration solution.

Running dbt models in your Airflow DAGs.

Methods for orchestrating SageMaker machine learning pipelines with Airflow.

What is all the data pipelines fuss about? Learn the basics and follow our best practices.

What is all the data pipelines fuss about? Learn the basics and follow our best practices.

Learn how to build a scalable analytics architecture with Apache Airflow and dbt—in the 3rd and final part of our series.

Methods for orchestrating commonly used notebooks with Airflow.

Discover what data orchestration is, learn the most significant pain points it addresses, and find out how to help your business grow.

Learn about the biggest community-driven event around Apache Airflow 2021!

We are cancelling in-person events for the remainder of 2021. We know these are disappointing news but remain confident that it's the right decision for safely engaging with our dbt Community.

With the DAG-in-the-IDE (now available to all dbt Cloud users), analytics engineers can seamlessly navigate the core structure of their dbt project with low friction and low cognitive load, making the entire development process more intuitive, pleasant, and efficient.

The data world needs more purple people — generalists who can navigate both the business context and the modern data stack. Let's put aside skillset dichotomies, and learn to feel comfortable in the space between.

Give your business teams access to transformed data in the tools they use every day. Hightouch now integrates with dbt to help you bring “Reverse ETL” to your stack.

Over the past few months, the dbt Labs’ recruiting team has partnered with leaders from our Engineering and Analytics Engineering organizations to design the Foundry Program. This program will provide a gateway for those that are new to the field or looking to make a career change.

Or: why we raised a series C.

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

Staging is a ✨new✨ quarterly event that brings dbt users (that’s you!) into the product development lifecycle (where I spend my days 😅).

Staging is a ✨new✨ quarterly event that brings dbt users (that’s you!) into the product development lifecycle (where I spend my days 😅).

My thoughts on where our space has been and where it might be going.

My thoughts on where our space has been and where it might be going.

Ecommerce customers can now connect Fivetran to PCI-validated data sources and transmit cardholder data to a PCI-validated destination.

An in-depth discussion of Fivetran’s SOC 2 Type 2 compliance and Powered By Fivetran (PBF).

Featuring speakers and sessions for data professionals of all kinds

Service provider in the restaurant industry uses Fivetran to empower employees to make data-driven decisions to optimize the business

Integrate Fivetran into your infrastructure-as-code development.

The scientific method is a proven route to successful, tested and verified improvement. Here’s how to combine it with BI.

The new tools offer improved usability over the REST API for developers in Go.

Use schemas to make life easier for your analysts and engineers.

Featuring speakers and sessions for data professionals of all kinds

With customer-managed keys, Fivetran Business Critical users running AWS gain full control over credential encryption.

With a quick scroll and a few clicks, you can cue up the speakers and sessions you’re most excited about.

Learn how off-the-shelf, open-source dbt packages make data modeling frictionless.

Featuring speakers and sessions for data professionals of all kinds

Fivetran Business Critical secures data traffic with AWS PrivateLink.

Disruptions in the supply chain – from reduced product supply and diminished warehouse capacity – coupled with rapidly shifting consumer expectations for seamless consumer demands in the new normal. In this blog, we’ll address the need for real-time data in retail, and how to overcome the challenges of moving real-time streaming of point-of-sale data at...

The post Real-time Point-of-Sale Analytics With a Data Lakehouse appeared first on Databricks.

Incremental ETL (Extract, Transform and Load) in a conventional data warehouse has become commonplace with CDC (change data capture) sources, but scale, cost, accounting for state and the lack of machine learning access make it less than ideal. In contrast, incremental ETL in a data lake hasn’t been possible due to factors such as the...

The post How Incremental ETL Makes Life Simpler With Data Lakes appeared first on Databricks.

Machine learning teams require the ability to reproduce and explain their results–whether for regulatory, debugging or other purposes. This means every production model must have a record of its lineage and performance characteristics. While some ML practitioners diligently version their source code, hyperparameters and performance metrics, others find it cumbersome or distracting from their rapid...

The post Announcing Databricks Autologging for Automated ML Experiment Tracking appeared first on Databricks.

This post was written in collaboration with Databricks partner Tredence. We thank Rich Williams, Vice President Data Engineering, and Morgan Seybert, Chief Business Officer, of Tredence for their contributions. Retailers are missing out on nearly $1 trillion in global sales because they don’t have on-hand what customers want to buy in their stores. Adding...

The post Improving On-Shelf Availability for Items with AI Out of Stock Modeling appeared first on Databricks.

Behind the growth of every consumer-facing product is the acquisition and retention of an engaged user base. When it comes to customer acquisition, the goal is to attract high-quality users as cost effectively as possible. With marketing dollars dispersed across a wide array of different touchpoints — campaigns, channels, and creatives — measuring effectiveness is...

The post Solution Accelerator: Multi-touch Attribution appeared first on Databricks.

One of the questions that we often hear from our customers these days is, “Should I develop my solution in Python or R?” There is no right or wrong answer to this question, as it largely depends on the available talent pool, functional requirements, availability of packages that fit the problem domain and many other...

The post Make Your RStudio on Databricks More Durable and Resilient appeared first on Databricks.

Business Intelligence (BI) tools such as Tableau and Microsoft Power BI are notoriously slow at extracting large query results from traditional data warehouses because they typically fetch the data in a single thread through a SQL endpoint that becomes a data transfer bottleneck. Data analysts can connect their BI tools to Databricks SQL endpoints to...

The post How We Achieved High-bandwidth Connectivity With BI Tools appeared first on Databricks.

Our release of Databricks on Google Cloud Platform (GCP) was a major milestone toward a unified data, analytics and AI platform that is truly multi-cloud. Databricks on GCP, a jointly-developed service that allows you to store all of your data on a simple, open lakehouse platform, is based on standard containers running on top of...

The post How We Built Databricks on Google Kubernetes Engine (GKE) appeared first on Databricks.

This post is part of a series of posts on topic modeling. Topic modeling is the process of extracting topics from a set of text documents. This is useful for understanding or summarizing large collections of text documents. A document can be a line of text, a paragraph or a chapter in a book. The...

The post An Experimentation Pipeline for Extracting Topics From Text Data Using PySpark appeared first on Databricks.

Ingesting data can be hard and complex since you either need to use an always-running streaming platform like Kafka or you need to be able to keep track of which files haven’t been ingested yet. In this blog, we will discuss Auto Loader and COPY INTO, two methods of ingesting data into a Delta Lake...

The post Getting Started With Ingestion into Delta Lake appeared first on Databricks.

Delta Lake and MLflow both come up frequently in conversation but often as two entirely separate products. This blog will focus on the synergies between Delta Lake and MLflow for machine learning use cases and explain how you can leverage Delta Lake to deliver strong ML results based on solid data foundations. If you are...

The post The Delta Between ML Today and Efficient ML Tomorrow appeared first on Databricks.

This is a guest post from the Stanford University Computer Science Department. We thank Daniel Kang, Deepti Raghavan and Peter Bailis of Stanford University for their contributions. Machine learning (ML) models are increasingly used in a wide range of business applications. Organizations deploy hundreds of ML models to predict customer churn, optimal pricing, fraud...

The post Monitoring ML Models With Model Assertions appeared first on Databricks.

Anti-Money Laundering (AML) compliance has been undoubtedly one of the top agenda items for regulators providing oversight of financial institutions across the globe. As AML evolved and became more sophisticated over the decades, so have the regulatory requirements designed to counter modern money laundering and terrorist financing schemes. The Bank Secrecy Act of 1970 provided...

The post AML Solutions at Scale Using Databricks Lakehouse Platform appeared first on Databricks.

Feature engineering is one of the most important and time-consuming steps of the machine learning process. Data scientists and analysts often find themselves spending a lot of time experimenting with different combinations of features to improve their models and to generate BI reports that drive business insights. The larger, more complex datasets with which data...

The post Feature Engineering at Scale appeared first on Databricks.

I'm seeing a few DE jobs pop up in my emails with big London salaries (fully-remote). I'm just wondering if anyone has any experience landing these roles? I'm also curious if DE salaries are likely to change in the coming years. I'm still after junior positions. But I'm already thinking about where I could be in 5, 10 or 20 years. Ideally I'd eventually be on £100k - but maybe I'm just expecting too much from UK tech salaries... Although I do like DE, money is still important to me. submitted by /u/Aaron-SWE [link] [comments]

Hello everyone Hoping I could perhaps get some help with this. My team is inheriting a datawarehouse on Snowflake - as you can imagine there is not much accompanying documentation. Is there any tool that can scan/download the various schemas and tables to display the architecture/relationships at all? Just trying to save myself a manual background task as & when I get the time to commit to it. Many thanks and have a great week. submitted by /u/yddadpoj [link] [comments]

I currently have a python script, main.py, as my entry point to my docker container. Main.py combines functions for separate processes, not dependent on each other. Sometimes only one process will fail and I might want to rerun that, but currently I am just reruning the entire main.py script. I'm sure there is a better way to design my pipeline so that I can manually run my docker container and input something to say 'only run task x this time'. I'm thinking there's probably a lot of ways to do it... like setting an env variable when I run my container and run specific functions based on what that env variable is. I know Airflow exists, but I'm not sure if that would work for me because I a…

submitted by /u/vananth22 [link] [comments]

submitted by /u/Kickass_Wizard [link] [comments]

What is the pay like and what are working conditions ? I’m Ontario if possible but anywhere else is fine as well. submitted by /u/TheOneWhoDidntCum [link] [comments]

what do you recommend as a training for someone who is interested in expanding their knowledge in data engineering and streaming? submitted by /u/HighlyIllogicall [link] [comments]

Hey everyone! I’ve been looking on the internet for certificafions, beginner DE, and I’ve came across the Cloud Digital Leader Certification. Is this one good for beginners? Or should I just study hard for the GCP Data Engineer one? Since the cloud digital leader focuses on all the products GCP offers and not database and storage. Also I’ve been thinking of doing data engineer course from datacamp, is that one good or you recommend something else? submitted by /u/Zorkol02 [link] [comments]

How can we implement CDC in Airflow using Mysql or Python Operator. :thinking_face: Can anyone share helping source or thoughts. :smiley: submitted by /u/m_usamahameed [link] [comments]

I currently work as a junior software engineer with previous experience as a data analyst. I'm looking to make the transition into data engineering because I enjoy the convergence of the two fields (data analytics and software development). My question is whether math and stats is used in your job like data scientist or ML engineers? submitted by /u/if155 [link] [comments]

TL;DR: Company needs a data warehouse project starting all the way from defining data and systems. I want to grow my career, but have no DE or PM experience. Is this a good fit? Background: I work for a smallish company in the process industry. The company has 10-30 computer systems that may or may not be connected in some ways. Think process control, sensors, financial reporting, customer interface, and so on. And I say may or may not be connected, because I don't believe there's any one person in the company who knows exactly what's going on and where. I am not responsible for any of these systems. So this is the starting point. New leadership understands it's not OK and wants to make cha…

Hello all, I want to become a self taught data engineer to get a remote position. For this I have learn Python, SQL, Data Cleaning ,pandas and some Data structure and algorithm. My question is : What are the must have skills before applying as junior data engineer ? what are the road map to become a self taught data engineer? how can prepare my portfolio to apply for remote DE position? if some one can help will be very thankful submitted by /u/shaon_9941 [link] [comments]

Hi, I have an ETL job that involves handling two types of json data (one is generated every minute, and one is generated every 5mins). The goal is to join them using the object_id, and the timestamp. However, their timestamp are not exactly the same. How can I join the every-5-min data to the nearest timestamp in the every-1-min data using Pyspark. Has anyone experienced creating an ETL job for the same problem? Any help is appreciated. submitted by /u/vinsanity1603 [link] [comments]

What is the structure of your data team, including data engineers, data scientists, data analysts, ...? Do you have dedicated team for data engineering or both data scientists and data engineers are working in one team? and do you have different teams / sub-teams for different business domains? submitted by /u/nobel-001 [link] [comments]

Mathematical Derivations of Kernelized Features Spaces for Linear Smoothers, with a full Computational SimulationContinue reading on Towards Data Science »

Simple tips to guide your data science workflowContinue reading on Towards Data Science »

A guide to how temporal word embeddings can be used to measure word evolution and some considerations regarding stability of embeddingContinue reading on Towards Data Science »

A Recreation of Amos Tversky’s Hot Hand Fallacy Analysis, Applied to Chess PlayersContinue reading on Towards Data Science »

This is the one I recommend using. Explore just a few simple steps to set it up!Continue reading on Towards Data Science »

How Reverse ETL and Data Observability can help teams go the extra mile when it comes to trusting your data products.

Monte Carlo’s Data Observability Platform wins Best Support and Easiest To Do Business With for Summer 2021 by G2, the peer-to-peer review site.

When your data breaks, who are you gonna call? Your data incident commander!

When your data breaks, who are you gonna call? Your data incident commander!

Learn why the the data engineering team at Vimeo chose to partner with Monte Carlo for data observability.

Learn why the the data engineering team at Vimeo chose to partner with Monte Carlo for data observability.

Learn why the the data engineering team at Vimeo chose to partner with Monte Carlo for data observability.

Monte Carlo’s Series C highlights the rapid growth of the Data Observability category, our industry-defining customer adoption, and global expansion.

Monte Carlo’s Series C highlights the rapid growth of the Data Observability category, our industry-defining customer adoption, and global expansion.

Monte Carlo’s Series C highlights the rapid growth of the Data Observability category, our industry-defining customer adoption, and global expansion.

How today’s data leaders are prioritizing data trust and reliability at their companies.

How today’s data leaders are prioritizing data trust and reliability at their companies.

How today’s data leaders are prioritizing data trust and reliability at their companies.

Building a data mesh? Avoid these common mesh-conceptions.

SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

Выпустил августовский выпуск https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/

Ещё раз про data mesh: https://www.montecarlodata.com/decoding-the-data-mesh/

Хотите пилить расширения для PostgreSQL на Rust? Оно у нас есть: https://tech.marksblogg.com/postgresql-extension-rust.html

Не рекламы ради, а помощи сообществу для. 26 августа в 18:00 компания ITOne вместе с JUG Ru Group проведет бесплатный онлайн митап по Big Data и Java.На «ITOne Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и многом другом, чем живут дата-специалисты.В программе:— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных, архитектуры и разные подходы к работе с Big Data.А еще вас будет ждать дискуссионная зона и…

юмор дата инженеров 😁

Обзор Open Source решений из мира данных: https://www.datafold.com/blog/the-modern-data-stack-open-source-edition

Маленькая балалайка для анализа метаданных в базе данных PostgreSQL: https://github.com/marklit/datafluent_pgНаписана на питоне, удобно запускать из консоли. В результате формирует отчёт в Excel 🤖Пост в блоге автора: https://tech.marksblogg.com/data-fluent-for-postgresql.html

Ребята из #CloudMTS предлагают облачные сервисы для быстрого запуска новых ИТ-продуктов. Актуально для разработчиков, кто хочет выйти на рынок раньше остальных. Сервисами можно пользоваться бесплатно 30 дней!Реализуйте ваши проекты на готовой облачной IT инфраструктуре:✔️ Получите всё, что нужно для разработки цифрового продукта: IaaS, облачный суперкомпьютер на GPU, резервное копирование, хранилище S3, CDN, WAF, сервисы Azure и многое другое. ✔️ Используйте любое количество сервисов одновременно. ✔️ Никаких ограничений по функционалу и скрытых платежей.Выведите свой продукт на рынок в рекордные сроки с #CloudMTS!Узнать подробности можно по ссылке: https://bit.ly/2VhG1U2

У ребят из dbt есть гайд про Analytics Engineer: https://www.getdbt.com/analytics-engineering/

https://developer.confluent.io/learn-kafka/kafka-connect/intro/

Стали доступны доклады с Airflow Summit 2021 🔥. Из наиболее интересных тем:- The new modern data stack Airbyte Airflow DBT- The Newcomer's Guide to Airflow's Architecture- Writing Dry Code in Airflow- Looking ahead: What comes after Airflow 2 0- Lessons Learned while Migrating Data Pipelines from Enterprise Schedulers to Airflow- Deep dive in to the Airflow scheduler- Dataclasses as Pipeline Definitions in AirflowИ многие другие. Бегом изучать на канале Apache Airflow.

Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-databaseК слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Django.

Всем привет! 🤝Наверняка среди моих подписчиков есть люди, увлеченные темой Data Science. Мой товарищ Ренат Алимбеков (@alimbekovkz) недавно выпустил мануал по подготовке к интервью на роль data scientist. Ренат неоднократный призёр соревнований на Kaggle, а ныне data scientist в Beeline, где занимается задачами в области компьютерного зрения.Наверняка многие из вас помнят, что Ренат выпускал бесплатный курс на моей образовательной платформе: Анализ медицинских изображений в Python, также он ведёт свой блог и канал.Приобрести его руководство Data Science Interview Guide можно по ссылке на платформе Gumroad.Используйте промокод DATAENG, чтобы получить скидку 2$.

У Microsoft тоже есть облако Azure, и в нем есть целая платформа для аналитики, которая называется Azure Synapse Analytics. В него входят уже устоявшиеся инструменты Azure SQL Data Warehouse (теперь называется Dedicated SQL Pool), Azure Data Factory, Azure ML, Power BI Service, так и были добавлены новые Azure Spark Pools, Serverless SQL Pool. Все достаточно удобно, каждый инструмент легко интегрируется с решениями Azure. Если вы работаете с решениями Microsoft, то облако Azure это следующий логический шаг вашего развития. Так же Azure Synapse способен заменить решения Azure HDInsight и Azure Databricks (решения для big data). По опыту я знаю и видел огромное количество решений на Microsoft…

Хороший документ от HBR - “RESUMES and COVER LETTERS”, подойдет всем, кому нужно сделать резюме и письмо на английском языке, а так же тем, кто пишет письмо на английском. Тут есть примеры синонимов глаголов и других оборотов речи, которые можно использовать для написания эссе или деловой переписки.

Как учить Python? Ну или любой другой язык (хоть испанский) - нужна практика! Вот интересный репозиторий Python Mini Projects, в котором 101 проект, от простого к сложному.

Ещё один отзыв от нашей студентки из Финляндии:Курс Data Learn помог мне получить необходимые технические навыки для работы Data Engineer на европейском рынке. В РФ я работала системным аналитиком на проектах в финансовой сфере и активных навыков работы с современными ETL инструментами не имела. После переезда в Северную Европу стало понятно, что для работы BI аналитиком кроме хорошего английского неплохо бы знать один-два местных языка на хорошем уровне (это пару лет активного изучения), а от разработчиков этого не требуется. Курс от Data Learn позволил оперативно (месяцы) подтянуть навыки работы с ETL инструментарием и облачными технологиями западных вендоров. Во всех компаниях, с которым…

Получается телеграмм сдал позиции независимого и безопасного приложения? Или он таким и не был никогда😕

В чатике DIE or DE скинули видео - Big Data: IOTA архитектура: обработка мульти-структурных данных несвязанной природыЯ не думаю, что когда-то буду пользоваться IOTA архитектурой, но очень крутой спикер - Константин Будник – ветеран разработки экосистемы Apache Hadoop. Он уже больше 20 лет занимается разработкой ПО, аналитикой быстрых и больших данных, 17 панетов по распределенным системам, и по его словам, в Hadoop его кода очень очень много. Очень классно и интресно рассказывает, практически на пальцах объясняет сложные концепции. Раньше про него не слышал. Можно считать его отечественным отцом hadoop и big data😎

Есть несколько ролей в data science:Data scientist - универсальный специалист, которые строит модели, готовит данные по возможности и находит инсайты и рекомендации.Research scientist - человек с PhD в какой-то области, решает конкретную задачу из своей области, например computer vision, NLP. Дорабатывает и усовершенствует существующие подходы и методологии.Applied scientist - тоже с PhD в какой то области, отлично разбирается в domain, выступает как subject matter expert, создаёт методологии, но сам может и не строить модели, даёт задание data scientist.ML engineer - software engineer, которые пишет код для machine learning (deep learning часто), запускает модели в продакшн и масштабирует.…

Крутые новости - Microsoft отказывается от паролей. Мне ещё в Амазоне на всех проектах говорил, что пароли это зло, например в AWS мы использовали роли IAM. В Azure сейчас используем Service Principal и роли IAM. А тут жизнь станет проще для простых людей.

Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.

Хорошая визуализация про ценность данных (ответов на бизнес вопросы). Если данные правильные, то это хорошо для компании, если не правильные, то это плохо. А еще есть возможность вообще ничего не делать, тогда это ни плохо, ни хорошо. Но в целом, все таки плохо😝

Не часто вижу, как кого-то наказывают (компанию, продукт) за ложные обещания, особенно за данные. Я работал давно с AppAnnie, и вроде популярный иснтрумент, и денег у них должно хватать, но они решили "под шумок" обманывать клиентов и разработчиков. Кто там разберет, как эти данные, модели и алгоритмы работают. From 2014 to 2018, that data had a little extra (and apparently untoward) spice added to it—non-aggregated and non-anonymized data provided to App Annie by different mobile developers. This was a two-way deception. The company told developers who provided user data to App Annie that said data would be anonymized and aggregated before analytics were presented to customers. Customers i…

Сегодня (у вас наверно завтра) будет что-то интересное - Space Launch - First ever all private citizen orbital mission launch. SpaceX will launch four private astronauts on the first free flight mission of Crew Dragon on Inspiration4. The Falcon 9 B1062-3 will launch Crew Dragon C207-2 into a 590 km low-Earth orbit; this will mark the highest orbit a crewed mission has gone to since the STS-103 mission in 1999. The Inspiration4 mission will launch from Launch Complex 39A (LC-39A), at the Kennedy Space Center, in Florida, USA.Так как я начинал свою карьеру в ГКНПЦ им Хруничева (провел там 3 года), это они запускаю Протон и в школе ходил в Дворец Пионеров на м Университет, где занимался ракет…

#вакансия #fulltime #продуктовыйаналитик #удаленка #офисПривет! Ищем продуктового аналитика (Junior+ — Middle) в компанию Академия Eduson. 💴 ЗП: до 150 000 рублей на руки.Полная занятость, удаленная работа (офис в г.Москва, м. Автозаводская, БЦ Омега Плаза.Мы ищем аналитика, который сможет покрыть дашбордами весь маркетинг, продажи и операционку Академии, построить предиктивные модели и будет проводить количественные исследования в продукте. У нас настроена аналитическая инфраструктура, так что сейчас дело за содержанием.Задачи: — Вместе с архитектором определять требования к системе сбора аналитических данных;— Настроить панели мониторинга, которые помогут команде следить за успехами и про…

Недавно был шикарный вебинар про Data Vault от Николая, где он все подробно объяснил. Итого, у нас есть 3 основные методологии:- 3NF- Dimensional Modelling- Data VaultТак же Николай рассказывал мельком про Anchor modelling (4ая методология) - Vertica+Anchor Modeling (его статья на хабр из Авито)А недавно мне попалась еще одна вещь из мира моделирования хранилищ - Activity Schema.The activity schema is a new data modeling paradigm designed for modern data warehouses. It was created and implemented by Ahmed Elsamadisi at Narrator. This new standard is a response to the current state of modeling with star or snowflake schemas - multiple definitions for single concepts, layers of dependencies, …

Интерсная заметка про data mesh, мне стало немного понятней, когд а на пальцах описали:Force me to describe how a data mesh might actually work, and my immediate thought is something like Trino (née Presto): It’s a query wrapper that sits on top of a bunch of data sources. This seems to be the community’s best guess for well. But as Ross Housewright points out, this is an uninspiring answer. If the data mesh works with any underlying data structure (e.g., it can sit on top of BigQuery, Oracle, S3, and every weird thing in between), it doesn’t integrate anything. It’s just a switchboard, routing queries to different destinations. If the data mesh does requires data sources to be heavily stan…

Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.

Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для меня большое событие, я подошел к нему еще и с аналитической точки зрения, а именно построил дашборд, используя данные о ребенке в течение первых 8 месяцев его жизни. И сегодня я хочу показать как круто меняется жизнь семьи на примере собственного анализа данных жизни первых 8 месяцев малыша. Данные я собирал с помощью приложения BabyTracker, а затем визуализировал их в Tableau, чтобы затем проанализировать их и поделиться своими выводами,…

Бесплатное API для получения данных из Библии на разных языках ⛪

В сегодняшнем видео цикла гайдов по BI-инструментов говорим про Metabase – open-source инструмент, который умеет самостоятельно описывать датасеты, отправлять уведомления об изменениях в данных, и, конечно, писать запросы к данным и строить на полученных результатах визуализации и дашборды.Посмотрите на полученный результат в материале блога и ответьте на два небольших вопроса.Автор дашборда, член команды Valiotti Analytics — Мария Авдеева

Минутка фото-контента: вечерние посиделки с авторитетами BI-рынка РФ в Петербургском Трапписте: @sgromych, @paveldubinin

Одной из популярных тем в современном дата-стеке является проблема headless bi или проблема метаданных (организация единого источника правды). К примеру, airbnb решает это для себя через MinervaDB, но она пока не доступна для инженеров данных (закрытый код). А вот разработчики rakam (self-service BI, кстати, сделали ребрендинг) недавно выпустили MetriQL, который в связке с dbt должна решить эту проблему. MetriQL разработан под интересной лицензией: Business Source License.

Мне написал подписчик канала, аналитик данных Иван Тория, который поделился гайдом по запуску dbt на GCP в продакшене. Отличная статья, которая может быть полезна, если вы планируете развернуть dbt.

Настя Кузнецова недавно спрашивала про классные названия библиотек на Python🐍 Вот, например, Pint 🍺 для работы с физическими величинами. Ну, разве не прелестное название? 😋Так что, не единой пандой 🐼

У Димы Аношина промелькнула интересная задачка в канале. В комментариях есть хорошие рабочие ответы, но меня заинтересовало то, что в PostgreSQL отсутствует RESPECT NULLS / IGNORE NULLS.Как можно решить задачу без игнорирования NULLS? Очевидно, что с подзапросом. Предположим, что таблица называется test_case, тогдаSELECT ts, event_name, position, SUM(CASE WHEN position IS NOT NULL THEN 1 END) OVER (ORDER BY ts) as cum_groupFROM test_caseДанный подзапрос (назовем его `sub`) позволит нам разбить строки на группы, к которым нужно отнести строку с NULL. А если position будет отличная от нуля, мы получим новую группу. Далее, мы можем просто посчитать первое значение из каждой группы, используя а…

Смешное видео про интерпретатор javascript 😅

Про два слеша в http://В осеннем семестре взял всего лишь один курс CSE6242, поскольку был ошарашен объемом материалов к изучению.Курс супер-крутой, обязательно и подробно про него расскажу. В нем много про визуализацию данных, отсылок к Тафти и прям полноценное погружение в D3.js.В рамках курса начал читать книгу Interactive Data Visualization for the Web от O'Reilly (классная!), и в ней обнаружилась интересность. Возможно, вы когда-то задумывались, почему протокол http:// указывается с двумя слешами? Оказывается, этому нет объяснения и создатель веба Тим Бернс Ли сожалеет об этом, поскольку они там совершенно ни для чего не нужны 🤷

Delivery Club образовательный. Аналитики сервиса поделились опытом создания мониторинга и системы “near real-time” оповещений для компаний. Приятный спойлер: супер пригодная фича не только для пользователей, но и для внутренних разрабов. Читаем материал ребят по ссылке и обсуждаем внизу в комментариях.#реклама #постоплачен

Классная статья про использование цепей Маркова для моделирования числа ходов, необходимых для победы в игре 2048. Там еще и продолжение есть. #link

🎓 Курс MGT-6203 🎓Честно говоря, данный курс был плохо организован, я был им дико не доволен. Ну, и отзывы на OMSCentral это подтверждают. В начале курса мы заново проходили линейную регрессию в R (спрашивается для чего, если она уже была в курсе ISYE-6501), затем логистическую регрессию, затем изучали стандартное отклонение и ряд других самых базовых величин из финансовых вычислений (return, compound return), после этого погружались в метрики маркетинга (очень широко и несколько остало от действительности), в конце концов завершили курс управлением очередьми, оптимизацией процессов с использованием статистических критериев.В курсе три домашних работы с вычислениями на R и два экзамена. Кажд…

🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов, а время на понимание. Поэтому давайте решим без олимпиадного ажиотажа, спокойно и по шагам:https://antonz.ru/sql-groups/

Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователей: user_id, attr1, alpha1, beta2, beta2, gamma3, delta3, epsilon4, delta4, zeta5, zeta5, alpha6, iota7, iota7, kappa8, kappa8, lambdaХотим объединить пользователей в группы. При этом действуют правила:— Если пользователи A и B обладают общим свойством → они входят в одну группу.— Если A и B обладают общим свойством P1, B и C обладают общим свойством P2 → A, B, C входят в одну группу.— Идентификатором группы считается минимальный идентифика…

Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скидка 50%.https://stepik.org/z/95367

Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения в «окошки» не найдете во всем интернете 💪https://antonz.ru/window-rolling/

Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можно как-то из коробки?Да! Такой подход (добавить или обновить по необходимости) в мире SQL называется «upsert». В SQLite он реализуется через инструкцию on conflict.Допустим, мы хотим добавить/обновить записи в таблице stats. Тогда запрос будет примерно такой:insert into stats(id, last_updated, usage)select ... from ...on conflict(id) do updateset last_updated = excluded.last_updated, usage = usage + excluded.usage;excluded — это та запись, …

Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.https://antonz.ru/window-aggregate/

Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте много новых фич в один релиз». Хотя звучит довольно очевидно, мы никогда не устаем наступать на эти грабли ツ

Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offset/

Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать разбросанный по интернету код в единый набор библиотек, с разделением по предметной области и автоматической сборкой для всех ОС.В программировании на C я не силен, так что дело продвигается не очень быстро. Но кое-что уже удалось сделать:— математические функции (sqrt, pow, log)— мат. статистика (median, percentile, stddev)— строковые функции (reverse, split_part)— регулярные выражения (like, substr, replace)— поддержка юникода— работа с cs…

Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/

SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из данных ответы на вопросы. В этом вся суть прикладного анализа данных.47 уроков и 130 практических заданий, сертификат для выпускников.Огромное спасибо бета-тестерам и всем участникам за критику и комментарии! Ваша обратная связь бесценна 🙏https://antonz.ru/sqlite-course/

Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.employeesunion allselect * from samara.employees;Удобно, чтобы не переливать данные в одну базу, если они уже лежат в разных.

​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, Ксения, Марина, Леонид, Иван, Вероника, Григорий и Анна. Особенно Марина, конечно.Чтобы узнать, причем тут все эти люди, переходите к седьмому и последнему модулю курса — Оконные функции!P.S. Для тех, кто пройдет все модули, откроется Финал. Он пока еще запекается, но скоро будет готов.

Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быть полезны «окошки» в SQL:https://antonz.ru/window-functions/

📈 Как создавать быстрые и точные диаграммы разброса с большим количеством данных на Pythonhttps://dev-gang.ru/article/kak-sozdavat-bystrye-i-tocznye-diagrammy-razbrosa-s-bolshim-koliczestvom-dannyh-na-python-4f6zzxa0gq/@machinelearning_ru

Ребята, привет! Мы в Яндекс.Практикум ищем Продуктового аналитика в команду роста 🚀Команда роста находит самые приоритетные точки развития продукта и максимально быстро придумывает решение, которое позволит вырастить ключевые метрики. Продуктовый аналитик помогает находить новые гипотезы об улучшении продукта, а также проектирует и сопровождает эксперименты.Что для этого нужно:🎯 работали продуктовым аналитиком более ~2 лет;🎯 уже решали задачи проектирования, сопровождения и оценки результатов экспериментов;🎯 знаете SQL на уровне продвинутых запросов;🎯 знакомы с Python на прикладном уровне;🎯 знаете теорию вероятностей и математическую статистику;🎯 можете построить аналитический дашборд.От на…

Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для меня большое событие, я подошел к нему еще и с аналитической точки зрения, а именно построил дашборд, используя данные о ребенке в течение первых 8 месяцев его жизни. И сегодня я хочу показать как круто меняется жизнь семьи на примере собственного анализа данных жизни первых 8 месяцев малыша. Данные я собирал с помощью приложения BabyTracker, а затем визуализировал их в Tableau, чтобы затем проанализировать их и поделиться своими выводами,…

SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

16 сентября, ЧтКонференция по Machine Learning in productionЧерез неделю @selectelnews соберет сообщество специалистов, которых интересует все новое в сферах ML и AI, чтобы поговорить про MLOps-платформы, применение ML в работе технической поддержки, жизненный цикл моделей машинного обучения и другие направления.В программе:— Управление жизненным циклом моделей машинного обучения — возможности Polymatica ML— От данных к модели: ML-платформа и ее эксплуатация с точки зрения DevOps— Поддержка VK: как оставаться поддержкой с человеческим лицом, внедряя MLДата: 16 сентября в 10:30 МСКМесто проведения: online и offline (офис Selectel, Санкт-Петербург, ул. Цветочная, 19)Регистрируйтесь бесплатно …

Должен вот в чём признаться — я очень не люблю рисовать что-то в MiroМне мешает, что форма объектов в Miro в каком-то смысле превалирует над содержанием. При этом иногда приходится схематизировать, ведь многие знания проще передавать в виде схем. Но для меня схема всегда только визуальная репрезентация каких-то упорядоченных данных, которые могут быть описаны через некоторую нотацию: таблицу, определенной структуры или текстом с какой-то стандартизированной разметкой, которую сам придумал. Сначала структура — потом наполнениеВ большинстве случаев, я набрасываю что-то в текстовом файле или в таблице, а потом на основе этого уже рисую в Miro схему, которую можно показать кому-то. Мне самому в…

Часто слышу от нанимающих менеджеров, что они ищут аналитиков, обладающих одним или несколькими типами мышления: аналитическое мышление, продуктовое мышление, бизнесовое мышлениеПри этом ясное дело, что каждый нанимающий менеджер мыслит все 3 типа мышления совершенно по-разномуНапример, для меня: 🌳 аналитическое — про модели, структуры внутри моделей, ограничения, скрытые в моделях (видеть деревья за лесом)👨‍🔬 продуктовое — про гипотезы и оценку effort/impact (как влиять на лес через рациональный выбор наиболее эффективных способов)💸 бизнесовое — про цели и принципы достижения этих целей с помощью организационных структур (зачем нам что-то делать с лесом и как организовать лесников)Понятно,…

Интересно сейчас разные специалисты рассуждают о будущем аналитики, аналитика.В частности Алексей Свирин написал интересный пост в fb. В мимолетный миг досуга также надумал сформировать свое мнение.Не вижу проблемы в том, что дата-аналитика как есть сейчас сдохнет. Ну и ладно, такова жизнь.У себя в голове не могу толком разделить продуктового и дата-аналитиков. Так как продуктовый, конечно, должен уметь работать с данными, а аналитик данных должен обладать продуктовым мышлением, иначе толка от него не будет.К вариантам, которые предложил Алексей (системный аналитик, продуктолог, программист, дата-инженер) уверенно добавлю обычного продуктового аналитика.Предыдущий мой руководитель прекрасно…

6 сентября стартует новый поток курса о данных в энтерпрайзе. Это первая подобная программа в России. Ее разработали создатели MDM- и CDI-решений из компании HFLabs. 🧑‍💻Для когоПодойдет всем, кто работает или хочет работать с клиентскими данными в крупной компании. Специальность не имеет значения: полезно аналитикам, архитекторам, тестировщикам, инженерам по данным.📚ПрограммаПять дней, пять преподавателей, пять модулей:1. Предпосылки создания MDM-системы. Проектирование модели данных.2. Построение MDM-системы: структура и правила работы с данными. 3. Добавление новых источников в MDM-систему.4. Получение данных из эталонной клиентской базы. Обратное распространение.5. Управление качеством д…

Мы создали специальный курс по Python для разработчиков с опытом. За 6 месяцев обучения вы освоите углублённые знания технологий, которые используются в backend-разработке на Python. Научитесь решать сложные задачи с базами данных, работать с синхронными и асинхронными фреймворками. И писать очень красивый и лаконичный код.Вас ждёт:- Собственная среда для обучения. Специальный полноценный тренажёр от Яндекс.Практикума.- Портфолио из 6 веб-проектов. Соберёте всё вместе и получите аналог Netflix.- Практика. Все знания отрабатываются в онлайн-тренажёре.- Поддержка наставников.- Программа профессиональной акселерации и помощь с трудоустройством.Учитесь прямо сейчас. Вводный курс — бесплатный

Год назад мы с Колей Валиотти сделали дашбород по рынку вакансий аналитиков. 🎉 Подводим итоги за год! Сделали это в виде карточек по разным направлениям аналитики — пощёлкайте и сравните разные профессии.А ещё, подобрали ТГ каналы, чтобы качаться в каждой из областей:— Про BI и Табло — Reveal The Data =)— Про аналитику и DS — Left Join— Про системный анализ — BA|SA— Про DE — Инжиниринг данных— Про маркетинг — Матемаркетинг— Про Web — WebAnalytics🔗 Карточки на Табло Паблик🔗 Основной дашбордDisclaimer: данные по вакансиям с HH для Москвы и Питера. Профессии определяются по наличию ключевых слов в названии вакансии (есть BI → BI-аналитик, есть ML → Data Scientist и т.п.). Больше всего вакансий…

Отличный джоб-тайтл вакансии. Сразу понятно кого ищут

🔥 Подготовил новый перевод с кейсами: Исследуем отношение между переменными 🐼1⃣ Мы будем визуализировать отношения с помощью диаграмм рассеяния (scatter plots), диаграмм размаха (box plots) и скрипичных диаграмм (violin plots).2⃣ И количественно определять отношения, используя корреляцию (correlation) и простую регрессию (simple regression).Самый важный урок этого блокнота заключается в том, что вы всегда должны визуализировать взаимосвязь между переменными, прежде чем пытаться ее количественно оценить; в противном случае вас могут ввести в заблуждение.👉 Ссылка на html-версию 👉 Ссылка на Colab🐍 Остальные переводы по ссылке: https://dfedorov.spb.ru/pandas/

Совершенно оффтопный пост с очень личной просьбойБыла когда-то (а может и есть сейчас) такая компания «Кирилл и Мефодий». Они занимались производством интерактивных энциклопедий на CD/DVD в начале 2000х, когда ещё мало у кого был нормальный интернет. Может быть у кого-то есть контакты того, кто там работал или работает до сих пор. Буду рад, если поделитесь

https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/Паша вновь постарался и собрал для вас новости в DE за прошедший месяц.

Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:DataVault / Anchor Modeling (8 сентября 2021 в 20:00 по мск)Спикер: Николай Голов🔗Ссылка: https://youtu.be/-ZgzpQXsxi0

https://habr.com/ru/company/ods/blog/572264/Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).Интересные цифры и выводы внутри статьи.

Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет без монетизации через рекламу).26 августа в 18:00 компания IT_One вместе с JUG Ru Group проведет онлайн митап по Big Data и Java.В программе:— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных…

Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition

https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/Паша Финкельштейн взял на себя тяжелую ношу, каждый месяц писать новости по дата инженерингу в блог JetBrains. И это кроме DE or DIE дайджеста, который я постил выше.Но это очень хорошая штука, когда все важные события внутри твоей профессиональной области собирают в одно месте. Поэтому милости просим.#Data_Engineering_Annotated

Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард мутаций: хранение и поиск О поиске оптимального способа хранения более миллиарда известных мутаций человека из различных открытых источников и о том, какое место занимает Python в цепочке от сдачи пациентом слюны до выдачи результатов с найденными мутациями.”

https://t.me/deordie/16Очередной дайджест (8) DE or DIEТемы выпуска- 4 Things You Need to Know When Solving for Data Quality - Data Lake vs. Data Warehouse - Migrating to Apache Iceberg at Adobe Experience Platform - 5 More Reasons to Choose Apache Pulsar Over Apache Kafka- Create Cloud Architecture with Diagrams for AWS, Azure, and GPC

#НамДжунаБы Epoch8.co в поисках джуна DEДля отклика заполните пожалуйста форму:https://airtable.com/shrhBZuHzKPM1xA2t

#НамДжунаБыВакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz

https://h2oai.github.io/db-benchmark/Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.This page aims to benchmark various database-like tools popular in open-source data science. It runs regularly against very latest versions of these packages and automatically updates. We provide this as a service to both developers of these packages and to users. You can find out more about the project in Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.

#НамДжунаБы Ngrow.ai в поисках Junior Python Developer

#НамДжунаБыDE Intern в P&Ghttps://russia.pgcareers.com/job/moscow/it-devops-internship/1644/10150755936?source=RS_SWE

#НамДжунаБы Junior+ DS в Х5, Перекресток.Впрок

Современные Data Pipelines превратились в commodity наподобие электричества в розетке – они просто должны быть и функционировать, обеспечивая базовые потребности аналитиков и инженеров. Множество компаний, таких как Fivetran, Hevo, Alooma, сегодня зарабатывают на предоставлении Data Pipelines / Integration как сервис. Наряду с очевидными преимуществами, основными недостатками являются закрытый исходный код и отсутствие возможности быстро добавлять новые коннекторы.В этой публикации на примере репликации данных открытого счетчика Яндекс.Метрика в объектное хранилище S3 я познакомлю вас с Airbyte – решением с открытым исходным кодом. Это новый стандарт для выстраивания потоков интеграции данн…

SQL – это не скучно. С современными инструментами возможности языка кратно возросли. Мультитул для моделирования данных dbt, современные колоночные аналитические СУБД позволяют буквально творить с данными чудеса.Меня зовут Артемий и я Analytics Engineer в компании Wheely. И сегодня я подготовил небольшой экскурс в реальные и интересные сценарии использования гибридного SQL:– Операции Pivot и Unpivot для табличных данных– Генерирование суррогатного ключа и ключа конкатенации– Гибкая фильтрация записей из таблиц-источников– Автоматизация экспорта данных из Хранилища в S3– Валютные курсы, Continuous Integration, Data Qualityhttps://habr.com/ru/company/otus/blog/572816/

MongoDB – одна из самых популярных документ-ориентированных баз данных класса NoSQL с большим сообществом пользователей. Ее основными преимуществами являются гибкость схемы хранения, иерархическая структура документов, поддержка расширенного набора типов данных. Сегодня MongoDB чаще всего используется как бэкенд веб- и мобильных приложений.Казалось бы, зачем может потребоваться извлекать схему данных в schemaless database? Однако это может быть крайне полезно и в некоторых ситуациях абсолютно необходимо:• Репликация данных в аналитическое хранилище• Интерактивная аналитика из BI-инструментов (SQL)• Аудит имеющейся структуры БДВ этой публикации я хотел бы показать простой и удобный способ по…

Начинаем https://youtu.be/SsCe5b0Tqzc

В среду 28.07 в 14.00 состоится презентация моей программы Analytics Engineer.4 месяца интенсивного погружения в самые востребованные и актуальные навыки на стыке миров Data Engineering & Data Analytics.На вебинаре расскажу про потребность на рынке, содержание программы, отвечу на вопросы.Ссылка на трансляцию будет здесь за 5-10 минут.

В условиях постоянно растущей сложности аналитических инструментов и распределенной команды не просто возможно, но и необходимо повышать скорость поставки (T2M) и качество (Quality) выводимого в продуктив функционала. Фокус сегодняшней публикации – внедрение практик интеграционного тестирования с учетом современного аналитического стека.С практическими примерами и рекомендациями будут рассмотрены следующие аспекты:– Специфика аналитических приложений и пространство для DevOps практик– Рецепт для внедрения Continuous Integration шаг за шагом– Slim CI: оптимизируем и ускоряем процессыhttps://habr.com/ru/company/otus/blog/567916/

Вебинар Business Intelligence 101: Развертывание и конфигурирование решенияСлайды: https://docs.google.com/presentation/d/1HEMQ4687hOdqZ47Tqumn6jmvPzKiu3H4VA5xF5R12oY/edit?usp=sharingЗапись: https://youtu.be/3agTJjGhwsI?t=405

Начинаем через несколько минут! Трансляция: https://youtu.be/3agTJjGhwsIЧат: https://otus.ru/lessons/event-chat/1394/Опрос: https://forms.gle/NPzzdQvJ2JBJQQjN9

Привет! Сегодня 15 июля в 20.00 приглашаю на вебинар.Business Intelligence 101: Развертывание и конфигурирование решения– Варианты деплоя BI-решения: SaaS, Cloud App, Docker– Конфигурация: безопасность, метаданные, уведомления– База метаданных и ее миграция– Общее устройство BI-решения и его возможностиСмотрим на примерах Metabase (Open Source), Looker.Ссылка на регистрацию: https://otus.ru/lessons/dwh/#event-1394Ссылка на youtube-трансляцию будет опубликована здесь за 5 минут до начала.

Слайды вебинара Slim CI: https://docs.google.com/presentation/d/16i51WEOGE0zRtcrRzZ02J-aky2tCG6bSk4u-WF0thX4/edit?usp=sharingЗапись вебинара: https://youtu.be/yfMWiyKpUkQ?t=371Пройдите, пожалуйста, опрос о вебинаре: https://forms.gle/takEhrXioSNmAnrN8

Ссылка на чат: https://otus.ru/lessons/event-chat/1393/

Начинаю: https://www.youtube.com/watch?v=yfMWiyKpUkQ

Завтра проведу вебинар Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных– Кейс: место CI в аналитических приложениях– Настройка интеграционных тестов для DWH– Slim CI: оптимизируем и ускоряемВремя: 6 июля в 15:00Регистрация: https://otus.ru/lessons/dwh/#event-1393Ссылка на трансляцию будет в канале за 5 минут до начала.

Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211

Анализ вакансий из сообщества ODSребята спарсили вакансии из своего Слака и «повертели» данные с разных сторон: ⁃ количество вакансий ⁃ распределение по профессиям и уровням ⁃ динамика роста удалёнки ⁃ ну и зарплаты, конечно же (зачем же это всё затевалось!)плюс всё в динамике: в каждом срезе сравнивают показатели с прошлыми годами.радует, что становится больше вакансий дата аналитиков — кажется рынок начал понимать зачем нанимать кого-то ещё кроме «дата саентистов»статья с графиками:https://habr.com/ru/company/ods/blog/572264/исходные данные для исследования:https://github.com/egorborisov/jobs_article/blob/main/jobs_research.ipynb

в продолжение темы Data Engineer VS Data Scientistна мега-крутом дашборде Ромы Бунина и Николая Валиотти можно посмотреть динамику спроса на дата-профессии. Мне интересно сравнить нашего брата дата инженера с хайповым дата саентистом.Первое, что хочется отметить — зарплаты дата инженеров на втором месте. Второе — количество вакансий больше на треть. Я бы здесь ожидал разницу побольше, но скидываю это на то, что дата саентистами называют всех подряд (т.н. термин-одеяло). Было бы правильнее искать что-то типа ML Engineer, но таких было бы ещё меньше (и большая часть без зарплат, да).Весь проект и пост в канале Ромы Бунина (зацените ещё бизнес аналитиков ;-)https://t.me/revealthedata/498

Data Engineering на Яндекс.ПрактикумеУра! Это наконец случилось! Практикум выкатил программу для инженеров данных! Пока в предзаказ — надо успевать, чтобы попасть в первый поток.Теперь можно получить профильный курс и выпускников с релевантными навыками (я не как я — учился на аналитика, чтобы потом изучать инжиниринг данных уже на реальном проекте ¯\_(ツ)_/¯ )Сразу о главном: 80 000₽ и полгода обучения.Программа прям по-максимуму: концепции и архитектура данных, пайплайны, оркестрация, инфраструктура. Вот скопипастил полный список (хоть иди и учись заново, черт побери): 1. Знакомство с ETL / ELT, DWH / Data Lake, REST API → PostgreSQL 2. Продвинутый SQL: хранимые, тригеры, шардирование (!) …

у ребят из dbt появился свой подкаст, назвали актуальненько — Analtycs Engineering.В первом эпизоде с Robert Chang из Airbnb, обсудили проблему управления метриками в компании. В Aribnb таких 12000 и чтобы как-то управляться они сделали систему Minerva как единый источник правды для всех метрик.https://podcasts.apple.com/us/podcast/the-analytics-engineering-podcast/id1574755368

За одну минуту о том, зачем нужны дата инженеры для машинного обучения. С ГИФКАМИ!https://www.youtube.com/watch?v=efFuNYqg-YU&list=PLRKtJ4IpxJpDxl0NTvNYQWKCYzHNuy2xG

Ищем дата инженеров в агентсво Epoch8Эпоха — агенство заказной разработки, мы помогаем клиентам работать с их данными: понимать что было (аналитика) и что будет (ML). Сейчас в штате 20 человек — до бюрократии ещё не доросли, фаундеры в прямой доступности, каждый может влиять на курс и политику компании. В клиентах как большие е-коммерсы типа Leroy Merlin и Пятёрочки, так и стартапы: например, BelkaCar или Brickit.Ищем дата инженеров в отдел аналитики. Обычно инженер сопровождает проект от начала и до конца: ⁃ приходиться разбираться с источниками данных у клиентов; ⁃ поднимать и поддерживать хранилища данных (DWH); ⁃ проектировать автономные пайплайны; ⁃ придумывать архитектуру аналитически…

Не Спарком единымза последние полгода в Эпохе поучаствовал в проектах по построению четырёх DWH для наших клиентов: 3 на BigQuery и ещё один на AWS Athena. Всё как надо — изучили источники, настроили пайплайны, собрали данные в одном месте, нарезали на слои, вывели на дашборды. Клиенты довольны.При этом задействовано Спарка в проектах: ноль. Обошлись как-то и без Кафки с Хадупом.Иногда кажется, что это какая-то ненастоящая дата инженерия. Но вот наш СТО скинул статью и я подуспокоился: ребята делают такие же DWH и так же обходятся без инструментов бигдаты.Со всеми тезисами согласен — мы делаем так же: облачные DWH, инжест через пайплайны на питоне с использованием готовых библиотек, широкие…

Два подкаста про игры с точки зрения машинного обученияПервый — короткий рассказ как машины учились обыгрывать людей в игры: шахматы, го, Дота 2 и даже прятки.Особенно понравилась вставка про Доту с интернешнала с живыми криками комментатора. Фанфакт: перед матчем с Денди машина тренировалась 2500 лет игрового времени.Слушать в iTunes и OvercastВторой подкаст — уже серьёзный разговор с инженером из Google Deepmind о том что там под капотом у этого процесса и где эти навыки можно применить в реальном мире.Ссылки на подкаст в посте автора

Уровни аналитиковЖеня Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития.Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (мелко разжованные а в конце просто глобальное направление). В самом начале всё равно нужны математическая база, критическое мышление и какой-то прикладной опыт программирования.Ниже надёргал абзацев из каждого раздела, рекомендую почитать целиком:---- Аналитик данных – это человек, который помогает команде: • Принимать решения более объективно, основываясь на фактах и данных (в противовес мнению, интуиции и опыту). • Искать точки роста продукта …

когда 2 года назад выбирал профессию, ориентировался именно на это соотношение. Кажется, не прогадал)https://sashamikhailov.ru/blog/all/data-analyst-and-data-scientist/

эмпирически-оптимальное соотноешение: 2-3 дата инженеров на одного мл-инженера. Если дата инженеров меньше, то, получается, их работу делают мл-инженеры [а могли бы модели делать что-нибудь своё МЛ-ное].https://twitter.com/dsunderhood/status/1420769858053103617

когда пишу в SQL запросах GROUP BY 1, 2 вместо полного наименования колонок, меня всегда тревожила мысль, что я халавлю и недоделываю НОРМАЛЬНЫЙ КОД. Прочитал, что в dbt делают так же и успокоился: писать через «1» проще и понятнее (заскринил пример ^). Если что, буду показывать эту заметку 🌚So why do I still group by 1? Well, there's a few reasons:…- 1 is a single character (and I'm lazy, OK?!).https://blog.getdbt.com/write-better-sql-a-defense-of-group-by-1/

реальный мир — единственный источник практических знаний «Как стать X?» или «Что качать, чтобы прокачаться в Y?» можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду). мне нравится подход из мира…

реальный мир — единственный источник практических знаний«Как стать X?» или «Что качать, чтобы прокачаться в Y?»можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду).мне нравится подход из мира стартапов: любая идея — теоретическая туфта, пока не пройдёт испытание на реальных клиентах. Именно конечные клиенты — единственный источник реальных знаний. если хочешь стать инженером данных — надо найти вакансии и посмотреть что там требуется. Хоп! и уже первое открытие — везде требуются разные наборы навыков, потому что (сюрприз!) во всех компаниях свой стэк инструментов и свои обычаи. И это всё со временем меняется (быстрее, чем программ…

Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим что ты умеешь». В пятницу утром получил задание — к понедельнику сделать отчёт по всем диджитал каналам трафика в компании. Руками такой отчёт делать — не то что выходных, месяца не хватит.И дальше череда событий:тут же вечером — он проходит курс по программированию на Пайтоне на Степикеутром в субботу — у него созвон с Ильёй Красинским, чтобы тот объяснил ему куда смотреть в Гугл Аналитиксе днём в субботу — такой же созвон с человеком из Я…

Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратить в DMP, какие проблемы возникают в процессе разработки и как мы их решаем.🎓 Разработка платформы управления данными. Доклад Яндекса

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели наступить. Вот какие кейсы рассмотрим.Платформа для A/B-тестирования. Во что вам обойдётся автоматизация экспериментов?Сергей Масленников, аналитик Яндекс Go, расскажет, как мы освободили тысячи аналитико-часов, разработав систему АБТ.Как внедрение дорожного графа в инфраструктуру такси помогло снизить время подачи машиныАртём Бондаренко, team-lead группы аналитики Go, поделится опытом внедрения дорожного графа прямо в сервис — вместо дор…

Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO. Highly Normilized Hybrid Model Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методо…

У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики приложений Яндекс Go. Необходимо разрабатывать стратегию развития отчётности, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Вы не будете делать все-все дашборды для подразделения, но будете внутренним центром экспертизы по визуализации и Табло внутри команды продуктовой аналитики. Я же буду помогать вам советами и менторством.Позиция уровня мидл/джун. Нужны классные навыки…

The Cassandra database is one of the first open source options for globally scalable storage systems. Since its introduction in 2008 it has been powering systems at every scale. The community recently released a new major version that marks a milestone in its maturity and stability as a project and database. In this episode Ben Bromhead, CTO of Instaclustr, shares the challenges that the community has worked through, the work that went into the release, and how the stability and testing improvements are setting the stage for the future of the project.

Gartner analysts are tasked with identifying promising companies each year that are making an impact in their respective categories. For businesses that are working in the data management and analytics space they recognized the efforts of Timbr.ai, Soda Data, Nexla, and Tada. In this episode the founders and leaders of each of these organizations share their perspective on the current state of the market, and the challenges facing businesses and data professionals today.

The term "data platform" gets thrown around a lot, but have you stopped to think about what it actually means for you and your organization? In this episode Lior Gavish, Lior Solomon, and Atul Gupte share their view of what it means to have a data platform, discuss their experiences building them at various companies, and provide advice on how to treat them like a software product. This is a valuable conversation about how to approach the work of selecting the tools that you use to power your data systems and considerations for how they can be woven together for a unified experience across your various stakeholders.

The Presto project has become the de facto option for building scalable open source analytics in SQL for the data lake. In recent months the community has focused their efforts on making it the fastest possible option for running your analytics in the cloud. In this episode Dipti Borkar discusses the work that she and her team are doing at Ahana to simplify the work of running your own PrestoDB environment in the cloud. She explains how they are optimizin the runtime to reduce latency and increase query throughput, the ways that they are contributing back to the open source community, and the exciting improvements that are in the works to make Presto an even more powerful option for all of …

The reason that so much time and energy is spent on data integration is because of how our applications are designed. By making the software be the owner of the data that it generates, we have to go through the trouble of extracting the information to then be used elsewhere. The team at Cinchy are working to bring about a new paradigm of software architecture that puts the data as the central element. In this episode Dan DeMers, Cinchy's CEO, explains how their concept of a "Dataware" platform eliminates the need for costly and error prone integration processes and the benefits that it can provide for transactional and analytical application design. This is a fascinating and unconventional …

The technological and social ecosystem of data engineering and data management has been reaching a stage of maturity recently. As part of this stage in our collective journey the focus has been shifting toward operation and automation of the infrastructure and workflows that power our analytical workloads. It is an encouraging sign for the industry, but it is still a complex and challenging undertaking. In order to make this world of DataOps more accessible and manageable the team at Nexla has built a platform that decouples the logical unit of data from the underlying mechanisms so that you can focus on the problems that really matter to your business. In this episode Saket Saurabh (CEO) a…

Data lakes have been gaining popularity alongside an increase in their sophistication and usability. Despite improvements in performance and data architecture they still require significant knowledge and experience to deploy and manage. In this episode Vikrant Dubey discusses his work on the Cuelake project which allows data analysts to build a lakehouse with SQL queries. By building on top of Zeppelin, Spark, and Iceberg he and his team at Cuebook have built an autoscaled cloud native system that abstracts the underlying complexity.

A major concern that comes up when selecting a vendor or technology for storing and managing your data is vendor lock-in. What happens if the vendor fails? What if the technology can't do what I need it to? Compilerworks set out to reduce the pain and complexity of migrating between platforms, and in the process added an advanced lineage tracking capability. In this episode Shevek, CTO of Compilerworks, takes us on an interesting journey through the many technical and social complexities that are involved in evolving your data platform and the system that they have built to make it a manageable task.

The vast majority of data tools and platforms that you hear about are designed for working with structured, text-based data. What do you do when you need to manage unstructured information, or build a computer vision model? Activeloop was created for exactly that purpose. In this episode Davit Buniatyan, founder and CEO of Activeloop, explains why he is spending his time and energy on building a platform to simplify the work of getting your unstructured data ready for machine learning. He discusses the inefficiencies that teams run into from having to reprocess data multiple times, his work on the open source Hub library to solve this problem for everyone, and his thoughts on the vast poten…

All of the fancy data platform tools and shiny dashboards that you use are pointless if the consumers of your analysis don't have trust in the answers. Stemma helps you establish and maintain that trust by giving visibility into who is using what data, annotating the reports with useful context, and understanding who is responsible for keeping it up to date. In this episode Mark Grover explains what he is building at Stemma, how it expands on the success of the Amundsen project, and why trust is the most important asset for data teams.

Every organization needs to be able to use data to answer questions about their business. The trouble is that the data is usually spread across a wide and shifting array of systems, from databases to dashboards. The other challenge is that even if you do find the information you are seeking, there might not be enough context available to determine how to use it or what it means. Castor is building a data discovery platform aimed at solving this problem, allowing you to search for and document details about everything from a database column to a business intelligence dashboard. In this episode CTO Amaury Dumoulin shares his perspective on the complexity of letting everyone in the company fin…

Companies of all sizes and industries are trying to use the data that they and their customers generate to survive and thrive in the modern economy. As a result, they are relying on a constantly growing number of data sources being accessed by an increasingly varied set of users. In order to help data consumers find and understand the data is available, and help the data producers understand how to prioritize their work, SelectStar has built a data discovery platform that brings everyone together. In this episode Shinji Kim shares her experience as a data professional struggling to collaborate with her colleagues and how that led her to founding a company to address that problem. She also d…

Data lake architectures have largely been biased toward batch processing workflows due to the volume of data that they are designed for. With more real-time requirements and the increasing use of streaming data there has been a struggle to merge fast, incremental updates with large, historical analysis. Vinoth Chandar helped to create the Hudi project while at Uber to address this challenge. By adding support for small, incremental inserts into large table structures, and building support for arbitrary update and delete operations the Hudi project brings the best of both worlds together. In this episode Vinoth shares the history of the project, how its architecture allows for building more …

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.We branch, version, and test our code, but what if we treated data like code? Tim Hunter joins us to discuss the open-source Data-Driven Software (DDS) package and how it leads to immense gains in collaboration and decreased runtime for data scientists at any organization.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Is there ever a “one-size fits all” approach for feature engineering? Find out this and more with Amanda Casari and Alice Zheng, co-authors of the Feature Engineering for Machine Learning book.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.What does it mean for a model to be “interpretable”? Ameet Talwalkar shares his thoughts on IML (Interpretable Machine Learning), how it relates to data privacy and fairness, and his research in this field.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Erin LeDell shares valuable insight on AutoML, what problems are best solved by it, its current limitations, and her thoughts on the future of AutoML. We also discuss founding and growing the Women in Machine Learning and Data Science (WiMLDS) non-profit.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Good machine learning starts with high quality data. Irina Malkova shares her experience managing and ensuring high-fidelity data, developing custom metrics to satisfy business needs, and discusses how to improve internal decision making processes.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Liam Li is a leading researcher in the fields of hyperparameter optimization and neural architecture search, and is the author of the seminal Hyperband paper. In this session, Liam discusses the evolution of hyperparameter optimization techniques and illustrates how every data scientist can benefit from neural architecture search. See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more. Adam Oliner discusses how to design your infrastructure to support ML, from integration tests to glue code, the importance of iteration, and centralized vs decentralized data science teams. He provides valuable advice for companies investing in ML and crucial lessons he’s learned from founding two companies.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Have you ever wondered how your purchasing behavior may reveal protected attributes? Or how data scientists and business play a role in combating bias? We discuss with Diana Pfeil recommendations to reduce bias and improve fairness, from SHAP to adversarial debiasing.See more at databricks.com/data-brew

For our second season, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.In the season opener, Matei Zaharia discusses how he entered the field of ML, best practices for productionizing ML pipelines, leveraging MLflow & the Lakehouse architecture for reproducible ML, and his current research in this field.See more at databricks.com/data-brew

Jules Damji and Tathagata Das guide us through their journey in big data and the evolution of data architecture in the past 30 years. They discuss some of the biggest changes in industry they’ve seen, as well as trends to look forward to in the coming years. This is a fun episode connecting all four authors of the Learning Spark, 2nd Edition book.See more at databricks.com/data-brew

Ellissa Verseput, ML Engineer at Quby, joins Denny and Brooke to discuss how Quby leverages ML to extract additional value from their data lake and how they manage this process.See more at databricks.com/data-brew

In this session, we discuss the lessons learned with Lara Minor, Senior Enterprise Data Manager at Columbia Sportswear, on how her team achieved a 70% reduction in pipeline creation time. This had reduced ETL workload times from four hours with previous data warehouses to minutes enabling near real-time analytics. Her team migrated from multiple legacy data warehouses, run by individual lines of business, to a single scalable, reliable, performant data lake.See more at databricks.com/data-brew

Delta Lake is an open source storage layer that brings reliability to data lakes. Delta Lake offers ACID transactions, scalable metadata handling, and unifies streaming and batch data processing. It runs on top of your existing data lake and is fully compatible with Apache Spark APIs. For our “Demystifying Delta Lake” session, we will interview Michael Armbrust - committer and PMC member of Apache Spark™ and the original creator of Spark SQL. He currently leads the team at Databricks that designed and built Structured Streaming and Delta Lake.See more at databricks.com/data-brew

Гость подкаста — Юра Филатов. Одна из областей его деятельности — информационный консалтинг или, иначе говоря, он помогает с трансформациями. Как-то так получилось, что подкаст вышел «исповедальным»: эмоциональным, чуть жёстким, с «иллюстрациями» и без «маркетингового налёта»:Как спутать автоматизацию с трансформацией.Когда вам не нужна трансформация на «примерах с мёдом».Почему по «государевому указу» у вас ничего не заработает.Что отвечать на «Ну давай, трансформируй нам тут всё».И какую роль здесь играет страх.

Гость подкаста — Света Аюпова из СКБ Контур. Света находит и проверяет новые бизнесы для Контура. Как-то так получилось, но Света нас убедила, что СКБ Контур — идеальное место для работы. Итак, в компании:Хорошие руководители, многие из которых работают в компании по 10 лет (как и большинство сотрудников).Равенство всех сотрудников на деле, а не на словах.Атмосфера как в казантипе, но без травы.Люди не уставшие, лица не серые.Все рано уходят домой.Много доверия, которое помогает быстро принимать решения.Как следствие, в компании малая текучка. Из СКБ Контур тяжело уходить. Да и зачем? Атмосфера приятная, как тёплый плед, а люди просто работают и растут. Например, руководитель Светы пришёл и…

Гость выпуска — Анатолий Панов. Кратко о нём:руководит разработкой всех вертикалей в Авито;пишет код только «по фану»;не собеседует инженеров;легко раскусил в Борисе латентного тимлида, когда он «собеседовался» в рубрике «Сханти Бориса» как разработчик.Поговорили про квартальные и годовые ОКR и ОКR-ревью, Performance Review, как почти распилили монолит, про техчас для новостей технического департамента, и прокачку функциональных коммьюнити.

Корпоративные ценности — это некие убеждения и принципы, которые все должны соблюдать, вроде «быть ответственным», «двигаться вперёд» и всё такое. Но зачем их соблюдать, если непонятно откуда они взялись? Зачем кто-то когда-то их выбил на скрижалях и повесил в главном зале? Без ответа на эти вопросы желание им следовать скорее не появится — они пластмассовые, не живые. Возможно поэтому в ЦИАН сделали по-другому — ценности списали с реальных людей, один из которых побывал у нас в гостях, а всем новичкам рассказывают как они появились и зачем.Как готовили ценности, важны ли они при найме и что такое словарь «разработческих» терминов, поговорили с Анной Штенгауэр (HR BP IT) и Мишей Юматовым (р…

У нас в гостях Ксения Мешкова — овнер в команде Райффайзенбанк. Она занимается развитием внутреннего корпоративного портала, о котором мы всё выведали: как он появился, а главное — зачем, как помог решить проблем в коммуникациях бизнеса и разработки. Также узнали, как в банке появился скрам, аджайл и LeSS, и как проходит гемба в банке.

В гостях у нас Кирилл Гурбанов — Head of Digital Banking в МТС. Поэтому мы поговорили про всё цифровое: диджитал, стартапы, виртуальные карты Apple, про суперприложение Тинькофф Банка, про Сбер как мессенджер, экосистемы, экосистемы суперприложений и зачем это нужно. Всё как всегда. Однако, будьте готовы к тому, что внезапно в подкаст ворвётся Лада Ларгус и порвёт шаблон.

Что такое внутренние коммуникации? Вот я «айтишник», я открыл «Джиру» – вот мои задачки, я беру, делаю, дальше тестировщикам, всё упало — какие коммуникации? Ан нет. Написать, правильно объяснить задачу и правильно спросить «что там делать» — это всё внутренние коммуникации. Об этом мы и поговорили с Екатериной Тышковской, руководителем службы внутренних коммуникаций банка ВТБ.Что такое гибридная работа, как компаниям сохранить офисную культуру и что такое культура согласия в новом выпуске «Ничего такого».

Когда у нас болит живот, мы идём к врачу. Когда у нас проблемы со сном, весом, ничего не хочется, раздражение и выгорание, мы обычно терпим. Или просто не знаем, что можно обратиться к психотерапевту и станет лучше. Об этом мы и поговорили с Иваном Замесиным — предпринимателем и основателем сервиса по подбору психотерапевтов Мета. Какие мифы мешают обратиться к специалисту, когда вы точно пойдёте к психотерапевту и чем психотерапия помогла Ивану, да так, что он создал сервис Мета. Список книг, которые советовал Иван:— «How people change: relationships and neuroplasticity in psychoterapy». — «Начало бесконечности», Дэвид Дойч. — Скотт Адамс «How to Fail at Almost Everything and Still Win Big…

Гость подкаста — Ярополк Раш, директор Scream School, где архитекторов, инженеров и мостостроителей переучивают в разработчиков игр, интерактивных и мультимедийных продуктов. Поговорили с Ярополком, почему архитекторы, инженеры и разработчики идут в gamedev, почему в России нет индустрии игр, почему человек должен быть счастливым и как с этим связана культура Netflix, а Голливуд — с дискомфортом.

Москва — крупнейший рынок каршеринга в мире. Но еще 10 лет назад в России не было ни одного автомобиля, который можно было бы взять в краткосрочную аренду через приложение. Первыми запустить подобный сервис придумали в BelkaCar. Основательницы компании Елена Мурадова, Лориана Сардар и Екатерина Макарова пролоббировали каршеринг в Дептрансе и обошли 300 инвесторов, прежде чем привлечь первых пользователей. В этом эпизоде Елена и Лориана рассказывают Самату о том, как в Россию пришел и как развивается шеринг автомобилей. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zap…

Привет! Я Юля, редакторка «Запуска завтра». Я помогаю Самату брать интервью и записывать подводки, а еще я придумываю описания эпизодов. В этот раз в подкасте речь пойдет обо мне, поэтому я решила написать этот текст от первого лица. Три месяца назад я начала учиться программированию. До работы над подкастом я не интересовалась IT и даже боялась лезть в эту тему, а теперь по ночам пытаюсь валидировать формы с помощью java script. В разговоре Самат захотел узнать, как меняется моя жизнь прямо сейчас. Этот эпизод в меньшей степени о технологиях, в большей — о том, как сложно и страшно изучать новое, но как здорово, когда получается. Этот подкаст мы делаем совместно с сервисом онлайн-образован…

В новом эпизоде подкаста Самат разбирается, как осмысленно ломать компьютер. Он говорит с Максимом Садымом, инженером из Google и Amazon, о тестировании. Как автоматизировать UI тесты, как часто проводить нагрузочное тестирование, какие ошибки программы показывает хаос-тестирование и можно ли быть хорошим программистом, если ты не пишешь юнит-тесты? Максим рассказывает об основных видах тестирования с примерами из практики, а еще вспоминает, как пару лет не мог попасть на работу в Google. Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреоне https://www.patreon.com/zapooskzavtra Книга Cracking the …

Самат говорит с создателем Луркоморья Давидом Хомаком. Формально, о возникновении Lurkmore.to, но по сути — об истории русского интернета. Game.EXE, Башорг, Двач, LiveJournal, Linux-тачки и «пека-бояре», Роскомнадзор и Рамзан Кадыров. Давид вспоминает, как зарождался язык русскоязычных мемов, как рунет перестал быть анонимным и как государство пришло за виртуальной свободой. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или н…

У приложения Flo 41 миллион активных пользовательниц в месяц. Они живут по всему миру и следят во Flo за своим циклом: месячными и овуляцией. Самат говорит о фемтехе с техническим директором Flo Романом Бугаевым. В чем сложность предсказания месячных, зачем женщинам подписка, если есть бумажный календарик, и сложно ли мужчинам работать в компании о женском здоровье. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреон…

Привет! Мы запускаем серию бонусных эпизодов «Запуск ++». Дело в том, что в приложении Apple podcast появилась функция платной подписки, и мы решили ей воспользоваться. Дополнительные выпуски будут выходить по пятницам, раз в две недели. Начнем с серии о языках программирования, а дальше будем экспериментировать. В бонусных эпизодах мы хотим, с одной стороны, исследовать более узкие, но не менее интересные IT-сферы, а с другой, выйти за пределы нашей классической рамки «как устроено N». Больше обсуждать новости индустрии, компанию «Федя&Самат», вспоминать истории о возникновении технологий и рассказывать, как мы создаем подкаст (иногда на летучках происходит все самое интересное). Если у ва…

Жанна Медведева работает в компании Exolaunch. Она бронирует места на ракетах Роскосмоса и SpaceX и запускает на них малые аппараты для клиентов, например, для космического агентства Германии. Самат вместе с Жанной обсуждают «новый космос». За сколько можно отправить спутник на орбиту, зачем там нужен шейкер и как вообще попасть в космическую индустрию. Приходите СЕГОДНЯ на нашу открытую запись в Москве и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Это последний эпизод 4 сезона «Запуска завтра». Спасибо, что слушаете нас! Мы вернемся с новым сезоном в августе. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://clck.ru/Pfti2 S4Ep3 «Как у…

В этом эпизоде — истории двух парней, которые украли данные у клабхауса. Александр Крушин построил на них сервис аналитики для рекламных агенств, а Дмитрий Соболев стал самым популярным пользователем русскоязычного клабхауса. Самат узнает подробности взломов у Димы и Саши, а устройство хакерских атак объясняет редактору подкаста, Юле Яковлевой. Приходите на нашу открытую запись 10 июня и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP6 «Докажи, что ты не робот. Как работают китайские мобильн…

Анна и Хорческа познакомились в общаге института в подмосковном Пущине, а через пару лет встретились в научной лаборатории в Торонто. Они исследовали белок и внезапно обнаружили новый способ синтезировать адипиновую кислоту, важный компонент для производства пластмассы. Обычно адипин получают из нефти. При этом сильно загрязняется планета. А Аня и Хорческа придумали, как сделать этот процесс дешевым и экологичным. Они рассказывают Самату о том, как устроены биотехнологии и как сделать открытие на миллиард долларов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskz…

Самат разговаривает о мошенничестве в интернете с директором по доверию и безопасности в Авито. По каким схемам у нас крадут деньги? Что никогда нельзя делать при покупке вещей онлайн? Как программисты попадают в преступные группировки и почему поддельные сайты работают лучше, чем настоящие? Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP14 «Крутой интерфейс, а прибыли — ноль. Как устроен дизайн мобильных приложений» https://zapuskzavtra.libsyn.com/9qj9c09wmznk 1:36 Как нашему гостю пришлось переехать из-за угроз мошенников 6:00 Фишинг. Как отличить на…

Компания Deepmind обучает алгоритмы искусственного интеллекта играть в игры. В 2016 году их компьютер Alpha Go победил чемпиона мира по го. Долгое время считалось, что научить машину этой игре нельзя, потому что в го важны интуиция и творческое мышление. В новом эпизоде Самат разговаривает с инженером из Google Deepmind Сергеем Бартуновым о том, как передать компьютеру человеческие способности, и где, кроме игр, это можно использовать. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S2EP4 «Железо, дата-центры и хостинги. Настоящий хардовый выпуск» https://z…

23 апреля 2021 года Медузу внесли в список иностранных агентов. 7 лет назад Самат участвовал в запуске Медузы, а потом проработал там техническим директором 3 года. В этом эпизоде Самат говорит о Медузе со своими бывшими коллегами. Егор Хмелев нанимал Самата на работу, а Борис Горячев стал новым техническим директором после ухода Самата. Втроём они вспоминают, как создавалось медиа, и обсуждают, как программисты обеспечивают Медузе сбор донатов, на которые она сейчас выживает. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Поддержать Медузу https://support…

Десять лет назад, чтобы оформить карту или перевести другу деньги, нужно было идти в банковское отделение и запоминать многозначный код. Сегодня все это можно сделать через телефон. О том, как в России появился онлайн-банкинг, Самат говорит с Анастасией Усковой, бывшим генеральным директором Рокетбанка. Настя объясняет, как происходят денежные транзакции, какую роль в них принимают платежные системы и Центробанк, как создать свой банковский движок и почему в Кремниевой долине до сих пор нельзя платить через Apple Pay. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapu…

Илон Маск обещает, что скоро Tesla выпустит настоящие беспилотники. Но пока что на рынке нет полностью автономных автомобилей. В их разработку вкладываются главные IT-компании в мире: Google, Amazon, и даже Apple. О беспилотных автомобилях Самат говорит с Сергеем Серебряковым. Сергей работал в Tesla, а потом перешел в сервис роботакси Cruise. Вместе с Сережей Самат разбирается, какие технологии используют, чтобы заменить водителя, и почему их все еще не хватает, чтобы мы стали ездить на беспилотниках. S2E5 «Бан для Шерон Стоун. Как работают сервисы знакомств» https://zapuskzavtra.libsyn.com/dxsbaem4943k Lex Fridman Podcast https://www.youtube.com/channel/UCSHZKyawb77ixDdsGog4iWA Этот подкас…

В гостях у Moscow Python Podcast сооснователь компании Profiscope Алексей Смирнов. Поговорили с Алексеем о применении Open Source-лицензий в PyPI. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Ревью кода: https://mpccomplexity.codescoring.com Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Director of engineering компании Takeoff Technologies Владимир Филонов . Поговорили с Владимиром о том, откуда берется legacy и как с ним бороться и как продать бизнесу refactoring этого legacy. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast разработчик в Raiffeisen Bank Влад Лоухин. Поговорили с Владом о том, что Python делает в банке, специфике Python в банковской сфере и о многом другом. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast СТО образовательных проектов Mail.ru Дмитрий Санников. Поговорили с Дмитрием о многообразии курсов и образовательных программ в Mail.ru. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Senior Data Scientist компании Lamoda, организатор курсов DadaGym Петр Ермаков. Обсудили с Петром data science сообщество и ивенты . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast CTO и со-основатель компании Datafold Александр Морозов. Обсудили с Александром причины перехода его стартапа с Flask на FastAPI. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast разработчик компании Klarna Игорь Масягин. Обсудили с Игорем зачем нужны пет-проджекты, их пользу и его опыт. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Подробнее про уравнение мотивации: https://m.habr.com/ru/company/lamoda/blog/504134/ Разработка в гамаке: https://youtu.be/jSPaG50FFVs Адвент-календарь программиста: https://adventofcode.com/ Книжка про word count на питоне 30 способами: https://www.goodreads.com/book/show/18266291-exercises-in-programming-style Мячики для жонглирования…

В гостях у Moscow Python Podcast выпускница курсов Learn Python, младший разработчик компании ПИК-Брокер Мария Имаева. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast сооснователь компании Geekfactor, участник программного комитета конференции Moscow Python Conf Ксения Лыжина. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Teamlead компании Aviasales Антон Сидоров. Обсудили с Антоном его путь в разработку, переход поискового движка с Python на Go и еще много всего интересного . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Teamlead компании Evrone Иван Соловьев. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast выпускник курсов Learn Python, глава отдела тестирования компании Zipsale Татьяна Кулагина. Обсудили с Татьяной ее путь к Head QA. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast руководитель RnD разработки компании Lamoda Дмитрий Генинг. Обсудили с Дмитрием чем занимаются разработчики в RnD и конкретно в Lamoda. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast продюсер презентаций и художник Кирилл Анастасин. Обсудили с Кириллом как говорить с другими людьми, чтобы они вас поняли. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

Посмотреть на изображение и понять, что на ней котик. Это такая простая задача для человека, но нужно целое направление исследований и сложных алгоритмов, чтобы с ней справился компьютер. Компьютерное зрение — что это такое, как работает и зачем нужно? Разбираемся с Артуром Кузиным из SberDevices. Решайте сложные задачи EdTech-проектов на инфраструктуре Selectel: https://slc.tl/tlkbH Выберите любую из наших конференций Podlodka Crew по ссылке https://podlodka.io/crew, и до 27 сентября успейте купить билет со скидкой по промокоду BARKHAT Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.m…

У нас уже было много выпусков про здоровье, но не обсуждали как системно подойти к здоровью для увеличения продолжительности жизни. Чекап – инстурмент именно для этого. Разобрали подход на какие чекапы, в каком возрасте и с как часто ходить. В гости к нам пришел Алексей Утин – сердечно-сосудистый хирург, кардиолог, Со-основатель проекта медицинских диспансеризаций SMART CheckUP. Реализуйте актуальные технологии на инфраструктуре Selectel для EdTech: https://slc.tl/JWIYc Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Face…

Большинство из нас занимаются этим в качестве хобби, кто-то любит смотреть, а кто-то мечтает стать профи и построить на этом всю свою карьеру. Киберспорт — молодая, но уже очень денежная индустрия, манящая многих. Как же обстоят дела за кулисами? Сколько часов игрового стажа нужно, чтобы стать профессионалом и достаточно ли для этого лишь усердия? Как тренируются топовые киберспортсмены? Есть ли жизнь в киберспорте после 25 и можно ли жить на донаты на твиче? Артем Никулин (holy_hunter), выигравший порядка 20 сибирских офлайн и 30 онлайн турниров по Dota 2, и ездивший на MAJOR в качестве тренера team empire, погрузил нас в мир киберспорта, рассказал об устройстве киберспортивных организаций…

Много ли вы знаете языков, созданных для максимальной производительности различных вычислений? Кто-то подумает про MATLAB, кто-то вспомнит Fortran, но мы в этом выпуске поговорим о Julia. Это молодой, но очень интересный язык, с которым мы предлагаем вам познакомиться вместе с нами и Юлией Беляковой! Разверните облачный сервер с GPU в пару кликов в Selectel: https://slc.tl/Z9t89 Новый сезон конференции Podlodka iOS Crew! https://podlodka.io/ioscrew. Темы недель: «Работа с сетью» и «Совершенный код» Промокод для слушателей: JULIA Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlod…

Закрой глаза, сделай глубокий вдох и включай выпуск про Медитацию. В гости к нам пришла психолог и автор подкаста «Эмоциональный Интеллигент» – Анна Проворная. Постарались поговорить про тему без булшита: какие есть исследования, как медитация влияет на наше тело, а главное, раз это инструмент, какие задачи можно им решать, а какие – нет. Управляемые кластеры Kubernetes в Selectel для динамичных проектов: https://slc.tl/cgmEz Новый конференция от команды Podlodka! Podlodka Design Crew https://podlodka.io/designcrew. Темы недель: «Редизайн» и «Взаимодействие дизайнеров и разработчиков» Промокод для слушателей: PIXEL_PERFECT Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем …

Известно, что большую часть времени программисты не пишут код, а читают его. Поэтому острое зрение — необходимость, чтобы не проглядеть ни одного досадного бага или архитектурной оплошности 👀 Шилова Татьяна Юрьевна - доктор медицинский наук, глав врач клиники доктора Шиловой и эксперт в комитете по охране здоровья в Госдуме рассказала все о здоровье наших глаз. Почему зрение портится? Как этот процесс предотвратить? И как восстановить уже испорченное зрение? Спойлеры: да, за компьютером долго сидеть все-таки вредно! Нет, лазерная коррекция - это сегодня уже совсем не страшно. Скорее включай выпуск и узнай еще десяток полезных инсайтов про офтальмологию! Сохраните важную информацию в Облачны…

В этом выпуске обсуждаем статический анализ кода – инструмент, помогающий экономить тысячи часов времени разработчиков. Вместе с Алексеем Гопаченко из JetBrains разбираемся, почему статический анализ – это сильно больше, чем просто поиск ошибок в коде. Храните любые данные в гибком облачном хранилище от Selectel: https://slc.tl/o7Ojc Сегодня старт конференции Podlodka TechLead Crew: https://podlodka.io/techcrew Темы недель: “System Design” и “Качество системы”. А по промокоду “linter” приятная скидка! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t…

Свобода перемещения по всему миру, уменьшение налогов, возможность открытия зарубежных счетов и уверенность в завтрашнем дне – эти и многие другие преимущества можно получить, купив себе второе гражданство. Наш гость Анатолий Летаев, основатель компании Migronis, дал системный обзор всех возможных стран для покупки паспорта, стоимости этого и сопутствующих рисков. Арендуйте выделенные серверы с GPU для требовательных задач в Selectel: https://slc.tl/0KVDz Конференция Podlodka Android Crew https://podlodka.io/droidcrew, старт уже сегодня! Темы недель: “Лучшие практики Android-разработки” и “Хранение данных”. Промокод для подписчиков: PODLODKA_PREFERENCES Поддержи лучший подкаст про IT: https…

Хранением большей части средств в инвестиционных инструментах уже никого не удивишь с одной стороны, но с другой многие придерживаются стратегий роста капитала вместе с рынком. А что если попробовать выиграть, да еще и отмасштабировать свою стратегию за счет автоматизации? В гости позвали Сергея Слукина – руководителя отдела прямого доступа к рынкам и алгоритмической торговли в Финаме. Успели поговорить и про смыслы – за счет алгоритмы зарабатывают деньги, и про технологии. С чего начинают новички и с какими сложностями сталкиваются разработчики, занимающиеся вопросом профессионально. Разверните гибкую облачную инфраструктуру в Selectel: https://slc.tl/0vPBc 1000 бонусных рублей по промокод…

Спорить про архитектуру мы очень любим, поэтому пришла пора разобраться в том, как эти архитектуры создаются! System design — это не только этап интервью в FAANG. Это процесс создания архитектуры системы, которым занимаются не только бородатые Архитекторы Решений. Зачем нужен System Design (даже если вы пока "маленькие"), что в него входит, как отличить хороший System Design от плохого и какая же нотация лучше всех — все это в выпуске с Элвином Рахманкуловым, главой Mobile Competency Center в EPAM Systems. Выделенный сервер Mac Mini с процессором M1 в Selectel для iOS-разработчиков: https://slc.tl/zIZ2o Конференция про техлидство, архитектуру систем и техническое совершенство: https://podlo…

Техническая документация окружает нас повсюду – по нажатию подсказки в IDE, на GitHub-странице используемой библиотеки, в коробке с новенькой умной колонкой или стулом из IKEA. Какая-то документация помогает вам решить проблемы, а какая-то – только их создает. Андрей Поляков, тимлид команды технических писателей в Kotlin, рассказал все про то, как сделать документацию полезной. Selectel — разверните IT-инфраструктуру проекта без изучения многостраничной документации: https://slc.tl/rJroW 12 июля стартует новый сезон Podlodka Frontend Crew. Подробности: https://podlodka.io/fecrew. Промокод для слушателей подкаста: PODLODKA_IS_NOT_A_FUNCTION Вакансия в команду техписателей Kotlin: https://www…

Вы просто нажимаете кнопку, публикуете свой комментарий или вводите данные банковской карты. А в это время под капотом происходит сложная магия, результат которой – однозначный ответ, было ли ваше действие честным и порядочным, или имел место мошеннический злой умысел. О том, как работает эта магия, мы поговорили с Алексеем Тощаковым из команды антифрода в Яндексе. 5 июля стартует наша новая конференция про софт-скиллы для инженеров. В течение двух недель обсуждаем коммуникации и problem solving. Для слушателей подкаста скидка по промокоду DDOS24. Разверните надежную и безопасную IT-инфраструктуру своего проекта в Selectel: https://slc.tl/ZEkKu. Скидка 1000 рублей на Облачную платформу по п…

С одной стороны понятно, что надо ответственно относиться к переработке отходов, с другой стороны вокруг этой темы настолько много информации. Экоактивисты говорят одно, в магазинах пишут про биоразлагаемые пакеты, государство ставит цветные контейнеры, содержимое которых ничем не отличается. С тем что из этого хайп, а что дествительно работает, мы разбирали с основательницей проекта Собиратор – Валерией Коростелёвой. 28 июня стартует конференция Podlodka Backend Crew #4. Темы недель: базы данных и чистый код в Java. Подробности на сайте https://podlodka.io/becrew, а для любимых слушателей скидка по промокоду STOPTHEWORLD. Selectel — покупка сервера еще никогда не была такой экологичной: ht…

Наскучили однообразные рабочие задачи? Давно хотели попробовать новый стек? Или сделать что-то очень полезное? А может и то, и другое? Вместо тяжкого раздумья над идеей нового пет-проекта, предлагаем попробовать себя в ИТ-волонтерстве! А разрушить барьер неопределенности поможет наш выпуск. Вместе с Владом Лавриченко, куратором платформы IT-волонтёр, разобрались в том, какие некоммерческие организации бывают и чем они занимаются, какие задачи могут решать ИТ специалисты и какие компетенции нужны, почему волонтерить - прикольно, полезно и важно и, конечно же, как проще всего в это вкатиться. Всем добра! ❤️ Разверните проект не хуже платформы для обучения нейросетей Experion на выделенных сер…

Где находятся Курмыши? Что такое латка? И как формируются региональные диалекты?В последнем эпизоде сезона мы говорим о великом и могучем русском языке в компании двух прекрасных гостей:Борис Иомдин — кандидат филологических наук, ведущий научный сотрудник и заведующий сектором теоретической семантики Института русского языка им. В. В. Виноградова РАН, научный сотрудник Яндекса, доцент Школы лингвистики Высшей Школы Экономики.Иван Левин— лингвист, младший научный сотрудник Института русского языка им. Виноградова.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patre…

Как «дрессируют» алгоритмы? С чем обучение с подкреплением можно смешивать, не взбалтывая? И достаточно ли одного пряника, чтоб создавать прорывные алгоритмы машинного обучения?Сегодня с нами проветривается Алексей Шпильман. Алексей заведует центром анализа данных и машинного обучения в Высшей Школе Экономики в Санкт-Петербурге и руководит лабораторией агентных систем и обучения с подкреплением в JetBrains Research.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

Как и почему open source захватил мир? Что такое "заразная" лицензия? И создаются в России создают opensource-проекты мирового уровня?Сегодня с нами проветриваются:Андрей Бреслав — один из создателей языка программирования Котлин, cооснователь сервиса по подбору психологов Альтер.Станислав Кириллов, руководитель группы ML систем в Яндексе. Команда Станислава разрабатывает CatBoost и инфраструктуру для эмэльщиков. Михаил Бурцев — основатель проекта DeepPavlov.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

Что такое штамм? Как меняются вирусы? Почему вакцинация не только снижает нагрузку на систему здравоохранения, но и замедляет появление новых вариантов вируса?Под занавес прошлого сезона у нас в гостях был Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета. После нашей первой беседы вы просили позвать Сергея ещё. Мы прислушались!Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Со скольки лет стоит учить ребёнка программировать? Где нужно получить разрешение, чтобы начать работать программистом в четырнадцать? И чего не стоит делать родителям при воспитании детей?Сегодня с нами проветривается Георгий Бугаков. Жора уже два года работает в Skyeng, при том что в июне он закончил девятый класс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

Что общего между археологом и стартапером? Почему современные археологи не раскапывают памятники до конца? Чему может научить самая древняя туфелька в мире?Сегодня с нами проветривается первооткрыватель пещеры Арени Борис Гаспарян.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

Кто такой ментор? На каком этапе он бывает нужен техническому специалисту? И почему в Booking.com любой team lead должен получить навыки менторства?Сегодня с нами прометривается Георгий Могелашвили. Георгий работает Lead Developer в Booking.com и развивает свой проект GetMentor.Support the show (https://www.patreon.com/progulka)

Что такое райд-тех? Как интернет меняет города? И что общего между искусством и маркетингом?Сегодня с нам проветривается Даша Золотухина, которая руководит маркетингом бизнес-группе E-commerce и Ride-tech Яндекса. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

Как вымер странствующий голубь? В честь какой птицы называли пингвинов? И как мы все приблизили антропоцен?Сегодня по случаю мирового дня биоразнообразия с нами проветривается биолог Амирам Григоров.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Почему традиционные медиа больше не работают, не только в России, но и в мире? И как создать стартап, не будучи программистом? Сегодня с нами проветривается Тоня Самсонова. Тоня основала платформу The Question, а сейчас руководит Яндекс.Кью. Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

Что такое NFT? Как и почему «выстреливает» новое цифровое искусство? Какое будущее у рынка цифровых коллекций? Сегодня с нами проветриваются три художника, соавтора проекта NFT256: • Ваваев Максим — VFX Technical Artist, основатель NFT256, Москва.• Макарюк Богдан — Designer, 3d-artist, cооснователь NFT256, Харьков.• Дмитрий Белкин — Visual artist, cооснователь NFT256, Москва. Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

Почему спортсменам запрешено бежать марафон под музыку? Как пройти путь от приложений до приложений года для AppleWatch? И что в музыке сложнее всего генерировать нейронными сетями? Сегодня с нами проветривается Дмитрий Евграфов — композитор и один из создателей компании Endel. Не будьте такими душными, давайте лучше — проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Почему трейдинг полезен для рынков? Кто может заработать на бирже? Как машинное обучение и анализ данных сейчас применяются на финансовых рынках? С нам проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом. А в бонусный эпизод зашёл ещё • Леонид Меркин, финансовый математик, профессор Высшей экономики школы в Санкт-ПетербургеНе будьте такими душными, давайте лучше - прове…

Что такое высокочастотный трейдинг? Почему физики становятся хорошими квантами? Какой датасет может стоить миллион долларов в год? Сегодня с нами проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом.Не будьте такими душными, давайте лучше - проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www…

Как учёные обнаружили первый в мире вирус? Какие бывают прививки? И почему птичники — идеальные инкубаторы не только для яиц, но и для вирусов?Сегодня с нами проветривается Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Каково написать первую программу гусиным пером в мире, где нет даже электрических лампочек, о чем мечтали отцы кибернетики, когда создавали математическую модель нейрона, и чего мы сами ждем от чипов Neuralink— в заключительном эпизоде первого сезона, где гении пьют виски на даче, макаки играют в пинг-понг без рук, роботы лечат малярию и все очень много мечтают. Этот подкаст мы делаем вместе со SberDevices

Откуда у алгоритмов загоны и предрассудки, как роботам решать дилему вагонетки, и что нейросеть понимает про семейные ценности — в эпизоде, где спящие люди тихо едут на Теслах из киберпанка в киберкоммунизм. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Почему алгоритмы начали сами повторять достижения человечества, как научились предсказывать изобретения и что общего у малыша на карусели и нейросети GPT3. Этот подкаст мы делаем вместе со SberDevices Подкаст Ивана Ямщикова "Проветримся" https://www.patreon.com/progulka Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Как машины читают то, что у вас на лице написано, решают дилемму покерфейса, предсказывают выгорание и учатся испытывать эмоции сами. Этот подкаст мы делаем вместе со SberDevices Эпизод подкаста "Запуск завтра" про Давида Яна https://zapuskzavtra.libsyn.com/i7pyit9e0q2o Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы расскажем, что может нейросеть, которая провела две тысячи лет в Доте, как четыре бота сломали прятки и почему машинам нужно самоутвержаться за счет гроссмейстеров. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы разбираемся, зачем человеку роботы, которые могут воображать котов, писать небылицы, импровизировать в стиле Баха и писать стихи из поисковых запросов. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Как машины пытаются составить портрет человека по его кликам и лайкам, какие выводы о нем делают по чеку из магазина и почему вам лучше не знать, какой вы фрукт – в новом выпуске «Вы находитесь здесь». Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы расскажем, как симуляция безумия помогает машине притворяться человеком, зачем виртуальным ассистентам сценаристы и редакторы и как два бота торговались за мячик и сломали английский язык. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы расскажем, почему голосовые помощники не понимают шотландцев и чем им может помочь глухой с младенчества советский математик. Как робот находит песню, в которой вы помните только «ту-ту-ту-рум-ту-ту-рум». И правда ли, что умные колонки за нами шпионят. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В первом эпизоде мы рассказываем, как учили машину говорить так, чтоб ее можно было слушать без кринжа. Изобретатели и инженеры буквально столетиями пытались заставить машины говорить и придумали за это время самые странные звучащие объекты в истории. В этом выпуске вы услышите орущие свистки ацтеков, смех волынки с механическим ртом и песни безумных роботов. Заодно мы расскажем, чьим голосом на самом деле разговаривал Стивен Хокинг и почему запись живого диктора может звучать хуже, чем нейросеть. И почему все это ради пиццы. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; …

В этом подкасте мы расскажем о том, как человек учит машину всему, что умеет сам: постигать, творить, общаться и нервничать. Что о нас думает умная колонка? Зачем давать роботам цифровые эмоции? Может ли нейросеть действительно понять человека? О том, куда нас ведет развитие искусственного интеллекта, и как долго нам еще идти по дороге прогресса — слушайте в подкасте «Вы находитесь здесь»

The 1980s promised robotic servants were in reach. They’d clean up our houses. Bring us drinks. Usher in an era of leisure. We didn’t get robot butlers. But if we look around, we’ll find an army of robotic servants already automating away domestic drudgery. Richard Rowland recounts the extent to which Androbot over-promised on its ability to build a robot servant. 40 years later, we still don’t have robot maids. Monroe Kennedy III walks us through the complexities of seemingly simple tasks. To make things more difficult, each attempt to build a robot had to build the hardware AND write the code from scratch. Keenan Wyrobek explains that’s why he helped write and share the Robot Operating Sy…

Robots have a special place in our imaginations. Writers, artists, directors, and more have shown how robots can change our world—for better or far, far worse. In the real world, robots seem a long way off. But are they? Season 8 of Command Line Heroes is all about the rise of the robots. They just may not be what you expect. We meet the first industrial robot, take a journey through the uncanny valley, and investigate a possible robot crime. Season 8 covers the robots that are in our midst—and the determined dreamers who bring them to life. The first episode drops September 7, 2021. Follow today and sign up for the newsletter to get the latest updates.

The Y2K bug generated a lot of fear, but all that hype fizzled when the new millennium didn’t start with a digital apocalypse. It turns out that fear was just aimed at the wrong catastrophe. While plenty were riding high on the rise of the internet beyond the Y2K scare, another disaster had been brewing since 1995—and would bring them back down. But the dot-com bubble wasn’t the end. The internet was here to stay. Not long after the turn of the millennium, the dot-com economy collapsed. Peter Relan points to the flawed business plans that fueled the dot-com bubble, and how many entrepreneurs and investors underestimated the complexity of building a business on the internet. Ernie Smith tell…

1995 laid the groundwork for a truly global World Wide Web. But not every country took the same path to connecting to the internet. Some resisted, wanting to create their own version. Others had to fight for access, not wanting to be left behind. And while we made huge strides in connecting the world in those early years, we still have a long way to go. Julien Mailland recounts the rollout of France’s Minitel service—how it was years ahead of the internet, but eventually lost its lead. Steve Goldstein explains what was involved in building the infrastructure to expand the NSFNET beyond the United States. Gianluigi Negro shares how China pushed for its connection, and how different it would …

The web was growing quickly in the ‘90s. But all that growth wasn’t going to lead to much if people couldn’t actually find any web sites. In 1995, an innovative new tool started crawling the web. And the search engine it fed opened the doors to the World Wide Web. Elizabeth Van Couvering describes trying to find websites before search engines, and how difficult it was becoming in the early ’90s to keep track of them all. Louis Monier talks about having to convince others how important search engines would become—and he showed them what a web crawler could do. Paul Cormier recounts taking the search engine from a research project to a commercial one. And Richard Seltzer wrote the book on sea…

We put a lot of trust into online shopping: sharing our names, addresses, and handing over money. In return, we have faith that the purchased item appears at our doorstep in a few days or weeks. That trust didn’t come easily. In 1995, we took our first steps out of the brick and mortar store to load our digital shopping cart. Robert Spector reveals how Amazon.com’s business foundations are in data—and being early to the internet. Sandeep Krishnamurthy recounts the rise of eBay. Angela Robinson describes the technology that makes secure transactions and trustworthy e-commerce possible. Kartik Shastri shares how difficult it was to store and process consumer data. And Katie Wilson explains ho…

Looking at the internet in 1995 is like looking back at awkward grade school yearbooks—all the weirdness and flaws stand out in stark contrast to what it’s grown into since. And web design took awhile to become a career—but it got a big boost in 1995. When the Batman Forever website launched to promote the movie, it showed people what was possible on the web. And it forever changed what we’d expect from a website. Jay Hoffmann describes the quirky designs of the early web. Richard Vijgen explains how we went from a lack of conventions to a homogenized web. Jeffrey Zeldman recounts building the Batman Forever movie’s website—and sowing the seeds of professional web design. Jessica Helfand ou…

The Hypertext Markup Language (HTML) gave everyone a foundation for building and viewing the World Wide Web. In 1995, its standardization led to dominance. Its simplicity helped it spread. And its solid common foundation helped shape the internet. Dr. Belinda Barnet explains what kind of framework was initially needed to build and navigate the Web. Jeff Veen describes the three ingredients Tim Berners-Lee combined to create HTML: the ideal language for the Web. Gavin Nicol recounts the need to standardize the quickly-growing language. And Gretchen McCulloch points out how HTML instills an inherent bias for English speakers to develop for the web.If you want to read up on some of our researc…

1995 was the year that ISPs became the dominant gateway to the information superhighway. But how’d we go from ARPANET all the way to that? It turns out, none of it would have happened without a team of intrepid engineers at the University of Michigan.Marc Weber tells us how a tension between academics and the military set the next evolution of the ARPANET. Douglas Van Houweling discusses the work his MERIT team did at the University of Michigan to build the national backbone of the NSFNET. Elise Gerich, MERIT’s systems manager, talks about how they made the leap from a T1 connection to a T3 to handle traffic from their growing network. And Janet Abbate emphasizes how all this set the stage …

The year is 1995. The internet starts going mainstream and the dot-com bubble begins its rapid inflation. But 10 years before all of this, a small team of systems administrators made a seemingly simple decision that would turn out to have a monumental impact on these events and would set the course of the internet for the foreseeable future. Dr. W. Joseph Campbell sets the stage for our season on the internet in 1995. Claire L. Evans explains how hard it was to find anything on the early internet. One team was charged with compiling that information in the early days of the ARPANET. Elizabeth “Jake” Feinler recounts being the internet’s sole librarian in those early days, and how she helped…

The internet’s been around for awhile now. And it’s safe to say that it’s changed much of our daily lives. But not so long ago, there were few people who realized how transformative the internet would become. Season 7 of Command Line Heroes looks back at those few who saw the internet’s early potential and forever shaped it during its most formative year: 1995. From the origins of e-commerce, to web design, to HTML, to the infrastructure holding it all together around the world, this season highlights the heroes who turned the nascent internet into the vital global network we know today. The first episode drops March 23, 2021. Subscribe today and sign up for the newsletter to get the latest…

If you think hard work is enough to guarantee success, you haven’t been listening. All season long, we’ve profiled Black inventors who haven’t quite been given their due. Arlan Hamilton is helping reverse that trend by leveling the playing field—and changing the venture capital game.Arlan Hamilton’s story mirrors many we’ve covered this season—overcoming adversity to find success. But she’s also helping redefine what success can look like and, in the process, is helping change the broader tech industry. Janice Omadeke lays out how diversifying the VC community in turn leads to greater diversity among founders receiving funding. Ramona Ortega explains how traditional VC priorities often pass…

Is the moon made of cheese? Of course not. But can a person walk on the surface? Not too long ago, we couldn’t answer that question. But with the help of Gladys Perkins, we soon figured out that we could send a team to the moon and have them safely land on its surface. There was a time when the United States was behind the Soviets in the space race. Everyone had their sights set on the moon. Andrew Chaikin describes NASA’s disastrous Ranger missions. Erik Conway explains how complicated the trajectory calculations were—and to top it all off, why they often couldn’t be done in advance. To succeed, NASA’s new Surveyor program would need the capability to adjust trajectory mid-flight. Gladys P…

Roy Clay had to chase after opportunities. But landing a promising position wasn’t the finish line. Roy Clay pushed those opportunities beyond their mandate, transforming an industry in the process.Kathy Cotton recounts how few opportunities Roy Clay had growing up—but how, later, talk of his genius helped him get his break in the tech industry. Chuck House describes how Clay’s qualifications and experience were just what Hewlett and Packard were looking for. Bill Davidow explains how Clay made his mark at HP building a department, and shaping the strategy for a revolutionary 16-bit minicomputer. And in Clay, Ken Coleman found a role model and mentor. He followed in Clay’s footsteps, and he…

It’s not easy to learn how to use computers when you can’t actually touch them. But that’s how Dr. Clarence Ellis started his career of invention—which would ultimately lead to reimagining how we all worked with computers and each other.Martez Mott describes the “Mother of all Demos” that would inspire a generation of builders. Gary Nutt recounts working with Dr. Clarence Ellis at Xerox PARC, and the atmosphere at the coveted research lab. Chengzheng Sun and Paul Curzon explain how Operational Transformation—the project to which Dr. Ellis devoted so much time and effort—laid the foundation for the collaborative tools many of us use every day. And Delilah DeMers shares how humble her father …

**Watch the live stream:** [  __ Play on YouTube ](https://www.youtube.com/watch?v=eIEGTZnsyCg) **About the show**

**Watch the live stream:** [  __ Play on YouTube ](https://www.youtube.com/watch?v=I_F9YSiLSaI) **About the show**