Learn how Airbnb built the Page Performance Score, a 0–100 score that measures multiple performance metrics from real users on any platform.Andrew ScheuermannPerformance is important at Airbnb and part of our Commitment to Craft. A fast experience is good for business and critical to our mission to “create a world where anyone can belong anywhere”.Before we can create a fast experience we need to agree on what “fast” measures. Web, iOS, and Android each have different platform-specific performance metrics. For product engineers it can be challenging to understand which of these metrics to prioritize, and for management it’s difficult to compare platforms and keep progress reports succinct.W…

My Journey to Airbnb — Elizabeth PonceForging a path to a technical role at AirbnbElizabeth PonceMany Airbnbers know Elizabeth for her role as a community builder and leader — the co-lead for the Global Co-Lead for the Genders Marginalized in Tech (GemTech) resource group at Airbnb, and the host of amazing events like our company-wide Dog President Election. What people might not know is that Elizabeth has been on an incredible journey since joining Airbnb in 2017. She started as a customer support specialist, spent years developing a deep technical skillset, and is now a systems engineer on the BizTech team.Elizabeth discovered software engineering relatively later in her career. Her first…

Ottr is a serverless Public Key Infrastructure framework that handles end-to-end certificate rotations without the use of an agent. The purpose of the blog is to provide an overview on Ottr with sample reference architecture, logical and network flows, and highlight the benefits of the solution. For installation instructions, skip to the Open Source section of the article.Kenneth YangIntroductionManaging certificates for Public Key Infrastructure (PKI) is a difficult problem to solve at scale for any organization. While there are a number of agent-based solutions to automate certificate rotations for Linux and Windows distributions, the process to broker certificates for network infrastruct…

Part two of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at AirbnbElizabeth Nammour, Pinyao Guo, Wendy JinIntroductionIn Part 1 of our blog series, we introduced the Data Protection Platform (DPP), which enables us to protect data in compliance with global regulations and security requirements. We stressed that understanding our data, by keeping track of where personal and sensitive data is stored in our ecosystem, is a necessary building block to protecting the data. In this blog post, we will discuss the challenges companies often face when trying to pinpoint the exact location of personal and sensitive data. As a stopgap,…

Learn more about how to migrate your Kafka cluster from one Zookeeper cluster to another without any user impact.By: Edmund MokIntroductionKafka is an open-source distributed event-streaming platform. It depends on Zookeeper, another open-source distributed coordination system, to store cluster metadata. At Airbnb, Kafka forms the backbone of our data infrastructure, powering use cases such as event logging and change data capture that help us better understand our guests and hosts, and make decisions that improve our product.We run several production Kafka clusters, the largest of which being our oldest cluster consisting of hundreds of brokers and supporting over 1GB/s of incoming traffic…

How innovation in technology and people processes have enabled iOS developers to remain productive in a large codebase.Every iOS engineer remembers the joy of seeing their first application running on an iOS device. The human-centric interface of the iPhone brings the program to life. When you choose iOS development as a career, that joy grows as your application touches more people’s lives.Affecting more users often involves new iOS features, flows, and functionality. But as an application grows to serve more users, new features and functionality can introduce additional weight and complexity, which slows product iteration and precludes atomic refactors.We have undergone this journey as an…

Leveraging technical learning and development to enable engineers to do their best work.Authors: Hanna Dooley, Jennifer Rice, Tamera ScholzIntroductionThe Airbnb TechED team believes each individual’s success is critical to the health of our technical teams. This fundamental belief in the power of human potential drives us to bring high quality, relevant educational content to our technical teams to meet both their needs and the needs of Airbnb. We work with our technical leaders and subject matter experts (SMEs) to build and deliver unique, interactive, multimodal learning experiences at scale.We have three principles for approaching technical learning:Embrace the adventureShare what you k…

Consolidating long-running, lightweight tasks for improved resource utilizationBy: Yingbo Wang, Kevin YangIntroductionAirflow is a platform to programmatically author, schedule, and monitor data pipelines. A typical Airflow cluster supports thousands of workflows, called DAGs (directed acyclic graphs), and there could be tens of thousands of concurrently running tasks at peak hours. Back in 2018, Airbnb’s Airflow cluster had several thousand DAGs and more than 30 thousand tasks running at the same time. This amount of workload would often result in Airflow’s database being overloaded. It also made the cluster quite expensive since it required a lot of resources to support those concurrent t…

My Journey to Airbnb — Rachel ZhaoFrom an uncertain software engineering student to Head of Search Engineering.If there’s one thing travel teaches us, it’s that the journey is just as important as the destination. With this in mind, we’re launching a new series of blog posts to bring you the personal stories of our amazing Airfam! How did they initially connect with their passion, what brought them to Airbnb, and what’s fueling them every day?We could think of no one better to kick off this series than Rachel Zhao, the head of engineering for our Search product group, which contributed to the set of incredible features this year to respond to the changing world of travel. In addition to maj…

Part-III: Building a coherent consumption experienceBy: Amit Pahwa, Cristian Figueroa, Donghan Zhang, Haim Grosman, John Bodley, Jonathan Parks, Jenny Liu, Krishna Bhupatiraju, Maggie Zhu, Mike Lin, Philip Weiss, Robert Chang, Shao Xie, Sylvia Tomiyama, Toby Mao, Xiaohui SunIntroductionIn the first post of this series, we highlighted the role Minerva plays in transforming how Analytics works at Airbnb. In the second post, we dove into Minerva’s core compute infrastructure and explained how we enforce data consistency across datasets and teams. In this third and final post, we will focus our story on how Minerva drastically simplifies and improves the data consumption experience for our user…

Ari Balogh, CTO at Airbnb, shares how striving towards excellence has served us well in a time of uncertainty.If you’ve ever been part of a startup, you understand the importance of speed. Sometimes it feels like nothing else matters, since getting your products to market quickly can determine whether you survive. When Airbnb was an emerging company with a radical new vision for travel, we often had to prioritize speed in making tough engineering tradeoffs.These decisions paid off, and Airbnb grew into a platform that supports millions of Hosts and Guests globally. Now, in addition to delivering fast, our success depends on providing an experience of exceptional quality that considers every…

Part one of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at Airbnb.Elizabeth Nammour, Wendy Jin, Shengpu LiuOur community of hosts and guests trust that we will keep their data safe and honor their privacy rights. With frequent news reports of data security breaches, coupled with global regulations and security requirements, monitoring and protecting data has become an even more critical problem to solve.At Airbnb, data is collected, stored, and propagated across different data stores and infrastructures, making it hard to rely on engineers to manually keep track of how user and sensitive data flows through our environment. …

How Airbnb is powering automated support to enhance the host and guest experienceGavin Li, Mia ZhaoCustomer Support (CS) can make or break a guest’s travel experience. To support Airbnb’s community of guests and Hosts, we have been investing heavily in developing intelligent CS solutions leveraging state-of-the-art natural language processing (NLP), machine learning (ML), and artificial intelligence (AI) technologies.In this blog post, we’ll introduce the automated support system at Airbnb, which employs the latest task-oriented conversational AI technology, through the lens of a recently launched feature called Mutual Cancellation. We will describe in detail how we framed the business prob…

Gaining trust in data with extensive data quality, accuracy and anomaly checksAs shared in our Data Quality Initiative post, Airbnb has embarked on a project of massive scale to ensure trustworthy data across the company. To enable employees to make faster decisions with data and provide better support for business metric monitoring, we introduced Midas, an analytical data certification process that certifies all important metrics and data sets. As part of that process, we made robust data quality checks and anomaly detection mandatory requirements to prevent data bugs propagating through the data warehouse. We also created guidelines on which specific data quality checks need to be impleme…

How AI-based Sentiment Models Complement Net Promoter ScoreBy Shuai Shao, Mia Zhao, Yuanyuan NiNet Promoter Score (NPS) is a well-accepted measurement of customer satisfaction in most customer-facing industries. We leverage NPS at Airbnb to help measure how well we serve our community of guests and hosts through our customer service. But NPS has two major drawbacks: 1) NPS is sparse, given only a fraction of users respond to the survey, and 2) NPS is slow. It takes at least a week for results to show up. Airbnb uses A/B testing heavily across our core products and customer service offerings. In the A/B testing world, the longer it takes to see results and interpret experiments, the longer i…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Michael Lindon, and Colin McFarlandThis is the fifth post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix), Part 2 (What is an A/B Test?), Part 3 (False positives and statistical significance), and Part 4 (False negatives and power). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of developing a culture of experimentation within an organization.In Parts 3 (False p…

by Liwei Guo, Ashwin Kumar Gopi Valliammal, Raymond Tam, Chris Pham, Agata Opalach, Weibo NiAV1 is the first high-efficiency video codec format with a royalty-free license from Alliance of Open Media (AOMedia), made possible by wide-ranging industry commitment of expertise and resources. Netflix is proud to be a founding member of AOMedia and a key contributor to the development of AV1. The specification of AV1 was published in 2018. Since then, we have been working hard to bring AV1 streaming to Netflix members.In February 2020, Netflix started streaming AV1 to the Android mobile app. The Android launch leveraged the open-source software decoder dav1d built by the VideoLAN, VLC, and FFmpeg…

by Christos G. Bampis, Chao Chen, Anush K. Moorthy and Zhi LiIntroductionMeasuring video quality at scale is an essential component of the Netflix streaming pipeline. Perceptual quality measurements are used to drive video encoding optimizations, perform video codec comparisons, carry out A/B testing and optimize streaming QoE decisions to mention a few. In particular, the VMAF metric lies at the core of improving the Netflix member’s streaming video quality. It has become a de facto standard for perceptual quality measurements within Netflix and, thanks to its open-source nature, throughout the video industry.As VMAF evolves and is integrated with more encoding and streaming workflows with…

Data Engineers of Netflix — Interview with Pallavi PhadnisThis post is part of our “Data Engineers of Netflix” series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Pallavi Phadnis is a Senior Software Engineer at Netflix.Pallavi Phadnis is a Senior Software Engineer on the Product Data Science and Engineering team. In this post, Pallavi talks about her journey to Netflix and the challenges that keep the work interesting.Pallavi received her master’s degree from Carnegie Mellon. Before joining Netflix, she worked in the advertising and e-commerce industries as a backend software engineer. In her free time, she enjoys watching Netflix and traveling…

Open-Sourcing a Monitoring GUI for Metaflow, Netflix’s ML Platformtl;dr Today, we are open-sourcing a long-awaited GUI for Metaflow. The Metaflow GUI allows data scientists to monitor their workflows in real-time, track experiments, and see detailed logs and results for every executed task. The GUI can be extended with plugins, allowing the community to build integrations to other systems, custom visualizations, and embed upcoming features of Metaflow directly into its views.https://medium.com/media/9389f8a3d6aaab2925a26771476c3dc8/hrefMetaflow is a full-stack framework for data science that we started developing at Netflix over four years ago and which we open-sourced in 2019. It allows da…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the fourth post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix), Part 2 (What is an A/B Test?), Part 3 (False positives and statistical significance). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.In Part 3: False positives and statistical significance, we defined the two types of mistak…

By Ian HakenLast year the AddTrust root certificate expired and lots of clients had a bad time. Some Roku devices weren’t working right, Heroku had problems, and some folks couldn’t even curl. In the aftermath Ryan Sleevi wrote a really great blog post not just about the issue of this one certificate’s expiry, but the problem that so many TLS implementations have in general with certificate path building. If you haven’t read that blog post, you should. This post is probably going to make a lot more sense if you’ve read that one first, so go ahead and read it now.To recap that previous AddTrust root certificate expiry, there was a certificate graph that looked like this:The AddTrust certific…

by Joel Sole, Mariana Afonso, Lukas Krasula, Zhi Li, and Pulkit TandonIntroducing the banding artifacts detector developed by Netflix aiming at further improving the delivered video qualityBanding artifacts can be pretty annoying. But, first of all, you may wonder, what is a banding artifact?Banding artifact?You are at home enjoying a show on your brand-new TV. Great content delivered at excellent quality. But then, you notice some bands in an otherwise beautiful sunset scene. What was that? A sci-fi plot twist? Some device glitch? More likely, banding artifacts, which appear as false staircase edges in what should be smoothly varying image areas.Bands can show up in the sky in that sunset …

By Minal MishraQuality of a client application is of paramount importance to global digital products, as it is the primary way customers interact with a brand. At Netflix, we have significant investments in ensuring new versions of our applications are well tested. However, Netflix is available for streaming on thousands of types of devices and it is powered by hundreds of micro-services which are deployed independently, making it extremely challenging to comprehensively test internally. Hence, it became important to supplement our release decisions with strong evidence received from the field during the update process.Our team was formed to mine health signals from the field to quickly eva…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the third post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix) and Part 2 (What is an A/B Test?). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.In Part 2: What is an A/B Test we talked about testing the Top 10 lists on Netflix, and how the primary decision metric for this test was a meas…

Written by Michael Possumato, Nick Tomlin, Jordan Andree, Andrew Shim, and Rahul Pilani.As we continue to grow here at Netflix, the needs of Revenue and Growth Engineering are rapidly evolving; and our tools must also evolve just as rapidly. The Revenue and Growth Tools (RGT) team decided to set off on a journey to build tools in an abstract manner to have solutions readily available within our organization. We identified common design patterns and architectures scattered across various tools which were all duplicating efforts in some way or another.We needed to consolidate these tools in a way that scaled with the teams we served. It needed to have the agility of a micro frontend and the e…

By Xiaomei Liu, Rosanna Lee, Cyril ConcolatoIntroductionBehind the scenes of the beloved Netflix streaming service and content, there are many technology innovations in media processing. Packaging has always been an important step in media processing. After content ingestion, inspection and encoding, the packaging step encapsulates encoded video and audio in codec agnostic container formats and provides features such as audio video synchronization, random access and DRM protection. Our previous tech blog Packaging award-winning shows with award-winning technology detailed our packaging technology deployed on the streaming side.As Netflix becomes a producer of award winning content, the stud…

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the second post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. See here for Part 1: Decision Making at Netflix. Subsequent posts will go into more details on the statistics of A/B tests, experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.An A/B test is a simple controlled experiment. Let’s say — this is a hypothetical! — we want to learn if a new product experience that flips all of the boxart upside dow…

By Ricky Gardiner, Alex BorysovBackgroundIn our previous post, we discussed how we utilize FieldMask as a solution when designing our APIs so that consumers can request the data they need when fetched via gRPC. In this blog post we will continue to cover how Netflix Studio Engineering uses FieldMask for mutation operations such as update and remove.Example: Netflix Studio ProductionMoney Heist (La casa de papel) / NetflixPreviously we outlined what a Production is and how the Production Service makes gRPC calls to other microservices such as the Schedule Service and Script Service to retrieve schedules and scripts (aka screenplay) for a particular production such as La Casa De Papel. We can…

Written by Jose Fernandez, Arthur Gonigberg, Julia Knecht, and Patrick ThomasIn 2017, Netflix Studios was hitting an inflection point from a period of merely rapid growth to the sort of explosive growth that throws “how do we scale?” into every conversation. The vision was to create a “Studio in the Cloud”, with applications supporting every part of the business from pitch to play. The security team was working diligently to support this effort, faced with two apparently contradictory priorities:1) streamline any security processes so that we could get applications built and deployed to the public internet faster2) raise the overall security bar so that the accumulated risk of this giant an…

Kelvin Jiang |Software Engineer; Keshava Subramanya | Engineering Manager; Yeming Shi | Software Engineer, Ads IntelligenceIntroductionPinterest is a visual discovery engine that helps Pinners find inspirational ideas. Advertisers use Pinterest to connect with Pinners on these journeys to inspiration, and seek to promote products or services efficiently.The Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched the Campaign Budget Optimization product for Pinterest Ads.Campaign Budget Optimization, or CBO, is an automated ads product that benefits advertisers by dis…

Ambud Sharma, Tech Lead and Engineering Manager | Logging PlatformThe Logging Platform powers all data ingestion and transportation at Pinterest. At the heart of the Pinterest Logging Platform are Distributed PubSub systems that help our customers transport / buffer data and consume asynchronously.In this blog we introduce MemQ (pronounced mem — queue), an efficient, scalable PubSub system developed for the cloud at Pinterest that has been powering Near Real-Time data transportation use cases for us since mid-2020 and complements Kafka while being up to 90% more cost efficient.HistoryFor nearly a decade, Pinterest has relied on Apache Kafka as the sole PubSub system. As Pinterest grew, so d…

Nikil Pancha | Software Engineer; Andrew Zhai | Software Engineer; Chuck Rosenberg | Head of Advanced Technologies Group; and Jure Leskovec | Chief Scientist, Advanced Technologies GroupPinterest surfaces billions of ideas to people every day, and the neural modeling of embeddings for content, users, and search queries are key in the constant improvement of these machine learning-powered recommendations. Good embeddings — representations of discrete entities as vectors of numbers — enable fast candidate generation and are strong signals to models that classify, retrieve and rank relevant content.We began our representation learning workstream with Visual Embeddings, a convolutional neural n…

Yongjun Zhang | Software Engineer; Ang Zhang | Engineering Manager; Shaowen Wang | Software Engineer, Batch Processing Platform TeamPinterest’s Batch Processing Platform, Monarch, runs most of the batch processing workflows of the company. At the scale shown in Table 1, it is important to manage the platform resources to provide quality of service (QoS) while achieving cost efficiency. This article shares how we do that and future work.Table 1: Scale of Monarch Batch Processing PlatformIntroduction of MonarchFigure 1 shows what Pinterest’s data system looks like at a high level. When users are using Pinterest applications on their mobile or desktop devices, they generate various logs that a…

Cathy Yang | Ingeniera de software, confianza y seguridadThis article was originally posted in English; read the English version here.En Pinterest, una de nuestras mayores prioridades es mantener la seguridad de los usuarios, esto incluye protegerlos del spam. El objetivo del equipo de Confianza y seguridad no es solo detectar el spam, sino eliminarlo lo más rápido posible para minimizar el impacto en los usuarios.El objetivo de los spammers es ganar dinero, y la mejor manera de hacerlo es enviar spam a gran escala. Es un juego de números: un millón de correos electrónicos de spam son mucho más efectivos que solo uno. Con el fin de eliminar el spam de manera rápida, analizamos las tendencia…

Sreshta Vijayaraghavan | Tech Lead, Ads Indexing PlatformThe Pinterest Ad Business has grown multi-fold in the past couple years, with respect to both advertisers and users. As we scale our revenue, it becomes imperative to:Distribute advertiser spend smoothly over the course of the dayAvoid over-spending beyond the advertiser’s daily / lifetime budgetMaximize advertiser valueBackgroundTo meet these goals, we maintain 3 real-time streaming services with low latency and high uptime requirements. Here’s an overview of how they work together:Fig. 1. Simplified overview of the Ad systems interaction. The Ads Server retrieves ads and sends insertion / billable events to the Spend Aggregator, whi…

Fanshu Jiang & Lu Niu | Software Engineers, Stream Processing Platform TeamAt Pinterest, stream data processing powers a wide range of real-time use cases. In recent years, the platform powered by Flink has proven to be of great value to the business by providing near real-time content activation and metrics reporting, with the potential to unlock more use cases in the future. However, to take advantage of that potential, we needed to address the issue of developer velocity.It can take weeks to go from writing the first line of code to a stable data flow in production. Troubleshooting and tuning Flink jobs can be particularly time-consuming, due to the number of logs and metrics to investig…

Dafang He | Software Engineer, Home Candidate Generation; Andrew Liu | Software Engineer, Home Candidate Generation; Jay Adams | Software Engineer, InspireIntroPinterest is a place where users (Pinners) can save and discover content from both web and mobile platforms, and where increasingly Creators can publish native content right to Pinterest. We hold billions of content (Pins) in our corpus and serve personalized recommendations that inspire Pinners to create a life they love. One of the key and most complicated surfaces for Pinterest is the home feed, where Pinners will see personalized feeds based on their engagement and interests. In this blog, we will discuss how we unify our light-w…

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamThis is a three-part blog series. Click to read part 1 and part 2.In this blog post series, we are going to discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the third of the blog post series, and will discuss learnings on optimizing Druid for real-time use cases.Learnings on Optimizing Druid for Real Time Use CasesWhen we first brought Druid to Pinterest, it was mainly used to serve queries for batch ingested data. Over time, we have been shifting to a real-time based reporting system to make metrics ready for query within minutes o…

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamThis series is three parts. To read part 1, click here. Part 3 coming soon.In this blog post series, we’ll discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the second of the blog post series, and will discuss learnings on optimizing Druid for batch use cases.Learnings on Optimizing Druid for Batch Use CasesSystem VisibilityDuring the process of onboarding different use cases, we found many critical system metrics were missing in Druid. In response, we added metrics on usage of processing threads, merge buffers, rows in memory, etc.,…

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamIn this blog post series, we’ll discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the first of the blog post series with a short history on switching to Druid, system architecture with Druid, and learnings on optimizing host types for Mmap.A Short History on Switching to DruidHistorically, most of the analytical use cases in Pinterest were powered by Hbase, which was then a well-supported, key value store in the company. All the reporting metrics were precomputed in an hourly or daily batch job, transformed into a key value data mode…

Ryan Cooke | Mánager de ingenieríaThis article was originally posted in English; read the English version here.Pinterest, como muchas empresas de tecnología, depende en gran medida de los datos para orientar la toma de decisiones e impulsar el aprendizaje automático. Esta estrategia depende fundamentalmente de que los datos sean precisos. A lo largo de los años, trabajamos para mejorar los procesos por los cuales corroboramos que podemos confiar en los datos clave para tomar decisiones y asegurarnos de que las métricas sean precisas.Cómo puede haber errores en los datosPara aquellos que no están familiarizados con las métricas, este puede parecer un problema extraño. Algo como el número de …

Bhalchandra Pandit | Software EngineerOverviewWe describe a novel approach we took to improving S3 read throughput and how we used it to improve the efficiency of our production jobs. The results have been very encouraging. A standalone benchmark showed a 12x improvement in S3 read throughput (from 21 MB/s to 269 MB/s). Increased throughput allowed our production jobs to finish sooner. As a result, we saw 22% reduction in vcore-hours, 23% reduction in memory-hours, and similar reduction in run time of a typical production job. Although we are happy with the results, we are exploring additional enhancements in the future. They are briefly described at the end of this blog.MotivationWe proces…

Nishant Roy | Tech Lead, Ads Serving PlatformIn May 2020, Pinterest launched a partnership with Shopify that allowed merchants to easily upload their catalogs to the Pinterest platform and create Product Pins and shopping ads. This vastly increased the number of shopping ads in our corpus available for our recommendation engine to choose from, when serving an ad on Pinterest. In order to continue to support this rapid growth, we leveraged a key-value (KV) store and some memory optimizations in Go to scale the size of our ad corpus by 60x. We had three main goals:Simplify scaling our ads business without a linear increase in infrastructure costsImprove system performanceMinimize maintenance …

Cathy Yang | Software Engineer, Trust & SafetyOne of our biggest priorities at Pinterest is keeping Pinners safe, and that includes protecting them from spam. The Trust & Safety team’s goal is not only to catch spam, but to remove it as quickly as possible to minimize Pinner impact.The goal of spammers is to make money, and the best way to do this is to spam at scale. It’s a numbers game: one million spam emails are much more effective than one spam email. In order to remove spam quickly, we look at common trends in spam attacks to identify suspect behavior.To achieve the scale required to be effective, spammers must automate their actions, and each of these “attacks” can be thought of as a…

Training AI models at a large scale isn’t easy. Aside from the need for large amounts of computing power and resources, there is also considerable engineering complexity behind training very large models. At Facebook AI Research (FAIR) Engineering, we have been working on building tools and infrastructure to make training large AI models easier. Our [...]

Read More...

The post Fully Sharded Data Parallel: faster AI training with fewer GPUs appeared first on Facebook Engineering.

We will be hosting a talk about our work on, “A Platform Agnostic Observability System for AI Accelerators” during our virtual Systems @Scale event at 10:20 a.m. PT on Wednesday, June 30, followed by a live Q&A session. Please submit any questions to systemsatscale@fb.com before the event. Accelerators are special-purpose hardware devices optimized for specific [...]

Read More...

The post Asicmon: A platform agnostic observability system for AI accelerators appeared first on Facebook Engineering.

People upload hundreds of millions of videos to Facebook every day. Making sure every video is delivered at the best quality — with the highest resolution and as little buffering as possible — means optimizing not only when and how our video codecs compress and decompress videos for viewing, but also which codecs are used [...]

Read More...

The post How Facebook encodes your videos appeared first on Facebook Engineering.

Uber’s backend is an exemplar of microservice architecture. Each microservice is a small, individually deployable program performing a specific business logic (operation). The microservice architecture is a type of distributed computing system, which is suitable for independent deployments and scaling …

The post CRISP: Critical Path Analysis for Microservice Architectures appeared first on Uber Engineering Blog.

Introduction

Each day, Uber moves millions of people around the world and delivers tens of millions of food and grocery orders. This generates a large number of financial transactions that need to be stored with provable completeness, consistency, and compliance. …

The post How Uber Migrated Financial Data from DynamoDB to Docstore appeared first on Uber Engineering Blog.

Background

Apache Kafka® is widely used across Uber’s multiple business lines. Take the example of an Uber ride: When a user opens up the Uber app, demand and supply data are aggregated in Kafka queues to serve fare calculations. …

The post Introducing uGroup: Uber’s Consumer Management Framework appeared first on Uber Engineering Blog.

Scaling our data infrastructure with lower hardware costs while maintaining high performance and service reliability has been no easy feat. To accommodate the exponential growth in both Data Storage and Analytics Compute at Uber, the Data Infrastructure team massively overhauled …

The post Improving HDFS I/O Utilization for Efficiency appeared first on Uber Engineering Blog.

Introduction

The Fulfillment Platform is a foundational Uber domain that enables the rapid scaling of new verticals. The platform handles billions of database transactions each day, ranging from user actions (e.g., a driver starting a trip) and system actions …

The post Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner appeared first on Uber Engineering Blog.

Uber recently launched a new capability: Ads on UberEats. With this new ability came new challenges that needed to be solved at Uber, such as systems for ad auctions, bidding, attribution, reporting, and more. This article focuses on how we …

The post Real-Time Exactly-Once Ad Event Processing with Apache Flink, Kafka, and Pinot appeared first on Uber Engineering Blog.

At Uber, real-time mobile analytics events—generated by button taps, page views, and more—form the backbone of the mobile data workflow process.

To process these events, our Mobile Data Platform Team designed and developed the Fontana library, which converts the nearly-one-million-QPS …

The post YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process appeared first on Uber Engineering Blog.

Problem

Uber deploys a few storage technologies to store business data based on their application model. One such technology is called Schemaless, which enables the modeling of related entries in one single row of multiple columns, as well as …

The post Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System appeared first on Uber Engineering Blog.

Introduction

Uber’s GSS (Global Scaled Solutions) team runs scaled programs for diverse products and businesses, including but not limited to Eats, Rides, and Freight. The team transforms Uber’s ideas into agile, global solutions by designing and implementing scalable solutions. One …

The post Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework appeared first on Uber Engineering Blog.

Uber has one of the largest deployments of Apache Kafka in the world, processing trillions of messages and multiple petabytes of data per day. As Figure 1 shows, today we position Apache Kafka as a cornerstone of our technology stack. …

The post Enabling Seamless Kafka Async Queuing with Consumer Proxy appeared first on Uber Engineering Blog.

Introduction

Data is crucial for our products. Data analytics help us provide a frictionless experience to the people that use our services. It also enables our engineers, product managers, data analysts, and data scientists to make informed decisions. The impact …

The post How Data Shapes the Uber Rider App appeared first on Uber Engineering Blog.

Background

Drivers within the same area may have quite different earnings, depending on the trips they take. For example, consider two hypothetical drivers in downtown San Francisco. Two riders request two rides: one is within downtown San Francisco, and the …

The post Powering the Network Pricing Model with Near Real-Time Features appeared first on Uber Engineering Blog.

Introduction

Our engineers have the responsibility of ensuring a consistent and positive experience for our riders, drivers, eaters, and delivery/restaurant partners.

Ensuring such an experience requires reliable systems: our apps have to work when anyone needs them. A major component …

The post Eats Safety Team On-Call Overview appeared first on Uber Engineering Blog.

Introduction Content quality is critical to the support experienced by Uber’s customers. Consider an Eater who reached out for help to cancel a very delayed order. The same resolution, such as refunding the charge, can be delivered alongside a robotic-sounding …

The post Unifying Support Content to Enable More Empathetic and Personalized Customer Support Experiences appeared first on Uber Engineering Blog.

With Uber’s business growth and the fast adoption of big data and AI, Big Data scaled to become our most costly infrastructure platform. To reduce operational expenses, we developed a holistic framework with 3 pillars: platform efficiency, supply, and demand …

The post Efficiently Managing the Supply and Demand on Uber’s Big Data Platform appeared first on Uber Engineering Blog.

At Spotify, data rules all. We log a variety of data, from listening history, to results of A/B testing, to page load times so we can analyze and improve the Spotify service. We instrument and log data across every surface that is running Spotify code through a system called the Event Delivery Infrastructure (EDI). Throughout [...]

TL;DR Remember what life was like before smartphones? Remember manually having to sync your computer’s playlists with your iPod every time you added a few songs? One of Spotify’s core products, our mobile app, was designed specifically to leave all of that busywork in the past, changing how we travel with our music forever. In [...]

What’s the best way to assess your developers’ experience and performance to discover what they need help with? Is it by measuring something arbitrary, like how many lines of code they’ve written or how many commits they’ve made? Nope. How much useful data are you really getting out of those numbers anyway? Instead, it’s more [...]

We’ve just open sourced Pedalboard, Spotify’s framework for adding effects to audio in Python. Pedalboard makes it easy to use studio-quality audio effects in your code, rather than just in your digital audio workstation (DAW). If you ask any music or podcast producer where they spend most of their time, chances are they’ll say their [...]

TL;DR Over the years, Spotify’s brand has expanded to encompass a number of products, from mobile apps to web players to car things. But sitting at the core is our flagship product, the one that started it all: the desktop app. In the first episode of our podcast series, “Spotify: A Product Story”, host and [...]

8:30am I’m at my best after nine hours’ sleep, so I tend to wake up pretty late, shower and dress as though I’m going into the office. Although I’ve been in Stockholm a while now, I’m still not a fan of the Swedish breakfast of bread and cheese or salami – give me Nutella on toast [...]

Team purpose and pride — my team hit those high marks, but it was a long journey to get there from where we started. At Spotify, we strive for “aligned autonomy” among our teams. Meaning: we align on what it is we set out to do, but preserve flexibility to choose how we’ll achieve those [...]

TLDR; In episode 08 of our podcast series “Spotify: A Product Story”, we share stories and lessons from building and open sourcing Backstage, our homegrown developer portal. Hear why a developer-friendly, market-based platform like Backstage could only have been developed at Spotify (where autonomy is prized, not top-down mandates) and why that ends up making [...]

There is no excerpt because this is a protected post.

When a design system first starts out, the promise of visual consistency glows bright — the ideal product would have only one set of buttons, a unified typography scale, and elements that look the same no matter which designer made the design or which developer programmed them to be real and deployed. As the product [...]

Nour is a Security Engineer at Spotify New York – juggling her busy day job with completing her Masters in Cyber Security and looking after her 10-month-old daughter, Leya.

Search @ Spotify Search is a well-established functionality across different industries, devices, and applications. When users come to any kind of search, they already have something in mind, whether they come looking for one thing in particular or are open to becoming inspired. Spotify Search is no exception, helping a vast majority of users find joy [...]

For the past couple of years, we’ve been on a mission to modernize our Spotify clients by creating one single desktop UI for both the Desktop application and the Web Player. We couldn’t build everything we wanted to for our users with our old setup, so we decided to do something about it. In the [...]

5:00 am My days begin with an early morning wake-up call from Zev – he comes through at around 5am and we get a couple of dedicated hours of playtime before the rest of the world gets up. It’s fun – this morning, we baked oatmeal cookies. Then once my wife and I are ready, we [...]

At Ripple, we are moving towards building complex business models out of raw data. To do this successfully, we need to automate our historically manual processes. Even with a digital-first approach, many of our internal processes were done by hand, making them great candidates to be automated.

As the Ripple Data Engineering team expanded it needed to programmatically enforce software engineering best practices. The team created a CI/CD pipeline that automatically validates and tests new features for data applications in Google Cloud Platform (GCP).

Snowflake is the data backbone for thousands of businesses, enabling data access and governance needed to deliver value. Interactive use cases in some data applications and embedded analytics, however, pose a particular challenge. Traditionally, you needed an additional caching layer to provide the required speed and throughput these solutions require—which also increased costs and architectural […]

The post More Throughput and Faster Execution for Interactive Use Cases: Now in Public Preview appeared first on Snowflake.

When we founded Snowflake, we set out to build an innovative platform. We had the opportunity to take into account what had worked well and what hadn’t in prior architectures and implementations. We saw how we could leverage the cloud to rethink the limits of what was possible. We also focused on ease of use […]

The post Industry Benchmarks and Competing with Integrity appeared first on Snowflake.

At Snowflake, we are on a mission to help customers unleash their data. Our view on the ecosystem is that Snowflake provides the cross-cloud data infrastructure and technology that our partners can stand upon to deliver advanced solutions that empower business users. Take the media and advertising industry, for example. In order to improve advertising […]

The post Snowflake Ventures Invests in Habu to Modernize Data Collaboration for Advertising Solutions in the Data Cloud appeared first on Snowflake.

Marketing leaders often hold partners at an arm’s length. They think the complexity and hassle of creating close business relationships with partners will outweigh the value gained. But by treating partner marketing as a secondary program, marketing organizations are missing out on an invaluable opportunity. Companies with mature partner programs grow revenue almost twice as […]

The post Four Rules to Make Partners Your Marketing Differentiator appeared first on Snowflake.

Snowflake was architected with cross-cloud security built into its core, providing multiple layers of robust protection from network access, to authentication and access control, to data protection using encryption (for more details on Snowflake security, check out the on-demand session from Snowflake Summit). For the most-regulated customers around the world, enabling private connectivity is a […]

The post Snowflake Announces Support for Google Cloud Private Service Connect appeared first on Snowflake.

Did you know that Snowflake has three new advanced role-based certifications to help you stand out in the data community as a Snowflake expert? The Snowflake Advanced Certification Series offers role-based certifications designed for Snowflake practitioners who have at least two years of Snowflake experience. When you successfully pass an exam, you will receive a […]

The post Snowflake Advanced Certifications: Level Up to SnowPro Advanced and Show Off Your Snowflake Expertise appeared first on Snowflake.

It’s time we expect more from these providers. While today’s applications help automate business processes and address pain points at the department level, they don’t reflect the mind-blowing opportunities that now exist with data. How SaaS Providers Should Deliver the Highest Value to Customers The primary role of my sales team starts with helping organizations […]

The post What Today’s SaaS Providers Should Deliver to Your Organization appeared first on Snowflake.

In June, we announced that Java functions and the Snowpark API were available for preview in AWS. Today, we’re announcing a few additions to that preview: We’re expanding both where Snowpark is available as well as what you can do with it. New Cloud Providers At Snowflake, we aim to provide the same, great support […]

The post Bringing More to the Table: Azure and UDTF Support with Snowpark appeared first on Snowflake.

Snowflake’s newly announced Media Data Cloud unites Snowflake’s powerful data sharing technology, the highest standards of privacy and governance, Snowflake- and partner-delivered solutions, and industry-specific data sets to help marketers, publishers, and advertising technology businesses succeed in the rapidly changing media and entertainment industry. The Snowflake Media Data Cloud is the first collaborative network of […]

The post The Snowflake Media Data Cloud Enables Disney Advertising Sales’ Innovative Clean Room Data Solution appeared first on Snowflake.

Support for unstructured data is now in public preview! That’s one of many of the exciting announcements made in September, in addition to a new serverless tasks feature, expanded public cloud regions, enhanced business continuity capabilities, and several new providers on Snowflake Data Marketplace. CORE PLATFORM Support for Unstructured Data Snowflake support for unstructured data, […]

The post New Snowflake Features Released in September 2021 appeared first on Snowflake.

Organizations are more often running data and applications on multiple clouds, and that’s great. However, multi-cloud isn’t enough. To let loose the true power of data on your business, you must be cross-cloud. Cross-cloud means data moves easily between multiple public clouds without any additional work. It means never worrying about where your data and […]

The post Don’t settle for multi-cloud. Aspire to cross-cloud. appeared first on Snowflake.

A SaaS revenue model describes the framework for how a software provider will generate income. Pricing and billing for your products within this model is a simple concept: It’s what customers are willing to pay for a product or service. However, determining the right pricing structure for your SaaS solution may not feel quite as […]

The post Key Pricing Considerations for Building and Delivering SaaS Solutions appeared first on Snowflake.

On October 31, the NFL’s Jacksonville Jaguars will play a road game at Seattle, roughly 3,000 miles away from their home stadium. Those keenly following the game’s results will include not only Jaguar and Seahawk fans, but also a third group that may not be fans of either: Fantasy football enthusiasts have drafted Jacksonville rookie […]

The post Fantasy Football: A Game of Data appeared first on Snowflake.

Global healthcare company Roche is a great believer in data sharing and decentralization whenever those approaches empower its employees. Omar Khawaja, Global Head of Business Intelligence at Roche Diagnostics, joined us on the latest episode of Rise of the Data Cloud to discuss those topics and share his view on emerging data and analytics trends. […]

The post How Roche Diagnostics Uses the Data Cloud to Empower Its Data Lifecycle Teams appeared first on Snowflake.

Natural disaster. Errant code. Regional downtime. In the event of such disruptions, it can be crucial to have a secondary region for recovery to ensure business continuity and data durability. Snowflake Database Replication enables customers to replicate databases and keep them synchronized across multiple accounts in different regions and for different cloud providers. Customers can […]

The post Choosing Primary and Secondary Regions in Snowflake for Business Continuity appeared first on Snowflake.

Challenges and Opportunities Data Presents to AI

The post The Rise of Unstructured Data appeared first on Cloudera Blog.

How to use machine learning to avoid bad candy hot spots and maximize supply and demand imbalances

The post The Ultimate Map to finding Halloween candy surplus appeared first on Cloudera Blog.

Airflow has been adopted by many Cloudera Data Platform (CDP) customers in the public cloud as the next generation orchestration service to setup and operationalize complex data pipelines. Today, customers have deployed 100s of Airflow DAGs in production performing various data transformation and preparation tasks, with differing levels of complexity. This combined with Cloudera […]

The post Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering appeared first on Cloudera Blog.

Modak, a leading provider of modern data engineering solutions, is now a certified solution partner with Cloudera. Customers can now seamlessly automate migration to Cloudera’s Hybrid Data Platform — Cloudera Data Platform (CDP) to dynamically auto-scale cloud services with Cloudera Data Engineering (CDE) integration with Modak Nabu™. Modak’s Nabu™is a born in the […]

The post Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak NabuTM appeared first on Cloudera Blog.

If your organization is using multi-tenant big data clusters (and everyone should be), do you know the usage and cost efficiency of resources in the cluster by tenants? A chargeback or showback model allows IT to determine costs and resource usage by the actual analytic users in the multi-tenant cluster, instead of attributing those to […]

The post Struggling to Manage your Multi-Tenant Environments? Use Chargeback! appeared first on Cloudera Blog.

Many customers looking at modernizing their pipeline orchestration have turned to Apache Airflow, a flexible and scalable workflow manager for data engineers. With 100s of open source operators, Airflow makes it easy to deploy pipelines in the cloud and interact with a multitude of services on premise, in the cloud, and across cloud providers for […]

The post Supercharge your Airflow Pipelines with the Cloudera Provider Package appeared first on Cloudera Blog.

Across the federal government, agencies are struggling to identify, organize, analyze, and act on troves of data. It’s a problem that leaders are working actively to tackle, but they’re in a race against immeasurable volumes of data that is continuously being generated in perpetuity in stores known and unknown. At the Internal Revenue Service, decades’ […]

The post Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers appeared first on Cloudera Blog.

The shift to cloud has been accelerating, and with it, a push to modernize data pipelines that fuel key applications. That is why cloud native solutions which take advantage of the capabilities such as disaggregated storage & compute, elasticity, and containerization are more paramount than ever. At Cloudera, we introduced Cloudera Data Engineering (CDE) as […]

The post Optimizing Cloudera Data Engineering Autoscaling Performance appeared first on Cloudera Blog.

When we announced the GA of Cloudera Data Engineering back in September of last year, a key vision we had was to simplify the automation of data transformation pipelines at scale. By leveraging Spark on Kubernetes as the foundation along with a first class job management API many of our customers have been able to […]

The post Automating Data Pipelines in CDP with CDE Managed Airflow Service appeared first on Cloudera Blog.

After the launch of CDP Data Engineering (CDE) on AWS a few months ago, we are thrilled to announce that CDE, the only cloud-native service purpose built for enterprise data engineers, is now available on Microsoft Azure. CDP Data Engineering offers an all-inclusive toolset that enables data pipeline orchestration, automation, advanced monitoring, visual profiling, and […]

The post Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure appeared first on Cloudera Blog.

Introduction Many Cloudera customers are making the transition from being completely on-prem to cloud by either backing up their data in the cloud, or running multi-functional analytics on CDP Public cloud in AWS or Azure. The Replication Manager service facilitates both disaster recovery and data migration across different environments. Using easy-to-define policies, Replication Manager solves […]

The post Migrate Hive data from CDH to CDP public cloud appeared first on Cloudera Blog.

A sturdy data infrastructure coupled with a proficient workforce are pillars for an organization’s digital transformation efforts. McKinsey lists building capabilities for the workforce of the future as one of five categories of factors improving the chances of a successful digital transformation. Investing the right amount in digital talent and scaling up workforce planning and […]

The post Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore appeared first on Cloudera Blog.

Data pipelines are in high demand in today’s data-driven organizations. As critical elements in supplying trusted, curated, and usable data for end-to-end analytic and machine learning workflows, the role of data pipelines is becoming indispensable. To keep up, data pipelines are being vigorously reshaped with modern tools and techniques. At Cloudera, we recently introduced several […]

The post Modernizing Data Pipelines using Cloudera Data Platform – Part 1 appeared first on Cloudera Blog.

Apache YuniKorn (Incubating) has just released 0.10.0 (release announcement). As part of this release, a new feature called Gang Scheduling has become available. By leveraging the Gang Scheduling feature, Spark jobs scheduling on Kubernetes becomes more efficient. What is Apache YuniKorn (Incubating)? Apache YuniKorn (Incubating) is a new Apache incubator project that offers rich scheduling […]

The post Spark on Kubernetes – Gang Scheduling with YuniKorn appeared first on Cloudera Blog.

Update August 2021: Starting with CDE v1.9, you can now use the python-env resource (Option 2) for all Python packages, including those dependent on C base libraries such as Pandas, Pyarrow, etc. Use custom-runtime-image (Option 3) only for custom libraries & more advanced scenarios. Apache Spark is now widely used in many enterprises for building […]

The post Managing Python dependencies for Spark workloads in Cloudera Data Engineering appeared first on Cloudera Blog.

It’s been almost two years since the COVID-19 pandemic started, and now we have enough information to assume that most enterprises weren’t prepared for the crisis. Although teams had vast amounts of data and powerful analytic tools at their fingertips, the pandemic still caught most organizations off guard. As a result, most enterprise executives had […]

The post How BI Can Help Enterprises Overcome The Effects Of The Pandemic appeared first on SmartData Collective.

Data analytics technology has touched on virtually every element of our lives. More companies are using big data to address some of their biggest concerns. Securing financing is a huge example. Data analytics technology is helping more companies get the financing that they need for a variety of purposes. One of the most important benefits […]

The post Benefits of Using Data Analytics in Equipment Financing appeared first on SmartData Collective.

If you have not lived under a rock for several years, you have undoubtedly heard about artificial intelligence (AI). However, how might artificial intelligence be used in e-commerce operations? Artificial intelligence (AI) is starting to fill every facet of our daily lives. For example, self-checkout cash registers, airport security checks, and other automated processes all […]

The post How to Utilize Artificial Intelligence in Your eCommerce SEO Strategy appeared first on SmartData Collective.

Big data is no longer a luxury for businesses. It is a vital to any company that wants to succeed in all but the least competitive markets. In the information, there are companies with big data strategies and those that fall behind. Big data and business intelligence are essential. However, the success of a big […]

The post Use a Data Strategy to Make Your Startup Profitable appeared first on SmartData Collective.

Artificial intelligence has had a massive influence on the future of the manufacturing sector. Manufacturers spent over $1.1 billion on AI in 2020. That figure is likely to rise much higher in the near future. One of the biggest reasons manufacturers are investing in AI is that it has led to new advances in automation. […]

The post Understanding the Importance of AI in 3D Printing Applications appeared first on SmartData Collective.

Data analytics has become a crucial element of the financial industry. Financial institutions such as mutual funds and insurance companies are using big data to improve their operations. The market for financial analytics services is expected to be worth $14 billion by 2026. However, large financial organizations aren’t the only ones relying on big data […]

The post Beginners Guide to Using Analytics to Invest in Stocks appeared first on SmartData Collective.

Data analytics is becoming a crucial element of many business strategies. They have found that data analytics is a valuable component of marketing campaigns, financial planning objectives, human resource guidelines and much more. We have talked extensively about the types of industries that have been positively impacted by data analytics. Insurance, investing, logistics and digital […]

The post Spotify Musicians Turn to Data Analytics to Boost their Careers appeared first on SmartData Collective.

As a small business owner, you might think that data reporting and analytics don’t matter in your organization. You could be mistaken for thinking there’s too little data to report and analyze and that you can’t possibly have access to the powerful analytics tools that large businesses have. However, if you’re a small business owner […]

The post Benefits Of Using Reporting and Analytics Tools in Small Businesses appeared first on SmartData Collective.

AI has become incredibly important for the retail sector. This is partly because the industry must take measures to avoid collapsing in the wake of new competition from online retailers. It is believed that the retail sector will irreversibly decline in the future. This is primarily due to the growing popularity of e-commerce. In the […]

The post Major Trends Involving Artificial Intelligence in Retail appeared first on SmartData Collective.

Text mining and text analysis are relatively recent additions to the data science world, but they already have an incredible impact on the corporate world. As businesses collect increasing amounts of often unstructured data, these techniques enable them to efficiently turn the information they store into relevant, actionable resources. Text analysis can fulfill multiple roles […]

The post 5 Applications for Corporate Text Analytics appeared first on SmartData Collective.

Artificial intelligence technology is shaking up the way companies operate. More companies than ever are finding clever ways to utilize AI technology to streamline their operations, boost their ROIs and solve common challenges that are facing their industries. One of the best ways to use AI technology to benefit your business is by creating great […]

The post Why Your Business Needs to Utilize AI to Create a Great Mobile App appeared first on SmartData Collective.

Big data technology has been a huge gamechanger in the insurance sector. More insurance are using big data to assist with the underwriting process. They have discovered that data analytics has made the underwriting process a lot easier. They are getting a better understanding of risk and choosing rates for their policyholders. However, insurance companies […]

The post Small Companies Use Analytics to Save Big On Business Insurance appeared first on SmartData Collective.

Data analytics has become a very important aspect of any modern business’s operating strategy. One of the most important ways to utilize big data is with financial management. The financial analytics market is projected to be worth $114 billion within the next two years. This is a testament to the amazing benefits it provides for […]

The post Data Analytics is Crucial for Businesses Preparing for Financial Disasters appeared first on SmartData Collective.

Artificial intelligence is integral to the design process. Many companies are using AI to create powerful logos and better products. Another area where AI can be fundamentally important is in web design. Web developers are using AI technology to optimize the user experience and execute their designs more quickly However, there are some mistakes that […]

The post Common Misconceptions About AI-Driven Website Design appeared first on SmartData Collective.

Analytics technology is incredibly important in almost every facet of business. Virtually every industry has found some ways to utilize analytics technology, but some are relying on it more than others. The e-commerce sector is among those that has relied most heavily on analytics technology. Many e-commerce sites are discovering more innovative ways to apply […]

The post The Importance of Leveraging Analytics in Ecommerce Website Design appeared first on SmartData Collective.

Reading Time: 5 minutes Kubernetes is an orchestrator. Its task is to manage the containerized workload running over its managed environment. Since its an orchestrator, its primary tasks also include scheduling of the pods over the best possible available node that is taken care of by one of the Control Plane’s components – Scheduler. But what if we want to customize the scheduling of pods in our own defined Continue Reading

The post How to Schedule Pods on Nodes in Kubernetes appeared first on Knoldus Blogs.

Reading Time: 4 minutes Python is extensively used for file handling and operations performed in a file. It supports multiple programming paradigms such as: Structured Programming Object-oriented Programming Functional Programming File Handling Python has its own standard library which is very extensive and offers a wide range of functionalities such as I/O handling and standard solutions to many problems that arise during execution. It uses dynamic typing to verify Continue Reading

The post File Handling and Operations in Python appeared first on Knoldus Blogs.

Reading Time: 3 minutes ZFS initially stood for Zettabyte File system. It was developed by Matthew Ahrens and Jeff Bonwick as a part of Sun Microsystems in 2001 but later was placed under a closed license when Oracle Corporation acquired Sun Microsystems Inc. ZFS is well known for its storage pool and the features associated with it. It is a multiprotocol enterprise storage system that is designed to enhance the Continue Reading

The post ZFS Storage pool layout: VDEVs appeared first on Knoldus Blogs.

Reading Time: 2 minutes Bash Array It can be define as the collections of a similar type of elements.In bash, There are no option for multi-dimensional arrays but yes bash provide the support of one-dimensional numerically indexed arrays. Initialization To initialize a array in bash, we use assignment operator (=), by specifying the list of the elements within parentheses and separated by spaces like below: Access Elements echo ${ARRAY_NAME[2]} Continue Reading

The post Bash Array appeared first on Knoldus Blogs.

Reading Time: 4 minutes The Docker Registry is open-source, under the permissive Apache license. Docker Registry is a storage where you can store and distribute the docker images. And why we need Docker Registry explained in below : So let’s say you’re working on your project and you have your own docker images so you want to host your docker images locally for your office work , your organization, Continue Reading

The post Overview of Docker Registry appeared first on Knoldus Blogs.

Reading Time: 4 minutes Deployment in kubernetes is an upgraded and higher version of Replication controller. They manage the deployment of a replica set which is also an upgraded version of the replication controller. Deployment in kubernetes allows you to describe an application life cycle, such as which images to use for the app, the number of pods, and the way in which they should be updated. In kubernetes, Continue Reading

The post What is Deployment in Kubernetes? appeared first on Knoldus Blogs.

Reading Time: 4 minutes The Docker Registry is open-source, under the permissive Apache license. Docker Registry is a storage where you can store and distribute the docker images. And why we need Docker Registry explained in below : So let’s say you’re working on your project and you have your own docker images so you want to host your docker images locally for your office work , your organization, Continue Reading

The post Overview of Docker Registry appeared first on Knoldus Blogs.

Reading Time: < 1 minute Hi readers, in this blog we will discuss about the different ways to add aws credentials (access key and secret key) in a Terraform configuration file. There are many ways to do it. Lets discuss some of them. Add it to your configuration files while defining your variable This would be the most naive way to do it. You will add the values in the Continue Reading

The post Add AWS credentials in Terraform appeared first on Knoldus Blogs.

Reading Time: 3 minutes Bottomline: A data connector is used to copy the data from one(or more) source(s) to the data warehouse (usually a single location where it is easy to perform certain operations) What is data connector? A data connector is the logic that enable developers (or data-science folks) to transfer the data from source (after extracting) to the destination. For example you need to prepare a model Continue Reading

The post All about data connectors appeared first on Knoldus Blogs.

Reading Time: 4 minutes What is Spring Boot Spring Boot is a project which is built on the top of the Spring Framework. it will provide us an easier and faster way to set up likewise configure. Similarly it runs both simple and web-based applications. Spring module provides the RAD (Rapid Application Development) feature.The Spring Framework is used to create a stand-alone Spring-based application.you can just run because it needs minimal Continue Reading

The post Exploring Spring Boot :Beginners Level appeared first on Knoldus Blogs.

Reading Time: 3 minutes In this article, we are going to discuss the Introduction to Hibernate framework. Before proceeding, we need to understand concepts of Core Java, SQL as well as the working of JDBC. Let’s understand Object Relational Mapping(ORM). What is ORM(Object Relational Mapping)? Object-Relational Mapping (ORM) technologies are responsible for saving/reading/editing/deleting the objects from our application to the relational database tables. ORM makes our Java application more flexible Continue Reading

The post Introduction to Hibernate appeared first on Knoldus Blogs.

Reading Time: 2 minutes The Contracts in the sense of Solidity is a collection of code and data. That resides at a specific address on the Ethereum blockchain. Contracts in Solidity are similar to classes in object-oriented languages. They contain persistent data in state variables, and functions that can modify these variables. Creating Contracts Contracts can be create from outside via Ethereum transactions or from within Solidity contracts. Lets Continue Reading

The post Contracts in Ethereum using Solidity appeared first on Knoldus Blogs.

This blog is posted by Ernesto Ramos, a WeCloudData alumni from our full-time Data Science diploma program. Ernesto is a project manager at BeamData, a Toronto-based Data Science consulting company. Prior to joining BeamData, Ernesto worked in R&D at a major pharmaceutical company and completed his MSc in Pharmacology at the University of Toronto. At... View Article

The post A Rewarding Journey From Consulting to Data Science appeared first on WeCloudData.

Jobs in the field of Data Engineering are in great demand. But how do you get a job like this? 1) Set your personal Goals The first thing you have to do is set personal goals. What do you actually want to achieve? Where do you see yourself in the next few years? What exactly do you want to...

You want to become a Data Engineer, but don't know how to set up a data engineering project? I will show you! Do not make this mistake! First of all you should not make the mistake that unfortunately many people make! Often people want to build the whole thing from the beginning. They say:...

What is the difference between data science and data engineering? Data Science

Data Scientists work with the data and are basically doing the analytics part. They take the data and create new insights. They do the analytics for instance by using Machine Learning techniques or do just simple...

When you watch the blueprint I also use in my cookbook you see the different phases: Connect, Processing Framework, Store and Buffer. At the beginning you think about where you validate the data? To make sure that the data is okay and makes sense. Do you validate the data directly on the API -...

I get often asked: What is the best or easiest cloud platform to start with for data engineering? Here are my thoughts on this. A general overview. Market shares Amazon Web Services (AWS) is globally the biggest cloud provider (approx. 50% of the market). This goes for the US and the EU...

In one of my livestreams, a viewer asked me the question: Scala or PySpark? Which one I prefer and why, I'll answer you in this video: https://youtu.be/64iMuH2QLjE Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to...

How to draw architecture diagrams for AWS, Google Cloud and Azure in an easy and time-saving way? Check out this video to find out! The tool is really great! https://youtu.be/hNoVd-XKbmI Let me know in the comments how you think about it! See you later. Andreas Check out our Data...

Jobs as a Junior Data Engineer are in great demand. But what do you really earn as such? Check out this video to find out:https://youtu.be/Yve3Yl37mrE Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing...

You're an aspiring Data Engineer and don't know exactly how to proceed to best acquire all the skills you need? Then be sure to watch this video. There you will get a roadmap on how to proceed: https://youtu.be/LKhdmm4CzbU Let me know in the comments how you think about it! See you...

SQL and Python - two skills everyone talks about. But what other skills should you have as a Data Engineer? Check out this video to find out: https://youtu.be/8f1AL_BW6nQ Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy...

You got a job rejection? No need to worry. You can learn from it! How? I explain it to you in this video: https://youtu.be/Gp9kEG_cuOM Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing of Data Science!

You work as a Data Engineer but your company titles your job differently and doesn't want to give you a Data Engineer title? No need to worry. Chek out this video to see what you should do: https://youtu.be/qmzF2dthv58 Let me know in the comments how you think about it! See you...

How deep do you need to know operating systems for Data Engineering? Watch this video to find out: https://youtu.be/nFzFvyeUY2o Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing of Data Science!

You want to gain knowledge about a platform. But you are not sure which platform to choose? Check out this video, to see what you need to know to make that decision: https://youtu.be/t5a3QvXdav8 Let me know in the comments how you think about it! See you later. Andreas Check out our...

Spark is just great! But what makes it that great and how would i rate it on a scale of 1 to 10? Check out this video to find out: https://youtu.be/b0_4d-8qkoM Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the...

Armadillo is the fully featured audio player library Scribd uses to play and

download all of its audiobooks and podcasts, which is now open

source. It specializes in playing HLS

or MP3 content that is broken down into chapters or tracks. It leverages

Google’s Exoplayer library for its audio engine. Exoplayer wraps a variety of

low level audio and video apis but has few opinions of its own for actually

using audio in an Android app. The leap required from Exoplayer to audio player

is enormous both in terms of the amount of code needed as well as the amount of

domain knowledge required about complex audio related subjects. Armadillo

provides a turn-key solution for powering an audio player an…

Scribd offers a variety of publisher and user-uploaded content to our users and

while the publisher content is rich in metadata, user-uploaded content

typically is not. Documents uploaded by the users have varied subjects and

content types which can make it challenging to link them together. One way to

connect content can be through a taxonomy - an important type of structured

information widely used in various domains. In this series, we have already

shared how we identify document

types and extract information

from documents, this post

will discuss how insights from data were used to help build the taxonomy and

our approach to assign categories to the user-uploaded documents.

Building the…

Extracting metadata from our documents is an important part of our discovery

and recommendation pipeline, but discerning useful and relevant details

from text-heavy user-uploaded documents can be challenging. This is

part 2 in a series of blog posts describing a multi-component machine learning

system the Applied Research team built to extract metadata from our documents in order to enrich downstream discovery models. In this post, we present the challenges and

limitations the team faced when building information extraction NLP models for Scribd’s text-heavy documents and how they were solved.

As mentioned in part 1, we now have a way of identifying text-heavy documents. Having done that, w…

Delta Lake is integral to our data platform which is why we have invested

heavily in delta-rs to support our

non-JVM Delta Lake needs. This year I had the opportunity to share the progress

of delta-rs at Data and AI Summit. Delta-rs was originally started by my colleague QP just over a year ago and it has now grown to now a multi-company project with numerous contributors, and downstream projects such as kafka-delta-ingest.

In the session embedded below, I introduce the delta-rs project which is

helping bring the power of Delta Lake outside of the Spark ecosystem. By

providing a foundational Delta Lake library in Rust, delta-rs can enable native

bindings in Python, Ruby, Golang, and more.We…

User-uploaded documents have been a core component of Scribd’s business from

the very beginning, understanding what is actually in the document corpus

unlocks exciting new opportunities for discovery and recommendation.

With Scribd anybody can upload and share

documents, analogous to YouTube and videos. Over

the years, our document corpus has become larger and more diverse which has

made understanding it an ever-increasing challenge.

Over the past year one of the missions of the Applied Research team has been to

extract key document metadata to enrich

downstream discovery systems. Our approach combines semantic understanding with

user behaviour in a multi-component machine learning system.

…

The long term success of our data platform relies on putting tools into the

hands of developers and data scientists to “choose their own adventure”. A big

part of that story has been Databricks which we

recently integrated with Terraform to make it easy to

scale a top-notch developer experience. At the 2021 Data and AI Summit, Core

Platform infrastructure engineer Hamilton

Hord and Databricks engineer Serge

Smertin presented on the Databricks terraform provider

and how it’s been used by Scribd.

In the session embedded below, they share the details on the Databricks (Labs)

Terraform

integration

and how it can automate literally every aspect required for a production-grade

platform: data secu…

Streaming data from Apache Kafka into Delta Lake is an integral part of

Scribd’s data platform, but has been challenging to manage and

scale. We use Spark Structured Streaming jobs to read data from

Kafka topics and write that data into Delta Lake tables. This approach gets the job

done but in production our experience has convinced us that a different

approach is necessary to efficiently bring data from Kafka to Delta Lake. To

serve this need, we created

kafka-delta-ingest.

The user requirements are likely relatable to a lot of folks: My application emits data into Kafka that I want to analyze later.

I want my Kafka data to land in the data warehouse and be queryable pretty soon after inge…

Scribd stores billions of records in Delta Lake but writing

or reading that data had been constrained to a single tech stack, all of that

changed with the creation of delta-rs.

Historically using Delta Lake required applications to be implemented with or

accompanied by Apache Spark. Many of our batch

and streaming data processing applications are all Spark-based, but that’s not

everything that exists! In mid-2020 it became clear that Delta Lake would be a

powerful tool in areas adjacent to the domain that Spark occupies. From my

perspective, I figured that would soon need to bring data into and out of Delta

Lake in dozens of different ways. Some discussions and prototyping led to the

creati…

Transitioning from a more traditional database operation (read ACID, RDBMS blah blah) background to a newer data platform is always interesting. As it constantly challenges all yours year old wisdom and kind of forces you to adapt to newer way of getting things done.

At Scribd we have made

Delta Lake a cornerstone of our data platform. All data in

Delta Lake is stored in Apache Parquet format enabling Delta Lake to leverage

the efficient compression and encoding schemes that are native to Parquet. The

Delta Lake transaction log (also known as the DeltaLog) is an ordered record of

every transaction that has ever been performed on a Delta Lake table since its

inception. So a particular datase…

At Scribd we use Airflow as a scheduler for most of our batch workloads, this blog is not about Airflow so we are not getting into why Airflow. This is about one of the biggest challenge that we faced while using Airflow and finally conquer. That is how to do authentication and authorisation for Airflow. Of course Airflow does support LDAP and at Scribd we started using LDAP with Airflow initially, but as the organisation grow and more and more user started using Airflow, it became imperative that we integrate Airflow with our SSO provider that is Okta.

Sadly there is a lack of resources on how to implement airflow with Okta specifically. This write up will describe the journey of integrati…

Building recommendations systems like those implemented at large companies like Facebook and Pinterest can be accomplished using off the shelf tools like Elasticsearch. Many modern recommendation systems implement embedding-based retrieval, a technique that uses embeddings to represent documents, and then converts the recommendations retrieval problem into a similarity search problem in the embedding space. This post details our approach to “embedding-based retrieval” with Elasticsearch.

Context

Recommendations plays an integral part in helping users discover content that delights them on the Scribd platform, which hosts millions of premium ebooks, audiobooks, etc along with over a hundred …

Before the COVID-19 pandemic, the amount of data being produced — and collected — on a daily basis was growing at an accelerated rate. This led to an increase in demand for data scientists all around the world. With the increase in demand came the need for specialized course offerings that could teach the right […]

The post How to Use Dataquest to Achieve Your Learning Goals appeared first on Dataquest.

It's no secret that data professionals spend a lot of time studying theory and later practicing what they learned on their own. Because of the nature of the job, being able to demonstrate your ability to solve problems is crucial when hunting for a data science job. Data science competitions are one of the best […]

The post Data Science Competitions You Should Participate In appeared first on Dataquest.

For many up-and-coming data professionals, landing your first “real” data science job can feel like a bit of a “Catch 22.” You can’t get hired without a certain amount of professional data science experience, but you can’t get the experience without getting hired. While it may seem unreasonable for employers to expect you to have a […]

The post How to Get Real-World Data Science Experience appeared first on Dataquest.

Enter your text hereData science jobs are abundant, and the numbers are growing. Despite the influx in demand, some data professionals are still struggling to find a job. If you’ve filled out numerous job applications you feel you’re easily qualified for, only to be rejected, you’re certainly not alone. In this article, we’ll go over some […]

The post 17 Reasons Why You’re Getting Rejected for Data Science Jobs appeared first on Dataquest.

Careers in data science are some of the most sought-after in the world and that trend shows no signs of stopping. With the widespread use of AI, IoT devices, and streaming and real-time communication services, it’s no surprise many people are pursuing careers in data. In fact, data scientist is the second best job in […]

The post Discovering Your Data Science Career in 2021 appeared first on Dataquest.

We're excited to kick off the 30 Day Dataquest Challenge! Here’s why:Building learning habits is crucial to your data career, but it can be difficult to get into a new habit. Maybe you’ve tried building before, but, time and time again, you fall off. Something comes up. What starts off exciting becomes too difficult. Before […]

The post 30-Day Data Science Challenge appeared first on Dataquest.

Everyone’s journey to become a data scientist is different, and the learning curve will vary depending on many factors, including time availability, prior knowledge, the tools you use, etc. One learner shares his story about how he became a data scientist in 6 months with Dataquest. Here’s how his journey began:As the title suggests, this […]

The post How I Learned Data Science in 6 Months appeared first on Dataquest.

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

The post Data Analyst Skills – 8 Skills You Need to Get a Job appeared first on Dataquest.

In the fast-growing field of data, the "big three" job roles are data engineer, data analyst, and data scientist. Figure out which is the best fit for you.

The post Data Engineer, Data Analyst, Data Scientist — What’s the Difference? appeared first on Dataquest.

No matter what industry you're in, you need data skills to future-proof your career. You might be thinking: Vik is the CEO of a company that teaches data science - of course he'd say that! But stick with me for a few more paragraphs, I'll walk you through how data was key to all of the […]

The post You Need Data Skills to Future-Proof Your Career appeared first on Dataquest.

If you’re interested in becoming a data analyst, or even just interested in adding some data skills to your resume, you’ve probably wondered: do I need some kind of data analytics certification?Finding the real answer to this question is tricky. There are a million data analytics certificate programs out there, and they all have a […]

The post Data Analytics Certification: Do You Need a Certificate to Get a Job as a Data Analyst? appeared first on Dataquest.

With AWS re:Invent just around the corner, we at the Amazon QuickSight team have put together this post to provide you with a handy list of all the key updates this year. We’ve broken this post into three key sections: insights for every user, embedded analytics with QuickSight, scaling and governance. Insights for every user […]

GIGO (garbage in, garbage out) is a concept common to computer science and mathematics: the quality of the output is determined by the quality of the input. In modern data architecture, you bring data from different data sources, which creates challenges around volume, velocity, and veracity. You might write unit tests for applications, but it’s […]

Amazon Database Migration Accelerator (Amazon DMA) helps you accelerate migrations to AWS Databases and Analytics services. Amazon DMA is comprised of migration domain experts including engineers, who can assist you with your migration strategy and planning to deploying your applications and databases to a production environment. Amazon DMA helps build a strong foundation for AWS Databases […]

MySQL 8.0 has introduced TempTable as the new, default internal temporary table storage engine to speed up query processing. The MySQL query optimizer creates temporary tables internally to store intermediate datasets while processing complex queries. In AWS, you can deploy MySQL 8.0 using Amazon Relational Database Service (Amazon RDS) for MySQL, a managed service for […]

Customers have asked for a way to interact with graph datasets in Amazon Neptune using business intelligence (BI) tools such as Amazon QuickSight. Although some BI tools offer generic HTTP connectors that allow you to define a set of REST API calls to extract data from REST endpoints, you have to predefine either Gremlin or […]

Many of our customers running SQL Server on Amazon Elastic Compute Cloud (Amazon EC2) instances want to capture specific events (systems and user-defined) for monitoring and troubleshooting issues with SQL Server. SQL Server logs these events in its error logs and agent logs. A deadlock is an event that can be captured in SQL Server […]

Amazon QuickSight allows data owners and authors to create and model their data in QuickSight using datasets, which contain logical and semantic information about the data. Datasets can be created from a single or multiple data sources, and can be shared across the organization with strong controls around data access (object/row/column level security) and metadata […]

Amazon QuickSight is a fully-managed, cloud-native business intelligence (BI) service that makes it easy to connect to your data, create interactive dashboards, and share these with tens of thousands of users, either directly within a QuickSight application, or embedded in web apps and portals. QuickSight Enterprise Edition now supports 1-click embedding, a feature that allows […]

Amazon QuickSight is a fully-managed, cloud-native business intelligence (BI) service that makes it easy to connect to your data, create interactive dashboards, and share these with tens of thousands of users, either directly within QuickSight application, or embedded in web apps and portals. QuickSight Enterprise Edition now supports the ability to send custom branded email […]

Machine learning operations (MLOps) are key to effectively transition from an experimentation phase to production. The practice provides you the ability to create a repeatable mechanism to build, train, deploy, and manage machine learning models. To quickly adopt MLOps, you often require capabilities that use your existing toolsets and expertise. Projects in Amazon SageMaker give […]

Amazon RDS Multi-AZ deployments are ideal for production database workloads. When you have Multi-AZ deployment, Amazon Relational Database Service (Amazon RDS) provisions one primary and one standby DB instance with synchronous physical replication of Amazon Elastic Block Store (Amazon EBS) storage for high availability and failover without data loss. However, you can’t read from the […]

In October 2020, we announced Redis 6 compatibility for Amazon ElastiCache for Redis. This update included significant features like role-based access control (RBAC), client-side caching, and several operational improvements designed to improve application availability and reliability. Specifically, Amazon ElastiCache improved replication under low memory conditions, especially for workloads with medium and large-sized keys, by reducing […]

This is a guest post by Lucas Baker, Andrea Duque, and Viet Yen Nguyen of Hypefactors. At Hypefactors, we build tech for media intelligence and reputation management. The solution is a software as a service (SaaS) product that does large-scale media monitoring of social media, news sites, TV, radio, and reviews across the world. The […]

This post was co-written with Kevin O’Brien, Senior Data Scientist in Careem’s Integrity Team. Dubai-based Careem became the Middle East’s first unicorn when it was acquired by Uber for $3.1 billion in 2019. A pioneer of the region’s ride-hailing economy, Careem is now expanding its services to include mass transportation, delivery, and payments as an […]

Amazon ElastiCache for Redis provides a convenient way to manage Redis at scale. You can use it for a variety of workloads, ranging from caching, session stores, real-time analytics, gaming leaderboards, and messaging. We’re always looking for ways to increase price/performance for our customers. Some examples include releasing enhanced I/O handling, which increased the throughput […]

Data driven organizations recognize the intrinsic value of data and realize that monetizing data is not just about selling data to subscribers. They understand the indirect economic impact of data and the value that good data brings to the organization. They must democratize data and make it available for business decision makers to realize its […]

Amazon OpenSearch Service (successor to Amazon Elasticsearch Service) enables organizations to perform interactive log analytics, real-time application monitoring, website search, and more. OpenSearch is an open-source, distributed search and analytics suite derived from Elasticsearch. Amazon OpenSearch Service offers the latest versions of OpenSearch, support for 19 versions of Elasticsearch (1.5 to 7.10 versions), and visualization […]

Amazon Redshift, a fast, fully managed, widely used cloud data warehouse, natively integrates with Amazon SageMaker for machine learning (ML). Tens of thousands of customers use Amazon Redshift to process exabytes of data every day to power their analytics workloads. Data analysts and database developers want to use this data to train ML models, which […]

On August 19, 2021, we announced Amazon MemoryDB for Redis, a new Redis-compatible, durable, in-memory database. Since then, we have expanded support to 16 AWS Regions and added support for AWS CloudFormation. With MemoryDB, all your data is stored in memory, enabling you to achieve microsecond read and single-digit millisecond write latency and high throughput. […]

A common use case for Enterprise workloads is to have a reliable and effective disaster recovery (DR) strategy that keeps your database applications in operation with little or no disruption even if an entire Region is unavailable. Amazon Relational Database Service (Amazon RDS) for SQL Server is a fully managed database that makes it easy […]

Ensuring data reliability is one of the key objectives of maintaining data integrity and is crucial for building data trust across an organization. Data reliability means that the data is complete and accurate. It’s the catalyst for delivering trusted data analytics and insights. Incomplete or inaccurate data leads business leaders and data analysts to make […]

Today we announce the general availability of Syne Tune, an open-source Python library for large-scale distributed hyperparameter and neural architecture optimization. It provides implementations of several state-of-the-art global optimizers, such as Bayesian optimization, Hyperband, and population-based training. Additionally, it supports constrained and multi-objective optimization, and allows you to bring your own global optimization algorithm. With […]

It’s almost here! Only 9 days until AWS re:Invent 2021, and we’re very excited to share some highlights you might enjoy this year. The AI/ML team has been working hard to serve up some amazing content and this year, we have more session types for you to enjoy. Back in person, we now have chalk […]

The AWS AI/ML Community has compiled a series of session guides to AWS re:Invent 2021 to help you get the most out of re:Invent this year. They covered four distinct categories relevant to AI/ML. With a number of our guide authors attending re:Invent virtually, you will find a balance between virtually accessible sessions and sessions […]

AWS Glue DataBrew, a visual data preparation tool, can now identify and handle sensitive data by applying advance transformations like redaction, replacement, encryption, and decryption on your personally identifiable information (PII) data. With exponential growth of data, companies are handling huge volumes and a wide variety of data coming into their platform, including PII data. […]

AWS re:Invent is a learning conference hosted by Amazon Web Services for the global cloud computing community. We are super excited to join you at the 10th annual re:Invent to share the latest from AWS leaders and discover more ways to learn and build. Let’s celebrate this milestone, which will be offered in person in […]

AWS re:Invent is a learning conference hosted by Amazon Web Services (AWS) for the global cloud computing community. We’re super excited to join you at the 10th annual re:Invent to share the latest from AWS leaders and discover more ways to learn and build. Let’s celebrate this milestone, which will be offered in person in […]

Amazon QuickSight now supports personalization of email reports by user, which allows you to send customized snapshots of data in either PDF or image formats. This allows you to create a single dashboard that you can configure to load with different defaults for each user, providing a customized view of the dashboard in both email […]

Apache Airflow or Apache Beam? Or both, working together? Let's have a closer look at two popular data management open source tools.

How to use catchup, backfill, and cleared task instances in Airflow.

Learn how Datasembly went from using native Airflow to cooperating with Astronomer.

Learn how Hightouch drives action in marketing & sales teams with Reverse ETL, SQL, and Apache Airflow

Learn what is the process of building a ML pipeline, what are the steps, and how to do it with Airflow and Astronomer.

Find out what is reverse ETL and how to use Census and Airflow together to improve data orchestration.

A conversation with the BBC's Principal Data Engineer about how Apache Airflow helps them deliver personalized experiences to the audience.

Everything you need to know about scheduling your Airflow DAGs.

It's here! Discover the major Airflow 2.2.0 features including customisable timetables, deferrable tasks, Airflow standalone and many more.

Is Big Data Architecture the answer to major business problems, or just a crucial piece of a bigger puzzle? Discover our insights on the topic in this short blog post!

Learn what are the challenges of the banking industry today, and how Apache Airflow can help with digital transformation.

Overview and comparison study of two popular ETL tools for managing the golden asset of most organisations: data. Can these two be compared at all?

Overview and comparison study of two popular ETL tools for managing the golden asset of most organisations: data. Can these two be compared at all?

A talk with Alexandra Abbas—a Machine Learning Engineer at Wise—about how they leverage Apache Airflow in their ML initiatives.

Breaking down what a modern data stack means in practice. We discuss four core components, five reasons to set it up, and how to orchestrate it.

Dec 6-10, 2021: Coalesce is back with 85 speakers, 65+ sessions, and a little razzle-dazzle. Targeting 4 time zones (EST, PST, GMT, and AEDT)—there are plenty of opportunities to join us live. Find out what’s new, what’s staying the same, and how to prepare.

Exciting developments in our partnership with Snowflake.

Your code doesn't have to do the same thing everywhere it runs. Separate code from configuration - and set config based on context.

Where to begin when migrating legacy SQL transformation code to dbt? In a new (free!) on-demand course, analytics engineers from dbt Labs unpack the refactoring process they've employed across dozens of projects.

Choosing between Continuous Delivery and Continuous Deployment based on business needs

It's finally (almost) here. The best way to get ready is by upgrading *now* to the latest & greatest that dbt Core has to offer

We are cancelling in-person events for the remainder of 2021. We know these are disappointing news but remain confident that it's the right decision for safely engaging with our dbt Community.

With the DAG-in-the-IDE (now available to all dbt Cloud users), analytics engineers can seamlessly navigate the core structure of their dbt project with low friction and low cognitive load, making the entire development process more intuitive, pleasant, and efficient.

The data world needs more purple people — generalists who can navigate both the business context and the modern data stack. Let's put aside skillset dichotomies, and learn to feel comfortable in the space between.

Give your business teams access to transformed data in the tools they use every day. Hightouch now integrates with dbt to help you bring “Reverse ETL” to your stack.

Over the past few months, the dbt Labs’ recruiting team has partnered with leaders from our Engineering and Analytics Engineering organizations to design the Foundry Program. This program will provide a gateway for those that are new to the field or looking to make a career change.

Or: why we raised a series C.

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

You can now set up Fivetran data pipelines via Databricks Partner Connect. Here’s how to do it.

A recent survey from Wakefield Research finds that when enterprises build their own data pipelines, decision-making and revenue suffer.

Oakland, Calif., November 17, 2021 — Fivetran, the leading automated data integration provider, today announced it ranks 122 on the Deloitte Technology Fast 500™, a ranking of the 500 fastest-growing technology, media, telecommunications, life sciences, fintech, and energy tech companies in North America, now in its 27th year. Fivetran grew 1,668.93% during this period."We are honored to be recognized by Deloitte in the Technology Fast 500 list for the second year running,” said George Fraser, CEO of Fivetran. “With our recent Series D funding and acquisition of HVR, we look forward to expanding our business and product offerings to a wider array of customers and continuing our mission to m…

Follow these tips to ensure that your database schema delivers maximum utility for data warehouse users, data analysts, and data scientists.

A good database schema is indispensable for making data warehouses work. Get it wrong, and you’ll be in a world of hurt.

When Fivetranners are moved to give back — to their own communities or the global community — Fivetran helps increase their impact.

The publisher of Vogue, Vanity Fair, GQ and The New Yorker connects and monetizes trillions of data points

A leading researcher explains how emotion, intuition and storytelling can be more powerful than data.

The Business Spend Management company uses Fivetran’s data integration solution to better understand customer behavior on its SaaS platform

Our priority is improving the experience of every customer — without compromising the features you rely on.

Understand the impact of data transfer and egress costs across Microsoft Azure, Amazon Web Services and Google Cloud Platform.

The Looker API allows you to programmatically manage your Looker environment. Learn how to do it here!

A new employee resource group helps parents and guardians feel comfortable asking for what they need.

What is marketing analytics? Learn why it’s important to measure and optimize your marketing activities, and how to get started.

Ray is an open-source project first developed at RISELab that makes it simple to scale any compute-intensive Python workload. With a rich set of libraries and integrations built on a flexible distributed execution framework, Ray brings new use cases and simplifies the development of custom distributed Python functions that would normally be complicated to create....

The post Ray on Databricks appeared first on Databricks.

Genomic technologies are driving the creation of new therapeutics, from RNA vaccines to gene editing and diagnostics. Progress in these areas motivated us to build Glow, an open-source toolkit for genomics machine learning and data analytics. The toolkit is natively built on Apache Spark™, the leading engine for big data processing, enabling population-scale genomics. The...

The post Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools appeared first on Databricks.

acc + value) as sum FROM ( SELECT order_number, clicked_items:[*][1] as all_click_counts, from_json(clicked_items:[*][1], 'ARRAY')::ARRAY as all_click_count_array FROM autoloaderBronzeTable ) Unfortunately, not all data comes to us in a usable structure. For example, the column clicked_items is a confusing array of arrays in which the count comes in as a string. Below is a snippet of...

The post 10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse appeared first on Databricks.

This is a guest authored post by Stephanie Mak, Senior Data Engineer, formerly at Intelematics. This blog post offers my experience of contributing to the open source community with Bricklayer, which I’d started during my time at Intelematics. Bricklayer is a utility for data engineers whose job is to farm jobs, build map layers...

The post Turning 2 Trillion Data Points of Traffic Intelligence into Critical Business Insights appeared first on Databricks.

The Oakland Athletics baseball team in 2002 used data analysis and quantitative modeling to identify undervalued players and create a competitive lineup on a limited budget. The book Moneyball, written by Michael Lewis, highlighted the A’s ‘02 season and gave an inside glimpse into how unique the team’s strategic data modeling was, for its time....

The post Moneyball 2.0: Real-time Decision Making With MLB’s Statcast Data appeared first on Databricks.

Sentiment analysis is commonly used to analyze the sentiment present within a body of text, which could range from a review, an email or a tweet. Deep learning-based techniques are one of the most popular ways to perform such an analysis. However, these techniques tend to be very computationally intensive and often require the use...

The post GPU-accelerated Sentiment Analysis Using Pytorch and Huggingface on Databricks appeared first on Databricks.

We are excited to announce the availability of Apache Spark™ 3.2 on Databricks as part of Databricks Runtime 10.0. We want to thank the Apache Spark community for their valuable contributions to the Spark 3.2 release. The number of monthly maven downloads of Spark has rapidly increased to 20 million. The year-over-year growth rate represents...

The post Introducing Apache Spark™ 3.2 appeared first on Databricks.

This post is the third in a series on Bayesian inference ([1], [2] ). Here we will illustrate how to use managed MLflow on Databricks to perform and track Bayesian experiments using the Python package PyMC3. This results in systematic and reproducible experimentation ML pipelines that can be shared across data science teams due to...

The post MLflow for Bayesian Experiment Tracking appeared first on Databricks.

When working with cyber security data, one thing is for sure: there is no shortage of available data sources. If anything, there are too many data sources with overlapping data. Your traditional SIEM (security information and event management) tool is not really fit to handle the complex transformation and stitching of multiple data sources in...

The post Creating an IP Lookup Table of Activities in a SIEM Architecture appeared first on Databricks.

Runbot is a bespoke continuous integration (CI) solution developed specifically for Databricks’ needs. Originally developed in 2019, Runbot incrementally replaces our aging Jenkins infrastructure with something more performant, scalable, and user friendly for both users and maintainers of the service. This blog post will explore the motivations behind developing Runbot, the core design decisions that...

The post Developing Databricks’ Runbot CI Solution appeared first on Databricks.

Apache Spark™ Structured Streaming allowed users to do aggregations on windows over event-time. Before Apache Spark 3.2™, Spark supported tumbling windows and sliding windows. In the upcoming Apache Spark 3.2, we add “session windows” as new supported types of windows, which works for both streaming and batch queries What is a “session window”? Tumbling...

The post Native Support of Session Window in Spark Structured Streaming appeared first on Databricks.

This is a collaborative post by Ordnance Survey, Microsoft and Databricks. We thank Charis Doidge, Senior Data Engineer, and Steve Kingston, Senior Data Scientist, Ordnance Survey, and Linda Sheard, Cloud Solution Architect for Advanced Analytics and AI at Microsoft, for their contributions. This blog presents a collaboration between Ordnance Survey (OS), Databricks and Microsoft...

The post Efficient Point in Polygon Joins via PySpark and BNG Geospatial Indexing appeared first on Databricks.

We’re thrilled to announce the pandas API as part of the upcoming Apache Spark™ 3.2 release. pandas is a powerful, flexible library and has grown rapidly to become one of the standard data science libraries. Now pandas users can leverage the pandas API on their existing Spark clusters. A few years ago, we launched Koalas,...

The post Pandas API on Upcoming Apache Spark™ 3.2 appeared first on Databricks.

At Databricks, we want the Lakehouse ecosystem widely accessible to all data practitioners, and R is a great interface language for this purpose because of its rich ecosystem of open source packages and broad use as a computing language for many non-computing scientific disciplines. The product team at Databricks actively engages with R users to...

The post Shiny and Environments for R Notebooks appeared first on Databricks.

This is a collaborative post from Databricks and Elsevier. We thank Darin McBeath, Director Disruptive Technologies — Elsevier, for his contributions. As a global leader in information and analytics, Elsevier helps researchers and healthcare professionals advance science and improve health outcomes for the benefit of society. It has supported the work of its research...

The post Catalog and Discover Your Databricks Notebooks Faster appeared first on Databricks.

Hi all, I have an interview coming up for an entry-level (I think it's entry-level, they never specified) data engineer position. I am brushing up on some conceptual stuff, mostly Hadoop and NoSQL. This is my first interview for a data engineer position and I was wondering if I should also brush up on some leetcode or if it will likely be conceptual. Please let me know what you think. submitted by /u/tombradyisthegoat1q [link] [comments]

If you all need some simple stats here are the go-to. Hope it helps. This was presented to graduate students in the Faculty of Forestry at the University of Toronto. https://www.youtube.com/watch?v=GDrEwz8r8Xc First, a general introduction to probability, assumptions of inference, and hypothesis testing. The second requirement is to perform the analyses, including managing the data using some statistical software. At the vanguard of such software is the R statistical software https://www.r-project.org/;​ and its integrative environment Rstudio https://www.rstudio.com/​. Few programs constitute the virtues of open-sources highly integrated and powerful programs as the R statistical software …

Sorry for the click-bait-y title. Given: a columnar storage system, like an OLAP database like Snowflake. Or even a columnar storage format like parquet. If you had a column that had time as a text string, e.g. "11:30", would it improve database normalization to split that into one field with "11", one with ":", and the last with "30"? My thought is that the number of unique values you need to store in the original case is 720, assuming a 12-hr format, and 1440 assuming a 24-hr format. For the latter case, even though you would have more column objects, the number of unique values you have to carry is 73 , assuming a 12-hr format and 85, assuming a 24-hr format. Wouldn't that compress bette…

Hey guys, I'm currently a data analyst at a small company in the southeast region. Most of my work is done in excel or writing basic select statements to pull data. Sometimes I will dig through existing sql queries and edit the queries to get the data I need. That being said, I am looking for a higher salary and more interesting work. I would like to transition to data engineering but don't really know where to start. I have seen some roadmaps but don't know how I could really fit those in with my current state of knowledge. I know basic sql (T-SQL in SQL server) and I know VERY basic python. Do you guys recommend taking a Udacity course on data engineering or something similar? I like havi…

I recently received a junior DE offer for 85k for remote work. I am graduating this year and this would be my first full time job. Is this a fair salary? What would be a good counter offer to make? submitted by /u/SatRipper [link] [comments]

Hey all - I have an internal interview coming up for a Data Engineer job - I’m currently a data analyst in the same division etc. We’re pretty immature data-wise e.g. have external consultants doing our data warehousing & modelling etc. whilst our own BI Devs / Engineers are learning from them. These guys were just the traditional SQL gurus who’ve been put into the team. Don’t use Python or APIs or anything like that Just wondering what tips would you guys have for the interview? Some things/concepts that might help me stand out. Appreciate any help at all! submitted by /u/Scandalous_Andalous [link] [comments]

I have a lot of experience with on-premise Oracle databases in a (mainly legacy) enterprise environment, and I am wondering how much Oracle you guys are exposed to in your daily work? Or has everyone moved to something like Snowflake or Postgres? submitted by /u/ora_600 [link] [comments]

Currently, I am a computer technologies student and I want to develop a career in data engineering. I started my journey with Lenovo and this week, I have encountered 3 blue screen errors and I am scared of getting things worse. I wanted to upgrade my laptop to mac but the currency difference between TL and USD hit me hard. Thus I am looking for entry-level MacBook air for myself but I am curious whether 8 gb ram is enough or not. Should I buy 16 gb? Maybe I can try learning photoshop, movie and premiere for the freelance job but this is just an idea. And this must last longer because it is so hard to buy a new computer in my country, so I want to use the laptop that I want to buy. Thanks f…

Reading up on Normalization vs Denormalization it keeps coming up that Normalizing your data reduces redundancy and increases performance. The reduces redundancy I understand, but the example in my mind is a web log and I don't see how Normalizing this data would increase performance. You may get location, IP Address, Date and Time, Page Requested, OS and Browser information from a weblog. If you Normalize this data you might make a Date Table, a Time Table, a Browser Table, and an OS Table. If you made these separate tables and made them foreign keys in the fact table (web log table) wouldn't that significantly SLOW down the performance of writing the data? You would need to parse the log,…

How often do you need to combine/merge heterogenous data fetched from REST API or loaded from files with the data retrieved from databases? What do you use for it? What are the challenges? View Poll submitted by /u/Greg_Z_ [link] [comments]

I know this roadmap https://www.reddit.com/r/TheInsaneApp/comments/pjt1le/data_engineering_roadmap/?utm_medium=android_app&utm_source=share It is just massive and I can't hope to do all of that in 1-2 years (I have a full time job too). It looks like a multi year experience check list. Can anyone share a shorter curated roadmap for getting into the field? submitted by /u/intexAqua [link] [comments]

Hello folks, I know this might not be the most appropriate sub for this discussion but no harm in trying, right? We have a timeseries based ML solution that helps with anomaly detection and finding the root cause for this anomaly. How it currently operates is, if I see an anomaly in a metric (if the actual is far from prediction), we try to examine the associated dimensions and associate the anomaly to its root cause accordingly. For example, considering Covid related deaths across the US, if our model senses an anomaly (steep rise/fall), we try to break down the available data by state and see which state is responsible for such a steep change. In this example, there is only one dimension …

What is NLP? How do we perform NLP? Just started with the SpaCy package? Here is a complete guide on performing NLP and its associated concepts.Photo by Glen Carrie on UnsplashCOVID-19 has affected the lives of many through losing beloved ones, being laid-off from jobs, and social distancing from the world. However, during the digital era, people did not stop sharing their thoughts, comments, or feelings with the world — they did it through the power of social media.In this article, we will go through the main concepts of NLP project, including the data selection, exploratory data analysis, NLP preprocessing, NLP models (statistical/neural language models), and metrics selection. The datase…

Benchmark tests and other considerations to help you decide between the latest and greatest Apple laptopsContinue reading on Towards Data Science »

Display Extra Information on your Plotly Express Scatter PlotsContinue reading on Towards Data Science »

Presenting 5 solutions that you can use to counteract overfitting in tabular data and classical machine learningContinue reading on Towards Data Science »

Some cold knowledge about Python you need to knowContinue reading on Towards Data Science »

Supercharge your programs with two highly useful toolsContinue reading on Towards Data Science »

The technical and non-technical lessons I’ve learnedContinue reading on Towards Data Science »

Do you ever ask yourself why your machine learning model isn’t used?Continue reading on Towards Data Science »

From Sensory Substitution to Decision Transformers, Persistent Evolution Strategies and Sharpness-Aware MinimizationContinue reading on Towards Data Science »

A detailed explanation of how Label Spreading algorithm works with Python exampleContinue reading on Towards Data Science »

Markov Decision Process (MDP) and finding a holistic policy in the development of autonomous drivingContinue reading on Towards Data Science »

Photo of Max Fischer from PexelsGoal: This article gives an introduction to vectors, vector operations and their applications in the field of data scienceWhy you should learn it: It is the basis for almost all machine learning techniques to learn from data whether it is predicting, classification or clusteringTable of Contents:What is a vector?Vector additionScalar-vector multiplicationDot productLinear CombinationsWhat is a vector?A vector is an ordered finite list of numbers. They are most often written like this:Vectors can be written in brackets or parenthesisThe elements of a vector are the values within that vector. The python equivalent are numpy arrays. The size (or length) of the v…

How a mixture of two powerful random processes can be used to model time series dataA Poisson Hidden Markov Model uses a mixture of two random processes, a Poisson process and a discrete Markov process, to represent counts based time series data.Counts based time series data contain only whole numbered values such as 0, 1,2,3 etc. Examples of such data are the daily number of hits on an eCommerce website, the number of bars of soap purchased each day at a department store and so on.Such data cannot be adequately represented using models such as the Linear model or the ARIMA model because in those models, the dependent variable (y) is assumed to be real valued with both positive and negative…

Make more use of Pandas.Continue reading on Towards Data Science »

Powerful R libraries built by the World’s Biggest Tech CompaniesContinue reading on Towards Data Science »

When it comes to ensuring your data team is happy and productive, answering these seven questions will make all the difference.

Monte Carlo’s field-level lineage functionality is now offered as part of our automated, end-to-end data observability platform.

How the data team at The Farmer's Dog, a fresh dog food company, achieves reliable data pipelines with automated, end-to-end data observability.

Monte Carlo Insights is the first solution on the market to offer customers operational analytics about their data environment.

Five reasons why you should attend IMPACT, the world's first Data Observability summit on Wednesday, November 3, 2021.

Best practices for building a data team at a hypergrowth startup, from hiring your first data engineer to IPO.

Mammad Zadeh, former VP of Engineering at Intuit, shares his take on one of data's hottest topics: data mesh.

What is data observability and does it make sense for your stack? Here’s your go-to guide to starting on the path towards data trust.

A conversation with Maxime Beauchemin, creator of Apache Airflow and Apache Superset, on the state of data engineering in 2021.

In O'Reilly's latest, we share why and how teams can tackle data quality at scale by leveraging best practices and technologies used by some of the world’s most innovative companies.

Available today, Data Quality Fundamental's press release chapters dive into how some of the best teams are architecting for data observability.

Considering joining a data startup? Learn how and why Ryan Kearns turned his Monte Carlo internship into a job.

Monte Carlo releases Monitors as Code. Allowing data engineers to easily configure new data quality monitors as part of their daily workflow.

When it comes to achieving data trust, Monte Carlo, the leading data observability platform, and dbt, the data build tool, are better together.

Five common data observability use cases and how they can help your team improve data quality at scale and trust your data faster.

Также решил сделать скидку в 35% на курс Apache Airflow 2.0: практический курс.Промокод BLACKFRIDAY, действует до 28.11

Всем привет! 🫂Сегодня, в последнюю пятницу ноября, я решил сделать большие скидки на своей учебной платформе:— Введение в Data Engineering: дата-пайплайны, по промокоду BLACKFRIDAY скидка 50%, 345 RUB— Анализ медицинских изображений в Python по промокоду BLACKFRIDAY скидка 50%, 250 RUBПромокод необходимо вводить в момент оформления заказа.Всем приятной учебы и выходных!

Redshift диалект для SQLAlchemy: https://aws.amazon.com/ru/blogs/big-data/use-the-amazon-redshift-sqlalchemy-dialect-to-interact-with-amazon-redshift/

Хотел порекомендовать вам канал Олега (@oleg_agapov) — Папка "Избранное" https://t.me/folder_favorites, сам также подписан на него.Олег работает BI-инженером, делится опытом и знаниями. Я как то уже писал про его труд https://github.com/oleg-agapov/data-engineering-book, это бесплатная книга (ещё в процессе написания) про дата инжиниринг.

Учебник по машинному обучению от Школы Анализа Данных, Яндекс: https://ml-handbook.ru/

Про интеграцию Prefect и dbt: https://medium.com/the-prefect-blog/orchestrating-elt-with-prefect-and-dbt-a-flow-of-flows-part-1-aac77126473

Вебинар про Data Quality в Airflow: https://www.youtube.com/watch?v=6ib2gH4A0rI

Фейсбук (а ныне Мета) провели интересный саммит на тему Data Observability, так и называется Data Observability Learning Summit 2021. Доклады уже доступны в сети без регистрации и смс: https://www.facebook.com/watch/9445547199/490224945331402Список отдельных докладов: - Data Quality at Uber- Data and ML observability in the public cloud- Data observability: Through a practitioner's lens- Observability: How to eliminate data downtime and start trusting your data- Defining reliability: SLAs for data platform teams- Multi-dimensional DO for modern data infra: Why today's AI and analytics workloads require E2E DOТема интересная и актуальная, сегодня посмотрю парочку докладов.

Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 деньЕсли вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 человек. В Тинькофф 20 команд работают над 50 проектами, поэтому вы легко найдете интересное направление. Работайте удаленно или в офисе: комфортно пройти онбординг помогут менторы, общие встречи, внутреннее обучение и мероприятия.Все секции пройдут онлайн в Zoom 4 декабря. Вы узнаете о проектах, задачах, условиях работы и сможете задать любые, даже самые каверзные вопросы.Успейте оставить заявку до 1 декабря. Фидбэк об участии пришлют в те…

Нашел новый венчурный фонд, инвестирующий в инженеров-основателей в области данных: аналитика, инфраструктура, AI/DL.Сайт фонда https://www.dcf1.vc/, если у вас есть идея или прототип, то можно попробовать подать заявку на получение инвестиций. Основатель фонда Pete Soderling, он же основатель Data Council. Насколько я понял, сейчас цель фонда это проинвестировать в 1 тысячу инженеров-основателей.

Amazon бесплатно курсы по AWS раздаёт: https://amzn.to/31XqYC8, правда для моей страны нет возможности посмотреть их. Пишет что только Kindle titles могу брать, но возможно для вас ситуация будет другой.

В начале сентября прошел PyCon RU 2021, в сети стали доступны доклады: https://www.youtube.com/user/videoitpeople/videosСреди них есть интересные презентации:— Обработка ошибок в Python— Pattern matching: польза или хайп? — Построение мониторинга python-приложений с использованием opentelemetry— Rефакторинг: Regулярный и ASTообразный

Компания Altinity (та, которая теперь активно развивает ClickHouse) 2 ноября провела конференцию под названием Open Source Analytics Conference, в качестве спикеров были такие звёзды как Maxime Beauchemin, Andy Pavlo, Пётр Зайцев. Доклады уже доступны в сети бесплатно и без смс.Наиболее заметные:— Analytic Trends & Data Engineering— Do We Still Need People To Write Database Systems?— Distributed Tracing Using ClickHouse at eBay— Data Rivers — The New Analytics Architecture— Managing Transactional and Analytical Workloads with Open Source Databases— Effective Dashboard Design Using Apache Superset— Succeeding with Apache Druid and Clickstream Data

Откопал свежее видео про Dagster от его автора на очередном митапе: https://www.youtube.com/watch?v=OYNPa_xxehoУ меня никак руки не дойдут его пощупать, уж больно привлекательно он выглядит. Есть кто уже пробовал его в деле?

Неплохой гайд по подготовке к интервью по SQL с примерами от «Тамби Масаева»: https://www.youtube.com/watch?v=y6CWIBKEw_g

Как я провожу собеседования на позицию дата инженера? Обычно в 3 этапа:Этап 1: behavioral interview основаны на Amazon Leadership PrinciplesПосле Амазона, я стал использовать вопросы из behavioral interview. 3-4 вопроса, которые начинаются с фразы «Расскажи мне ситуацию, когда ты….». Такие вопросы очень хорошо помогают понять контекст, глубину и личностные качества кандидата. Чаще всего все тонут при использовании слова «МЫ» вместо «Я». То есть кандидат в команде, что-то делал, а сам не очень. Примеры вопросов:‍⚓Tell me about the most complex problem you’ve ever worked on (Dive Deep)‍⚓Tell me about a time when you took on something significant outside your area of responsibility, and why wa…

Теперь как пользователь dbt, обязательно послушаю доклады на их конференции https://coalesce.getdbt.com/

Использование Slow Change Dimension Type 1, 2 в dbt.

люблю читать про онлайн обучение. https://vc.ru/marketing/324935-nas-prodolzhayut-obmanyvat-servisy-onlayn-obrazovaniya-na-chernuyu-pyatnicu-v-2021

через 5 мин начинаем:https://youtu.be/CAdkL9vM6Do

25 Ноября в 7 вечера новый крутой вебинар! https://youtu.be/CAdkL9vM6DoНе пропустите!

https://youtu.be/KgdWvtppH50

Термин Data Observability становится все популярней. Data Observability, an organization’s ability to fully understand the health of the data in their system, eliminates data downtime by applying best practices of DevOps Observability to data pipelines. Like its DevOps counterpart, Data Observability uses automated monitoring, alerting, and triaging to identify and evaluate data quality and discoverability issues, leading to healthier pipelines, more productive teams, and happier customers. (Из этой статьи What is Data Observability?)В facebook прошлел Data Observability Learning Summit 2021И совсем недавно увидел продукт Datafold, компания созданная нашими основателями. И недавно они получ…

Бесплатный курс на 10 часов по анализу данных в Python - How to Analyze Data with Python, Pandas & Numpy

🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработчику, аналитику, маркетологу хочется ускорить этот процесс. На проверку каждой гипотезы уходит несколько дней (часто и недель), плюс нужно позаботиться о статзначимости результата.Мы запускаем сервис, который помогает мобильным продуктам автоматизировать этот процесс и проводить A/B-тесты быстрее и дешевле. Для этого мы реализовали алгоритмы автоматического распределения пользователей и оптимизации под выбранную целевую метрику. Помимо прос…

https://youtu.be/LmW4JjR2-_8

Great Expectations это новая популярная библиотека для дата инжиниринга на питоне. Новая статья про использование этой библиотеки вместе с Amazon Redshift.

Планирование работы, фаз проекта, спринта - это очень важная часть командной работы и достижения результата. Мне, как инженеру данных, все эти митинги по планированию, очень не нравятся, как и любые другие митинги с 3+ человека. Но без правильного планирования невозможно сделать проект вовремя. Очень хорошая статья обзор, как разные команды и компании занимаются планированием. What planning is like at…From sprint cadence to success metrics, here’s a snapshot of the planning process at Netflix, Mailchimp, Asana, LaunchDarkly, and more.PS Можно даже сделать перевод - отличная статья на продуктовую тему. Есть желающие?

MPROVE.IOОсновным докладом на Матемаркетинге-2021 от меня стала презентация нового инструмента для self-service аналитики: Mprove.io 🦄Вдохновившись Looker, мы вместе с партнером запустили свежую обновленную версию Mprove — open-source self-service BI. Краткие преимущества:* Язык разметки BlockML вместо сотен однотипных query 🧙* Крутая и мощная визуализация на d3.js ⚡* Система контроля версий Git 🎛️* Self-service для всех и каждого 🦸Недавно мы запустили cloud-версию. Доступ к системе по приглашениям, на сайте можно оставить заявку и обязательно указать LEFTJOIN в качестве референса. Сейчас мы ищем компании, которые хотели бы поучаствовать в пилоте, с настройкой можем помочь. А также ищем pre…

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🗣 Новость для тех, кто устал от уведомленийВ мире социальных сетей, новостных ресурсов и других раздражителей бывает непросто сосредоточиться на важных рабочих задачах или отдыхе. Так называемый “fear of missing out” – FOMO – стали замечать все больше и больше пользователей сети. И вот, американские разработчики создали Pony Messenger (хотя больше похоже, что это Turtle Messenger), который присылает (и отправляет, соответственно) все сообщения только один раз в день в установленное время. 📚 OpenAI теперь действительно открытаOpenAI наконец-то сняла ограничения на доступ к OpenAI API. Теперь любой желающий сможет …

Про МатемаркетингПосле посещения Матемаркетинга я, конечно же, хотел поделиться своими впечатлениями с вами. Во-первых, ММ – это очень масштабно. Когда огромная толпа экспертов и профессионалов собираются на пару дней вместе, это вдохновляет и придает сил для новых свершений.Изначально, я думал дождаться списка докладов, отобрать какие-то интересные и прислать на них ссылки, однако поразмыслив, пришел к умозаключению, что бОльшая часть докладов реально крутая, поэтому смотрите все. Конечно, есть ряд фаворитов (типа доклада Ромы Бунина), но в остальном – хороший качественный контент от профессионалов и экспертов.Однако моя мысль в другом – самый сок конференции все-таки не в самих докладах, …

Ваш новый черный.Product LIVE+BLACK FRIDAY = скидки до 50% на курсы по управлению!Полезно узнать, что число специалистов, которые умеют работать с ИИ-продуктами, не так велико, как хотелось бы корпорациям. А значит, у многих читателей канала появился шанс получить востребованную профессию и (кто знает?) начать работать в зарубежной компании уважаемым спецом.Стать специалистом, который умеет работать с ИИ и получать прибыль от внедрения в бизнес-процессы AI/ML-технологий учат на курсе «Управление AI/ML продуктами» школы Product LIVE.Курс практический, учат 4 месяца.Выпускник курса зарабатывает:— На знании, как работает ИИ и машинное обучение.— На умении собрать команду и выдать четкое ТЗ каж…

Прямо сейчас в открытом потоке идёт доклад Николая Валиотти, основателя Valiotti Analytics. Николай рассказывает о проектировании BI-платформы для специалистов без знания SQL. Смотреть тут: https://matemarketing.ru

☕️Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🗞🌍 The Product Report 2021Опубликован продуктовый отчет 2021 Amplitude, в котором много интересных выводов. Например, данные показывают, что отрасль финтех компаний растет чуть ли не по экспоненте. График роста пользователей финтех-инструментов выглядит как постепенное увеличение финтех-активности с января 2020 года по декабрь 2020 года, но нет. 100%-ный рост всего за год — это отнюдь не постепенно! Мы даже не добрались до конца 2021 года, а количество активных пользователей в финтех-индустрии выросло на 337% по сравнению с исходным уровнем.📝 How I use NotionNotion, бесплатное приложение для управления личными знани…

Мы с командой постоянно читаем много материалов, книг и блогов по аналитике и технологиям. Решили создать отдельную рубрику с дайджестом любопытных новостей за прошлую неделю. Лавируйте вместе с нами на корабле знаний и постарайтесь не расплескать свой утренний кофе ☕️

На данную минуту мы собрали 406 ответов на опрос про онлайн-курсы по аналитике. Большое спасибо всем респондентам, крайне полезная и очень интересная информация собирается.Начинаем анализировать и сводить 🔥🤓Отдельно хочу поблагодарить своих коллег по цеху, авторов телеграмм-каналов за репост и расширение охвата опроса:* Алексей Макаров @datalytx* Стас Валуев @AisForAnalytics* Дима Аношин @rockyourdata* Денис Соловьев @smart_data_channel* Рома Бунин @revealthedata* Андрей Березин @eto_analyticaПоследняя возможность пройти исследование есть на этой неделе.🏁 В пятницу 19го ноября в 23:59 мы перестанем принимать ответы.

Классный курс по визуализации данныхНекоторые курсы хочется рекомендовать бескорыстно, сегодня такой случай. Настя Кузнецова (автор канала “настенька и графики“), уже давненько запустила свой курс по Визуализации данных на Stepik с использованием Tableau. Так как сейчас ни одна вакансия BI-аналитика не обходится без этого инструмента, я очень советую присмотреться к этому курсу. Особенно полезно, что Настя объясняет принципы и основные идеи при работе с датавизом.Я лично поучаствовал в этом курсе и могу смело его рекомендовать за состав, качество контента и отличные примеры. Мне захотелось поделиться с вами своей находкой, но чтобы сделать это приятнее я попросил у Насти промокод для читате…

Что можно делать с помощью Google App Script?В блоге мы часто пишем посты для рубрики «How To», чтобы сделать работу аналитика проще и эффективнее одновременно. Сегодня в посте про Google Sheets мы подробно рассказываем про автоматизацию переноса строк с одного листа на другой и показываем работу этого простого скрипта действии. Переходите в блог, чтобы узнать отличный лайфхак для быстрой работы с Google Sheets.

Матемаркетинг-2021Анонсы к некоторым конференциям хочется делать максимально подробно. Сегодня как раз такой случай: через неделю, 18 ноября, я буду выступать на самой крупной и, с моей точки зрения, самой качественно организованной конференции по аналитике — Матемаркетинг.Для меня большая честь быть частью этого события. Огромное спасибо @a_nikushin и всей его команде за организацию мероприятия!В оффлайне на Матемаркетинге мне хотелось выступить еще в 2019 году, но не сложилось. Поэтому, с учетом COVID-ограничений, я прочитал целых два доклада в 2020 году.Кстати, вот они:1) Облачный datastack2) Сравнение BI-системПериодически мне пишут в личку, что данные доклады оказались полезными, и я о…

Вести с полей ExcelЯ совершенно точно отстал от того как Excel развивается, а и в нем, как выяснилось, есть интересности. В частности, раньше мы повсеместно использовали ВПР и ИНДЕКС(ПОИСКПОЗ), а сейчас доступна функция ПРОСМОТРX 🦸‍♂️, который с легкостью позволяет решить задачу джойна данных в Экселе.

⚡️Масштабное независимое исследование онлайн-курсов по аналитике ⚡️ Мы с моими коллегами из компании твердо решили узнать все-все самое важное об онлайн образовании по теме аналитики и data science. Об онлайн образовании говорят повсеместно, курсы чрезвычайно…

Классный пост про малоизвестные фичи PostgreSQL, особенно понравилось про Match Against Multiple patterns, Get first/last row without sub-queries, сводные таблицы и про OVERLAPS.#ссылка

Вчера к одному из ранее написанных мною постов про Data Project Manager развернулась интереснейшая дискуссия в комментариях. В частности, Александр Писаренко написал несколько крайне полезных с моей точки зрения комментариев, которыми хотел бы поделиться с читателями в канале, поскольку до комментариев к прошлому посту не всегда легко добраться. Кратко процитирую комментарии Александра:Я думаю, что нужно определиться, какая ведущая/основная роль вам нужна: аналитик (постановщик задачи / бизнес-аналитик / product owner / data product owner) или человек для управления работами (scrum master / delivery manager / project manager)? Как правило, эти две роли по определению находятся в конфликте: …

«Родительскому» курсу про SQLite такая популярность и не снилась 🤷

500 учеников на курсе про «окошки»!Зашел сегодня на «Степик» и увидел, что на курс по оконным функциям записались уже 500 человек. Когда его делал, совсем не рассчитывал на такую популярность.Вообще, курс про «окошки» появился как спин-офф моего большого курса «SQLite для аналитики». Там был модуль «оконные функции», и он мне самому так понравился, что на его основе сделал отдельный курс.Судя по всему, получилось неплохо, потому что студентов много и отзывы очень позитивные. Люди находят курс без всякой рекламы. Полностью прошли курс 40% участников — это очень недурно для онлайн-формата. Выпускники пишут, что стали регулярно использовать «окошки» в повседневной работе — лучший результат, чт…

Быстрый поиск похожих строк на SQL(готовое решение)Я что-то закопался с подробной статьей про поиск похожих строк, так что вот пока готовое решение на SQLite.Напомню, что задача в общем виде такая:— Человек ввел произвольное слово.— Мы хотим найти наиболее похожее слово из готового словаря.— И сделать это быстро.Полный перебор по словарю работает хорошо, но медленно.Чтобы сделать быстро, понадобится расширение spellfix.Подключаем расширение:.load ./spellfixСоздаем таблицу для словаря:create virtual table dictionary using spellfix1;Загружаем в нее данные:insert into dictionary(word)select ... from ...;И ищем похожие слова:select wordfrom dictionarywhere word match ?limit 1Например:sqlite> se…

Нечеткое сравнение строк и фонетикаПока готовлю заметку про поиск похожих строк, сделал новое расширение для SQLite. Вот что в нем есть.Сравнение строк по похожести:— Расстояние Левенштейна— Расстояние Дамерау — Левенштейна— Расстояние Хэмминга— Сходство Джаро — Винклера— Оптимальное выравнивание строк— Расстояние SpellcheckФонетические коды:— Soundex— Refined Soundex— SpellcheckИ транслитерация (привет → privet).https://github.com/nalgeon/sqlean/blob/main/docs/fuzzy.md

Вижу подзапрос → меняю на CTEМногие студенты (да и не только студенты) обожают многоуровневые SQL-запросы. Пожалуйста, пожалуйста, пожалуйста, не пишите их. Используйте табличные выражения: https://antonz.ru/cte/

Найти максимально похожую строкуПодписчик задал интересный вопрос:Есть строка в переменной str1.Есть sqlite3 и 600,000 строк внутри.Как найти макимально приближенно похожую строку в базе? Точного сходства с str1 в базе нет!Посмотрим на упрощенном примере. Допустим, у нас есть таблица employees, а в ней столбец name:sqlite> select name from employees;ДарьяБорисЕленаКсенияЛеонидМаринаИванВероникаГригорийАннаХотим найти сотрудника, чье имя больше всего похоже на Вера. Как это сделать?Если бы в SQLite была функция, которая считает похожесть между двумя строками, все было бы просто:select name, similarity(name, 'Вера') as simfrom employeesorder by sim desclimit 1Но такой функции нет. Значит, либ…

Мат. статистика в SQLiteИз коробки SQLite поддерживает только min(), max() и avg(). Но с помощью расширения stats легко посчитать медиану, моду, процентили и стандартное отклонение:select median(num_pages), mode(num_pages), percentile_90(num_pages), percentile_95(num_pages), percentile_99(num_pages), stddev(num_pages)from books;

Табличные выражния 👍Прием №1, чтобы писать хорошие читаемые SQL-запросы — это табличные выражения (CTE). Люди их боятся, а зря.Любой подзапрос:select a, b, cfrom (X)where e = fМеханически превращается в CTE:with cte_name as (X)select a, b, cfrom cte_namewhere e = fВот и вся наука, не надо читать увесистую книгу по SQL или проходить курсы.Существует еще миф, что «CTE медленные», но на современных СУБД это не так. Да и вообще — как с любым утверждением о медленности чего-либо, всегда можно сравнить два варианта (подзапрос и CTE), если сомневаешься.

Написал на хабр, как устроена sqlite-песочница в браузере. Если вы немного знакомы с js, может быть интересно → https://habr.com/ru/post/580240/

🌤️ SQLite-песочница в браузереЧего мне всегда не хватало, так это аналога JSFiddle / CodePen для SQL. Онлайн-песочницы, в которой можно быстро проверить запрос и поделиться с другими.Да, есть SQL Fiddle и DB Fiddle, но оба весьма неудобные, на мой взгляд.Вот чего хотелось:— Возможность загрузить готовую базу, а не писать SQL для создания таблиц.— Подключать как локальные базы, так и удаленные (по url).— Сохранять базу и запросы в облаке.— Бесплатно и без регистрации.— Свежайшая версия SQLite.— Минимализм.В общем, сделал сам:sqlime.org

🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов, а время на понимание. Поэтому давайте решим без олимпиадного ажиотажа, спокойно и по шагам:https://antonz.ru/sql-groups/

Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователей: user_id, attr1, alpha1, beta2, beta2, gamma3, delta3, epsilon4, delta4, zeta5, zeta5, alpha6, iota7, iota7, kappa8, kappa8, lambdaХотим объединить пользователей в группы. При этом действуют правила:— Если пользователи A и B обладают общим свойством → они входят в одну группу.— Если A и B обладают общим свойством P1, B и C обладают общим свойством P2 → A, B, C входят в одну группу.— Идентификатором группы считается минимальный идентифика…

Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скидка 50%.https://stepik.org/z/95367

🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработчику, аналитику, маркетологу хочется ускорить этот процесс. На проверку каждой гипотезы уходит несколько дней (часто и недель), плюс нужно позаботиться о статзначимости результата.Мы запускаем сервис, который помогает мобильным продуктам автоматизировать этот процесс и проводить A/B-тесты быстрее и дешевле. Для этого мы реализовали алгоритмы автоматического распределения пользователей и оптимизации под выбранную целевую метрику. Помимо прос…

Получить оффер и стать аналитиком в Авито за выходные — реально ⚡️Как участвовать:подайте заявку и пройдите тест до 1 декабря;участников с лучшими результатами пригласят на Zoom-интервью, где вы сможете продемонстрировать свои хард-скиллы и узнать больше о команде и задачах;у вас есть все шансы получить оффер за выходные.В Авито вы сможете влиять на продукт и участвовать в развитии сервиса, попасть в сильную команду из 100 аналитиков, а также получить отличные условия для работы и самореализации. Все подробности по ссылке: clc.to/yvDj3Q

По мотивам выступления на Матемаркетинг-2021 Павел Левчук сделал пост, в котором дал введение в Матрицу Вовлеченности. Матрица Вовлеченности это простой и эффективный инструмент для ранжирования ваших фичей по осям: (Х) Популярность фичи и (У) Интенсивность использования.Этот подход позволяет получить быстрое представление о том, где в продукте потенциально создается ценность для клиента.https://ecommerce-in-ukraine.blogspot.com/2021/11/engagement-matrix.html

Как меняется лексика русского языка – исследование Яндекса и Прожито. Можно посмотреть, например, "узодяшие" из лексикона слова: докучный, закаиваться, мазурик.Еще очень хочется написать, что студенты ПАНДАН-а в ЕУ тоже работали с данными прожито по дневникам подростков и обучили языковую модель, способную писать очень похожие тексты (почти не отличить от настоящих). Ребята супер молодцы и шлю им ❤️

Приглашаем на LaTech Data Talks, онлайн-митап для специалистов по работе с данными30 ноября в 19:00 по мскВ программе: • как устроена команда Data & Analytics в Lamoda и с какими вызовами нам приходится справляться;• построение процессов в команде продуктовых аналитиков; • как наш поиск позволяет найти те самые теплые кроссовки мечты.Подробная программа и регистрация по ссылке: https://latech.timepad.ru/event/1818149/

Приглашаем на митап по аналитике от EXPF x Delivery ClubПрограмма:— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito— «Платформа switchback-экспериментов в Ситимобил», Артём Солоухин, Cитимобил— «Как мы ищем точки роста в продукте: пошаговая инструкция», Владимир Абазов, Delivery Club— «Скрытая угроза ранговых критериев», Егор Семин, EXPFКогда: 25 ноября 2021, 18:00—20:00Где: onlineРегистрация и детали: https://expf.ru/expf_dc

Лучшие вопросы средней сложности по SQL на собеседовании аналитика данныхИсточник

Хотите понять, как выбрать метрики для вашего продукта, а на какие показатели не стоит обращать внимания? Приходите на бесплатную лекцию и получите практические советы.Вы узнаете:✔️ На каких метриках важно фокусироваться в новом и зрелом продукте?✔️ Метрики тщеславия: что не приведет вас к успеху?✔️ Параллельные вселенные: метрики для b2b и b2c продуктов✔️ 5 советов по настройке кастомной аналитики в своем продукте🎙 Спикер: Алексей Оровецкий — Product Manager в Unisender. Алексей успел поработать Product Manager во многих сферах. Был руководителем продуктов в таких сферах, как HealthTech, InsuTech, LegalTech и B2C marketplace. 🗓 22 ноября 19:00 - 20:30 (UTC+02)Регистрация: https://bit.ly/30…

В публичном треке смотрите доклад Ромы Бунина из Яндекс Go - Фреймворк развития системы отчётности в крупной компании. Доступ бесплатный - https://matemarketing.ru

Только сегодня досмотрел митап от EXPF и СберМаркет - https://youtu.be/1blbhx9BYxk.Для меня самым интересным был доклад Виталия Черемисина про чувствительность метрик. Виталий очень доступно все разжевал и рассказал о том, как оценивать эту самую чувствительность метрик. Ниже небольшой конспект этой части его выступления.Для того, что оценить чувствительность той или иной метрики, нужно моделировать рост нашей метрики на некоторой выборке и оценивать, при каком условии чувствительность максимальная.1. Нужно взять некоторую группу пользователей, разбить ее на две группы, так чтобы в обеих группах наша метрика была равна.2. Выбрать несколько значений uplift. Шаг может быть разным, исходя из э…

Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 день!Если вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 человек. В Тинькофф 20 команд работают над 50 проектами, поэтому вы легко найдете интересное направление. Работайте удаленно или в офисе: комфортно пройти онбординг помогут менторы, общие встречи, внутреннее обучение и мероприятия.Все секции пройдут онлайн в Zoom 4 декабря. Вы узнаете о проектах, задачах, условиях работы и сможете задать любые, даже самые каверзные вопросы.Успейте оставить заявку до 1 декабря. Фидбэк об участии пришлют в т…

Ну и картинка для привлечения внимания — моё первое публичное выступление на конференции iMetrics-2012. Кажется с тех пор ораторские скиллы прокачал, будет отличная возможность для меня ещё раз в этом убедиться 🙂https://matemarketing.ru/

Вчера я написал про то, что математика как область знаний оказала сильное влияние на мою жизнь: на восприятие своих мыслительных способностей, на восприятие себя как профессионалаЯ много общаюсь с аналитиками: как с джунами, так и с уже крепко стоящими на ногах спецами, так и с теми, кого можно называть экспертами отрасли. И у всех разное отношение к математике в профессии аналитика. Естественно, что это отношение вытекает из множества факторов: какие задачи аналитика решает в компании, уровень аналитической культуры в компании, какие вузы оканчивало большинство сотрудников компании19 ноября на конференции Матемаркетинг я поделюсь результатами своих наблюдений: расскажу как математика помог…

Мы собрали уже 250 ответов на опрос 🔥🔥🔥Большое спасибо всем, кто уже принял участие, вы большие молодцы! Огромная просьба к тем, кто еще планирует пройти — отвечать про один конкретный курс, про который вы хотите рассказать. Мне бы очень хотелось собрать как минимум 500 ответов (а лучше 1000), чтобы выборка респондентов была полноценной, поэтому большая просьба принять участие, если вы обучались на каком-либо платном курсе по аналитике / data science / data engineering и поделиться своими впечатлениями. По планам на результаты: скорее всего, на выходе будет дашборд с ответами в Tableau Public + презентация с выводами, которую можно прочитать. Помимо этого, мы хотим сделать некоторый выпуск,…

В продолжение сообщения про независимое исследование онлайн-курсов по аналитикеЕсли вы где-то учились/учитесь аналитике и ещё не поучаствовали в опросе — самое время

Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил). У него тут прекрасное интервью вышло…

Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил).У него тут прекрасное интервью вышло на тему будущего дата инженеров.Главные моменты - Скорость ETL и аналитики сильно возросла- Единообразие в данных все еще сложно достижимо, но это норм- Управление изменениями все также проблема, но уже есть инструменты - Данные должны быть неизменяемыми, иначе хаос придет- DE роль слишком объемная и начала дробиться на специализации- Операционка все еще доставляет проблем, просто теперь она распределеннаяНагло подсмотрел ссылку на инте…

https://coalesce.getdbt.com/Так, в недавнем докладе на TechTrain я рассказывал про разные пути развития Data Engineer. Так вот, “единорогом” на этом пути считается многорукая шива под названием Analytics Engineer. Это тот, кто вам и данных найдет, и построит пайплайн, положит это все в систему аналитики (которую сам может поднять) и сделает отчет для бизнеса. При этом, он сам пояснит бизнесу, зачем и почему этот отчет им нужен.DBT в декабре проводит бесплатную онлайн конференцию Coalesce - The Analytics Engineering Conference.Кажется, будет интересненько.Регистрация по ссылке выше. Там же и программа конференции, воркшопов и дискуссий.

Только сегодня Astronomer раздаёт бесплатно курсы и сертификации по Airflow - по промокоду airflow-free-certhttps://academy.astronomer.io/page/astronomer-certification

https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.htmlТут Airflow 2.2.0 подвезли.Из заметного:➡️ Custom Timetables (AIP-39)➡️ Deferrable Tasks (AIP-40)➡️ Custom @task decorators and @task.docker➡️ Validation of DAG params➡️ Testing Connections from the UI - test the credentials for your Connection actually work➡️ Duplication Connections from the UI➡️ DAGs “Next run” info is shown in the UI, including when the run will actually start➡️ airflow standalone command runs all of the Airflow components directly without docker - great for local development

Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень больших компаний, и облаков в России немного, а большинство это on-prem компоненты. Тут все очевидно было. Как и с языком программирования: почти половина пишет на Python, 30% на Scala и всего 9% на Java. Тоже предсказуемо.А вот неочевидное:1) Лишь 11% ответивших считают, что самый главный технический навык это ЯП, 36% за SQL и 43% за знание тулинга и фреймворков. Литкоднинужен?😁2) Лишь 30% сразу начали заниматься DE, все остальные - перека…

Итак, осень началась, а значит начался сезон конференций. Вообще, конференции это прекрасный способ узнать что-то новое, но куда важней - это нетворкинг. Да, да, банальные прописные истины! 😁Не отпускать вас на конференцию, потому что вас там переманят - это глупость со стороны работодателя и от такого нужно бежать. Я бы сбежал.Не ходить на конференцию, ибо “я в записи посмотрю” - это упускать возможность узнать из первых уст в кулуарах о состоянии индустрии, и выстроить связи, которые вам помогут в будущем: интересным проектом или вы найдете себе коллегу.Мерч, стикеры, книги - куда ж без этого =)Если что, этой осенью меня можно поймать тут:- 18 сентября, уже завтра, TechTrain https://bit.l…

https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/Паша вновь постарался и собрал для вас новости в DE за прошедший месяц.

Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:DataVault / Anchor Modeling (8 сентября 2021 в 20:00 по мск)Спикер: Николай Голов🔗Ссылка: https://youtu.be/-ZgzpQXsxi0

https://habr.com/ru/company/ods/blog/572264/Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).Интересные цифры и выводы внутри статьи.

Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет без монетизации через рекламу).26 августа в 18:00 компания IT_One вместе с JUG Ru Group проведет онлайн митап по Big Data и Java.В программе:— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных…

Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition

https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/Паша Финкельштейн взял на себя тяжелую ношу, каждый месяц писать новости по дата инженерингу в блог JetBrains. И это кроме DE or DIE дайджеста, который я постил выше.Но это очень хорошая штука, когда все важные события внутри твоей профессиональной области собирают в одно месте. Поэтому милости просим.#Data_Engineering_Annotated

Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард мутаций: хранение и поиск О поиске оптимального способа хранения более миллиарда известных мутаций человека из различных открытых источников и о том, какое место занимает Python в цепочке от сдачи пациентом слюны до выдачи результатов с найденными мутациями.”

Oh yeah, by the way our Tech Stack Viz (no bullshit 😏)

If you are open to new opportunities I suggest you join Wheely– Dream technology stack: Redshift + dbt + Looker– Challenging and demanded tasks– Result-oriented approach– International unicorn-like businessData Insights: Product Analyst & Analytics EngineerMany more in Engineering & DesignPM me for more details

[RU] Полуструктурированные данные в Аналитических ХранилищахВ последние годы явным стал тренд на анализ слабоструктурированных данных – всевозможных событий, логов, API-выгрузок, реплик schemaless баз данных. Но для привычной реляционной модели это требует адаптации ряда новых подходов к работе с данными, о которых я и попробую рассказать сегодня.В публикации:– Преимущества гибкой схемы и semi-structured data– Источники таких данных: Events, Logs, API– Подходы к обработке: Special Data Types, Functions, Data Lakehouse– Принципы оптимизации производительности

✅ A joy for an eye

A nice remark from Dmitry Anoshin @rockyourdataHow one can visualize its own DWH ER (Entity-Relationship) model?I would use these two ways (applicable to my DWH @ Wheely):- DBeaver's feature ER diagram- Looker's LookML DiagramBoth ways require relationships to be modeled in advance i.e. defining FOREIGN KEY / REFERENCES constraints or JOIN conditions.Can anybody suggest more options?

So the process of Amazon Redshift cluster migration is almost completed.New cluster is way more powerful. Now seeking ways to fully utilize its resources 😄I can state that not everything has gone as expected.The most painful parts turned out to be:– Migrating S3 bucket with 1M+ files to a new region (took ~4-5 hours) – really challenging– Not losing data events while switching between clusters– VPC and network issues (connecting from BI tool)– Hotfixing several Python UDFs suddenly not working on a new environmentIn some time I will publish a detailed reflection on this process.

[RU] Вебинар Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + ArraysСлайды вебинара: https://docs.google.com/presentation/d/1dUxzGkBgXAp6s-VrFKT8Qw8UF6eZVQywpeQT4-ZohPM/edit?usp=sharingЗапись вебинара: https://youtu.be/dtu0yeFdxvY?t=276Опрос о вебинаре: https://forms.gle/JPFqoDYhJJjvnMj7A

Начал! Подключайтесь:https://youtu.be/dtu0yeFdxvY

Привет! Сегодня 18 ноября в 15.00 приглашаю на вебинар.Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + Arrays- Источники полуструктурированных данных: Events, Webhooks, Logs- Подходы: JSON functions, special data types, External tables (Lakehouse)- Оптимизация производительностиСмотрим на примерах Amazon Redshift, Clickhouse.Ссылка на регистрацию: https://otus.ru/lessons/dwh/#event-1661Ссылка на youtube-трансляцию будет опубликована здесь за 5 минут до начала.

We are in the middle of migration from Amazon Redshift DC2 nodes (2nd gen) to RA3 nodes (3rd gen) at Wheely.What this means for us:– Almost unlimited Disk Space (RA3 separate compute and storage)– Speeding up Data Marts to 2hrs delay from real-time– Blue/green deploymentsI will follow up as soon as we are finished.Attached simplified checklist plan.Any questions welcomed.

I just tried to upgrade onto 21.10 from 21.08.After 30 minutes this cluster is never coming back.I hope I can create a new one and restore backup onto it.

Who knows what the heck is this?Telegram sold out?

[RU] Строим Data Vault на данных TPC-H – Greenplum + dbtVaultВ публикации:- Готовим датасет TPC-H- Поднимаем кластер Greenplum в Яндекс.Облаке- Погружаемся в кодогенерацию и макросы dbtVault- Cимулируем инкрементальное наполнение Data Vault#dbt #dbtvault

Prior to diving deep into complex analytics modeling topics like Sessionization, Attribution, RFM, one has to understand the motivation behind it. It is the questions that drive business decisions first, then instruments and practices to find reliable answers to these questions. Which questions does your business ask? #analytics #modeling

Metabase + Clickhouse tutorial on Yandex.Cloud1. Spin up a Virtual Machine2. Configure VM: SSH, Docker3. Download Clickhouse plug-in4. Deploy Metabase5. Connect to Clickhouse Playground6. Visualize a questionhttps://gist.github.com/kzzzr/ecec7dca8bb70586a23569993df470e8#bi #clickhouse

Infomate.club/deЗнаете кто такой vas3k? Это который автор культовой околоайтишной рассылки (†) и чьи статьи собирают миллионы просмотров (мой топ — вычислительная фотография и машинное обучение для людей)В обычной жизни Вастрик работает питон-программистом (вроде какое-то время даже работал в той самой Anaconda) и делает всякие штуки. Одна из таких штук — простенькая rss-читалка с web-интерфейсом. Называется Infomate.club Под капотом там простой парсер урлов по крону плюс какая-то питонячья либа, которая пытается выжать основной смысл из большой заметки и уместить его в нескольких предложениях. Иногда глючит, но в целом работает.У меня был какой-то набор ссылок на профильные ресурсы, плюс е…

Интернет — полезная штука, там можно найти всё что угодно.Проблема в том, что это всё похоже на быстро движущийся конвейер: не успеваешь прочитать одну статью, как прилетают ещё три новых. Любой контент утопает в потоке нового.Хочу подсветить пару годных штук на этом бесконечном конвейере (на конфе как раз спрашивали):Как стать Data Engineer от Адиля Хаштамоваhttps://khashtamov.com/ru/data-engineer/Годная заметка с обзором набора технологий и навыков для инженера данных: ⁃ SQL ⁃ Python ⁃ Основы BI ⁃ Облака ⁃ Алгоритмы и структуры данных ⁃ Распределённые системыЕсли достаточно погрузиться в каждую из этих областей, то там уже бац! — и миддл.Видео от проекта DataLearn Дмитрия Аношина и его ко…

Weekend Offer?Вижу стало много появляться таких движух от разных компаний: Яндекс, Авито, Х5. Раз их становится всё больше, кажется, это работает (если только не все не карго-култ-повторюши). Хочу понять, насколько это хорошо работает. Типа сразу за выходные проходишь 2-4 собеса с разными чуваками из компании? И профит в том, процедура не растягивается на недели? (Плюс и выходной ещё — не надо отпрашиваться с текущей работы, хе-хе)Если вы участвовали в подобном, напишите как прошло?Для компании вроде тоже неплохо: сразу собрал всех собеседующих в одном месте и устроил им конвейер собеседований. Загрузил всех однотипной работой — норм батчинг.Вдруг вы проводили такое, расскажите тоже) (А есл…

Конференции — это про людейЗаписавшись на Матемаркетинг, я всё переживал, что это не тру-дата-инженерская конфа. Доклады и темы тут ближе к бизнесу, чем к хардкор-инжинирингу. Но после немного расслабился — всё-таки дело не только в докладах.Доклады всегда можно будет посмотреть в записи. А раз уж собрались такие релевантные и небезразличные люди в одном месте, то надо успеть познакомиться и обсудить у кого что наболело.В общем, пришёл к выводу, что идеальная конфа — это когда ты всё время на ногах и с кем-то общаешься (привет, Маш! Научи меня так :-)Рад был всех увидеть, познакомиться и поболтать! Паша, Лёша, Дима, Маша, Стас, Юля, Наташа, Рома и Маша 👋Было интересно узнать у Николая Валио…

Как в Википедии, ты тыкаешь на одну ссылку почитать, и все, через 3 часа ты читаешь про то, как разводить кабачки в условиях болтной местности.Так и я продолжил читать статьи Maxime Beauchemin и наткнулся на свежую How the Modern Data Stack is Reshaping Data EngineeringВообще, выражение Modern Data Stack это уже баззворд, пихают его везде. Чаще этой фразы я слышу только “Hadoop умер” (нормально он себе живет относительно нишево, ничего он не умер, как и Ruby, не слушайте шарлатанов).Так вот, основные моменты из статьиData infrastructure as a serviceНам пора думать о платформах, потому что без развития платформы, невозможно расти дальше определенного этапа, слишком больно.Data integration se…

Мне близок Сашин взгляд на то, что болит у аналитиков - обобщил бы это как "борьба за качество данных". Я тоже походил по Матемаркетингу, пообщался с людьми, доклады послушал.К перечисленному в посте могу добавить 2 больших блока болей:🔸Демократизация данных и self-service BI. Аналитики все чаще становятся бутылочным горлышком в процессе принятия решений и больше времени тратят в роли интерфейса к базе данных для своих коллег. Решают ее все по-разному, в основном с помощью новых процессов, open-source инструментов или самостоятельной разработки.🔸Работа аналитиков в маркетинге сильно меняется из-за новых privacy-политик от Apple и Google и возможности запрета трекинга. Способы дальше работат…

Что болит Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден. Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё больше:…

ламповые объявления о работе с Матемаркетинга кажется, это не попало в официальные трансляции) выложу сюда часть, чтобы добро не продпало

Документация на данныеПринцип «всё как код» — и таблицы тоже. Частая проблема в документации — её просто нет ¯\_(ツ)_/¯ а если есть, то она устаревшая.Так бывает, когда документация не зависит от текущей реальности: красивые описания живут в модном Ноушене, но DDL в Postgres ничего про это не знает))Что делать? Переселить документацию ближе к реальности. В Яндекс.Такси решили, что все сущности в ДВХ будут описываться в коде — названия, колонки, их тип и комментарии (!). Нельзя просто так поменять атрибут без изменения документации — всё связано.А раз описания уже в коде, это всё версионируется через гит с указанием ответственных. К тому же всё можно обвешать автотестами (всё как у настоящих …

Что болит Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден.Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё больше: добавляются новые, старые — меняются. И в какой-то момент наступает ДАТА-ХАОС! И вот сейчас основные боли — это документация и описанные модели данных. ⁃ Таблицы на десятки и сотни колонок без описания и странными названиями ⁃ Таблиц по заказам — пять разных вариантов (плюс ещё сколько-то вьюх по ним) ⁃ Эвенты, названные абы как ⁃ Метрики, которые каждый рассчитывает по-своему и в конце ни у кого ничего не сходится ¯\_(ツ)_/¯ Короче, тренд…

Иду на Матемаркетинг 18-19 ноября Конференция пройдёт в Москве со всеми анти-ковидными мерами. В этот раз будет отдельный трек по Analytics Engineering, в основном иду послушать доклады оттуда. Вот какие темы мне интересны: селф-сервис данных всё больше…

Разделить команду на инфраструктуру и продукт Команда инфраструктуры: ⁃ Разработчики с широким кругозором ⁃ Найм небольшой Люди, которые не приносят пользу (и выручку!) бизнесу напрямую — по сути, это такой «налог на инфраструктуру». Команда развития…

Как в 2019 году в Яндекс Такси «взорвался» DWH Фёдор Лаврентьев — руководитель тамошнего хранилища — рассказал на конференции HighLoad, как хранилище перестало выполнять свои задачи и как они потом это всё чинили (на первый этап ушёл год). Само хранилище…

Как в 2019 году в Яндекс Такси «взорвался» DWHФёдор Лаврентьев — руководитель тамошнего хранилища — рассказал на конференции HighLoad, как хранилище перестало выполнять свои задачи и как они потом это всё чинили (на первый этап ушёл год).Само хранилище разрабатывали с 2016 года. Как обычно, всё начинается с одной прикладной задачи, потом добавляется ещё одна и так наслаивается одна за другой. А про общую архитектуру подумать как-то всё некогда. В какой-то момент начинается «ой всё сложно»: пайплайны падают. Витрины опаздывают. Данные неверные. Бизнес негодует.Подумать про общую архитектуру каждый раз некогда — сроки горят; поэтому всюду постепенно появляются «локальные костыли, заплатки и с…

Рабочий контракт🐉 Астрологи объявили неделю софтовых рекомендаций.Представьте ситуацию: аналитик устраивается на работу и работает. Через какое-то время понимает, что уже долго его обязанности и оклад не менялся — что делать? подходит к руководителю и… руководитель пожимает плечами и предлагает составить ПЛАН НА БУДУЩЕЕ (в лучшем случае, да); то есть отслеживание показателей сотрудника ещё только начнётся!Алексей Шаграев советует поступать иначе: в любой момент между сотрудником и руководителем должен быть чёткий контракт (не путать с трудовым договором). В этом контракте должны быть указаны конкретные действия, которые ожидаются от сотрудника; когда это всё должно быть сделано; и что в ито…

Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратить в DMP, какие проблемы возникают в процессе разработки и как мы их решаем.🎓 Разработка платформы управления данными. Доклад Яндекса

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели наступить. Вот какие кейсы рассмотрим.Платформа для A/B-тестирования. Во что вам обойдётся автоматизация экспериментов?Сергей Масленников, аналитик Яндекс Go, расскажет, как мы освободили тысячи аналитико-часов, разработав систему АБТ.Как внедрение дорожного графа в инфраструктуру такси помогло снизить время подачи машиныАртём Бондаренко, team-lead группы аналитики Go, поделится опытом внедрения дорожного графа прямо в сервис — вместо дор…

Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO. Highly Normilized Hybrid Model Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методо…

The modern data stack has been gaining a lot of attention recently with a rapidly growing set of managed services for different stages of the data lifecycle. With all of the available options it is possible to run a scalable, production grade data platform with a small team, but there are still sharp edges and integration challenges to work through. Peter Fishman and Dan Silberman experienced these difficulties firsthand and created Mozart Data to provide a single, easy to use option for getting started with the modern data stack. In this episode they explain how they designed a user experience to make working with data more accessibly by organizations without a data team, while allowing fo…

The data that you have access to affects the questions that you can answer. By using external data sources you can drastically increase the range of analysis that is available to your organization. The challenge comes in all of the operational aspects of finding, accessing, organizing, and serving that data. In this episode Mark Hookey discusses how he and his team at Demyst do all of the DataOps for external data sources so that you don't have to, including the systems necessary to organize and catalog the various collections that they host, the various serving layers to provide query interfaces that match your platform, and the utility of having a single place to access a multitude of inf…

One of the perennial challenges posed by data lakes is how to keep them up to date as new data is collected. With the improvements in streaming engines it is now possible to perform all of your data integration in near real time, but it can be challenging to understand the proper processing patterns to make that performant. In this episode Ori Rafael shares his experiences from Upsolver and building scalable stream processing for integrating and analyzing data, and what the tradeoffs are when coming from a batch oriented mindset.

The technology for scaling storage and processing of data has gone through massive evolution over the past decade, leaving us with the ability to work with massive datasets at the cost of massive complexity. Nick Schrock created the Dagster framework to help tame that complexity and scale the organizational capacity for working with data. In this episode he shares the journey that he and his team at Elementl have taken to understand the state of the ecosystem and how they can provide a foundational layer for a holistic data platform.

The most important gauge of success for a data platform is the level of trust in the accuracy of the information that it provides. In order to build and maintain that trust it is necessary to invest in defining, monitoring, and enforcing data quality metrics. In this episode Michael Harper advocates for proactive data quality and starting with the source, rather than being reactive and having to work backwards from when a problem is found.

A significant source of friction and wasted effort in building and integrating data management systems is the fragmentation of metadata across various tools. After experiencing the impacts of fragmented metadata and previous attempts at building a solution Suresh Srinivas and Sriharsha Chintalapani created the OpenMetadata project. In this episode they share the lessons that they have learned through their previous attempts and the positive impact that a unified metadata layer had during their time at Uber. They also explain how the OpenMetadat project is aiming to be a common standard for defining and storing metadata for every use case in data platforms and the ways that they are architec…

Business intelligence is often equated with a collection of dashboards that show various charts and graphs representing data for an organization. What is overlooked in that characterization is the level of complexity and effort that are required to collect and present that information, and the opportunities for providing those insights in other contexts. In this episode Telmo Silva explains how he co-founded ClicData to bring full featured business intelligence and reporting to every organization without having to build and maintain that capability on their own. This is a great conversation about the technical and organizational operations involved in building a comprehensive business intel…

The precursor to widespread adoption of cloud data warehouses was the creation of customer data platforms. Acting as a centralized repository of information about how your customers interact with your organization they drove a wave of analytics about how to improve products based on actual usage data. A natural outgrowth of that capability is the more recent growth of reverse ETL systems that use those analytics to feed back into the operational systems used to engage with the customer. In this episode Tejas Manohar and Rachel Bradley-Haas share the story of their own careers and experiences coinciding with these trends. They also discuss the current state of the market for these technologi…

The perennial question of data warehousing is how to model the information that you are storing. This has given rise to methods as varied as star and snowflake schemas, data vault modeling, and wide tables. The challenge with many of those approaches is that they are optimized for answering known questions but brittle and cumbersome when exploring unknowns. In this episode Ahmed Elsamadisi shares his journey to find a more flexible and universal data model in the form of the "activity schema" that is powering the Narrator platform, and how it has allowed his customers to perform self-service exploration of their business domains without being blocked by schema evolution in the data warehous…

Streaming data systems have been growing more capable and flexible over the past few years. Despite this, it is still challenging to build reliable pipelines for stream processing. In this episode Eric Sammer discusses the shortcomings of the current set of streaming engines and how they force engineers to work at an extremely low level of abstraction. He also explains why he started Decodable to address that limitation and the work that he and his team have done to let data engineers build streaming pipelines entirely in SQL.

The market for business intelligence has been going through an evolutionary shift in recent years. One of the driving forces for that change has been the rise of analytics engineering powered by dbt. Lightdash has fully embraced that shift by building an entire open source business intelligence framework that is powered by dbt models. In this episode Oliver Laslett describes why dashboards aren't sufficient for business analytics, how Lightdash promotes the work that you are already doing in your data warehouse modeling with dbt, and how they are focusing on bridging the divide between data teams and business teams and the requirements that they have for data workflows.

The focus of the past few years has been to consolidate all of the organization's data into a cloud data warehouse. As a result there have been a number of trends in data that take advantage of the warehouse as a single focal point. Among those trends is the advent of operational analytics, which completes the cycle of data from collection, through analysis, to driving further action. In this episode Boris Jabes, CEO of Census, explains how the work of synchronizing cleaned and consolidated data about your customers back into the systems that you use to interact with those customers allows for a powerful feedback loop that has been missing in data systems until now. He also discusses how Ce…

The binding element of all data work is the metadata graph that is generated by all of the workflows that produce the assets used by teams across the organization. The DataHub project was created as a way to bring order to the scale of LinkedIn's data needs. It was also designed to be able to work for small scale systems that are just starting to develop in complexity. In order to support the project and make it even easier to use for organizations of every size Shirshanka Das and Swaroop Jagadish founded Acryl Data. In this episode they discuss the recent work that has been done by the community, how their work is building on top of that foundation, and how you can get started with DataHub…

Organizations of all sizes are striving to become data driven, starting in earnest with the rise of big data a decade ago. With the never-ending growth in data sources and methods for aggregating and analyzing them, the use of data to direct the business has become a requirement. Randy Bean has been helping enterprise organizations define and execute their data strategies since before the age of big data. In this episode he discusses his experiences and how he approached the work of distilling them for his book "Fail Fast, Learn Faster". This is an entertaining and enlightening exploration of the business side of data with an industry veteran.

The key to making data valuable to business users is the ability to calculate meaningful metrics and explore them along useful dimensions. Business intelligence tools have provided this capability for years, but they don't offer a means of exposing those metrics to other systems. Metriql is an open source project that provides a headless BI system where you can define your metrics and share them with all of your other processes. In this episode Burak Kabakcı shares the story behind the project, how you can use it to create your metrics definitions, and the benefits of treating the semantic layer as a dedicated component of your platform.

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.For our season 3 finale, Nithya Ruff discusses the open-source ecosystem, ways to contribute to open-source projects (hint: it’s not just about the code), and how businesses can balance community and company interests. With 95% of open-source contributions coming from men, Nithya also educates us on how to improve diversity & inclusion in the open-source community.See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.We interview Junta Nakai in our most unique location yet - Brooklyn Kura - the first non-Japanese sake distillery in New York. In this episode, Junta shares the philosophical, economic, and tactical approaches to sustainability and ESG, as well as the secrets to brewing sake in the US. See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Did you know that the average tenure of a board member is longer than the average tenure of a marriage in the United States? In this episode, Coco Brown discusses the benefits and drawbacks of the long tenures of corporate boards, their current structure, the impact of recent legislation, and the importance of executive education to guide you through all of this. See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.What does it mean to make your machine learning system “production-ready”? Yaron Singer walks us through the infrastructure, testing procedures, and more that help make ML systems ready for the real world in this episode of Data Brew.See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Have you ever had a spam call automatically blocked for you? You can thank First Orion for that - in one day they blocked or scam tagged over 108 million calls - just on T-Mobile alone! In this episode, we have the pleasure to chat with Charles Morgan and Kent Welch, CEO and CDO, respectively, of First Orion to discuss Arkansan data culture, First Orion’s one hundred day program, and team culture.See more at databricks.com/data-brew

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics. In this season opener, Elena Donio shares her experience using data and domain knowledge to disrupt the traditional service and sales compensation model. She also discusses how to build companies that scale, manage corporate cultural evolution, and the influence of corporate boards.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.We branch, version, and test our code, but what if we treated data like code? Tim Hunter joins us to discuss the open-source Data-Driven Software (DDS) package and how it leads to immense gains in collaboration and decreased runtime for data scientists at any organization.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Is there ever a “one-size fits all” approach for feature engineering? Find out this and more with Amanda Casari and Alice Zheng, co-authors of the Feature Engineering for Machine Learning book.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.What does it mean for a model to be “interpretable”? Ameet Talwalkar shares his thoughts on IML (Interpretable Machine Learning), how it relates to data privacy and fairness, and his research in this field.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Erin LeDell shares valuable insight on AutoML, what problems are best solved by it, its current limitations, and her thoughts on the future of AutoML. We also discuss founding and growing the Women in Machine Learning and Data Science (WiMLDS) non-profit.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Good machine learning starts with high quality data. Irina Malkova shares her experience managing and ensuring high-fidelity data, developing custom metrics to satisfy business needs, and discusses how to improve internal decision making processes.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Liam Li is a leading researcher in the fields of hyperparameter optimization and neural architecture search, and is the author of the seminal Hyperband paper. In this session, Liam discusses the evolution of hyperparameter optimization techniques and illustrates how every data scientist can benefit from neural architecture search. See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more. Adam Oliner discusses how to design your infrastructure to support ML, from integration tests to glue code, the importance of iteration, and centralized vs decentralized data science teams. He provides valuable advice for companies investing in ML and crucial lessons he’s learned from founding two companies.See more at databricks.com/data-brew

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Have you ever wondered how your purchasing behavior may reveal protected attributes? Or how data scientists and business play a role in combating bias? We discuss with Diana Pfeil recommendations to reduce bias and improve fairness, from SHAP to adversarial debiasing.See more at databricks.com/data-brew

For our second season, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.In the season opener, Matei Zaharia discusses how he entered the field of ML, best practices for productionizing ML pipelines, leveraging MLflow & the Lakehouse architecture for reproducible ML, and his current research in this field.See more at databricks.com/data-brew

Гость подкаста — Юра Филатов. Одна из областей его деятельности — информационный консалтинг или, иначе говоря, он помогает с трансформациями. Как-то так получилось, что подкаст вышел «исповедальным»: эмоциональным, чуть жёстким, с «иллюстрациями» и без «маркетингового налёта»:Как спутать автоматизацию с трансформацией.Когда вам не нужна трансформация на «примерах с мёдом».Почему по «государевому указу» у вас ничего не заработает.Что отвечать на «Ну давай, трансформируй нам тут всё».И какую роль здесь играет страх.

Гость подкаста — Света Аюпова из СКБ Контур. Света находит и проверяет новые бизнесы для Контура. Как-то так получилось, но Света нас убедила, что СКБ Контур — идеальное место для работы. Итак, в компании:Хорошие руководители, многие из которых работают в компании по 10 лет (как и большинство сотрудников).Равенство всех сотрудников на деле, а не на словах.Атмосфера как в казантипе, но без травы.Люди не уставшие, лица не серые.Все рано уходят домой.Много доверия, которое помогает быстро принимать решения.Как следствие, в компании малая текучка. Из СКБ Контур тяжело уходить. Да и зачем? Атмосфера приятная, как тёплый плед, а люди просто работают и растут. Например, руководитель Светы пришёл и…

Гость выпуска — Анатолий Панов. Кратко о нём:руководит разработкой всех вертикалей в Авито;пишет код только «по фану»;не собеседует инженеров;легко раскусил в Борисе латентного тимлида, когда он «собеседовался» в рубрике «Сханти Бориса» как разработчик.Поговорили про квартальные и годовые ОКR и ОКR-ревью, Performance Review, как почти распилили монолит, про техчас для новостей технического департамента, и прокачку функциональных коммьюнити.

Корпоративные ценности — это некие убеждения и принципы, которые все должны соблюдать, вроде «быть ответственным», «двигаться вперёд» и всё такое. Но зачем их соблюдать, если непонятно откуда они взялись? Зачем кто-то когда-то их выбил на скрижалях и повесил в главном зале? Без ответа на эти вопросы желание им следовать скорее не появится — они пластмассовые, не живые. Возможно поэтому в ЦИАН сделали по-другому — ценности списали с реальных людей, один из которых побывал у нас в гостях, а всем новичкам рассказывают как они появились и зачем.Как готовили ценности, важны ли они при найме и что такое словарь «разработческих» терминов, поговорили с Анной Штенгауэр (HR BP IT) и Мишей Юматовым (р…

У нас в гостях Ксения Мешкова — овнер в команде Райффайзенбанк. Она занимается развитием внутреннего корпоративного портала, о котором мы всё выведали: как он появился, а главное — зачем, как помог решить проблем в коммуникациях бизнеса и разработки. Также узнали, как в банке появился скрам, аджайл и LeSS, и как проходит гемба в банке.

В гостях у нас Кирилл Гурбанов — Head of Digital Banking в МТС. Поэтому мы поговорили про всё цифровое: диджитал, стартапы, виртуальные карты Apple, про суперприложение Тинькофф Банка, про Сбер как мессенджер, экосистемы, экосистемы суперприложений и зачем это нужно. Всё как всегда. Однако, будьте готовы к тому, что внезапно в подкаст ворвётся Лада Ларгус и порвёт шаблон.

Что такое внутренние коммуникации? Вот я «айтишник», я открыл «Джиру» – вот мои задачки, я беру, делаю, дальше тестировщикам, всё упало — какие коммуникации? Ан нет. Написать, правильно объяснить задачу и правильно спросить «что там делать» — это всё внутренние коммуникации. Об этом мы и поговорили с Екатериной Тышковской, руководителем службы внутренних коммуникаций банка ВТБ.Что такое гибридная работа, как компаниям сохранить офисную культуру и что такое культура согласия в новом выпуске «Ничего такого».

Пятый сезон подкаста мы завершаем новым празднично — открытой записью эпизода. Самат встретился с инвестором Кириллом Беловым и узнал, как работают венчурные фонды, что и как нужно питчить инвестору, как оценить стоимость стартапа и какие IT-тренды ждут нас в ближайшем будущем. Ссылка на запись youtube-трансляции разговора Самата и Кирилла: https://youtu.be/NXub8CLL08Q Друзья, пройдите, пожалуйста, наш опрос! https://s878737.typeform.com/to/gm1WwitT Курс «DevOps для эксплуатации и разработки» от Яндекс.Практикум: https://practicum.yandex.ru/promo/devops-course?utm_source=pr&utm_medium=content&utm_campaign=pr_content_devops-course_zapuskzavtra 3-4 декабря пройдет ежегодная и самая большая те…

Сделать карту, на которой будет отображен весь мир — нетривиальная задача. Но для создателей приложения Maps.me она была еще сложнее. Они задумали карту, которая работала бы офлайн. Хотя для обработки данных о нашей планете в телефоне не хватает ни процессора, ни памяти. О том, как в Maps.me решали эту проблему и откуда вообще берется информация о мире Самат разговаривает с сооснователем сервиса, Юрием Мельничеком. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Пройти бесплатный тренажер по математике можно по ссылке https://practicum.yandex.ru/math-founda…

Как за день доставить из Москвы во Владивосток крупногабаритный груз? А маленький пакет из Сочи в Тамбов? А как не потерять посылку, проверить ее на запрещенные вещества и сэкономить на перевозках, если у тебя таких посылок — 22 миллиона в год? Самат говорит о доставке с Сергеем Климашем, заместителем генерального директора СберЛогистики. Сергей рассказывает, как банк становится новой почтой, а в России силами Сбера, Озона и Яндекса появляется новая транспортная система. Не пропустите нашу открытую запись 8 ноября! Она будет проходить на ютуб-канале Либо/Либо по этой ссылке https://www.youtube.com/watch?v=NXub8CLL08Q. Нажимайте на колокольчик, и тогда ютуб вам напомнит о мероприятии, и вы н…

А еще 5G, LTE, отели базовых станций, антенны, мобильные операторы, аукционы частот, роуминг и сетевые уязвимости. О телекоммуникациях Самат говорит с основателем компании Fairwaves Александром Чемерисом, который обеспечивал связью африканские деревни и штат Оахака в Мексике. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Сайт Доки: https://doka.guide/ Не пропустите нашу открытую запись 8 ноября! Подписывайтесь на канал Либо/Либо https://www.youtube.com/c/ЛибоЛибо/videos и присоединяйтесь к событию на фейсбуке https://www.facebook.com/events/27196747817629…

В одном из эпизодов «Запуска завтра» герой рассказывал, что работа над CRM-системой в Microsoft была самой скучной в его жизни. Это программное обеспечение нужно любому бизнесу, но при этом в его создании нет ничего интересного. Сегодня Самат разговаривает с человеком, который придерживается противоположной точки зрения. Юлиана Гордон была CRM-директором Ozon, внедряла CRM в Мегафоне и МТС, а сейчас занимается своей школой электронной торговли iWENGO. Юлиана объясняет, почему CRM — это не просто таблица с данными, а главный инструмент, благодаря которому бизнес зарабатывает миллионы. Приходите на открытую запись подкаста 8 ноября! Покупайте билеты по ссылке https://dkrassvet.space/events/za…

Мы часто думаем, что к психологу нужно идти с проблемами в личной жизни, а рабочие вопросы пытаемся решить сами или не решаем вовсе. Мы хотим разобраться, о чем в IT-тусовке говорить не принято и как обсуждать проблемы, с которыми сталкивается каждый из нас. Как разговаривать о повышении? как победить синдром самозванца? как бороться с токсичностью в команде и как разруливать конфликты? Во всем этом Самат разбирается вместе с IT-психологом Анастасией Калашниковой. Ссылки от Анастасии: Сервис по оценке себя и поиску ментора: https://getmentor.dev/ Подкаст Psy v IT https://t.me/psyvit Подкаст NewHR https://t.me/newhrpodcast Курс «Аналитик Данных» от Яндекс.Практикум: https://practicum.yandex.…

Вечером 4 октября перестал работать Facebook и принадлежащие ему компании. Сбой случился из-за сетевых проблем. Сети Самат обсуждает вместе с техническим директором ВКонтакте Александром Тоболем и с главой сетевой инфраструктуры Mail.ru Group Еленой Якуповой. За что отвечают протокол BGP и DNS-сервера, как конфигурируется сеть и как это все связано с тем, что вечер понедельника мы провели без соцсетей. Прочитать о том, как студенты Практикума делали бота в телеграме, можно по ссылке https://vk.com/@yandex.practicum-sbor-i-otpravka-soobschenii-iz-telegram-v-slack-opyt-sozdani Проект о сетях https://linkmeup.ru/ 4:30 Как происходит передача информации между сетями разных провайдеров 11:30 Поч…

C 1 по 6 октября в Москве проходит финал чемпионата мира по программированию ICPC. Это студенческая олимпиада, и обычно ее выигрывают команды из МГУ, ИТМО или СПбГУ. Самат обсуждает достижения российских спортсменов с тренером Еленой Андреевой. Именно ее ученики в 2018 и в 2019 годах занимали первое место. Самат узнает, как готовят студентов к соревнованиям, какие задачи решают на олимпиадах и почему спортивное программирование так сильно отличается от школьной информатики. Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреоне https://www.patreon.com/zapooskzavtra Зарегистрироваться на День открытых дверей Яндекс.Практикума можно по ссылке https://ya.cc/t/nuP1x…

В начале 2000х Netflix продавал DVD-диски, а мы скачивали сериалы с торрент-трекеров. На каких технологиях работали трекеры и как они появлялись? Самат разбирается с одним из создателей протокола BitTorrent Станиславом Шалуновым и с одним из родоначальников трекера LostFilm Андреем Кравцем. Если вы хотите работать со Стасом над распределенными протоколами, то пишите https://www.facebook.com/shalunov Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Прочитать историю Максима Никитина можно по ссылке https://academy.yandex.ru/posts/iz-taksista-v-razrabotchika В…

На обычный сайт может поступать около 100 запросов в секунду, а на yandex.ru утром 5 сентября обрушился 21 миллион. Случившееся Самат обсуждает с директором по безопасности Яндекса Антоном Карповым. Что такое DDoS (Distributed Denial of Service), как работает черный рынок взломов и может ли армия электрочайников стать угрозой безопасности страны. Узнать о том, как студенты меняют Практикум, можно по ссылке https://praktikum.blog/whatwedointheshadows/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_whatwedointheshadows_zapuskzavtra 10й эпизод второго сезона «Как устроен интернет и как его блокируют» https://zapuskzavtra.libsyn.com/k15wwhke3n5s Журнал «Хакер» https://xakep.ru/ 2:40 К…

Москва — крупнейший рынок каршеринга в мире. Но еще 10 лет назад в России не было ни одного автомобиля, который можно было бы взять в краткосрочную аренду через приложение. Первыми запустить подобный сервис придумали в BelkaCar. Основательницы компании Елена Мурадова, Лориана Сардар и Екатерина Макарова пролоббировали каршеринг в Дептрансе и обошли 300 инвесторов, прежде чем привлечь первых пользователей. В этом эпизоде Елена и Лориана рассказывают Самату о том, как в Россию пришел и как развивается шеринг автомобилей. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zap…

Привет! Я Юля, редакторка «Запуска завтра». Я помогаю Самату брать интервью и записывать подводки, а еще я придумываю описания эпизодов. В этот раз в подкасте речь пойдет обо мне, поэтому я решила написать этот текст от первого лица. Три месяца назад я начала учиться программированию. До работы над подкастом я не интересовалась IT и даже боялась лезть в эту тему, а теперь по ночам пытаюсь валидировать формы с помощью java script. В разговоре Самат захотел узнать, как меняется моя жизнь прямо сейчас. Этот эпизод в меньшей степени о технологиях, в большей — о том, как сложно и страшно изучать новое, но как здорово, когда получается. Этот подкаст мы делаем совместно с сервисом онлайн-образован…

В новом эпизоде подкаста Самат разбирается, как осмысленно ломать компьютер. Он говорит с Максимом Садымом, инженером из Google и Amazon, о тестировании. Как автоматизировать UI тесты, как часто проводить нагрузочное тестирование, какие ошибки программы показывает хаос-тестирование и можно ли быть хорошим программистом, если ты не пишешь юнит-тесты? Максим рассказывает об основных видах тестирования с примерами из практики, а еще вспоминает, как пару лет не мог попасть на работу в Google. Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреоне https://www.patreon.com/zapooskzavtra Книга Cracking the …

Самат говорит с создателем Луркоморья Давидом Хомаком. Формально, о возникновении Lurkmore.to, но по сути — об истории русского интернета. Game.EXE, Башорг, Двач, LiveJournal, Linux-тачки и «пека-бояре», Роскомнадзор и Рамзан Кадыров. Давид вспоминает, как зарождался язык русскоязычных мемов, как рунет перестал быть анонимным и как государство пришло за виртуальной свободой. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или н…

У приложения Flo 41 миллион активных пользовательниц в месяц. Они живут по всему миру и следят во Flo за своим циклом: месячными и овуляцией. Самат говорит о фемтехе с техническим директором Flo Романом Бугаевым. В чем сложность предсказания месячных, зачем женщинам подписка, если есть бумажный календарик, и сложно ли мужчинам работать в компании о женском здоровье. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреон…

В гостях у Moscow Python Podcast Python developer компании Grid Dynamics Russia Лариса Петрова. Поговорили с Ларисой о ее пути в разработку, обсудили опыт прохождения собеседований и подготовку к ним. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Grid Dynamics Russia: https://careers.griddynamics.com/discover-openings Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Pyt…

В гостях у Moscow Python Podcast ведущий разработчик компании NVIDIA Роман Сакал. Поговорили с Романом о том, на чем писать код, на чем его пишут в NVIDIA и о том, почему Python is the second best language. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast технический директор компании Geecko Никита Обухов. Поговорили с Никитой о рынке найма разработчиков и о DevRel. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция GeekRel: https://conf.geecko.com/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

Злата приглашает всех на GTC

Конференция GTC: https://www.nvidia.com/ru-ru/gtc/

В гостях у Moscow Python Podcast старший владелец продукта компании Сибур Диджитал Вадим Щемелинин. Поговорили с Вадимом о Индустрии 4.0, видеоаналитике в нефтехимии и о многом другом.. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция HighLoad++: https://www.highload.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast руководитель подразделения World of Tanks Game Logic компании Wargaming Левон Авакян. Поговорили с Левоном о правильном развитии разработчика. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast разработчик компании Recall Masters Анатолий Щербаков. Поговорили с Анатолием о документации к вашему коду, почему она нужна и о подходе Docs as Code. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast junior разработчик компании AdCombo Александр Шейкин. Поговорили с Александром о его пути в разработчики Python, первом опыте работы. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Data Science компании Лаборатория Касперского Дмитрий Аникин. Поговорили с Дмитрием о Python в машинном обучении, инфраструктуре моделей и многом другом. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast сооснователь компании Profiscope Алексей Смирнов. Поговорили с Алексеем о применении Open Source-лицензий в PyPI. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Ревью кода: https://mpccomplexity.codescoring.com Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Director of engineering компании Takeoff Technologies Владимир Филонов . Поговорили с Владимиром о том, откуда берется legacy и как с ним бороться и как продать бизнесу refactoring этого legacy. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast разработчик в Raiffeisen Bank Влад Лоухин. Поговорили с Владом о том, что Python делает в банке, специфике Python в банковской сфере и о многом другом. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast СТО образовательных проектов Mail.ru Дмитрий Санников. Поговорили с Дмитрием о многообразии курсов и образовательных программ в Mail.ru. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast Senior Data Scientist компании Lamoda, организатор курсов DadaGym Петр Ермаков. Обсудили с Петром data science сообщество и ивенты . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

В гостях у Moscow Python Podcast CTO и со-основатель компании Datafold Александр Морозов. Обсудили с Александром причины перехода его стартапа с Flask на FastAPI. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

А вы знали, что голливудские компании в производстве спецэффектов активно используют инструменты написанные отечественным разработчиком? В гости позвали автора – Романа Белова. Поговорили и про инструменты, и про производственный цикл фильмов, и про виды и способы реализации визуальных эффектов. Решите задачи e-commerce-проектов с гибкой IT-инфраструктурой Selectel: https://slc.tl/O5czU Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPod…

В выпуск позвали сооснователя и CEO Wallarm Ивана Новикова. Начали с сетевых слоев, но в основном говорили про уровень приложений. Именно на этом уровне файрволы развиваются последние годы. Не обошли стороной концепцию Zero Trust. А под конец обсудили куда файрволы развиваются. Отказоустойчивые облачные базы данных для интернет-магазинов и сервисов доставки в Selectel: https://slc.tl/BAvsG Промокод на 500₽ на SoftSkills Crew: LIKE_A_BOSS Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkaca…

В индустрии существует бессчетное количество разновидностей аналитиков: продуктовые, системные, бизнес, финансовые и многие другие. В выпуске вместе с Алексеем Белозерским мы разбираемся в их классификации и закапываемся в специфику работы бизнес-аналитика: основные задачи, используемые подходы и инструменты. Узнайте, как подготовить IT-инфраструктуру к сезону распродаж, на бесплатном вебинаре от Selectel: https://slc.tl/gDOfD 22 ноября стартует конференция для продакт-менеджеров Podlodka Product Crew. Промокод на скидку: ANALYTICS. https://podlodka.io/productcrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетя…

Пополняем золотую коллекцию языковых выпусков Podlodka долгожданным эпизодом про Golang! Все, как вы любите — история развития, области применения, ключевые фичи, экосистема, и немного холивара про сильные и слабые стороны. Погрузил в мир Go, объяснил, почему “less is exponentially more” и как это отражается на том, что язык предлагает разработчикам Алексей Палажченко — программист из Sidero Labs и ведущий подкаста GolangShow. Аккуратно! В выпуске чересчур много шуток про дженерики! Гибкие облачные базы данных для многопользовательских игр и других игровых проектов в Selectel: https://slc.tl/H6I7r Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и…

Замахнулись на необъятное и обсудили компьютерные сети! Одного выпуска для такой тему явно мало, поэтому пока мы сфокусировались на интернете, и подробно изучили приключения сигнала на пути от пользователя к целевому сервису. В гостях у нас Тёма Гавриченков из Servers.com, которого вы можете помнить из нашего выпуска про дата-центры. Разверните гибкую и производительную облачную базу данных для своего игрового проекта в облаке Selectel: https://slc.tl/z9sWf C 8 ноября стартует новый сезон конференции Podlodka Backend Crew! По промокоду TANNENBAUM скидка для слушателей этого выпуска, а подробности и расписание на сайте https://podlodka.io/becrew. Поддержи лучший подкаст про IT:

www.patreon.c…

Лучший выпуск про лучший язык программирования с лучшим гостем, а в гости пришел наш коллега по подкастном цеху, автор Hegel.js, а с недавних пор еще и разработчик из команды Kotlin/JS & Wasm: Артем Кобзарь. Начали с истории появления JS, традиционно для языковых выпусков обсудили сильные и слабые is not a function стороны, а закончили обсуждением как его выучить по-настоящему. Ведь большинство разработчиков не столько пишут на JS, сколько на фреймворках. Гибкая и надежная IT-инфраструктура для игровых разработчиков в Selectel: https://slc.tl/Wcp8O Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат:…

Подлодка не может плыть без капитана, а организация – без целей. Или может? Денис Дудоров, главный за организационное развитие в Авито, помог нам разобраться в том, как осознанно подойти к целеполаганию в компании. В выпуске – много инсайтов про то, как взаимосвязаны различные аспекты управления организацией и чем отличаются фреймворки целеполагания. Разверните геораспределенную IT-инфраструктуру для многопользовательских игр в Selectel: https://slc.tl/VOu6R Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.fa…

Мы уже привыкли ругать высшее образование за то, что оно зачастую не помогает правильно подготовиться к будущей карьере в IT. В этом выпуске вместе с Константином Федутиновым из ВГУ мы узнаем, что можно сделать в обычном отдельно взятом вузе, чтобы радикально поменять правила игры и выстроить отношения между студентами и IT-компаниями еще во время учебы. Разверните IT-инфраструктуру для решения задач игровой разработки в Selectel: https://slc.tl/SCxps Podlodka Techlead Crew стартует уже 11 октября. Билеты по ссылке https://podlodka.io/techcrew, а по промокоду ADALOVELACE вас ждет приятная скидка! Поддержи лучший подкаст про IT:

https://patreon.com/podlodka Также ждем вас, ваши лайки, репост…

Каждый день мы решаем проблемы – поиск нового места работы, подбор фреймворка под задачу, составление плана развития для демотивированного сотрудника. Хотя все эти проблемы с первого взгляда абсолютно разные, общий подход к их решению может быть одинаковым. Павел Комаровский, бывший консультант McKinsey и автор блога RationalAnswer, поделился универсальным фреймворком для системного решения любых проблем. Разверните гибкую IT-инфраструктуру для образовательных и исследовательских проектов в Selectel: https://slc.tl/Jsi2e Поддержи лучший подкаст про IT:

https://patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka T…

Про важность нетворкинга не рассказывает только ленивый, но вопрос «а как делать это правильно?» не теряет актуальности. В выпуске мы не только обсудили, чем нетворкинг может быть полезен и как наконец начать им заниматься, но и нырнули куда глубже участия в random coffee и беспорядочных знакомствах на afterparty очередной конференции. Про ценность социального капитала, важность эмпатии и эмоций и множество других глубоких аспектов нетворкинга нам рассказал Павел Хегай, технологический предприниматель и основатель нетворкинг сообщества Heg.ai. За прикладными темами, крутыми экспертами и, конечно, активным нетворкингом залетай в Podlodka TeamLead Crew https://podlodka.io/tlcrew (промокод tl_…

Посмотреть на изображение и понять, что на ней котик. Это такая простая задача для человека, но нужно целое направление исследований и сложных алгоритмов, чтобы с ней справился компьютер. Компьютерное зрение — что это такое, как работает и зачем нужно? Разбираемся с Артуром Кузиным из SberDevices. Решайте сложные задачи EdTech-проектов на инфраструктуре Selectel: https://slc.tl/tlkbH Выберите любую из наших конференций Podlodka Crew по ссылке https://podlodka.io/crew, и до 27 сентября успейте купить билет со скидкой по промокоду BARKHAT Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.m…

У нас уже было много выпусков про здоровье, но не обсуждали как системно подойти к здоровью для увеличения продолжительности жизни. Чекап – инстурмент именно для этого. Разобрали подход на какие чекапы, в каком возрасте и с как часто ходить. В гости к нам пришел Алексей Утин – сердечно-сосудистый хирург, кардиолог, Со-основатель проекта медицинских диспансеризаций SMART CheckUP. Реализуйте актуальные технологии на инфраструктуре Selectel для EdTech: https://slc.tl/JWIYc Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Face…

Большинство из нас занимаются этим в качестве хобби, кто-то любит смотреть, а кто-то мечтает стать профи и построить на этом всю свою карьеру. Киберспорт — молодая, но уже очень денежная индустрия, манящая многих. Как же обстоят дела за кулисами? Сколько часов игрового стажа нужно, чтобы стать профессионалом и достаточно ли для этого лишь усердия? Как тренируются топовые киберспортсмены? Есть ли жизнь в киберспорте после 25 и можно ли жить на донаты на твиче? Артем Никулин (holy_hunter), выигравший порядка 20 сибирских офлайн и 30 онлайн турниров по Dota 2, и ездивший на MAJOR в качестве тренера team empire, погрузил нас в мир киберспорта, рассказал об устройстве киберспортивных организаций…

Много ли вы знаете языков, созданных для максимальной производительности различных вычислений? Кто-то подумает про MATLAB, кто-то вспомнит Fortran, но мы в этом выпуске поговорим о Julia. Это молодой, но очень интересный язык, с которым мы предлагаем вам познакомиться вместе с нами и Юлией Беляковой! Разверните облачный сервер с GPU в пару кликов в Selectel: https://slc.tl/Z9t89 Новый сезон конференции Podlodka iOS Crew! https://podlodka.io/ioscrew. Темы недель: «Работа с сетью» и «Совершенный код» Промокод для слушателей: JULIA Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlod…

Закрой глаза, сделай глубокий вдох и включай выпуск про Медитацию. В гости к нам пришла психолог и автор подкаста «Эмоциональный Интеллигент» – Анна Проворная. Постарались поговорить про тему без булшита: какие есть исследования, как медитация влияет на наше тело, а главное, раз это инструмент, какие задачи можно им решать, а какие – нет. Управляемые кластеры Kubernetes в Selectel для динамичных проектов: https://slc.tl/cgmEz Новый конференция от команды Podlodka! Podlodka Design Crew https://podlodka.io/designcrew. Темы недель: «Редизайн» и «Взаимодействие дизайнеров и разработчиков» Промокод для слушателей: PIXEL_PERFECT Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем …

С чего начинать путь в мир комиксов? Как сделать независимое издательство? И что делать, если у тебя есть двести миллионов рублей?Сегодня с нами проветривается Виталий Терлецкий. Автор комиксов и издатель Терлецки Комикс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)

Как работают венчурные инвестиции? Какой путь проходит компания от стартапа до единорога? Что ожидает рынок технологических инвестиций на горизонте в несколько лет?Сегодня с нами проветриваются: Алексей Менн - партнер венчурного фонда Begin CapitalМария Шутова - генетик, научный консультант, в прошлом - аналитик фонда 4Bio CapitalНе будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаПоддержи шоу Support the show (https://www.patreon.com/progulka)

Что такое социальные науки? Зачем их изучать? И как связаны молоко и демократия? Сегодня с нами проветривается доцент Высшей школы экономики в Санкт-Петербурге Андрей Щербак.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show Support the show (https://www.patreon.com/progulka)

Как в Сибири изучали возможность создания космических поселений? И где в России надо учиться на шеф-повара?Добро пожаловать в Красноярск, который нам показался чем-то похожим на культурную столицу Японии.Сегодня с нами проветриваются:— Егор Задереев, руководитель группы научных коммуникаций Красноярского научного центра СО РАН, кандидат биологических наук.— Николай Григорьев, руководитель проектного офиса Института Гастрономии Сибирского Федерального Университета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаАвтор и ведущий — Иван ЯмщиковАвтор рубрики Just One More Thing — Ксения ДруговейкоРежи…

Как пользователь может обучать алгоритмы? Почему люди залипают в ТикТок? И что случается с вашим постом до того, как его увидят ваши друзья?Сегодня с нами проветриваются:— Алексей Сенников — руководитель направления модерации социальной сети Одноклассники— Натальи Казаченко — руководитель группы аналитики качества рекомендаций в ЯндексеНе будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Как организовать фестиваль стрит-арта в своём городе? Как уличные художники меняют современную культуру? И где в России смотреть классный стрит-арт? Сегодня с нами проветриваются:— Анна Клец — организатор фестиваля Стенограффия в Екатеринбурге.— Зося Леутина — художник графитист и муралист, одна из организаторов фестиваля Графит науки в Новосибирске.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Кого и как лечит искусственный интеллект? Зачем нужна персонализированная медицина? И как алгоритмы могут помочь нам "укрепить" здоровье?Сегодня с нами проветриваются— Иван Дрокин — со-основатель и директор по науке braingarden.ai, со-основатель и директор по исследованиям botkin.ai — Булат Загидуллин — аспирант университета Хельсинки, интерн в компании Байер.— Дмитрий Бычков — aспирант университета Хельсинки, специалист по анализу данных в стартапе Kaliber Labs.Не будьте такими душными, давайте лучше — проветримся!Support the show (https://www.patreon.com/progulka)

Что такое космизм? Как мало кому известное мистико-философское учение изменило и продолжает менять современный мир?В нашем сотом юбилейном выпуске мы поговорим с Людмилой Будневой из НГУ и Верой Алексеевой из музея Константина Циолковского о русском космизме.Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Как "киллеры" сохраняют ваше здоровье? Чем врождённый иммунитет отличается от приобретённого? И как образ жизни влияет на иммунитет? Сегодня с нами проветривается Софья Касацкая. Софья получила PhD по иммунологии в СколТехе и ведёт канал Shameless Bacteria про иммунологию, биологию, медицину и прочее интересное.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Где находятся Курмыши? Что такое латка? И как формируются региональные диалекты?В последнем эпизоде сезона мы говорим о великом и могучем русском языке в компании двух прекрасных гостей:Борис Иомдин — кандидат филологических наук, ведущий научный сотрудник и заведующий сектором теоретической семантики Института русского языка им. В. В. Виноградова РАН, научный сотрудник Яндекса, доцент Школы лингвистики Высшей Школы Экономики.Иван Левин— лингвист, младший научный сотрудник Института русского языка им. Виноградова.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patre…

Как «дрессируют» алгоритмы? С чем обучение с подкреплением можно смешивать, не взбалтывая? И достаточно ли одного пряника, чтоб создавать прорывные алгоритмы машинного обучения?Сегодня с нами проветривается Алексей Шпильман. Алексей заведует центром анализа данных и машинного обучения в Высшей Школе Экономики в Санкт-Петербурге и руководит лабораторией агентных систем и обучения с подкреплением в JetBrains Research.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

Как и почему open source захватил мир? Что такое "заразная" лицензия? И создаются в России создают opensource-проекты мирового уровня?Сегодня с нами проветриваются:Андрей Бреслав — один из создателей языка программирования Котлин, cооснователь сервиса по подбору психологов Альтер.Станислав Кириллов, руководитель группы ML систем в Яндексе. Команда Станислава разрабатывает CatBoost и инфраструктуру для эмэльщиков. Михаил Бурцев — основатель проекта DeepPavlov.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

Что такое штамм? Как меняются вирусы? Почему вакцинация не только снижает нагрузку на систему здравоохранения, но и замедляет появление новых вариантов вируса?Под занавес прошлого сезона у нас в гостях был Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета. После нашей первой беседы вы просили позвать Сергея ещё. Мы прислушались!Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

Со скольки лет стоит учить ребёнка программировать? Где нужно получить разрешение, чтобы начать работать программистом в четырнадцать? И чего не стоит делать родителям при воспитании детей?Сегодня с нами проветривается Георгий Бугаков. Жора уже два года работает в Skyeng, при том что в июне он закончил девятый класс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

Каково написать первую программу гусиным пером в мире, где нет даже электрических лампочек, о чем мечтали отцы кибернетики, когда создавали математическую модель нейрона, и чего мы сами ждем от чипов Neuralink— в заключительном эпизоде первого сезона, где гении пьют виски на даче, макаки играют в пинг-понг без рук, роботы лечат малярию и все очень много мечтают. Этот подкаст мы делаем вместе со SberDevices

Откуда у алгоритмов загоны и предрассудки, как роботам решать дилему вагонетки, и что нейросеть понимает про семейные ценности — в эпизоде, где спящие люди тихо едут на Теслах из киберпанка в киберкоммунизм. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Почему алгоритмы начали сами повторять достижения человечества, как научились предсказывать изобретения и что общего у малыша на карусели и нейросети GPT3. Этот подкаст мы делаем вместе со SberDevices Подкаст Ивана Ямщикова "Проветримся" https://www.patreon.com/progulka Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Как машины читают то, что у вас на лице написано, решают дилемму покерфейса, предсказывают выгорание и учатся испытывать эмоции сами. Этот подкаст мы делаем вместе со SberDevices Эпизод подкаста "Запуск завтра" про Давида Яна https://zapuskzavtra.libsyn.com/i7pyit9e0q2o Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы расскажем, что может нейросеть, которая провела две тысячи лет в Доте, как четыре бота сломали прятки и почему машинам нужно самоутвержаться за счет гроссмейстеров. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

В этом эпизоде мы разбираемся, зачем человеку роботы, которые могут воображать котов, писать небылицы, импровизировать в стиле Баха и писать стихи из поисковых запросов. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

Как машины пытаются составить портрет человека по его кликам и лайкам, какие выводы о нем делают по чеку из магазина и почему вам лучше не знать, какой вы фрукт – в новом выпуске «Вы находитесь здесь». Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

HitchBOT was an experiment in stewardship: A small, rudimentary robot unable to move on its own, depending on the kindness of passersby to help it along its journey. Until it met an untimely end. Trust is a two-way street, and because robots are not powered by their own moral code, they rely on humans to supply both empathy and support. Dr. Frauke Zeller shares HitchBOT’s origin story. Eli Schwartz recounts his heartbreak upon learning what happened in Philadelphia. Dr. Julie Carpenter analyzes why it all went down. And Georgia Guthrie epitomizes the outpouring of sympathy that followed. Together, they tell a layered story about humans, and how we respond to robots. With HitchBOT, we find a…

For years, prosthetic technology focused on form over function, on masking lost limbs, rather than agency and usability. But things are changing. Innovations in robotics are giving more people more options, with lower thresholds of entry—and lower price tags, too. Tilly Lockey takes us through her journey with prosthetic arms. Brian Schulz gives some history of mechanical prosthetics, and what it means for people to reach embodiment with their devices. Tyler Hayes talks about the software that made advancements in assistive technology possible. Charlie Kemp discusses his work building universal robot interfaces, and how they can benefit everyone. And Henry and Jane Evans explain how robots …

Who says tech talk has to be boring? On Compiler, we dig into tech topics big, small, and strange. We talk to people who know the code, and bring their perspectives back to you. Intrigued? Here's a preview episode.Software development teams often reach a crossroads. Should they perform maintenance and address bug issues, or add new features to satisfy users? The former isn’t as exciting, but sometimes the most important work is invisible to those who reap the benefits. For now, the project has been released, and everyone wants to celebrate. But there’s an elephant in the room, one that teams can ignore—at least, for a while. In this episode of Compiler, we unpack the concept of technical de…

It’s hard enough to make a functional, reliable robot. Many people also want to make those robots in our image. That’s a tough needle to thread. Often, the most efficient design isn’t the most human-like one. But that isn’t stopping us from reaching for those humanoid robots. Professor Shigeki Sugano argues in favor of creating human-shaped robots. But it’s such an enduring challenge, we’ve come up with a name for it: the uncanny valley. Evan Ackerman walks us through the uncanny valley’s treacherous terrain. Deanna Dezern shares how she’s connected to her robot companion. And Dor Skuler explains how he deliberately avoided making his robots look like humans.If you want to read up on some o…

One of the first functional robots appeared on TV in 1966. That’s earlier than some of us expect. The Unimate’s televised premiere sparked the world’s imagination. It represented a host of possibilities. Those possibilities, however, also implied a coming competition that would last for decades. Dag Spicer tells the story of the Unimate, the first industrial robot—and how little the American public trusted it. But that distrust wasn’t universal. Tomonori Sanada explains how the Unimate was received very differently in Japan. Joe Campbell describes the dangers of working alongside industrial robots. But he’s working to change that with cobots. And Paul Shoup shares how his company, employees…

Building a physical robot isn’t cheap—even when it’s the final version. Designing a robot and testing it over and over again? That takes a lot of tries. And likely more than a few failures on the way to success. Luckily, simulation software is reducing the scrap heap—and bringing down the costs of building robots from the ground up. Kevin Knoedler shares how simulation software allows him to program and design robots from home. And even though he doesn’t have the budget or support of major research institutions like DARPA, his robots still end up winning major competitions. Evan Ackerman points out that winning those competitions takes a lot of skills. But amateurs have more ways than ever …

The 1980s promised robotic servants were in reach. They’d clean up our houses. Bring us drinks. Usher in an era of leisure. We didn’t get robot butlers. But if we look around, we’ll find an army of robotic servants already automating away domestic drudgery. Richard Rowland recounts the extent to which Androbot over-promised on its ability to build a robot servant. 40 years later, we still don’t have robot maids. Monroe Kennedy III walks us through the complexities of seemingly simple tasks. To make things more difficult, each attempt to build a robot had to build the hardware AND write the code from scratch. Keenan Wyrobek explains that’s why he helped write and share the Robot Operating Sy…

Robots have a special place in our imaginations. Writers, artists, directors, and more have shown how robots can change our world—for better or far, far worse. In the real world, robots seem a long way off. But are they? Season 8 of Command Line Heroes is all about the rise of the robots. They just may not be what you expect. We meet the first industrial robot, take a journey through the uncanny valley, and investigate a possible robot crime. Season 8 covers the robots that are in our midst—and the determined dreamers who bring them to life. The first episode drops September 7, 2021. Follow today and sign up for the newsletter to get the latest updates.

The Y2K bug generated a lot of fear, but all that hype fizzled when the new millennium didn’t start with a digital apocalypse. It turns out that fear was just aimed at the wrong catastrophe. While plenty were riding high on the rise of the internet beyond the Y2K scare, another disaster had been brewing since 1995—and would bring them back down. But the dot-com bubble wasn’t the end. The internet was here to stay. Not long after the turn of the millennium, the dot-com economy collapsed. Peter Relan points to the flawed business plans that fueled the dot-com bubble, and how many entrepreneurs and investors underestimated the complexity of building a business on the internet. Ernie Smith tell…

1995 laid the groundwork for a truly global World Wide Web. But not every country took the same path to connecting to the internet. Some resisted, wanting to create their own version. Others had to fight for access, not wanting to be left behind. And while we made huge strides in connecting the world in those early years, we still have a long way to go. Julien Mailland recounts the rollout of France’s Minitel service—how it was years ahead of the internet, but eventually lost its lead. Steve Goldstein explains what was involved in building the infrastructure to expand the NSFNET beyond the United States. Gianluigi Negro shares how China pushed for its connection, and how different it would …

The web was growing quickly in the ‘90s. But all that growth wasn’t going to lead to much if people couldn’t actually find any web sites. In 1995, an innovative new tool started crawling the web. And the search engine it fed opened the doors to the World Wide Web. Elizabeth Van Couvering describes trying to find websites before search engines, and how difficult it was becoming in the early ’90s to keep track of them all. Louis Monier talks about having to convince others how important search engines would become—and he showed them what a web crawler could do. Paul Cormier recounts taking the search engine from a research project to a commercial one. And Richard Seltzer wrote the book on sea…

We put a lot of trust into online shopping: sharing our names, addresses, and handing over money. In return, we have faith that the purchased item appears at our doorstep in a few days or weeks. That trust didn’t come easily. In 1995, we took our first steps out of the brick and mortar store to load our digital shopping cart. Robert Spector reveals how Amazon.com’s business foundations are in data—and being early to the internet. Sandeep Krishnamurthy recounts the rise of eBay. Angela Robinson describes the technology that makes secure transactions and trustworthy e-commerce possible. Kartik Shastri shares how difficult it was to store and process consumer data. And Katie Wilson explains ho…

Looking at the internet in 1995 is like looking back at awkward grade school yearbooks—all the weirdness and flaws stand out in stark contrast to what it’s grown into since. And web design took awhile to become a career—but it got a big boost in 1995. When the Batman Forever website launched to promote the movie, it showed people what was possible on the web. And it forever changed what we’d expect from a website. Jay Hoffmann describes the quirky designs of the early web. Richard Vijgen explains how we went from a lack of conventions to a homogenized web. Jeffrey Zeldman recounts building the Batman Forever movie’s website—and sowing the seeds of professional web design. Jessica Helfand ou…

The Hypertext Markup Language (HTML) gave everyone a foundation for building and viewing the World Wide Web. In 1995, its standardization led to dominance. Its simplicity helped it spread. And its solid common foundation helped shape the internet. Dr. Belinda Barnet explains what kind of framework was initially needed to build and navigate the Web. Jeff Veen describes the three ingredients Tim Berners-Lee combined to create HTML: the ideal language for the Web. Gavin Nicol recounts the need to standardize the quickly-growing language. And Gretchen McCulloch points out how HTML instills an inherent bias for English speakers to develop for the web.If you want to read up on some of our researc…

1995 was the year that ISPs became the dominant gateway to the information superhighway. But how’d we go from ARPANET all the way to that? It turns out, none of it would have happened without a team of intrepid engineers at the University of Michigan.Marc Weber tells us how a tension between academics and the military set the next evolution of the ARPANET. Douglas Van Houweling discusses the work his MERIT team did at the University of Michigan to build the national backbone of the NSFNET. Elise Gerich, MERIT’s systems manager, talks about how they made the leap from a T1 connection to a T3 to handle traffic from their growing network. And Janet Abbate emphasizes how all this set the stage …

**Watch the live stream:** [  __ Play on YouTube ](https://www.youtube.com/watch?v=eIEGTZnsyCg) **About the show**

**Watch the live stream:** [  __ Play on YouTube ](https://www.youtube.com/watch?v=I_F9YSiLSaI) **About the show**

When creating a website, there’s no shortage of choices for how to do it. Builders must make strategic decisions about the language or framework they want to adopt. An important first consideration for many is selecting a web application framework like React or Vue. Motivated by a low page response time and good user experience,

The post Nuxt.js with Alex Lichter appeared first on Software Engineering Daily.

Application observability is a fairly mature area. Engineering teams have a wide selection of tools they can choose to adopt and a significant amount of thought leadership and philosophy already exists giving guidance for managing your application. That application is going to persist data. As you scale up, your system is invariably going to experience

The post Metaplane with Kevin Hu appeared first on Software Engineering Daily.

Consumers are increasingly becoming aware of how detrimental it can be when companies mismanage data. This demand has fueled regulations, defined standards, and applied pressure to companies. Modern enterprises need to consider corporate risk management and regulatory compliance. In this interview, I speak with Terry O’Daniels, Director of Engineering (Risk & Compliance) at Instacart. Sponsorship

The post Risk and Compliance with Terry O’Daniel appeared first on Software Engineering Daily.

Thanks to the amazing books, blogs, videos, quickstarts, frameworks, and other software-related resources, getting started as a software engineer is easier than ever. Although you can get started in a day, it can take years to become a master of the craft and most practitioners describe it as a profession of lifelong learning. Titus Winters

The post Software Engineering at Google with Titus Winters appeared first on Software Engineering Daily.

With a few impressive exceptions, software is rarely written by one person. It takes a team and as that team outgrows a single shared office, coordination and communication become emergent problems. There are lots of lessons to be learned from companies that have already found approaches that scale. In this episode, I interview Tramale Turner,

The post Building Engineering Teams with Tramale Turner appeared first on Software Engineering Daily.

Neural networks, in particular, deep neural networks have revolutionized machine learning. Researchers and companies have pushed on the efficiency of every aspect of the machine learning lifecycle. The impact of the trained models is particularly significant for computer vision and in turn for autonomous driving and security systems. In this episode, I interview Forrest Iandola,

The post Deploying Computer Vision to the Edge at Anduril Industries with Forrest Iandola appeared first on Software Engineering Daily.

Modern businesses run on the cloud and increasingly so they run on multi-cloud infrastructure. As any growing company can tell you, cloud costs can easily run far out of control. Today’s enterprises are trying to deliver new products and services at a fast pace. That needs to be done in a cost-effective, ideally cloud-agnostic way.

The post Yotascale with Jake Reichert appeared first on Software Engineering Daily.

I call my friends at Pal Jazeera to action.

The post Grace Gong said she thought I could be president and then she disappeared. appeared first on Software Engineering Daily.

– pope smoke

The post WOTC rhymes with appeared first on Software Engineering Daily.

The post in other old news (Bryan Hubble) Supercompute, Inc makes bid to acquire Hasbro for an eigth of shitty marijuanda appeared first on Software Engineering Daily.

Gadiel is my best friend. I will find what happened to him at all costs.

The post The incrimination will not stop until Sunday is reclaimed. appeared first on Software Engineering Daily.

education arrives in strange forms

The post Special Thanks to University of Texas at Austin (especially Mike Scott and Lorenzo Alvisi) appeared first on Software Engineering Daily.

CONS lmao UT AUSTIN FOREVER WHAT STARTS HERE PWNS LESLIE LAMP-Portz I like YT Music, Spotify, Apple Muzic, etc idk what erlang is and do not really want to – llamao GG (you lose) I love grace gong – $U$ -+ . …. . =+=S+++= / . $_$ The post sed makes bid to acquire club’s house poker room and casino-style restaurant appeared first on Software Engineering Daily.

plastic plants can affect electronics

The post hand sanitizer is probably also for your phone appeared first on Software Engineering Daily.

This should be an interesting puzzle to solve.

The post I believe Germany won WWII then enslaved China. Let’s find out. appeared first on Software Engineering Daily.