Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 1 неделя, 3 дня назад
Creating Airbnb’s Page Performance Score
Creating Airbnb’s Page Performance Score Creating Airbnb’s Page Performance Score

Learn how Airbnb built the Page Performance Score, a 0–100 score that measures multiple performance metrics from real users on any platform.Andrew ScheuermannPerformance is important at Airbnb and part of our Commitment to Craft. A fast experience is good for business and critical to our mission to “create a world where anyone can belong anywhere”.Before we can create a fast experience we need to agree on what “fast” measures. Web, iOS, and Android each have different platform-specific performance metrics. For product engineers it can be challenging to understand which of these metrics to prioritize, and for management it’s difficult to compare platforms and keep progress reports succinct.W…

1 неделя, 3 дня назад @ medium.com
My Journey to Airbnb — Elizabeth Ponce
My Journey to Airbnb — Elizabeth Ponce My Journey to Airbnb — Elizabeth Ponce

My Journey to Airbnb — Elizabeth PonceForging a path to a technical role at AirbnbElizabeth PonceMany Airbnbers know Elizabeth for her role as a community builder and leader — the co-lead for the Global Co-Lead for the Genders Marginalized in Tech (GemTech) resource group at Airbnb, and the host of amazing events like our company-wide Dog President Election. What people might not know is that Elizabeth has been on an incredible journey since joining Airbnb in 2017. She started as a customer support specialist, spent years developing a deep technical skillset, and is now a systems engineer on the BizTech team.Elizabeth discovered software engineering relatively later in her career. Her first…

3 недели, 3 дня назад @ medium.com
Meet Ottr: A Serverless Public Key Infrastructure Framework
Meet Ottr: A Serverless Public Key Infrastructure Framework Meet Ottr: A Serverless Public Key Infrastructure Framework

Ottr is a serverless Public Key Infrastructure framework that handles end-to-end certificate rotations without the use of an agent. The purpose of the blog is to provide an overview on Ottr with sample reference architecture, logical and network flows, and highlight the benefits of the solution. For installation instructions, skip to the Open Source section of the article.Kenneth YangIntroductionManaging certificates for Public Key Infrastructure (PKI) is a difficult problem to solve at scale for any organization. While there are a number of agent-based solutions to automate certificate rotations for Linux and Windows distributions, the process to broker certificates for network infrastruct…

1 месяц назад @ medium.com
Automating Data Protection at Scale, Part 2
Automating Data Protection at Scale, Part 2 Automating Data Protection at Scale, Part 2

Part two of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at AirbnbElizabeth Nammour, Pinyao Guo, Wendy JinIntroductionIn Part 1 of our blog series, we introduced the Data Protection Platform (DPP), which enables us to protect data in compliance with global regulations and security requirements. We stressed that understanding our data, by keeping track of where personal and sensitive data is stored in our ecosystem, is a necessary building block to protecting the data. In this blog post, we will discuss the challenges companies often face when trying to pinpoint the exact location of personal and sensitive data. As a stopgap,…

1 месяц, 1 неделя назад @ medium.com
Migrating Kafka transparently between Zookeeper clusters
Migrating Kafka transparently between Zookeeper clusters Migrating Kafka transparently between Zookeeper clusters

Learn more about how to migrate your Kafka cluster from one Zookeeper cluster to another without any user impact.By: Edmund MokIntroductionKafka is an open-source distributed event-streaming platform. It depends on Zookeeper, another open-source distributed coordination system, to store cluster metadata. At Airbnb, Kafka forms the backbone of our data infrastructure, powering use cases such as event logging and change data capture that help us better understand our guests and hosts, and make decisions that improve our product.We run several production Kafka clusters, the largest of which being our oldest cluster consisting of hundreds of brokers and supporting over 1GB/s of incoming traffic…

1 месяц, 2 недели назад @ medium.com
Designing for Productivity in a Large-Scale iOS Application
Designing for Productivity in a Large-Scale iOS Application Designing for Productivity in a Large-Scale iOS Application

How innovation in technology and people processes have enabled iOS developers to remain productive in a large codebase.Every iOS engineer remembers the joy of seeing their first application running on an iOS device. The human-centric interface of the iPhone brings the program to life. When you choose iOS development as a career, that joy grows as your application touches more people’s lives.Affecting more users often involves new iOS features, flows, and functionality. But as an application grows to serve more users, new features and functionality can introduce additional weight and complexity, which slows product iteration and precludes atomic refactors.We have undergone this journey as an…

1 месяц, 3 недели назад @ medium.com
How Airbnb Tech Fosters a Culture of Learning
How Airbnb Tech Fosters a Culture of Learning How Airbnb Tech Fosters a Culture of Learning

Leveraging technical learning and development to enable engineers to do their best work.Authors: Hanna Dooley, Jennifer Rice, Tamera ScholzIntroductionThe Airbnb TechED team believes each individual’s success is critical to the health of our technical teams. This fundamental belief in the power of human potential drives us to bring high quality, relevant educational content to our technical teams to meet both their needs and the needs of Airbnb. We work with our technical leaders and subject matter experts (SMEs) to build and deliver unique, interactive, multimodal learning experiences at scale.We have three principles for approaching technical learning:Embrace the adventureShare what you k…

1 месяц, 4 недели назад @ medium.com
The Airflow Smart Sensor Service
The Airflow Smart Sensor Service The Airflow Smart Sensor Service

Consolidating long-running, lightweight tasks for improved resource utilizationBy: Yingbo Wang, Kevin YangIntroductionAirflow is a platform to programmatically author, schedule, and monitor data pipelines. A typical Airflow cluster supports thousands of workflows, called DAGs (directed acyclic graphs), and there could be tens of thousands of concurrently running tasks at peak hours. Back in 2018, Airbnb’s Airflow cluster had several thousand DAGs and more than 30 thousand tasks running at the same time. This amount of workload would often result in Airflow’s database being overloaded. It also made the cluster quite expensive since it required a lot of resources to support those concurrent t…

2 месяца назад @ medium.com
My Journey to Airbnb — Rachel Zhao
My Journey to Airbnb — Rachel Zhao My Journey to Airbnb — Rachel Zhao

My Journey to Airbnb — Rachel ZhaoFrom an uncertain software engineering student to Head of Search Engineering.If there’s one thing travel teaches us, it’s that the journey is just as important as the destination. With this in mind, we’re launching a new series of blog posts to bring you the personal stories of our amazing Airfam! How did they initially connect with their passion, what brought them to Airbnb, and what’s fueling them every day?We could think of no one better to kick off this series than Rachel Zhao, the head of engineering for our Search product group, which contributed to the set of incredible features this year to respond to the changing world of travel. In addition to maj…

2 месяца назад @ medium.com
How Airbnb Enables Consistent Data Consumption at Scale
How Airbnb Enables Consistent Data Consumption at Scale How Airbnb Enables Consistent Data Consumption at Scale

Part-III: Building a coherent consumption experienceBy: Amit Pahwa, Cristian Figueroa, Donghan Zhang, Haim Grosman, John Bodley, Jonathan Parks, Jenny Liu, Krishna Bhupatiraju, Maggie Zhu, Mike Lin, Philip Weiss, Robert Chang, Shao Xie, Sylvia Tomiyama, Toby Mao, Xiaohui SunIntroductionIn the first post of this series, we highlighted the role Minerva plays in transforming how Analytics works at Airbnb. In the second post, we dove into Minerva’s core compute infrastructure and explained how we enforce data consistency across datasets and teams. In this third and final post, we will focus our story on how Minerva drastically simplifies and improves the data consumption experience for our user…

2 месяца, 1 неделя назад @ medium.com
Commitment to Craft
Commitment to Craft Commitment to Craft

Ari Balogh, CTO at Airbnb, shares how striving towards excellence has served us well in a time of uncertainty.If you’ve ever been part of a startup, you understand the importance of speed. Sometimes it feels like nothing else matters, since getting your products to market quickly can determine whether you survive. When Airbnb was an emerging company with a radical new vision for travel, we often had to prioritize speed in making tough engineering tradeoffs.These decisions paid off, and Airbnb grew into a platform that supports millions of Hosts and Guests globally. Now, in addition to delivering fast, our success depends on providing an experience of exceptional quality that considers every…

2 месяца, 1 неделя назад @ medium.com
Automating Data Protection at Scale, Part 1
Automating Data Protection at Scale, Part 1 Automating Data Protection at Scale, Part 1

Part one of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at Airbnb.Elizabeth Nammour, Wendy Jin, Shengpu LiuOur community of hosts and guests trust that we will keep their data safe and honor their privacy rights. With frequent news reports of data security breaches, coupled with global regulations and security requirements, monitoring and protecting data has become an even more critical problem to solve.At Airbnb, data is collected, stored, and propagated across different data stores and infrastructures, making it hard to rely on engineers to manually keep track of how user and sensitive data flows through our environment. …

2 месяца, 2 недели назад @ medium.com
Task-Oriented Conversational AI in Airbnb Customer Support
Task-Oriented Conversational AI in Airbnb Customer Support Task-Oriented Conversational AI in Airbnb Customer Support

How Airbnb is powering automated support to enhance the host and guest experienceGavin Li, Mia ZhaoCustomer Support (CS) can make or break a guest’s travel experience. To support Airbnb’s community of guests and Hosts, we have been investing heavily in developing intelligent CS solutions leveraging state-of-the-art natural language processing (NLP), machine learning (ML), and artificial intelligence (AI) technologies.In this blog post, we’ll introduce the automated support system at Airbnb, which employs the latest task-oriented conversational AI technology, through the lens of a recently launched feature called Mutual Cancellation. We will describe in detail how we framed the business prob…

3 месяца, 2 недели назад @ medium.com
How Airbnb Built “Wall” to prevent data bugs
How Airbnb Built “Wall” to prevent data bugs How Airbnb Built “Wall” to prevent data bugs

Gaining trust in data with extensive data quality, accuracy and anomaly checksAs shared in our Data Quality Initiative post, Airbnb has embarked on a project of massive scale to ensure trustworthy data across the company. To enable employees to make faster decisions with data and provide better support for business metric monitoring, we introduced Midas, an analytical data certification process that certifies all important metrics and data sets. As part of that process, we made robust data quality checks and anomaly detection mandatory requirements to prevent data bugs propagating through the data warehouse. We also created guidelines on which specific data quality checks need to be impleme…

3 месяца, 3 недели назад @ medium.com
Using Sentiment Score to Assess Customer Service Quality
Using Sentiment Score to Assess Customer Service Quality Using Sentiment Score to Assess Customer Service Quality

How AI-based Sentiment Models Complement Net Promoter ScoreBy Shuai Shao, Mia Zhao, Yuanyuan NiNet Promoter Score (NPS) is a well-accepted measurement of customer satisfaction in most customer-facing industries. We leverage NPS at Airbnb to help measure how well we serve our community of guests and hosts through our customer service. But NPS has two major drawbacks: 1) NPS is sparse, given only a fraction of users respond to the survey, and 2) NPS is slow. It takes at least a week for results to show up. Airbnb uses A/B testing heavily across our core products and customer service offerings. In the A/B testing world, the longer it takes to see results and interpret experiments, the longer i…

4 месяца назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 неделя, 6 дней назад
Building confidence in a decision
Building confidence in a decision Building confidence in a decision

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Michael Lindon, and Colin McFarlandThis is the fifth post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix), Part 2 (What is an A/B Test?), Part 3 (False positives and statistical significance), and Part 4 (False negatives and power). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of developing a culture of experimentation within an organization.In Parts 3 (False p…

1 неделя, 6 дней назад @ netflixtechblog.com
Bringing AV1 Streaming to Netflix Members’ TVs
Bringing AV1 Streaming to Netflix Members’ TVs Bringing AV1 Streaming to Netflix Members’ TVs

by Liwei Guo, Ashwin Kumar Gopi Valliammal, Raymond Tam, Chris Pham, Agata Opalach, Weibo NiAV1 is the first high-efficiency video codec format with a royalty-free license from Alliance of Open Media (AOMedia), made possible by wide-ranging industry commitment of expertise and resources. Netflix is proud to be a founding member of AOMedia and a key contributor to the development of AV1. The specification of AV1 was published in 2018. Since then, we have been working hard to bring AV1 streaming to Netflix members.In February 2020, Netflix started streaming AV1 to the Android mobile app. The Android launch leveraged the open-source software decoder dav1d built by the VideoLAN, VLC, and FFmpeg…

2 недели, 5 дней назад @ netflixtechblog.com
Netflix Video Quality at Scale with Cosmos Microservices
Netflix Video Quality at Scale with Cosmos Microservices Netflix Video Quality at Scale with Cosmos Microservices

by Christos G. Bampis, Chao Chen, Anush K. Moorthy and Zhi LiIntroductionMeasuring video quality at scale is an essential component of the Netflix streaming pipeline. Perceptual quality measurements are used to drive video encoding optimizations, perform video codec comparisons, carry out A/B testing and optimize streaming QoE decisions to mention a few. In particular, the VMAF metric lies at the core of improving the Netflix member’s streaming video quality. It has become a de facto standard for perceptual quality measurements within Netflix and, thanks to its open-source nature, throughout the video industry.As VMAF evolves and is integrated with more encoding and streaming workflows with…

3 недели, 5 дней назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Pallavi Phadnis
Data Engineers of Netflix — Interview with Pallavi Phadnis Data Engineers of Netflix — Interview with Pallavi Phadnis

Data Engineers of Netflix — Interview with Pallavi PhadnisThis post is part of our “Data Engineers of Netflix” series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Pallavi Phadnis is a Senior Software Engineer at Netflix.Pallavi Phadnis is a Senior Software Engineer on the Product Data Science and Engineering team. In this post, Pallavi talks about her journey to Netflix and the challenges that keep the work interesting.Pallavi received her master’s degree from Carnegie Mellon. Before joining Netflix, she worked in the advertising and e-commerce industries as a backend software engineer. In her free time, she enjoys watching Netflix and traveling…

1 месяц назад @ netflixtechblog.com
Open-Sourcing a Monitoring GUI for Metaflow
Open-Sourcing a Monitoring GUI for Metaflow Open-Sourcing a Monitoring GUI for Metaflow

Open-Sourcing a Monitoring GUI for Metaflow, Netflix’s ML Platformtl;dr Today, we are open-sourcing a long-awaited GUI for Metaflow. The Metaflow GUI allows data scientists to monitor their workflows in real-time, track experiments, and see detailed logs and results for every executed task. The GUI can be extended with plugins, allowing the community to build integrations to other systems, custom visualizations, and embed upcoming features of Metaflow directly into its views.https://medium.com/media/9389f8a3d6aaab2925a26771476c3dc8/hrefMetaflow is a full-stack framework for data science that we started developing at Netflix over four years ago and which we open-sourced in 2019. It allows da…

1 месяц назад @ netflixtechblog.com
Interpreting A/B test results: false negatives and power
Interpreting A/B test results: false negatives and power Interpreting A/B test results: false negatives and power

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the fourth post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix), Part 2 (What is an A/B Test?), Part 3 (False positives and statistical significance). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.In Part 3: False positives and statistical significance, we defined the two types of mistak…

1 месяц назад @ netflixtechblog.com
Revisiting BetterTLS: Certificate Path Building
Revisiting BetterTLS: Certificate Path Building Revisiting BetterTLS: Certificate Path Building

By Ian HakenLast year the AddTrust root certificate expired and lots of clients had a bad time. Some Roku devices weren’t working right, Heroku had problems, and some folks couldn’t even curl. In the aftermath Ryan Sleevi wrote a really great blog post not just about the issue of this one certificate’s expiry, but the problem that so many TLS implementations have in general with certificate path building. If you haven’t read that blog post, you should. This post is probably going to make a lot more sense if you’ve read that one first, so go ahead and read it now.To recap that previous AddTrust root certificate expiry, there was a certificate graph that looked like this:The AddTrust certific…

1 месяц, 2 недели назад @ netflixtechblog.com
CAMBI, a banding artifact detector
CAMBI, a banding artifact detector CAMBI, a banding artifact detector

by Joel Sole, Mariana Afonso, Lukas Krasula, Zhi Li, and Pulkit TandonIntroducing the banding artifacts detector developed by Netflix aiming at further improving the delivered video qualityBanding artifacts can be pretty annoying. But, first of all, you may wonder, what is a banding artifact?Banding artifact?You are at home enjoying a show on your brand-new TV. Great content delivered at excellent quality. But then, you notice some bands in an otherwise beautiful sunset scene. What was that? A sci-fi plot twist? Some device glitch? More likely, banding artifacts, which appear as false staircase edges in what should be smoothly varying image areas.Bands can show up in the sky in that sunset …

1 месяц, 2 недели назад @ netflixtechblog.com
Safe Updates of Client Applications at Netflix
Safe Updates of Client Applications at Netflix Safe Updates of Client Applications at Netflix

By Minal MishraQuality of a client application is of paramount importance to global digital products, as it is the primary way customers interact with a brand. At Netflix, we have significant investments in ensuring new versions of our applications are well tested. However, Netflix is available for streaming on thousands of types of devices and it is powered by hundreds of micro-services which are deployed independently, making it extremely challenging to comprehensively test internally. Hence, it became important to supplement our release decisions with strong evidence received from the field during the update process.Our team was formed to mine health signals from the field to quickly eva…

1 месяц, 3 недели назад @ netflixtechblog.com
Interpreting A/B test results: false positives and statistical significance
Interpreting A/B test results: false positives and statistical significance Interpreting A/B test results: false positives and statistical significance

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the third post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix) and Part 2 (What is an A/B Test?). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.In Part 2: What is an A/B Test we talked about testing the Top 10 lists on Netflix, and how the primary decision metric for this test was a meas…

1 месяц, 3 недели назад @ netflixtechblog.com
How We Build Micro Frontends With Lattice
How We Build Micro Frontends With Lattice How We Build Micro Frontends With Lattice

Written by Michael Possumato, Nick Tomlin, Jordan Andree, Andrew Shim, and Rahul Pilani.As we continue to grow here at Netflix, the needs of Revenue and Growth Engineering are rapidly evolving; and our tools must also evolve just as rapidly. The Revenue and Growth Tools (RGT) team decided to set off on a journey to build tools in an abstract manner to have solutions readily available within our organization. We identified common design patterns and architectures scattered across various tools which were all duplicating efforts in some way or another.We needed to consolidate these tools in a way that scaled with the teams we served. It needed to have the agility of a micro frontend and the e…

2 месяца назад @ netflixtechblog.com
Netflix Cloud Packaging in the Terabyte Era
Netflix Cloud Packaging in the Terabyte Era Netflix Cloud Packaging in the Terabyte Era

By Xiaomei Liu, Rosanna Lee, Cyril ConcolatoIntroductionBehind the scenes of the beloved Netflix streaming service and content, there are many technology innovations in media processing. Packaging has always been an important step in media processing. After content ingestion, inspection and encoding, the packaging step encapsulates encoded video and audio in codec agnostic container formats and provides features such as audio video synchronization, random access and DRM protection. Our previous tech blog Packaging award-winning shows with award-winning technology detailed our packaging technology deployed on the streaming side.As Netflix becomes a producer of award winning content, the stud…

2 месяца назад @ netflixtechblog.com
What is an A/B Test?
What is an A/B Test? What is an A/B Test?

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the second post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. See here for Part 1: Decision Making at Netflix. Subsequent posts will go into more details on the statistics of A/B tests, experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.An A/B test is a simple controlled experiment. Let’s say — this is a hypothetical! — we want to learn if a new product experience that flips all of the boxart upside dow…

2 месяца, 1 неделя назад @ netflixtechblog.com
Practical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation Operations
Practical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation Operations Practical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation Operations

By Ricky Gardiner, Alex BorysovBackgroundIn our previous post, we discussed how we utilize FieldMask as a solution when designing our APIs so that consumers can request the data they need when fetched via gRPC. In this blog post we will continue to cover how Netflix Studio Engineering uses FieldMask for mutation operations such as update and remove.Example: Netflix Studio ProductionMoney Heist (La casa de papel) / NetflixPreviously we outlined what a Production is and how the Production Service makes gRPC calls to other microservices such as the Schedule Service and Script Service to retrieve schedules and scripts (aka screenplay) for a particular production such as La Casa De Papel. We can…

2 месяца, 2 недели назад @ netflixtechblog.com
The Show Must Go On: Securing Netflix Studios At Scale
The Show Must Go On: Securing Netflix Studios At Scale The Show Must Go On: Securing Netflix Studios At Scale

Written by Jose Fernandez, Arthur Gonigberg, Julia Knecht, and Patrick ThomasIn 2017, Netflix Studios was hitting an inflection point from a period of merely rapid growth to the sort of explosive growth that throws “how do we scale?” into every conversation. The vision was to create a “Studio in the Cloud”, with applications supporting every part of the business from pitch to play. The security team was working diligently to support this effort, faced with two apparently contradictory priorities:1) streamline any security processes so that we could get applications built and deployed to the public internet faster2) raise the overall security bar so that the accumulated risk of this giant an…

2 месяца, 2 недели назад @ netflixtechblog.com
Pinterest Engineering
последний пост 1 неделя, 3 дня назад
Campaign Budgets at Pinterest
Campaign Budgets at Pinterest Campaign Budgets at Pinterest

Kelvin Jiang |Software Engineer; Keshava Subramanya | Engineering Manager; Yeming Shi | Software Engineer, Ads IntelligenceIntroductionPinterest is a visual discovery engine that helps Pinners find inspirational ideas. Advertisers use Pinterest to connect with Pinners on these journeys to inspiration, and seek to promote products or services efficiently.The Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched the Campaign Budget Optimization product for Pinterest Ads.Campaign Budget Optimization, or CBO, is an automated ads product that benefits advertisers by dis…

1 неделя, 3 дня назад @ medium.com
MemQ: An efficient, scalable cloud native PubSub system
MemQ: An efficient, scalable cloud native PubSub system MemQ: An efficient, scalable cloud native PubSub system

Ambud Sharma, Tech Lead and Engineering Manager | Logging PlatformThe Logging Platform powers all data ingestion and transportation at Pinterest. At the heart of the Pinterest Logging Platform are Distributed PubSub systems that help our customers transport / buffer data and consume asynchronously.In this blog we introduce MemQ (pronounced mem — queue), an efficient, scalable PubSub system developed for the cloud at Pinterest that has been powering Near Real-Time data transportation use cases for us since mid-2020 and complements Kafka while being up to 90% more cost efficient.HistoryFor nearly a decade, Pinterest has relied on Apache Kafka as the sole PubSub system. As Pinterest grew, so d…

1 неделя, 5 дней назад @ medium.com
SearchSage: Learning Search Query Representations at Pinterest
SearchSage: Learning Search Query Representations at Pinterest SearchSage: Learning Search Query Representations at Pinterest

Nikil Pancha | Software Engineer; Andrew Zhai | Software Engineer; Chuck Rosenberg | Head of Advanced Technologies Group; and Jure Leskovec | Chief Scientist, Advanced Technologies GroupPinterest surfaces billions of ideas to people every day, and the neural modeling of embeddings for content, users, and search queries are key in the constant improvement of these machine learning-powered recommendations. Good embeddings — representations of discrete entities as vectors of numbers — enable fast candidate generation and are strong signals to models that classify, retrieve and rank relevant content.We began our representation learning workstream with Visual Embeddings, a convolutional neural n…

2 недели, 5 дней назад @ medium.com
Efficient Resource Management at Pinterest’s Batch Processing Platform
Efficient Resource Management at Pinterest’s Batch Processing Platform Efficient Resource Management at Pinterest’s Batch Processing Platform

Yongjun Zhang | Software Engineer; Ang Zhang | Engineering Manager; Shaowen Wang | Software Engineer, Batch Processing Platform TeamPinterest’s Batch Processing Platform, Monarch, runs most of the batch processing workflows of the company. At the scale shown in Table 1, it is important to manage the platform resources to provide quality of service (QoS) while achieving cost efficiency. This article shares how we do that and future work.Table 1: Scale of Monarch Batch Processing PlatformIntroduction of MonarchFigure 1 shows what Pinterest’s data system looks like at a high level. When users are using Pinterest applications on their mobile or desktop devices, they generate various logs that a…

1 месяц, 2 недели назад @ medium.com
Evita el spam mediante la agrupación y la creación automática de reglas
Evita el spam mediante la agrupación y la creación automática de reglas Evita el spam mediante la agrupación y la creación automática de reglas

Cathy Yang | Ingeniera de software, confianza y seguridadThis article was originally posted in English; read the English version here.En Pinterest, una de nuestras mayores prioridades es mantener la seguridad de los usuarios, esto incluye protegerlos del spam. El objetivo del equipo de Confianza y seguridad no es solo detectar el spam, sino eliminarlo lo más rápido posible para minimizar el impacto en los usuarios.El objetivo de los spammers es ganar dinero, y la mejor manera de hacerlo es enviar spam a gran escala. Es un juego de números: un millón de correos electrónicos de spam son mucho más efectivos que solo uno. Con el fin de eliminar el spam de manera rápida, analizamos las tendencia…

1 месяц, 3 недели назад @ medium.com
Ensuring High Availability of Ads Realtime Streaming Services
Ensuring High Availability of Ads Realtime Streaming Services Ensuring High Availability of Ads Realtime Streaming Services

Sreshta Vijayaraghavan | Tech Lead, Ads Indexing PlatformThe Pinterest Ad Business has grown multi-fold in the past couple years, with respect to both advertisers and users. As we scale our revenue, it becomes imperative to:Distribute advertiser spend smoothly over the course of the dayAvoid over-spending beyond the advertiser’s daily / lifetime budgetMaximize advertiser valueBackgroundTo meet these goals, we maintain 3 real-time streaming services with low latency and high uptime requirements. Here’s an overview of how they work together:Fig. 1. Simplified overview of the Ad systems interaction. The Ads Server retrieves ads and sends insertion / billable events to the Spend Aggregator, whi…

2 месяца назад @ medium.com
Faster Flink adoption with self-service diagnosis tool at Pinterest
Faster Flink adoption with self-service diagnosis tool at Pinterest Faster Flink adoption with self-service diagnosis tool at Pinterest

Fanshu Jiang & Lu Niu | Software Engineers, Stream Processing Platform TeamAt Pinterest, stream data processing powers a wide range of real-time use cases. In recent years, the platform powered by Flink has proven to be of great value to the business by providing near real-time content activation and metrics reporting, with the potential to unlock more use cases in the future. However, to take advantage of that potential, we needed to address the issue of developer velocity.It can take weeks to go from writing the first line of code to a stable data flow in production. Troubleshooting and tuning Flink jobs can be particularly time-consuming, due to the number of logs and metrics to investig…

2 месяца, 1 неделя назад @ medium.com
Pinterest Home Feed Unified Lightweight Scoring: A Two-tower Approach
Pinterest Home Feed Unified Lightweight Scoring: A Two-tower Approach Pinterest Home Feed Unified Lightweight Scoring: A Two-tower Approach

Dafang He | Software Engineer, Home Candidate Generation; Andrew Liu | Software Engineer, Home Candidate Generation; Jay Adams | Software Engineer, InspireIntroPinterest is a place where users (Pinners) can save and discover content from both web and mobile platforms, and where increasingly Creators can publish native content right to Pinterest. We hold billions of content (Pins) in our corpus and serve personalized recommendations that inspire Pinners to create a life they love. One of the key and most complicated surfaces for Pinterest is the home feed, where Pinners will see personalized feeds based on their engagement and interests. In this blog, we will discuss how we unify our light-w…

2 месяца, 2 недели назад @ medium.com
Pinterest’s Analytics as a Platform on Druid (Part 3 of 3)
Pinterest’s Analytics as a Platform on Druid (Part 3 of 3) Pinterest’s Analytics as a Platform on Druid (Part 3 of 3)

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamThis is a three-part blog series. Click to read part 1 and part 2.In this blog post series, we are going to discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the third of the blog post series, and will discuss learnings on optimizing Druid for real-time use cases.Learnings on Optimizing Druid for Real Time Use CasesWhen we first brought Druid to Pinterest, it was mainly used to serve queries for batch ingested data. Over time, we have been shifting to a real-time based reporting system to make metrics ready for query within minutes o…

2 месяца, 3 недели назад @ medium.com
Pinterest’s Analytics as a Platform on Druid (Part 2 of 3)
Pinterest’s Analytics as a Platform on Druid (Part 2 of 3) Pinterest’s Analytics as a Platform on Druid (Part 2 of 3)

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamThis series is three parts. To read part 1, click here. Part 3 coming soon.In this blog post series, we’ll discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the second of the blog post series, and will discuss learnings on optimizing Druid for batch use cases.Learnings on Optimizing Druid for Batch Use CasesSystem VisibilityDuring the process of onboarding different use cases, we found many critical system metrics were missing in Druid. In response, we added metrics on usage of processing threads, merge buffers, rows in memory, etc.,…

3 месяца назад @ medium.com
Pinterest’s Analytics as a Platform on Druid (Part 1 of 3)
Pinterest’s Analytics as a Platform on Druid (Part 1 of 3) Pinterest’s Analytics as a Platform on Druid (Part 1 of 3)

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamIn this blog post series, we’ll discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the first of the blog post series with a short history on switching to Druid, system architecture with Druid, and learnings on optimizing host types for Mmap.A Short History on Switching to DruidHistorically, most of the analytical use cases in Pinterest were powered by Hbase, which was then a well-supported, key value store in the company. All the reporting metrics were precomputed in an hourly or daily batch job, transformed into a key value data mode…

3 месяца, 1 неделя назад @ medium.com
Confiar en las métricas en Pinterest
Confiar en las métricas en Pinterest Confiar en las métricas en Pinterest

Ryan Cooke | Mánager de ingenieríaThis article was originally posted in English; read the English version here.Pinterest, como muchas empresas de tecnología, depende en gran medida de los datos para orientar la toma de decisiones e impulsar el aprendizaje automático. Esta estrategia depende fundamentalmente de que los datos sean precisos. A lo largo de los años, trabajamos para mejorar los procesos por los cuales corroboramos que podemos confiar en los datos clave para tomar decisiones y asegurarnos de que las métricas sean precisas.Cómo puede haber errores en los datosPara aquellos que no están familiarizados con las métricas, este puede parecer un problema extraño. Algo como el número de …

3 месяца, 2 недели назад @ medium.com
Improving efficiency and reducing runtime using S3 read optimization
Improving efficiency and reducing runtime using S3 read optimization Improving efficiency and reducing runtime using S3 read optimization

Bhalchandra Pandit | Software EngineerOverviewWe describe a novel approach we took to improving S3 read throughput and how we used it to improve the efficiency of our production jobs. The results have been very encouraging. A standalone benchmark showed a 12x improvement in S3 read throughput (from 21 MB/s to 269 MB/s). Increased throughput allowed our production jobs to finish sooner. As a result, we saw 22% reduction in vcore-hours, 23% reduction in memory-hours, and similar reduction in run time of a typical production job. Although we are happy with the results, we are exploring additional enhancements in the future. They are briefly described at the end of this blog.MotivationWe proces…

3 месяца, 2 недели назад @ medium.com
How we scaled the size of Pinterest’s ad corpus by 60x
How we scaled the size of Pinterest’s ad corpus by 60x How we scaled the size of Pinterest’s ad corpus by 60x

Nishant Roy | Tech Lead, Ads Serving PlatformIn May 2020, Pinterest launched a partnership with Shopify that allowed merchants to easily upload their catalogs to the Pinterest platform and create Product Pins and shopping ads. This vastly increased the number of shopping ads in our corpus available for our recommendation engine to choose from, when serving an ad on Pinterest. In order to continue to support this rapid growth, we leveraged a key-value (KV) store and some memory optimizations in Go to scale the size of our ad corpus by 60x. We had three main goals:Simplify scaling our ads business without a linear increase in infrastructure costsImprove system performanceMinimize maintenance …

3 месяца, 3 недели назад @ medium.com
Fighting Spam using Clustering and Automated Rule Creation
Fighting Spam using Clustering and Automated Rule Creation Fighting Spam using Clustering and Automated Rule Creation

Cathy Yang | Software Engineer, Trust & SafetyOne of our biggest priorities at Pinterest is keeping Pinners safe, and that includes protecting them from spam. The Trust & Safety team’s goal is not only to catch spam, but to remove it as quickly as possible to minimize Pinner impact.The goal of spammers is to make money, and the best way to do this is to spam at scale. It’s a numbers game: one million spam emails are much more effective than one spam email. In order to remove spam quickly, we look at common trends in spam attacks to identify suspect behavior.To achieve the scale required to be effective, spammers must automate their actions, and each of these “attacks” can be thought of as a…

3 месяца, 3 недели назад @ medium.com
Facebook
последний пост 4 месяца, 2 недели назад
Fully Sharded Data Parallel: faster AI training with fewer GPUs
Fully Sharded Data Parallel: faster AI training with fewer GPUs

Training AI models at a large scale isn’t easy. Aside from the need for large amounts of computing power and resources, there is also considerable engineering complexity behind training very large models. At Facebook AI Research (FAIR) Engineering, we have been working on building tools and infrastructure to make training large AI models easier. Our [...]

Read More...

The post Fully Sharded Data Parallel: faster AI training with fewer GPUs appeared first on Facebook Engineering.

4 месяца, 2 недели назад @ engineering.fb.com
Asicmon: A platform agnostic observability system for AI accelerators
Asicmon: A platform agnostic observability system for AI accelerators

We will be hosting a talk about our work on, “A Platform Agnostic Observability System for AI Accelerators” during our virtual Systems @Scale event at 10:20 a.m. PT on Wednesday, June 30, followed by a live Q&A session. Please submit any questions to systemsatscale@fb.com before the event. Accelerators are special-purpose hardware devices optimized for specific [...]

Read More...

The post Asicmon: A platform agnostic observability system for AI accelerators appeared first on Facebook Engineering.

5 месяцев назад @ engineering.fb.com
How Facebook encodes your videos
How Facebook encodes your videos

People upload hundreds of millions of videos to Facebook every day. Making sure every video is delivered at the best quality — with the highest resolution and as little buffering as possible — means optimizing not only when and how our video codecs compress and decompress videos for viewing, but also which codecs are used [...]

Read More...

The post How Facebook encodes your videos appeared first on Facebook Engineering.

7 месяцев, 3 недели назад @ engineering.fb.com
Uber Engineering
последний пост 1 неделя, 3 дня назад
CRISP: Critical Path Analysis for Microservice Architectures
CRISP: Critical Path Analysis for Microservice Architectures

Uber’s backend is an exemplar of microservice architecture. Each microservice is a small, individually deployable program performing a specific business logic (operation). The microservice architecture is a type of distributed computing system, which is suitable for independent deployments and scaling …

The post CRISP: Critical Path Analysis for Microservice Architectures appeared first on Uber Engineering Blog.

1 неделя, 3 дня назад @ eng.uber.com
How Uber Migrated Financial Data from DynamoDB to Docstore
How Uber Migrated Financial Data from DynamoDB to Docstore

Introduction

Each day, Uber moves millions of people around the world and delivers tens of millions of food and grocery orders. This generates a large number of financial transactions that need to be stored with provable completeness, consistency, and compliance. …

The post How Uber Migrated Financial Data from DynamoDB to Docstore appeared first on Uber Engineering Blog.

2 недели, 4 дня назад @ eng.uber.com
Introducing uGroup: Uber’s Consumer Management Framework
Introducing uGroup: Uber’s Consumer Management Framework

Background

Apache Kafka® is widely used across Uber’s multiple business lines. Take the example of an Uber ride: When a user opens up the Uber app, demand and supply data are aggregated in Kafka queues to serve fare calculations. …

The post Introducing uGroup: Uber’s Consumer Management Framework appeared first on Uber Engineering Blog.

1 месяц, 1 неделя назад @ eng.uber.com
Improving HDFS I/O Utilization for Efficiency
Improving HDFS I/O Utilization for Efficiency

Scaling our data infrastructure with lower hardware costs while maintaining high performance and service reliability has been no easy feat. To accommodate the exponential growth in both Data Storage and Analytics Compute at Uber, the Data Infrastructure team massively overhauled …

The post Improving HDFS I/O Utilization for Efficiency appeared first on Uber Engineering Blog.

1 месяц, 2 недели назад @ eng.uber.com
Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner
Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner

Introduction

The Fulfillment Platform is a foundational Uber domain that enables the rapid scaling of new verticals. The platform handles billions of database transactions each day, ranging from user actions (e.g., a driver starting a trip) and system actions …

The post Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner appeared first on Uber Engineering Blog.

2 месяца назад @ eng.uber.com
Real-Time Exactly-Once Ad Event Processing with Apache Flink, Kafka, and Pinot
Real-Time Exactly-Once Ad Event Processing with Apache Flink, Kafka, and Pinot

Uber recently launched a new capability: Ads on UberEats. With this new ability came new challenges that needed to be solved at Uber, such as systems for ad auctions, bidding, attribution, reporting, and more. This article focuses on how we …

The post Real-Time Exactly-Once Ad Event Processing with Apache Flink, Kafka, and Pinot appeared first on Uber Engineering Blog.

2 месяца назад @ eng.uber.com
YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process
YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process

At Uber, real-time mobile analytics events—generated by button taps, page views, and more—form the backbone of the mobile data workflow process.

To process these events, our Mobile Data Platform Team designed and developed the Fontana library, which converts the nearly-one-million-QPS …

The post YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process appeared first on Uber Engineering Blog.

2 месяца, 1 неделя назад @ eng.uber.com
Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System
Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System

Problem

Uber deploys a few storage technologies to store business data based on their application model. One such technology is called Schemaless, which enables the modeling of related entries in one single row of multiple columns, as well as …

The post Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System appeared first on Uber Engineering Blog.

2 месяца, 2 недели назад @ eng.uber.com
Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework
Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework

Introduction

Uber’s GSS (Global Scaled Solutions) team runs scaled programs for diverse products and businesses, including but not limited to Eats, Rides, and Freight. The team transforms Uber’s ideas into agile, global solutions by designing and implementing scalable solutions. One …

The post Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework appeared first on Uber Engineering Blog.

2 месяца, 3 недели назад @ eng.uber.com
Enabling Seamless Kafka Async Queuing with Consumer Proxy
Enabling Seamless Kafka Async Queuing with Consumer Proxy

Uber has one of the largest deployments of Apache Kafka in the world, processing trillions of messages and multiple petabytes of data per day. As Figure 1 shows, today we position Apache Kafka as a cornerstone of our technology stack. …

The post Enabling Seamless Kafka Async Queuing with Consumer Proxy appeared first on Uber Engineering Blog.

2 месяца, 4 недели назад @ eng.uber.com
How Data Shapes the Uber Rider App
How Data Shapes the Uber Rider App

Introduction

Data is crucial for our products. Data analytics help us provide a frictionless experience to the people that use our services. It also enables our engineers, product managers, data analysts, and data scientists to make informed decisions. The impact …

The post How Data Shapes the Uber Rider App appeared first on Uber Engineering Blog.

3 месяца назад @ eng.uber.com
Powering the Network Pricing Model with Near Real-Time Features
Powering the Network Pricing Model with Near Real-Time Features

Background

Drivers within the same area may have quite different earnings, depending on the trips they take. For example, consider two hypothetical drivers in downtown San Francisco. Two riders request two rides: one is within downtown San Francisco, and the …

The post Powering the Network Pricing Model with Near Real-Time Features appeared first on Uber Engineering Blog.

3 месяца назад @ eng.uber.com
Eats Safety Team On-Call Overview
Eats Safety Team On-Call Overview

Introduction

Our engineers have the responsibility of ensuring a consistent and positive experience for our riders, drivers, eaters, and delivery/restaurant partners.

Ensuring such an experience requires reliable systems: our apps have to work when anyone needs them. A major component …

The post Eats Safety Team On-Call Overview appeared first on Uber Engineering Blog.

3 месяца, 1 неделя назад @ eng.uber.com
Unifying Support Content to Enable More Empathetic and Personalized Customer Support Experiences
Unifying Support Content to Enable More Empathetic and Personalized Customer Support Experiences

Introduction Content quality is critical to the support experienced by Uber’s customers. Consider an Eater who reached out for help to cancel a very delayed order. The same resolution, such as refunding the charge, can be delivered alongside a robotic-sounding …

The post Unifying Support Content to Enable More Empathetic and Personalized Customer Support Experiences appeared first on Uber Engineering Blog.

3 месяца, 1 неделя назад @ eng.uber.com
Efficiently Managing the Supply and Demand on Uber’s Big Data Platform
Efficiently Managing the Supply and Demand on Uber’s Big Data Platform

With Uber’s business growth and the fast adoption of big data and AI, Big Data scaled to become our most costly infrastructure platform. To reduce operational expenses, we developed a holistic framework with 3 pillars: platform efficiency, supply, and demand …

The post Efficiently Managing the Supply and Demand on Uber’s Big Data Platform appeared first on Uber Engineering Blog.

3 месяца, 2 недели назад @ eng.uber.com
Spotify Engineering Spotify Engineering
последний пост 1 месяц, 1 неделя назад
Changing the Wheels on a Moving Bus — Spotify’s Event Delivery Migration
Changing the Wheels on a Moving Bus — Spotify’s Event Delivery Migration Changing the Wheels on a Moving Bus — Spotify’s Event Delivery Migration

At Spotify, data rules all. We log a variety of data, from listening history, to results of A/B testing, to page load times so we can analyze and improve the Spotify service. We instrument and log data across every surface that is running Spotify code through a system called the Event Delivery Infrastructure (EDI). Throughout [...]

1 месяц, 1 неделя назад @ engineering.atspotify.com
A Product Story: Three Lessons We Learned from Developing the Mobile App
A Product Story: Three Lessons We Learned from Developing the Mobile App A Product Story: Three Lessons We Learned from Developing the Mobile App

TL;DR Remember what life was like before smartphones? Remember manually having to sync your computer’s playlists with your iPod every time you added a few songs? One of Spotify’s core products, our mobile app, was designed specifically to leave all of that busywork in the past, changing how we travel with our music forever. In [...]

1 месяц, 3 недели назад @ engineering.atspotify.com
How Backstage Made Our Developers More Effective — And How It Can Help Yours, Too
How Backstage Made Our Developers More Effective — And How It Can Help Yours, Too How Backstage Made Our Developers More Effective — And How It Can Help Yours, Too

What’s the best way to assess your developers’ experience and performance to discover what they need help with? Is it by measuring something arbitrary, like how many lines of code they’ve written or how many commits they’ve made? Nope. How much useful data are you really getting out of those numbers anyway? Instead, it’s more [...]

2 месяца назад @ engineering.atspotify.com
Introducing Pedalboard: Spotify’s Audio Effects Library for Python
Introducing Pedalboard: Spotify’s Audio Effects Library for Python Introducing Pedalboard: Spotify’s Audio Effects Library for Python

We’ve just open sourced Pedalboard, Spotify’s framework for adding effects to audio in Python. Pedalboard makes it easy to use studio-quality audio effects in your code, rather than just in your digital audio workstation (DAW). If you ask any music or podcast producer where they spend most of their time, chances are they’ll say their [...]

2 месяца, 3 недели назад @ engineering.atspotify.com
Four Lessons We Learned from Creating Spotify’s Desktop App
Four Lessons We Learned from Creating Spotify’s Desktop App Four Lessons We Learned from Creating Spotify’s Desktop App

TL;DR Over the years, Spotify’s brand has expanded to encompass a number of products, from mobile apps to web players to car things. But sitting at the core is our flagship product, the one that started it all: the desktop app. In the first episode of our podcast series, “Spotify: A Product Story”, host and [...]

3 месяца, 3 недели назад @ engineering.atspotify.com
Patrick Balestra: Senior Engineer
Patrick Balestra: Senior Engineer Patrick Balestra: Senior Engineer

8:30am I’m at my best after nine hours’ sleep, so I tend to wake up pretty late, shower and dress as though I’m going into the office. Although I’ve been in Stockholm a while now, I’m still not a fan of the Swedish breakfast of bread and cheese or salami – give me Nutella on toast [...]

5 месяцев, 3 недели назад @ engineering.atspotify.com
Achieving Team Purpose and Pride with Scrum
Achieving Team Purpose and Pride with Scrum Achieving Team Purpose and Pride with Scrum

Team purpose and pride — my team hit those high marks, but it was a long journey to get there from where we started. At Spotify, we strive for “aligned autonomy” among our teams. Meaning: we align on what it is we set out to do, but preserve flexibility to choose how we’ll achieve those [...]

6 месяцев назад @ engineering.atspotify.com
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture

TLDR; In episode 08 of our podcast series “Spotify: A Product Story”, we share stories and lessons from building and open sourcing Backstage, our homegrown developer portal. Hear why a developer-friendly, market-based platform like Backstage could only have been developed at Spotify (where autonomy is prized, not top-down mandates) and why that ends up making [...]

6 месяцев, 2 недели назад @ engineering.atspotify.com
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It

There is no excerpt because this is a protected post.

6 месяцев, 3 недели назад @ engineering.atspotify.com
Customization vs. Configuration in Evolving Design Systems
Customization vs. Configuration in Evolving Design Systems Customization vs. Configuration in Evolving Design Systems

When a design system first starts out, the promise of visual consistency glows bright — the ideal product would have only one set of buttons, a unified typography scale, and elements that look the same no matter which designer made the design or which developer programmed them to be real and deployed. As the product [...]

7 месяцев назад @ engineering.atspotify.com
Nour Daoud Bösing: Security Engineer
Nour Daoud Bösing: Security Engineer Nour Daoud Bösing: Security Engineer

Nour is a Security Engineer at Spotify New York – juggling her busy day job with completing her Masters in Cyber Security and looking after her 10-month-old daughter, Leya.

7 месяцев назад @ engineering.atspotify.com
Rethinking Spotify Search
Rethinking Spotify Search Rethinking Spotify Search

Search @ Spotify Search is a well-established functionality across different industries, devices, and applications. When users come to any kind of search, they already have something in mind, whether they come looking for one thing in particular or are open to becoming inspired. Spotify Search is no exception, helping a vast majority of users find joy [...]

7 месяцев, 2 недели назад @ engineering.atspotify.com
Building the Future of Our Desktop Apps
Building the Future of Our Desktop Apps Building the Future of Our Desktop Apps

For the past couple of years, we’ve been on a mission to modernize our Spotify clients by creating one single desktop UI for both the Desktop application and the Web Player. We couldn’t build everything we wanted to for our users with our old setup, so we decided to do something about it. In the [...]

7 месяцев, 3 недели назад @ engineering.atspotify.com
David Riordan: Product Manager
David Riordan: Product Manager David Riordan: Product Manager

5:00 am My days begin with an early morning wake-up call from Zev – he comes through at around 5am and we get a couple of dedicated hours of playtime before the rest of the world gets up. It’s fun – this morning, we baked oatmeal cookies. Then once my wife and I are ready, we [...]

8 месяцев назад @ engineering.atspotify.com
Dmitry Anoshin recommends
Snowflake
последний пост 1 неделя, 3 дня назад
More Throughput and Faster Execution for Interactive Use Cases: Now in Public Preview
More Throughput and Faster Execution for Interactive Use Cases: Now in Public Preview

Snowflake is the data backbone for thousands of businesses, enabling data access and governance needed to deliver value. Interactive use cases in some data applications and embedded analytics, however, pose a particular challenge. Traditionally, you needed an additional caching layer to provide the required speed and throughput these solutions require—which also increased costs and architectural […]

The post More Throughput and Faster Execution for Interactive Use Cases: Now in Public Preview appeared first on Snowflake.

1 неделя, 3 дня назад @ snowflake.com
Industry Benchmarks and Competing with Integrity
Industry Benchmarks and Competing with Integrity

When we founded Snowflake, we set out to build an innovative platform. We had the opportunity to take into account what had worked well and what hadn’t in prior architectures and implementations. We saw how we could leverage the cloud to rethink the limits of what was possible. We also focused on ease of use […]

The post Industry Benchmarks and Competing with Integrity appeared first on Snowflake.

2 недели, 2 дня назад @ snowflake.com
Snowflake Ventures Invests in Habu to Modernize Data Collaboration for Advertising Solutions in the Data Cloud
Snowflake Ventures Invests in Habu to Modernize Data Collaboration for Advertising Solutions in the Data Cloud

At Snowflake, we are on a mission to help customers unleash their data. Our view on the ecosystem is that Snowflake provides the cross-cloud data infrastructure and technology that our partners can stand upon to deliver advanced solutions that empower business users. Take the media and advertising industry, for example. In order to improve advertising […]

The post Snowflake Ventures Invests in Habu to Modernize Data Collaboration for Advertising Solutions in the Data Cloud appeared first on Snowflake.

2 недели, 3 дня назад @ snowflake.com
Four Rules to Make Partners Your Marketing Differentiator
Four Rules to Make Partners Your Marketing Differentiator

Marketing leaders often hold partners at an arm’s length. They think the complexity and hassle of creating close business relationships with partners will outweigh the value gained. But by treating partner marketing as a secondary program, marketing organizations are missing out on an invaluable opportunity. Companies with mature partner programs grow revenue almost twice as […]

The post Four Rules to Make Partners Your Marketing Differentiator appeared first on Snowflake.

3 недели, 6 дней назад @ snowflake.com
Snowflake Announces Support for Google Cloud Private Service Connect
Snowflake Announces Support for Google Cloud Private Service Connect

Snowflake was architected with cross-cloud security built into its core, providing multiple layers of robust protection from network access, to authentication and access control, to data protection using encryption (for more details on Snowflake security, check out the on-demand session from Snowflake Summit). For the most-regulated customers around the world, enabling private connectivity is a […]

The post Snowflake Announces Support for Google Cloud Private Service Connect appeared first on Snowflake.

1 месяц назад @ snowflake.com
Snowflake Advanced Certifications: Level Up to SnowPro Advanced and Show Off Your Snowflake Expertise
Snowflake Advanced Certifications: Level Up to SnowPro Advanced and Show Off Your Snowflake Expertise

Did you know that Snowflake has three new advanced role-based certifications to help you stand out in the data community as a Snowflake expert? The Snowflake Advanced Certification Series offers role-based certifications designed for Snowflake practitioners who have at least two years of Snowflake experience. When you successfully pass an exam, you will receive a […]

The post Snowflake Advanced Certifications: Level Up to SnowPro Advanced and Show Off Your Snowflake Expertise appeared first on Snowflake.

1 месяц назад @ snowflake.com
What Today’s SaaS Providers Should Deliver to Your Organization
What Today’s SaaS Providers Should Deliver to Your Organization

It’s time we expect more from these providers. While today’s applications help automate business processes and address pain points at the department level, they don’t reflect the mind-blowing opportunities that now exist with data. How SaaS Providers Should Deliver the Highest Value to Customers The primary role of my sales team starts with helping organizations […]

The post What Today’s SaaS Providers Should Deliver to Your Organization appeared first on Snowflake.

1 месяц назад @ snowflake.com
Bringing More to the Table: Azure and UDTF Support with Snowpark
Bringing More to the Table: Azure and UDTF Support with Snowpark

In June, we announced that Java functions and the Snowpark API were available for preview in AWS. Today, we’re announcing a few additions to that preview: We’re expanding both where Snowpark is available as well as what you can do with it. New Cloud Providers At Snowflake, we aim to provide the same, great support […]

The post Bringing More to the Table: Azure and UDTF Support with Snowpark appeared first on Snowflake.

1 месяц, 1 неделя назад @ snowflake.com
The Snowflake Media Data Cloud Enables Disney Advertising Sales’ Innovative Clean Room Data Solution
The Snowflake Media Data Cloud Enables Disney Advertising Sales’ Innovative Clean Room Data Solution

Snowflake’s newly announced Media Data Cloud unites Snowflake’s powerful data sharing technology, the highest standards of privacy and governance, Snowflake- and partner-delivered solutions, and industry-specific data sets to help marketers, publishers, and advertising technology businesses succeed in the rapidly changing media and entertainment industry. The Snowflake Media Data Cloud is the first collaborative network of […]

The post The Snowflake Media Data Cloud Enables Disney Advertising Sales’ Innovative Clean Room Data Solution appeared first on Snowflake.

1 месяц, 1 неделя назад @ snowflake.com
New Snowflake Features Released in September 2021
New Snowflake Features Released in September 2021

Support for unstructured data is now in public preview! That’s one of many of the exciting announcements made in September, in addition to a new serverless tasks feature, expanded public cloud regions, enhanced business continuity capabilities, and several new providers on Snowflake Data Marketplace. CORE PLATFORM Support for Unstructured Data Snowflake support for unstructured data, […]

The post New Snowflake Features Released in September 2021 appeared first on Snowflake.

1 месяц, 1 неделя назад @ snowflake.com
Don’t settle for multi-cloud. Aspire to cross-cloud.
Don’t settle for multi-cloud. Aspire to cross-cloud.

Organizations are more often running data and applications on multiple clouds, and that’s great. However, multi-cloud isn’t enough. To let loose the true power of data on your business, you must be cross-cloud. Cross-cloud means data moves easily between multiple public clouds without any additional work. It means never worrying about where your data and […]

The post Don’t settle for multi-cloud. Aspire to cross-cloud. appeared first on Snowflake.

1 месяц, 1 неделя назад @ snowflake.com
Key Pricing Considerations for Building and Delivering SaaS Solutions
Key Pricing Considerations for Building and Delivering SaaS Solutions

A SaaS revenue model describes the framework for how a software provider will generate income. Pricing and billing for your products within this model is a simple concept: It’s what customers are willing to pay for a product or service. However, determining the right pricing structure for your SaaS solution may not feel quite as […]

The post Key Pricing Considerations for Building and Delivering SaaS Solutions appeared first on Snowflake.

1 месяц, 2 недели назад @ snowflake.com
Fantasy Football: A Game of Data
Fantasy Football: A Game of Data

On October 31, the NFL’s Jacksonville Jaguars will play a road game at Seattle, roughly 3,000 miles away from their home stadium. Those keenly following the game’s results will include not only Jaguar and Seahawk fans, but also a third group that may not be fans of either: Fantasy football enthusiasts have drafted Jacksonville rookie […]

The post Fantasy Football: A Game of Data appeared first on Snowflake.

1 месяц, 3 недели назад @ snowflake.com
How Roche Diagnostics Uses the Data Cloud to Empower Its Data Lifecycle Teams
How Roche Diagnostics Uses the Data Cloud to Empower Its Data Lifecycle Teams

Global healthcare company Roche is a great believer in data sharing and decentralization whenever those approaches empower its employees. Omar Khawaja, Global Head of Business Intelligence at Roche Diagnostics, joined us on the latest episode of Rise of the Data Cloud to discuss those topics and share his view on emerging data and analytics trends. […]

The post How Roche Diagnostics Uses the Data Cloud to Empower Its Data Lifecycle Teams appeared first on Snowflake.

1 месяц, 3 недели назад @ snowflake.com
Choosing Primary and Secondary Regions in Snowflake for Business Continuity
Choosing Primary and Secondary Regions in Snowflake for Business Continuity

Natural disaster. Errant code. Regional downtime. In the event of such disruptions, it can be crucial to have a secondary region for recovery to ensure business continuity and data durability. Snowflake Database Replication enables customers to replicate databases and keep them synchronized across multiple accounts in different regions and for different cloud providers. Customers can […]

The post Choosing Primary and Secondary Regions in Snowflake for Business Continuity appeared first on Snowflake.

1 месяц, 3 недели назад @ snowflake.com
Cloudera Cloudera
последний пост 1 неделя, 6 дней назад
The Rise of Unstructured Data
The Rise of Unstructured Data

Challenges and Opportunities Data Presents to AI

The post The Rise of Unstructured Data appeared first on Cloudera Blog.

1 неделя, 6 дней назад @ blog.cloudera.com
The Ultimate Map to finding Halloween candy surplus
The Ultimate Map to finding Halloween candy surplus

How to use machine learning to avoid bad candy hot spots and maximize supply and demand imbalances

The post The Ultimate Map to finding Halloween candy surplus appeared first on Cloudera Blog.

1 месяц назад @ blog.cloudera.com
Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering
Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering

Airflow has been adopted by many Cloudera Data Platform (CDP) customers in the public cloud as the next generation orchestration service to setup and operationalize complex data pipelines. Today, customers have deployed 100s of Airflow DAGs in production performing various data transformation and preparation tasks, with differing levels of complexity. This combined with Cloudera […]

The post Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering appeared first on Cloudera Blog.

1 месяц, 1 неделя назад @ blog.cloudera.com
Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak NabuTM
Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak NabuTM

Modak, a leading provider of modern data engineering solutions, is now a certified solution partner with Cloudera. Customers can now seamlessly automate migration to Cloudera’s Hybrid Data Platform — Cloudera Data Platform (CDP) to dynamically auto-scale cloud services with Cloudera Data Engineering (CDE) integration with Modak Nabu™. Modak’s Nabu™is a born in the […]

The post Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak NabuTM appeared first on Cloudera Blog.

1 месяц, 2 недели назад @ blog.cloudera.com
Struggling to Manage your Multi-Tenant Environments? Use Chargeback!
Struggling to Manage your Multi-Tenant Environments? Use Chargeback!

If your organization is using multi-tenant big data clusters (and everyone should be), do you know the usage and cost efficiency of resources in the cluster by tenants? A chargeback or showback model allows IT to determine costs and resource usage by the actual analytic users in the multi-tenant cluster, instead of attributing those to […]

The post Struggling to Manage your Multi-Tenant Environments? Use Chargeback! appeared first on Cloudera Blog.

1 месяц, 3 недели назад @ blog.cloudera.com
Supercharge your Airflow Pipelines with the Cloudera Provider Package
Supercharge your Airflow Pipelines with the Cloudera Provider Package

Many customers looking at modernizing their pipeline orchestration have turned to Apache Airflow, a flexible and scalable workflow manager for data engineers. With 100s of open source operators, Airflow makes it easy to deploy pipelines in the cloud and interact with a multitude of services on premise, in the cloud, and across cloud providers for […]

The post Supercharge your Airflow Pipelines with the Cloudera Provider Package appeared first on Cloudera Blog.

2 месяца, 1 неделя назад @ blog.cloudera.com
Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers
Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers

Across the federal government, agencies are struggling to identify, organize, analyze, and act on troves of data. It’s a problem that leaders are working actively to tackle, but they’re in a race against immeasurable volumes of data that is continuously being generated in perpetuity in stores known and unknown. At the Internal Revenue Service, decades’ […]

The post Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers appeared first on Cloudera Blog.

2 месяца, 2 недели назад @ blog.cloudera.com
Optimizing Cloudera Data Engineering Autoscaling Performance
Optimizing Cloudera Data Engineering Autoscaling Performance

The shift to cloud has been accelerating, and with it, a push to modernize data pipelines that fuel key applications. That is why cloud native solutions which take advantage of the capabilities such as disaggregated storage & compute, elasticity, and containerization are more paramount than ever. At Cloudera, we introduced Cloudera Data Engineering (CDE) as […]

The post Optimizing Cloudera Data Engineering Autoscaling Performance appeared first on Cloudera Blog.

2 месяца, 3 недели назад @ blog.cloudera.com
Automating Data Pipelines in CDP with CDE Managed Airflow Service
Automating Data Pipelines in CDP with CDE Managed Airflow Service

When we announced the GA of Cloudera Data Engineering back in September of last year, a key vision we had was to simplify the automation of data transformation pipelines at scale. By leveraging Spark on Kubernetes as the foundation along with a first class job management API many of our customers have been able to […]

The post Automating Data Pipelines in CDP with CDE Managed Airflow Service appeared first on Cloudera Blog.

3 месяца, 1 неделя назад @ blog.cloudera.com
Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure
Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure

After the launch of CDP Data Engineering (CDE) on AWS a few months ago, we are thrilled to announce that CDE, the only cloud-native service purpose built for enterprise data engineers, is now available on Microsoft Azure. CDP Data Engineering offers an all-inclusive toolset that enables data pipeline orchestration, automation, advanced monitoring, visual profiling, and […]

The post Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure appeared first on Cloudera Blog.

4 месяца, 2 недели назад @ blog.cloudera.com
Migrate Hive data from CDH to CDP public cloud
Migrate Hive data from CDH to CDP public cloud

Introduction Many Cloudera customers are making the transition from being completely on-prem to cloud by either backing up their data in the cloud, or running multi-functional analytics on CDP Public cloud in AWS or Azure. The Replication Manager service facilitates both disaster recovery and data migration across different environments. Using easy-to-define policies, Replication Manager solves […]

The post Migrate Hive data from CDH to CDP public cloud appeared first on Cloudera Blog.

5 месяцев назад @ blog.cloudera.com
Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore
Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore

A sturdy data infrastructure coupled with a proficient workforce are pillars for an organization’s digital transformation efforts. McKinsey lists building capabilities for the workforce of the future as one of five categories of factors improving the chances of a successful digital transformation. Investing the right amount in digital talent and scaling up workforce planning and […]

The post Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore appeared first on Cloudera Blog.

5 месяцев, 3 недели назад @ blog.cloudera.com
Modernizing Data Pipelines using Cloudera Data Platform – Part 1
Modernizing Data Pipelines using Cloudera Data Platform – Part 1

Data pipelines are in high demand in today’s data-driven organizations. As critical elements in supplying trusted, curated, and usable data for end-to-end analytic and machine learning workflows, the role of data pipelines is becoming indispensable. To keep up, data pipelines are being vigorously reshaped with modern tools and techniques. At Cloudera, we recently introduced several […]

The post Modernizing Data Pipelines using Cloudera Data Platform – Part 1 appeared first on Cloudera Blog.

5 месяцев, 4 недели назад @ blog.cloudera.com
Spark on Kubernetes – Gang Scheduling with YuniKorn
Spark on Kubernetes – Gang Scheduling with YuniKorn

Apache YuniKorn (Incubating) has just released 0.10.0 (release announcement). As part of this release, a new feature called Gang Scheduling has become available. By leveraging the Gang Scheduling feature, Spark jobs scheduling on Kubernetes becomes more efficient. What is Apache YuniKorn (Incubating)? Apache YuniKorn (Incubating) is a new Apache incubator project that offers rich scheduling […]

The post Spark on Kubernetes – Gang Scheduling with YuniKorn appeared first on Cloudera Blog.

6 месяцев, 3 недели назад @ blog.cloudera.com
Managing Python dependencies for Spark workloads in Cloudera Data Engineering
Managing Python dependencies for Spark workloads in Cloudera Data Engineering

Update August 2021: Starting with CDE v1.9, you can now use the python-env resource (Option 2) for all Python packages, including those dependent on C base libraries such as Pandas, Pyarrow, etc. Use custom-runtime-image (Option 3) only for custom libraries & more advanced scenarios. Apache Spark is now widely used in many enterprises for building […]

The post Managing Python dependencies for Spark workloads in Cloudera Data Engineering appeared first on Cloudera Blog.

7 месяцев назад @ blog.cloudera.com
Smart Data
последний пост 4 дня, 21 час назад
How BI Can Help Enterprises Overcome The Effects Of The Pandemic
How BI Can Help Enterprises Overcome The Effects Of The Pandemic

It’s been almost two years since the COVID-19 pandemic started, and now we have enough information to assume that most enterprises weren’t prepared for the crisis. Although teams had vast amounts of data and powerful analytic tools at their fingertips, the pandemic still caught most organizations off guard. As a result, most enterprise executives had […]

The post How BI Can Help Enterprises Overcome The Effects Of The Pandemic appeared first on SmartData Collective.

4 дня, 21 час назад @ smartdatacollective.com
Benefits of Using Data Analytics in Equipment Financing
Benefits of Using Data Analytics in Equipment Financing

Data analytics technology has touched on virtually every element of our lives. More companies are using big data to address some of their biggest concerns. Securing financing is a huge example. Data analytics technology is helping more companies get the financing that they need for a variety of purposes. One of the most important benefits […]

The post Benefits of Using Data Analytics in Equipment Financing appeared first on SmartData Collective.

6 дней, 12 часов назад @ smartdatacollective.com
How to Utilize Artificial Intelligence in Your eCommerce SEO Strategy
How to Utilize Artificial Intelligence in Your eCommerce SEO Strategy

If you have not lived under a rock for several years, you have undoubtedly heard about artificial intelligence (AI). However, how might artificial intelligence be used in e-commerce operations? Artificial intelligence (AI) is starting to fill every facet of our daily lives. For example, self-checkout cash registers, airport security checks, and other automated processes all […]

The post How to Utilize Artificial Intelligence in Your eCommerce SEO Strategy appeared first on SmartData Collective.

1 неделя назад @ smartdatacollective.com
Use a Data Strategy to Make Your Startup Profitable
Use a Data Strategy to Make Your Startup Profitable

Big data is no longer a luxury for businesses. It is a vital to any company that wants to succeed in all but the least competitive markets. In the information, there are companies with big data strategies and those that fall behind. Big data and business intelligence are essential. However, the success of a big […]

The post Use a Data Strategy to Make Your Startup Profitable appeared first on SmartData Collective.

1 неделя, 3 дня назад @ smartdatacollective.com
Understanding the Importance of AI in 3D Printing Applications
Understanding the Importance of AI in 3D Printing Applications

Artificial intelligence has had a massive influence on the future of the manufacturing sector. Manufacturers spent over $1.1 billion on AI in 2020. That figure is likely to rise much higher in the near future. One of the biggest reasons manufacturers are investing in AI is that it has led to new advances in automation. […]

The post Understanding the Importance of AI in 3D Printing Applications appeared first on SmartData Collective.

1 неделя, 3 дня назад @ smartdatacollective.com
Beginners Guide to Using Analytics to Invest in Stocks
Beginners Guide to Using Analytics to Invest in Stocks

Data analytics has become a crucial element of the financial industry. Financial institutions such as mutual funds and insurance companies are using big data to improve their operations. The market for financial analytics services is expected to be worth $14 billion by 2026. However, large financial organizations aren’t the only ones relying on big data […]

The post Beginners Guide to Using Analytics to Invest in Stocks appeared first on SmartData Collective.

1 неделя, 4 дня назад @ smartdatacollective.com
Spotify Musicians Turn to Data Analytics to Boost their Careers
Spotify Musicians Turn to Data Analytics to Boost their Careers

Data analytics is becoming a crucial element of many business strategies. They have found that data analytics is a valuable component of marketing campaigns, financial planning objectives, human resource guidelines and much more. We have talked extensively about the types of industries that have been positively impacted by data analytics. Insurance, investing, logistics and digital […]

The post Spotify Musicians Turn to Data Analytics to Boost their Careers appeared first on SmartData Collective.

1 неделя, 4 дня назад @ smartdatacollective.com
Benefits Of Using Reporting and Analytics Tools in Small Businesses
Benefits Of Using Reporting and Analytics Tools in Small Businesses

As a small business owner, you might think that data reporting and analytics don’t matter in your organization. You could be mistaken for thinking there’s too little data to report and analyze and that you can’t possibly have access to the powerful analytics tools that large businesses have. However, if you’re a small business owner […]

The post Benefits Of Using Reporting and Analytics Tools in Small Businesses appeared first on SmartData Collective.

1 неделя, 4 дня назад @ smartdatacollective.com
Major Trends Involving Artificial Intelligence in Retail
Major Trends Involving Artificial Intelligence in Retail

AI has become incredibly important for the retail sector. This is partly because the industry must take measures to avoid collapsing in the wake of new competition from online retailers. It is believed that the retail sector will irreversibly decline in the future. This is primarily due to the growing popularity of e-commerce. In the […]

The post Major Trends Involving Artificial Intelligence in Retail appeared first on SmartData Collective.

1 неделя, 4 дня назад @ smartdatacollective.com
5 Applications for Corporate Text Analytics
5 Applications for Corporate Text Analytics

Text mining and text analysis are relatively recent additions to the data science world, but they already have an incredible impact on the corporate world. As businesses collect increasing amounts of often unstructured data, these techniques enable them to efficiently turn the information they store into relevant, actionable resources. Text analysis can fulfill multiple roles […]

The post 5 Applications for Corporate Text Analytics appeared first on SmartData Collective.

1 неделя, 5 дней назад @ smartdatacollective.com
Why Your Business Needs to Utilize AI to Create a Great Mobile App
Why Your Business Needs to Utilize AI to Create a Great Mobile App

Artificial intelligence technology is shaking up the way companies operate. More companies than ever are finding clever ways to utilize AI technology to streamline their operations, boost their ROIs and solve common challenges that are facing their industries. One of the best ways to use AI technology to benefit your business is by creating great […]

The post Why Your Business Needs to Utilize AI to Create a Great Mobile App appeared first on SmartData Collective.

2 недели назад @ smartdatacollective.com
Small Companies Use Analytics to Save Big On Business Insurance
Small Companies Use Analytics to Save Big On Business Insurance

Big data technology has been a huge gamechanger in the insurance sector. More insurance are using big data to assist with the underwriting process. They have discovered that data analytics has made the underwriting process a lot easier. They are getting a better understanding of risk and choosing rates for their policyholders. However, insurance companies […]

The post Small Companies Use Analytics to Save Big On Business Insurance appeared first on SmartData Collective.

2 недели, 4 дня назад @ smartdatacollective.com
Data Analytics is Crucial for Businesses Preparing for Financial Disasters
Data Analytics is Crucial for Businesses Preparing for Financial Disasters

Data analytics has become a very important aspect of any modern business’s operating strategy. One of the most important ways to utilize big data is with financial management. The financial analytics market is projected to be worth $114 billion within the next two years. This is a testament to the amazing benefits it provides for […]

The post Data Analytics is Crucial for Businesses Preparing for Financial Disasters appeared first on SmartData Collective.

2 недели, 6 дней назад @ smartdatacollective.com
Common Misconceptions About AI-Driven Website Design
Common Misconceptions About AI-Driven Website Design

Artificial intelligence is integral to the design process. Many companies are using AI to create powerful logos and better products. Another area where AI can be fundamentally important is in web design. Web developers are using AI technology to optimize the user experience and execute their designs more quickly However, there are some mistakes that […]

The post Common Misconceptions About AI-Driven Website Design appeared first on SmartData Collective.

3 недели, 4 дня назад @ smartdatacollective.com
The Importance of Leveraging Analytics in Ecommerce Website Design
The Importance of Leveraging Analytics in Ecommerce Website Design

Analytics technology is incredibly important in almost every facet of business. Virtually every industry has found some ways to utilize analytics technology, but some are relying on it more than others. The e-commerce sector is among those that has relied most heavily on analytics technology. Many e-commerce sites are discovering more innovative ways to apply […]

The post The Importance of Leveraging Analytics in Ecommerce Website Design appeared first on SmartData Collective.

4 недели назад @ smartdatacollective.com
Knoldus
последний пост 2 часа назад
Ways to Handle Log-in Pop-up in Selenium Webdriver
Ways to Handle Log-in Pop-up in Selenium Webdriver

Reading Time: 3 minutes Welcome again! Ever think of handling Log-in Pop-up via Selenium? Let’s take a quick overview of the scenario. What’s the need for automating log-in Pop-up? For security reasons, some of the web pages did not have access to normal users. As only authenticated users with correct credentials can access web pages. We can automate this by using selenium. What the pop-up mean and where it Continue Reading

The post Ways to Handle Log-in Pop-up in Selenium Webdriver appeared first on Knoldus Blogs.

2 часа назад @ blog.knoldus.com
Lets Do API Testing With Karate Framework
Lets Do API Testing With Karate Framework

Reading Time: 3 minutes API Testing Application Programming Interface(API) is nothing and it is a logic that is written by the developer and as a tester you will testing it. tester verifying that it is meet the expected result or not it is called API Testing.API testing is a software testing that tests the APIs from their functionality, reliability, performance, to security. Karate (DSL) For API Testing Initially Karate Continue Reading

The post Lets Do API Testing With Karate Framework appeared first on Knoldus Blogs.

2 часа назад @ blog.knoldus.com
Mocking Data in Postman
Mocking Data in Postman

Reading Time: 4 minutes Mocking in general dictionary terms means imitating or making a replica of something. So here we will replicate the server. There are plenty of other reasons and tools to work with a mock server. But Postman already has an inbuilt feature to deploy a mock server without any external installation. What is Mock Server? A mock server is a server that is not a real Continue Reading

The post Mocking Data in Postman appeared first on Knoldus Blogs.

2 часа назад @ blog.knoldus.com
How to Schedule Pods on Nodes in Kubernetes
How to Schedule Pods on Nodes in Kubernetes

Reading Time: 5 minutes Kubernetes is an orchestrator. Its task is to manage the containerized workload running over its managed environment. Since its an orchestrator, its primary tasks also include scheduling of the pods over the best possible available node that is taken care of by one of the Control Plane’s components – Scheduler. But what if we want to customize the scheduling of pods in our own defined Continue Reading

The post How to Schedule Pods on Nodes in Kubernetes appeared first on Knoldus Blogs.

1 день, 17 часов назад @ blog.knoldus.com
File Handling and Operations in Python
File Handling and Operations in Python

Reading Time: 4 minutes Python is extensively used for file handling and operations performed in a file. It supports multiple programming paradigms such as: Structured Programming Object-oriented Programming Functional Programming File Handling Python has its own standard library which is very extensive and offers a wide range of functionalities such as I/O handling and standard solutions to many problems that arise during execution. It uses dynamic typing to verify Continue Reading

The post File Handling and Operations in Python appeared first on Knoldus Blogs.

3 дня, 2 часа назад @ blog.knoldus.com
ZFS Storage pool layout: VDEVs
ZFS Storage pool layout: VDEVs

Reading Time: 3 minutes ZFS initially stood for Zettabyte File system. It was developed by Matthew Ahrens and Jeff Bonwick as a part of Sun Microsystems in 2001 but later was placed under a closed license when Oracle Corporation acquired Sun Microsystems Inc. ZFS is well known for its storage pool and the features associated with it. It is a multiprotocol enterprise storage system that is designed to enhance the Continue Reading

The post ZFS Storage pool layout: VDEVs appeared first on Knoldus Blogs.

3 дня, 2 часа назад @ blog.knoldus.com
Bash Array
Bash Array

Reading Time: 2 minutes Bash Array It can be define as the collections of a similar type of elements.In bash, There are no option for multi-dimensional arrays but yes bash provide the support of one-dimensional numerically indexed arrays. Initialization To initialize a array in bash, we use assignment operator (=), by specifying the list of the elements within parentheses and separated by spaces like below: Access Elements echo ${ARRAY_NAME[2]} Continue Reading

The post Bash Array appeared first on Knoldus Blogs.

3 дня, 4 часа назад @ blog.knoldus.com
Overview of Docker Registry
Overview of Docker Registry

Reading Time: 4 minutes The Docker Registry is open-source, under the permissive Apache license. Docker Registry is a storage where you can store and distribute the docker images. And why we need Docker Registry explained in below : So let’s say you’re working on your project and you have your own docker images so you want to host your docker images locally for your office work , your organization, Continue Reading

The post Overview of Docker Registry appeared first on Knoldus Blogs.

3 дня, 4 часа назад @ blog.knoldus.com
What is Deployment in Kubernetes?
What is Deployment in Kubernetes?

Reading Time: 4 minutes Deployment in kubernetes is an upgraded and higher version of Replication controller. They manage the deployment of a replica set which is also an upgraded version of the replication controller. Deployment in kubernetes allows you to describe an application life cycle, such as which images to use for the app, the number of pods, and the way in which they should be updated. In kubernetes, Continue Reading

The post What is Deployment in Kubernetes? appeared first on Knoldus Blogs.

3 дня, 5 часов назад @ blog.knoldus.com
Overview of Docker Registry
Overview of Docker Registry

Reading Time: 4 minutes The Docker Registry is open-source, under the permissive Apache license. Docker Registry is a storage where you can store and distribute the docker images. And why we need Docker Registry explained in below : So let’s say you’re working on your project and you have your own docker images so you want to host your docker images locally for your office work , your organization, Continue Reading

The post Overview of Docker Registry appeared first on Knoldus Blogs.

3 дня, 18 часов назад @ blog.knoldus.com
Add AWS credentials in Terraform
Add AWS credentials in Terraform

Reading Time: < 1 minute Hi readers, in this blog we will discuss about the different ways to add aws credentials (access key and secret key) in a Terraform configuration file. There are many ways to do it. Lets discuss some of them. Add it to your configuration files while defining your variable This would be the most naive way to do it. You will add the values in the Continue Reading

The post Add AWS credentials in Terraform appeared first on Knoldus Blogs.

3 дня, 20 часов назад @ blog.knoldus.com
All about data connectors
All about data connectors

Reading Time: 3 minutes Bottomline: A data connector is used to copy the data from one(or more) source(s) to the data warehouse (usually a single location where it is easy to perform certain operations) What is data connector? A data connector is the logic that enable developers (or data-science folks) to transfer the data from source (after extracting) to the destination. For example you need to prepare a model Continue Reading

The post All about data connectors appeared first on Knoldus Blogs.

4 дня назад @ blog.knoldus.com
Exploring Spring Boot :Beginners Level
Exploring Spring Boot :Beginners Level

Reading Time: 4 minutes What is Spring Boot Spring Boot is a project which is built on the top of the Spring Framework. it will provide us an easier and faster way to set up likewise configure. Similarly it runs both simple and web-based applications. Spring module provides the RAD (Rapid Application Development) feature.The Spring Framework is used to create a stand-alone Spring-based application.you can just run because it needs minimal Continue Reading

The post Exploring Spring Boot :Beginners Level appeared first on Knoldus Blogs.

4 дня, 1 час назад @ blog.knoldus.com
Introduction to Hibernate
Introduction to Hibernate

Reading Time: 3 minutes In this article, we are going to discuss the Introduction to Hibernate framework. Before proceeding, we need to understand concepts of Core Java, SQL as well as the working of JDBC. Let’s understand Object Relational Mapping(ORM). What is ORM(Object Relational Mapping)? Object-Relational Mapping (ORM) technologies are responsible for saving/reading/editing/deleting the objects from our application to the relational database tables. ORM makes our Java application more flexible Continue Reading

The post Introduction to Hibernate appeared first on Knoldus Blogs.

4 дня, 1 час назад @ blog.knoldus.com
Contracts in Ethereum using Solidity
Contracts in Ethereum using Solidity

Reading Time: 2 minutes The Contracts in the sense of Solidity is a collection of code and data. That resides at a specific address on the Ethereum blockchain. Contracts in Solidity are similar to classes in object-oriented languages. They contain persistent data in state variables, and functions that can modify these variables. Creating Contracts Contracts can be create from outside via Ethereum transactions or from within Solidity contracts. Lets Continue Reading

The post Contracts in Ethereum using Solidity appeared first on Knoldus Blogs.

4 дня, 2 часа назад @ blog.knoldus.com
Learn Data Engineering Learn Data Engineering
последний пост 1 месяц, 3 недели назад
10 Steps to get a Data Engineering job
10 Steps to get a Data Engineering job

Jobs in the field of Data Engineering are in great demand. But how do you get a job like this? 1) Set your personal Goals The first thing you have to do is set personal goals. What do you actually want to achieve? Where do you see yourself in the next few years? What exactly do you want to...

1 месяц, 3 недели назад @ learndataengineering.com
How To Best Start Your First Data Engineering Project!
How To Best Start Your First Data Engineering Project!

You want to become a Data Engineer, but don't know how to set up a data engineering project? I will show you! Do not make this mistake! First of all you should not make the mistake that unfortunately many people make! Often people want to build the whole thing from the beginning. They say:...

1 месяц, 3 недели назад @ learndataengineering.com
Data Engineering vs Data Science
Data Engineering vs Data Science

What is the difference between data science and data engineering? Data Science

Data Scientists work with the data and are basically doing the analytics part. They take the data and create new insights. They do the analytics for instance by using Machine Learning techniques or do just simple...

2 месяца, 4 недели назад @ learndataengineering.com
Where to validate incoming data?
Where to validate incoming data?

When you watch the blueprint I also use in my cookbook you see the different phases: Connect, Processing Framework, Store and Buffer. At the beginning you think about where you validate the data? To make sure that the data is okay and makes sense. Do you validate the data directly on the API -...

3 месяца назад @ learndataengineering.com
AWS, Azure or GCP?
AWS, Azure or GCP?

I get often asked: What is the best or easiest cloud platform to start with for data engineering? Here are my thoughts on this. A general overview. Market shares Amazon Web Services (AWS) is globally the biggest cloud provider (approx. 50% of the market). This goes for the US and the EU...

3 месяца, 1 неделя назад @ learndataengineering.com
Scala vs. PySpark!
Scala vs. PySpark!

In one of my livestreams, a viewer asked me the question: Scala or PySpark? Which one I prefer and why, I'll answer you in this video: https://youtu.be/64iMuH2QLjE Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to...

9 месяцев, 1 неделя назад @ learndataengineering.com
How to Draw Cool Architecture Diagrams For AWS, Google Cloud and Azure
How to Draw Cool Architecture Diagrams For AWS, Google Cloud and Azure

How to draw architecture diagrams for AWS, Google Cloud and Azure in an easy and time-saving way? Check out this video to find out! The tool is really great! https://youtu.be/hNoVd-XKbmI Let me know in the comments how you think about it! See you later. Andreas Check out our Data...

9 месяцев, 1 неделя назад @ learndataengineering.com
Salary Of A Junior Data Engineer
Salary Of A Junior Data Engineer

Jobs as a Junior Data Engineer are in great demand. But what do you really earn as such? Check out this video to find out:https://youtu.be/Yve3Yl37mrE Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing...

9 месяцев, 2 недели назад @ learndataengineering.com
Roadmap For Data Engineers To Learn The Necessary Skills
Roadmap For Data Engineers To Learn The Necessary Skills

You're an aspiring Data Engineer and don't know exactly how to proceed to best acquire all the skills you need? Then be sure to watch this video. There you will get a roadmap on how to proceed: https://youtu.be/LKhdmm4CzbU Let me know in the comments how you think about it! See you...

9 месяцев, 2 недели назад @ learndataengineering.com
Skills You Should Have As a Data Engineer
Skills You Should Have As a Data Engineer

SQL and Python - two skills everyone talks about. But what other skills should you have as a Data Engineer? Check out this video to find out: https://youtu.be/8f1AL_BW6nQ Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy...

9 месяцев, 2 недели назад @ learndataengineering.com
How to deal with job rejections!
How to deal with job rejections!

You got a job rejection? No need to worry. You can learn from it! How? I explain it to you in this video: https://youtu.be/Gp9kEG_cuOM Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing of Data Science!

9 месяцев, 3 недели назад @ learndataengineering.com
What you should do if your company doesn't give you a data engineer title!
What you should do if your company doesn't give you a data engineer title!

You work as a Data Engineer but your company titles your job differently and doesn't want to give you a Data Engineer title? No need to worry. Chek out this video to see what you should do: https://youtu.be/qmzF2dthv58 Let me know in the comments how you think about it! See you...

9 месяцев, 3 недели назад @ learndataengineering.com
How deep do you need to know operating systems for Data Engineering?
How deep do you need to know operating systems for Data Engineering?

How deep do you need to know operating systems for Data Engineering? Watch this video to find out: https://youtu.be/nFzFvyeUY2o Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing of Data Science!

9 месяцев, 3 недели назад @ learndataengineering.com
How to choose what cloud platform to learn?
How to choose what cloud platform to learn?

You want to gain knowledge about a platform. But you are not sure which platform to choose? Check out this video, to see what you need to know to make that decision: https://youtu.be/t5a3QvXdav8 Let me know in the comments how you think about it! See you later. Andreas Check out our...

9 месяцев, 3 недели назад @ learndataengineering.com
How to rate Spark from 1 to 10!
How to rate Spark from 1 to 10!

Spark is just great! But what makes it that great and how would i rate it on a scale of 1 to 10? Check out this video to find out: https://youtu.be/b0_4d-8qkoM Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the...

9 месяцев, 3 недели назад @ learndataengineering.com
SCRIBD
последний пост 2 месяца назад
Armadillo makes audio players in Android easy
Armadillo makes audio players in Android easy Armadillo makes audio players in Android easy

Armadillo is the fully featured audio player library Scribd uses to play and

download all of its audiobooks and podcasts, which is now open

source. It specializes in playing HLS

or MP3 content that is broken down into chapters or tracks. It leverages

Google’s Exoplayer library for its audio engine. Exoplayer wraps a variety of

low level audio and video apis but has few opinions of its own for actually

using audio in an Android app. The leap required from Exoplayer to audio player

is enormous both in terms of the amount of code needed as well as the amount of

domain knowledge required about complex audio related subjects. Armadillo

provides a turn-key solution for powering an audio player an…

2 месяца назад @ tech.scribd.com
Categorizing user-uploaded documents
Categorizing user-uploaded documents Categorizing user-uploaded documents

Scribd offers a variety of publisher and user-uploaded content to our users and

while the publisher content is rich in metadata, user-uploaded content

typically is not. Documents uploaded by the users have varied subjects and

content types which can make it challenging to link them together. One way to

connect content can be through a taxonomy - an important type of structured

information widely used in various domains. In this series, we have already

shared how we identify document

types and extract information

from documents, this post

will discuss how insights from data were used to help build the taxonomy and

our approach to assign categories to the user-uploaded documents.

Building the…

4 месяца назад @ tech.scribd.com
Information Extraction at Scribd
Information Extraction at Scribd Information Extraction at Scribd

Extracting metadata from our documents is an important part of our discovery

and recommendation pipeline, but discerning useful and relevant details

from text-heavy user-uploaded documents can be challenging. This is

part 2 in a series of blog posts describing a multi-component machine learning

system the Applied Research team built to extract metadata from our documents in order to enrich downstream discovery models. In this post, we present the challenges and

limitations the team faced when building information extraction NLP models for Scribd’s text-heavy documents and how they were solved.

As mentioned in part 1, we now have a way of identifying text-heavy documents. Having done that, w…

4 месяца, 1 неделя назад @ tech.scribd.com
Presenting Rust and Python Support for Delta Lake
Presenting Rust and Python Support for Delta Lake

Delta Lake is integral to our data platform which is why we have invested

heavily in delta-rs to support our

non-JVM Delta Lake needs. This year I had the opportunity to share the progress

of delta-rs at Data and AI Summit. Delta-rs was originally started by my colleague QP just over a year ago and it has now grown to now a multi-company project with numerous contributors, and downstream projects such as kafka-delta-ingest.

In the session embedded below, I introduce the delta-rs project which is

helping bring the power of Delta Lake outside of the Spark ecosystem. By

providing a foundational Delta Lake library in Rust, delta-rs can enable native

bindings in Python, Ruby, Golang, and more.We…

4 месяца, 1 неделя назад @ tech.scribd.com
Identifying Document Types at Scribd
Identifying Document Types at Scribd Identifying Document Types at Scribd

User-uploaded documents have been a core component of Scribd’s business from

the very beginning, understanding what is actually in the document corpus

unlocks exciting new opportunities for discovery and recommendation.

With Scribd anybody can upload and share

documents, analogous to YouTube and videos. Over

the years, our document corpus has become larger and more diverse which has

made understanding it an ever-increasing challenge.

Over the past year one of the missions of the Applied Research team has been to

extract key document metadata to enrich

downstream discovery systems. Our approach combines semantic understanding with

user behaviour in a multi-component machine learning system.

4 месяца, 2 недели назад @ tech.scribd.com
Automating Databricks with Terraform
Automating Databricks with Terraform

The long term success of our data platform relies on putting tools into the

hands of developers and data scientists to “choose their own adventure”. A big

part of that story has been Databricks which we

recently integrated with Terraform to make it easy to

scale a top-notch developer experience. At the 2021 Data and AI Summit, Core

Platform infrastructure engineer Hamilton

Hord and Databricks engineer Serge

Smertin presented on the Databricks terraform provider

and how it’s been used by Scribd.

In the session embedded below, they share the details on the Databricks (Labs)

Terraform

integration

and how it can automate literally every aspect required for a production-grade

platform: data secu…

4 месяца, 3 недели назад @ tech.scribd.com
Kafka to Delta Lake, as fast as possible
Kafka to Delta Lake, as fast as possible Kafka to Delta Lake, as fast as possible

Streaming data from Apache Kafka into Delta Lake is an integral part of

Scribd’s data platform, but has been challenging to manage and

scale. We use Spark Structured Streaming jobs to read data from

Kafka topics and write that data into Delta Lake tables. This approach gets the job

done but in production our experience has convinced us that a different

approach is necessary to efficiently bring data from Kafka to Delta Lake. To

serve this need, we created

kafka-delta-ingest.

The user requirements are likely relatable to a lot of folks: My application emits data into Kafka that I want to analyze later.

I want my Kafka data to land in the data warehouse and be queryable pretty soon after inge…

6 месяцев, 2 недели назад @ tech.scribd.com
Growing the Delta Lake ecosystem with Rust and Python
Growing the Delta Lake ecosystem with Rust and Python

Scribd stores billions of records in Delta Lake but writing

or reading that data had been constrained to a single tech stack, all of that

changed with the creation of delta-rs.

Historically using Delta Lake required applications to be implemented with or

accompanied by Apache Spark. Many of our batch

and streaming data processing applications are all Spark-based, but that’s not

everything that exists! In mid-2020 it became clear that Delta Lake would be a

powerful tool in areas adjacent to the domain that Spark occupies. From my

perspective, I figured that would soon need to bring data into and out of Delta

Lake in dozens of different ways. Some discussions and prototyping led to the

creati…

6 месяцев, 2 недели назад @ tech.scribd.com
Backing up Delta Lake
Backing up Delta Lake

Transitioning from a more traditional database operation (read ACID, RDBMS blah blah) background to a newer data platform is always interesting. As it constantly challenges all yours year old wisdom and kind of forces you to adapt to newer way of getting things done.

At Scribd we have made

Delta Lake a cornerstone of our data platform. All data in

Delta Lake is stored in Apache Parquet format enabling Delta Lake to leverage

the efficient compression and encoding schemes that are native to Parquet. The

Delta Lake transaction log (also known as the DeltaLog) is an ordered record of

every transaction that has ever been performed on a Delta Lake table since its

inception. So a particular datase…

6 месяцев, 4 недели назад @ tech.scribd.com
Integrating Airflow with Okta
Integrating Airflow with Okta Integrating Airflow with Okta

At Scribd we use Airflow as a scheduler for most of our batch workloads, this blog is not about Airflow so we are not getting into why Airflow. This is about one of the biggest challenge that we faced while using Airflow and finally conquer. That is how to do authentication and authorisation for Airflow. Of course Airflow does support LDAP and at Scribd we started using LDAP with Airflow initially, but as the organisation grow and more and more user started using Airflow, it became imperative that we integrate Airflow with our SSO provider that is Okta.

Sadly there is a lack of resources on how to implement airflow with Okta specifically. This write up will describe the journey of integrati…

7 месяцев, 1 неделя назад @ tech.scribd.com
Embedding-based Retrieval at Scribd
Embedding-based Retrieval at Scribd Embedding-based Retrieval at Scribd

Building recommendations systems like those implemented at large companies like Facebook and Pinterest can be accomplished using off the shelf tools like Elasticsearch. Many modern recommendation systems implement embedding-based retrieval, a technique that uses embeddings to represent documents, and then converts the recommendations retrieval problem into a similarity search problem in the embedding space. This post details our approach to “embedding-based retrieval” with Elasticsearch.

Context

Recommendations plays an integral part in helping users discover content that delights them on the Scribd platform, which hosts millions of premium ebooks, audiobooks, etc along with over a hundred …

7 месяцев, 3 недели назад @ tech.scribd.com
Data Quest
последний пост 1 неделя, 3 дня назад
How to Use Dataquest to Achieve Your Learning Goals
How to Use Dataquest to Achieve Your Learning Goals

Before the COVID-19 pandemic, the amount of data being produced — and collected — on a daily basis was growing at an accelerated rate. This led to an increase in demand for data scientists all around the world. With the increase in demand came the need for specialized course offerings that could teach the right […]

The post How to Use Dataquest to Achieve Your Learning Goals appeared first on Dataquest.

1 неделя, 3 дня назад @ dataquest.io
Data Science Competitions You Should Participate In
Data Science Competitions You Should Participate In

It's no secret that data professionals spend a lot of time studying theory and later practicing what they learned on their own. Because of the nature of the job, being able to demonstrate your ability to solve problems is crucial when hunting for a data science job. Data science competitions are one of the best […]

The post Data Science Competitions You Should Participate In appeared first on Dataquest.

1 неделя, 6 дней назад @ dataquest.io
How to Get Real-World Data Science Experience
How to Get Real-World Data Science Experience

For many up-and-coming data professionals, landing your first “real” data science job can feel like a bit of a “Catch 22.” You can’t get hired without a certain amount of professional data science experience, but you can’t get the experience without getting hired. While it may seem unreasonable for employers to expect you to have a […]

The post How to Get Real-World Data Science Experience appeared first on Dataquest.

1 месяц назад @ dataquest.io
17 Reasons Why You’re Getting Rejected for Data Science Jobs
17 Reasons Why You’re Getting Rejected for Data Science Jobs

Enter your text hereData science jobs are abundant, and the numbers are growing. Despite the influx in demand, some data professionals are still struggling to find a job. If you’ve filled out numerous job applications you feel you’re easily qualified for, only to be rejected, you’re certainly not alone. In this article, we’ll go over some […]

The post 17 Reasons Why You’re Getting Rejected for Data Science Jobs appeared first on Dataquest.

1 месяц, 3 недели назад @ dataquest.io
Discovering Your Data Science Career in 2021
Discovering Your Data Science Career in 2021

Careers in data science are some of the most sought-after in the world and that trend shows no signs of stopping. With the widespread use of AI, IoT devices, and streaming and real-time communication services, it’s no surprise many people are pursuing careers in data. In fact, data scientist is the second best job in […]

The post Discovering Your Data Science Career in 2021 appeared first on Dataquest.

1 месяц, 4 недели назад @ dataquest.io
30-Day Data Science Challenge
30-Day Data Science Challenge

We're excited to kick off the 30 Day Dataquest Challenge! Here’s why:Building learning habits is crucial to your data career, but it can be difficult to get into a new habit. Maybe you’ve tried building before, but, time and time again, you fall off. Something comes up. What starts off exciting becomes too difficult. Before […]

The post 30-Day Data Science Challenge appeared first on Dataquest.

2 месяца, 4 недели назад @ dataquest.io
How I Learned Data Science in 6 Months
How I Learned Data Science in 6 Months

Everyone’s journey to become a data scientist is different, and the learning curve will vary depending on many factors, including time availability, prior knowledge, the tools you use, etc. One learner shares his story about how he became a data scientist in 6 months with Dataquest. Here’s how his journey began:As the title suggests, this […]

The post How I Learned Data Science in 6 Months appeared first on Dataquest.

3 месяца, 2 недели назад @ dataquest.io
Data Analyst Skills – 8 Skills You Need to Get a Job
Data Analyst Skills – 8 Skills You Need to Get a Job

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

The post Data Analyst Skills – 8 Skills You Need to Get a Job appeared first on Dataquest.

7 месяцев, 2 недели назад @ dataquest.io
Data Engineer, Data Analyst, Data Scientist — What’s the Difference?
Data Engineer, Data Analyst, Data Scientist — What’s the Difference?

In the fast-growing field of data, the "big three" job roles are data engineer, data analyst, and data scientist. Figure out which is the best fit for you.

The post Data Engineer, Data Analyst, Data Scientist — What’s the Difference? appeared first on Dataquest.

7 месяцев, 3 недели назад @ dataquest.io
You Need Data Skills to Future-Proof Your Career
You Need Data Skills to Future-Proof Your Career

No matter what industry you're in, you need data skills to future-proof your career. You might be thinking: Vik is the CEO of a company that teaches data science - of course he'd say that! But stick with me for a few more paragraphs, I'll walk you through how data was key to all of the […]

The post You Need Data Skills to Future-Proof Your Career appeared first on Dataquest.

7 месяцев, 3 недели назад @ dataquest.io
Data Analytics Certification: Do You Need a Certificate to Get a Job as a Data Analyst?
Data Analytics Certification: Do You Need a Certificate to Get a Job as a Data Analyst?

If you’re interested in becoming a data analyst, or even just interested in adding some data skills to your resume, you’ve probably wondered: do I need some kind of data analytics certification?Finding the real answer to this question is tricky. There are a million data analytics certificate programs out there, and they all have a […]

The post Data Analytics Certification: Do You Need a Certificate to Get a Job as a Data Analyst? appeared first on Dataquest.

8 месяцев, 2 недели назад @ dataquest.io
Infrastructure
AWS
последний пост 3 часа назад
Improve the return on your marketing investments with intelligent user segmentation in Amazon Personalize
Improve the return on your marketing investments with intelligent user segmentation in Amazon Personalize

Today, we’re excited to announce intelligent user segmentation powered by machine learning (ML) in Amazon Personalize, a new way to deliver personalized experiences to your users and run more effective campaigns through your marketing channels. Traditionally, user segmentation depends on demographic or psychographic information to sort users into predefined audiences. More advanced techniques look to […]

3 часа назад @ aws.amazon.com
Amazon Personalize announces recommenders optimized for Retail and Media & Entertainment
Amazon Personalize announces recommenders optimized for Retail and Media & Entertainment

Today, we’re excited to announce the launch of personalized recommenders in Amazon Personalize that are optimized for retail and media and entertainment, making it even easier to personalize your websites, apps, and marketing campaigns. With this launch, we have drawn on Amazon’s rich experience creating unique personalized user experiences using machine learning (ML) to build […]

3 часа назад @ aws.amazon.com
Amazon QuickSight: 2021 in review
Amazon QuickSight: 2021 in review

With AWS re:Invent just around the corner, we at the Amazon QuickSight team have put together this post to provide you with a handy list of all the key updates this year. We’ve broken this post into three key sections: insights for every user, embedded analytics with QuickSight, scaling and governance. Insights for every user […]

2 дня, 10 часов назад @ aws.amazon.com
Enforce customized data quality rules in AWS Glue DataBrew
Enforce customized data quality rules in AWS Glue DataBrew

GIGO (garbage in, garbage out) is a concept common to computer science and mathematics: the quality of the output is determined by the quality of the input. In modern data architecture, you bring data from different data sources, which creates challenges around volume, velocity, and veracity. You might write unit tests for applications, but it’s […]

4 дня, 11 часов назад @ aws.amazon.com
Fast-forward your database and analytics migrations with Amazon DMA
Fast-forward your database and analytics migrations with Amazon DMA

Amazon Database Migration Accelerator (Amazon DMA) helps you accelerate migrations to AWS Databases and Analytics services. Amazon DMA is comprised of migration domain experts including engineers, who can assist you with your migration strategy and planning to deploying your applications and databases to a production environment. Amazon DMA helps build a strong foundation for AWS Databases […]

4 дня, 13 часов назад @ aws.amazon.com
Use the TempTable storage engine on Amazon RDS for MySQL and Amazon Aurora MySQL
Use the TempTable storage engine on Amazon RDS for MySQL and Amazon Aurora MySQL

MySQL 8.0 has introduced TempTable as the new, default internal temporary table storage engine to speed up query processing. The MySQL query optimizer creates temporary tables internally to store intermediate datasets while processing complex queries. In AWS, you can deploy MySQL 8.0 using Amazon Relational Database Service (Amazon RDS) for MySQL, a managed service for […]

4 дня, 16 часов назад @ aws.amazon.com
Build interactive graph data analytics and visualizations using Amazon Neptune, Amazon Athena Federated Query, and Amazon QuickSight
Build interactive graph data analytics and visualizations using Amazon Neptune, Amazon Athena Federated Query, and Amazon QuickSight

Customers have asked for a way to interact with graph datasets in Amazon Neptune using business intelligence (BI) tools such as Amazon QuickSight. Although some BI tools offer generic HTTP connectors that allow you to define a set of REST API calls to extract data from REST endpoints, you have to predefine either Gremlin or […]

4 дня, 16 часов назад @ aws.amazon.com
Monitor deadlocks in SQL Server on Amazon EC2 and set notifications using Amazon CloudWatch
Monitor deadlocks in SQL Server on Amazon EC2 and set notifications using Amazon CloudWatch

Many of our customers running SQL Server on Amazon Elastic Compute Cloud (Amazon EC2) instances want to capture specific events (systems and user-defined) for monitoring and troubleshooting issues with SQL Server. SQL Server logs these events in its error logs and agent logs. A deadlock is an event that can be captured in SQL Server […]

4 дня, 16 часов назад @ aws.amazon.com
Iterate confidently on Amazon QuickSight datasets with new Dataset Versions capability
Iterate confidently on Amazon QuickSight datasets with new Dataset Versions capability

Amazon QuickSight allows data owners and authors to create and model their data in QuickSight using datasets, which contain logical and semantic information about the data. Datasets can be created from a single or multiple data sources, and can be shared across the organization with strong controls around data access (object/row/column level security) and metadata […]

4 дня, 17 часов назад @ aws.amazon.com
Embed interactive dashboards in your apps and portals in minutes with Amazon QuickSight’s new 1-click embedding feature
Embed interactive dashboards in your apps and portals in minutes with Amazon QuickSight’s new 1-click embedding feature

Amazon QuickSight is a fully-managed, cloud-native business intelligence (BI) service that makes it easy to connect to your data, create interactive dashboards, and share these with tens of thousands of users, either directly within a QuickSight application, or embedded in web apps and portals. QuickSight Enterprise Edition now supports 1-click embedding, a feature that allows […]

5 дней, 5 часов назад @ aws.amazon.com
Send custom branded email reports from Amazon QuickSight
Send custom branded email reports from Amazon QuickSight

Amazon QuickSight is a fully-managed, cloud-native business intelligence (BI) service that makes it easy to connect to your data, create interactive dashboards, and share these with tens of thousands of users, either directly within QuickSight application, or embedded in web apps and portals. QuickSight Enterprise Edition now supports the ability to send custom branded email […]

5 дней, 5 часов назад @ aws.amazon.com
Build MLOps workflows with Amazon SageMaker projects, GitLab, and GitLab pipelines
Build MLOps workflows with Amazon SageMaker projects, GitLab, and GitLab pipelines

Machine learning operations (MLOps) are key to effectively transition from an experimentation phase to production. The practice provides you the ability to create a repeatable mechanism to build, train, deploy, and manage machine learning models. To quickly adopt MLOps, you often require capabilities that use your existing toolsets and expertise. Projects in Amazon SageMaker give […]

5 дней, 14 часов назад @ aws.amazon.com
Readable standby instances in Amazon RDS Multi-AZ deployments: A new high availability option
Readable standby instances in Amazon RDS Multi-AZ deployments: A new high availability option

Amazon RDS Multi-AZ deployments are ideal for production database workloads. When you have Multi-AZ deployment, Amazon Relational Database Service (Amazon RDS) provisions one primary and one standby DB instance with synchronous physical replication of Amazon Elastic Block Store (Amazon EBS) storage for high availability and failover without data loss. However, you can’t read from the […]

5 дней, 14 часов назад @ aws.amazon.com
Amazon ElastiCache introduces support for Redis 6.2
Amazon ElastiCache introduces support for Redis 6.2

In October 2020, we announced Redis 6 compatibility for Amazon ElastiCache for Redis. This update included significant features like role-based access control (RBAC), client-side caching, and several operational improvements designed to improve application availability and reliability. Specifically, Amazon ElastiCache improved replication under low memory conditions, especially for workloads with medium and large-sized keys, by reducing […]

5 дней, 14 часов назад @ aws.amazon.com
Simplified MLOps with Deep Java Library
Simplified MLOps with Deep Java Library

This is a guest post by Lucas Baker, Andrea Duque, and Viet Yen Nguyen of Hypefactors. At Hypefactors, we build tech for media intelligence and reputation management. The solution is a software as a service (SaaS) product that does large-scale media monitoring of social media, news sites, TV, radio, and reviews across the world. The […]

5 дней, 15 часов назад @ aws.amazon.com
AWS
последний пост 3 часа назад
How Careem is detecting identity fraud using graph-based deep learning and Amazon Neptune
How Careem is detecting identity fraud using graph-based deep learning and Amazon Neptune

This post was co-written with Kevin O’Brien, Senior Data Scientist in Careem’s Integrity Team. Dubai-based Careem became the Middle East’s first unicorn when it was acquired by Uber for $3.1 billion in 2019. A pioneer of the region’s ride-hailing economy, Careem is now expanding its services to include mass transportation, delivery, and payments as an […]

5 дней, 15 часов назад @ aws.amazon.com
Scale your Amazon ElastiCache for Redis clusters at a lower cost with data tiering
Scale your Amazon ElastiCache for Redis clusters at a lower cost with data tiering

Amazon ElastiCache for Redis provides a convenient way to manage Redis at scale. You can use it for a variety of workloads, ranging from caching, session stores, real-time analytics, gaming leaderboards, and messaging. We’re always looking for ways to increase price/performance for our customers. Some examples include releasing enhanced I/O handling, which increased the throughput […]

5 дней, 15 часов назад @ aws.amazon.com
Security considerations for Amazon Redshift cross-account data sharing
Security considerations for Amazon Redshift cross-account data sharing

Data driven organizations recognize the intrinsic value of data and realize that monetizing data is not just about selling data to subscribers. They understand the indirect economic impact of data and the value that good data brings to the organization. They must democratize data and make it available for business decision makers to realize its […]

5 дней, 17 часов назад @ aws.amazon.com
Choose the right storage tier for your needs in Amazon OpenSearch Service
Choose the right storage tier for your needs in Amazon OpenSearch Service

Amazon OpenSearch Service (successor to Amazon Elasticsearch Service) enables organizations to perform interactive log analytics, real-time application monitoring, website search, and more. OpenSearch is an open-source, distributed search and analytics suite derived from Elasticsearch. Amazon OpenSearch Service offers the latest versions of OpenSearch, support for 19 versions of Elasticsearch (1.5 to 7.10 versions), and visualization […]

5 дней, 18 часов назад @ aws.amazon.com
Bring Your Amazon SageMaker model into Amazon Redshift for remote inference
Bring Your Amazon SageMaker model into Amazon Redshift for remote inference

Amazon Redshift, a fast, fully managed, widely used cloud data warehouse, natively integrates with Amazon SageMaker for machine learning (ML). Tens of thousands of customers use Amazon Redshift to process exabytes of data every day to power their analytics workloads. Data analysts and database developers want to use this data to train ML models, which […]

6 дней, 11 часов назад @ aws.amazon.com
Get started with a free trial of Amazon MemoryDB for Redis
Get started with a free trial of Amazon MemoryDB for Redis

On August 19, 2021, we announced Amazon MemoryDB for Redis, a new Redis-compatible, durable, in-memory database. Since then, we have expanded support to 16 AWS Regions and added support for AWS CloudFormation. With MemoryDB, all your data is stored in memory, enabling you to achieve microsecond read and single-digit millisecond write latency and high throughput. […]

6 дней, 13 часов назад @ aws.amazon.com
Set up a cross-region disaster recovery site for Amazon RDS for SQL Server
Set up a cross-region disaster recovery site for Amazon RDS for SQL Server

A common use case for Enterprise workloads is to have a reliable and effective disaster recovery (DR) strategy that keeps your database applications in operation with little or no disruption even if an entire Region is unavailable. Amazon Relational Database Service (Amazon RDS) for SQL Server is a fully managed database that makes it easy […]

6 дней, 15 часов назад @ aws.amazon.com
Provide data reliability in Amazon Redshift at scale using Great Expectations library
Provide data reliability in Amazon Redshift at scale using Great Expectations library

Ensuring data reliability is one of the key objectives of maintaining data integrity and is crucial for building data trust across an organization. Data reliability means that the data is complete and accurate. It’s the catalyst for delivering trusted data analytics and insights. Incomplete or inaccurate data leads business leaders and data analysts to make […]

6 дней, 17 часов назад @ aws.amazon.com
Run distributed hyperparameter and neural architecture tuning jobs with Syne Tune
Run distributed hyperparameter and neural architecture tuning jobs with Syne Tune

Today we announce the general availability of Syne Tune, an open-source Python library for large-scale distributed hyperparameter and neural architecture optimization. It provides implementations of several state-of-the-art global optimizers, such as Bayesian optimization, Hyperband, and population-based training. Additionally, it supports constrained and multi-objective optimization, and allows you to bring your own global optimization algorithm. With […]

1 неделя, 2 дня назад @ aws.amazon.com
Your guide to AI and ML at AWS re:Invent 2021
Your guide to AI and ML at AWS re:Invent 2021

It’s almost here! Only 9 days until AWS re:Invent 2021, and we’re very excited to share some highlights you might enjoy this year. The AI/ML team has been working hard to serve up some amazing content and this year, we have more session types for you to enjoy. Back in person, we now have chalk […]

1 неделя, 2 дня назад @ aws.amazon.com
AWS AI/ML Community attendee guides to AWS re:Invent 2021
AWS AI/ML Community attendee guides to AWS re:Invent 2021

The AWS AI/ML Community has compiled a series of session guides to AWS re:Invent 2021 to help you get the most out of re:Invent this year. They covered four distinct categories relevant to AI/ML. With a number of our guide authors attending re:Invent virtually, you will find a balance between virtually accessible sessions and sessions […]

1 неделя, 2 дня назад @ aws.amazon.com
Introducing PII data identification and handling using AWS Glue DataBrew
Introducing PII data identification and handling using AWS Glue DataBrew

AWS Glue DataBrew, a visual data preparation tool, can now identify and handle sensitive data by applying advance transformations like redaction, replacement, encryption, and decryption on your personally identifiable information (PII) data. With exponential growth of data, companies are handling huge volumes and a wide variety of data coming into their platform, including PII data. […]

1 неделя, 2 дня назад @ aws.amazon.com
AWS attendee guide for DevOps and Developer Productivity track at re:Invent2021
AWS attendee guide for DevOps and Developer Productivity track at re:Invent2021

AWS re:Invent is a learning conference hosted by Amazon Web Services for the global cloud computing community. We are super excited to join you at the 10th annual re:Invent to share the latest from AWS leaders and discover more ways to learn and build. Let’s celebrate this milestone, which will be offered in person in […]

1 неделя, 2 дня назад @ aws.amazon.com
Attendee guide for the AWS Analytics track at AWS re:Invent 2021
Attendee guide for the AWS Analytics track at AWS re:Invent 2021

AWS re:Invent is a learning conference hosted by Amazon Web Services (AWS) for the global cloud computing community. We’re super excited to join you at the 10th annual re:Invent to share the latest from AWS leaders and discover more ways to learn and build. Let’s celebrate this milestone, which will be offered in person in […]

1 неделя, 2 дня назад @ aws.amazon.com
Send personalized email reports with Amazon QuickSight
Send personalized email reports with Amazon QuickSight

Amazon QuickSight now supports personalization of email reports by user, which allows you to send customized snapshots of data in either PDF or image formats. This allows you to create a single dashboard that you can configure to load with different defaults for each user, providing a customized view of the dashboard in both email […]

1 неделя, 2 дня назад @ aws.amazon.com
Astronomer Astronomer
последний пост 1 неделя, 4 дня назад
Apache Airflow vs. Apache Beam
Apache Airflow vs. Apache Beam

Apache Airflow or Apache Beam? Or both, working together? Let's have a closer look at two popular data management open source tools.

1 неделя, 4 дня назад @ astronomer.io
Rerunning Airflow DAGs
Rerunning Airflow DAGs

How to use catchup, backfill, and cleared task instances in Airflow.

3 недели, 4 дня назад @ astronomer.io
Datasembly: From One Airflow Instance to Multiple Deployments with Astronomer
Datasembly: From One Airflow Instance to Multiple Deployments with Astronomer

Learn how Datasembly went from using native Airflow to cooperating with Astronomer.

3 недели, 6 дней назад @ astronomer.io
Democratizing the Data Stack—Airflow for Business Workflows
Democratizing the Data Stack—Airflow for Business Workflows

Learn how Hightouch drives action in marketing & sales teams with Reverse ETL, SQL, and Apache Airflow

1 месяц назад @ astronomer.io
Machine Learning Pipelines: Everything You Need to Know
Machine Learning Pipelines: Everything You Need to Know

Learn what is the process of building a ML pipeline, what are the steps, and how to do it with Airflow and Astronomer.

1 месяц назад @ astronomer.io
What is Reverse ETL and How Can It Improve Data Flow?
What is Reverse ETL and How Can It Improve Data Flow?

Find out what is reverse ETL and how to use Census and Airflow together to improve data orchestration.

1 месяц, 1 неделя назад @ astronomer.io
Airflow at BBC—Data Orchestration Solution in Media
Airflow at BBC—Data Orchestration Solution in Media

A conversation with the BBC's Principal Data Engineer about how Apache Airflow helps them deliver personalized experiences to the audience.

1 месяц, 2 недели назад @ astronomer.io
Scheduling and Timetables in Airflow
Scheduling and Timetables in Airflow

Everything you need to know about scheduling your Airflow DAGs.

1 месяц, 2 недели назад @ astronomer.io
Everything You Need to Know about Apache Airflow 2.2.0
Everything You Need to Know about Apache Airflow 2.2.0

It's here! Discover the major Airflow 2.2.0 features including customisable timetables, deferrable tasks, Airflow standalone and many more.

1 месяц, 2 недели назад @ astronomer.io
Big Data Architecture: Core Components, Use Cases and Limitations
Big Data Architecture: Core Components, Use Cases and Limitations

Is Big Data Architecture the answer to major business problems, or just a crucial piece of a bigger puzzle? Discover our insights on the topic in this short blog post!

1 месяц, 3 недели назад @ astronomer.io
The Future of Banking: How Can Apache Airflow Help?
The Future of Banking: How Can Apache Airflow Help?

Learn what are the challenges of the banking industry today, and how Apache Airflow can help with digital transformation.

2 месяца назад @ astronomer.io
Apache NiFi vs. Apache Airflow
Apache NiFi vs. Apache Airflow

Overview and comparison study of two popular ETL tools for managing the golden asset of most organisations: data. Can these two be compared at all?

2 месяца, 1 неделя назад @ astronomer.io
Apache Airflow vs. Apache NiFi
Apache Airflow vs. Apache NiFi

Overview and comparison study of two popular ETL tools for managing the golden asset of most organisations: data. Can these two be compared at all?

2 месяца, 1 неделя назад @ astronomer.io
Airflow at Wise: Data Orchestrator in Machine Learning
Airflow at Wise: Data Orchestrator in Machine Learning

A talk with Alexandra Abbas—a Machine Learning Engineer at Wise—about how they leverage Apache Airflow in their ML initiatives.

2 месяца, 2 недели назад @ astronomer.io
How to Build a Modern Data Stack
How to Build a Modern Data Stack

Breaking down what a modern data stack means in practice. We discuss four core components, five reasons to set it up, and how to orchestrate it.

2 месяца, 2 недели назад @ astronomer.io
DBT — Data Build Tool DBT — Data Build Tool
последний пост 2 недели, 6 дней назад
Coalesce returns for year two this December
Coalesce returns for year two this December Coalesce returns for year two this December

Dec 6-10, 2021: Coalesce is back with 85 speakers, 65+ sessions, and a little razzle-dazzle. Targeting 4 time zones (EST, PST, GMT, and AEDT)—there are plenty of opportunities to join us live. Find out what’s new, what’s staying the same, and how to prepare.

2 недели, 6 дней назад @ blog.getdbt.com
dbt Labs and Snowflake are building on a thriving partnership
dbt Labs and Snowflake are building on a thriving partnership dbt Labs and Snowflake are building on a thriving partnership

Exciting developments in our partnership with Snowflake.

3 недели, 6 дней назад @ blog.getdbt.com
Introducing Environment Variables in dbt Cloud
Introducing Environment Variables in dbt Cloud Introducing Environment Variables in dbt Cloud

Your code doesn't have to do the same thing everywhere it runs. Separate code from configuration - and set config based on context.

1 месяц назад @ blog.getdbt.com
Refactoring legacy SQL to dbt
Refactoring legacy SQL to dbt Refactoring legacy SQL to dbt

Where to begin when migrating legacy SQL transformation code to dbt? In a new (free!) on-demand course, analytics engineers from dbt Labs unpack the refactoring process they've employed across dozens of projects.

1 месяц, 2 недели назад @ blog.getdbt.com
Adopting CI/CD with dbt Cloud
Adopting CI/CD with dbt Cloud Adopting CI/CD with dbt Cloud

Choosing between Continuous Delivery and Continuous Deployment based on business needs

1 месяц, 4 недели назад @ blog.getdbt.com
Getting ready for v1.0
Getting ready for v1.0 Getting ready for v1.0

It's finally (almost) here. The best way to get ready is by upgrading *now* to the latest & greatest that dbt Core has to offer

2 месяца назад @ blog.getdbt.com
We'll gather in person again... just not in 2021
We'll gather in person again... just not in 2021 We'll gather in person again... just not in 2021

We are cancelling in-person events for the remainder of 2021. We know these are disappointing news but remain confident that it's the right decision for safely engaging with our dbt Community.

3 месяца назад @ blog.getdbt.com
On DAGs, Hierarchies, and IDEs
On DAGs, Hierarchies, and IDEs On DAGs, Hierarchies, and IDEs

With the DAG-in-the-IDE (now available to all dbt Cloud users), analytics engineers can seamlessly navigate the core structure of their dbt project with low friction and low cognitive load, making the entire development process more intuitive, pleasant, and efficient.

3 месяца, 1 неделя назад @ blog.getdbt.com
We the purple people
We the purple people We the purple people

The data world needs more purple people — generalists who can navigate both the business context and the modern data stack. Let's put aside skillset dichotomies, and learn to feel comfortable in the space between.

4 месяца назад @ blog.getdbt.com
dbt and Hightouch are putting your transformed data to work
dbt and Hightouch are putting your transformed data to work dbt and Hightouch are putting your transformed data to work

Give your business teams access to transformed data in the tools they use every day. Hightouch now integrates with dbt to help you bring “Reverse ETL” to your stack.

4 месяца назад @ blog.getdbt.com
Announcing: The Foundry Program
Announcing: The Foundry Program Announcing: The Foundry Program

Over the past few months, the dbt Labs’ recruiting team has partnered with leaders from our Engineering and Analytics Engineering organizations to design the Foundry Program. This program will provide a gateway for those that are new to the field or looking to make a career change.

4 месяца, 2 недели назад @ blog.getdbt.com
Of the Community, By the Community, For the Community
Of the Community, By the Community, For the Community Of the Community, By the Community, For the Community

Or: why we raised a series C.

5 месяцев назад @ blog.getdbt.com
dbt + Materialize: Streaming to a dbt project near you
dbt + Materialize: Streaming to a dbt project near you dbt + Materialize: Streaming to a dbt project near you

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

5 месяцев, 4 недели назад @ blog.getdbt.com
dbt + Materialize: Streaming to a dbt project near you
dbt + Materialize: Streaming to a dbt project near you dbt + Materialize: Streaming to a dbt project near you

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

5 месяцев, 4 недели назад @ blog.getdbt.com
Analytics Engineering for Everyone: Databricks in dbt Cloud
Analytics Engineering for Everyone: Databricks in dbt Cloud Analytics Engineering for Everyone: Databricks in dbt Cloud

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

6 месяцев, 4 недели назад @ blog.getdbt.com
FiveTran FiveTran
последний пост 5 дней, 22 часа назад
The Data Integration Revolution: A Solution Architect’s Perspective
The Data Integration Revolution: A Solution Architect’s Perspective

How life for data professionals keeps getting better (and more interesting!)

5 дней, 22 часа назад @ fivetran.com
Launch Fivetran Through Databricks Partner Connect
Launch Fivetran Through Databricks Partner Connect

You can now set up Fivetran data pipelines via Databricks Partner Connect. Here’s how to do it.

1 неделя, 3 дня назад @ fivetran.com
New Report: Enterprises Should Reconsider DIY Pipelines
New Report: Enterprises Should Reconsider DIY Pipelines

A recent survey from Wakefield Research finds that when enterprises build their own data pipelines, decision-making and revenue suffer.

1 неделя, 4 дня назад @ fivetran.com
Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™
Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™ Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™

Oakland, Calif., November 17, 2021 — Fivetran, the leading automated data integration provider, today announced it ranks 122 on the Deloitte Technology Fast 500™, a ranking of the 500 fastest-growing technology, media, telecommunications, life sciences, fintech, and energy tech companies in North America, now in its 27th year. Fivetran grew 1,668.93% during this period."We are honored to be recognized by Deloitte in the Technology Fast 500 list for the second year running,” said George Fraser, CEO of Fivetran. “With our recent Series D funding and acquisition of HVR, we look forward to expanding our business and product offerings to a wider array of customers and continuing our mission to m…

1 неделя, 5 дней назад @ fivetran.com
10 Database Schema Best Practices
10 Database Schema Best Practices

Follow these tips to ensure that your database schema delivers maximum utility for data warehouse users, data analysts, and data scientists.

1 неделя, 5 дней назад @ fivetran.com
11 Database Schema Mistakes to Avoid
11 Database Schema Mistakes to Avoid

A good database schema is indispensable for making data warehouses work. Get it wrong, and you’ll be in a world of hurt.

1 неделя, 5 дней назад @ fivetran.com
Supporting Employee Philanthropy at Fivetran
Supporting Employee Philanthropy at Fivetran

When Fivetranners are moved to give back — to their own communities or the global community — Fivetran helps increase their impact.

1 неделя, 6 дней назад @ fivetran.com
Condé Nast maps customer journey across global brands with Fivetran
Condé Nast maps customer journey across global brands with Fivetran

The publisher of Vogue, Vanity Fair, GQ and The New Yorker connects and monetizes trillions of data points

2 недели, 4 дня назад @ fivetran.com
How to Change Minds When Data Alone Isn't Enough
How to Change Minds When Data Alone Isn't Enough

A leading researcher explains how emotion, intuition and storytelling can be more powerful than data.

2 недели, 4 дня назад @ fivetran.com
Coupa accelerates its S3 Data Lake with Fivetran
Coupa accelerates its S3 Data Lake with Fivetran

The Business Spend Management company uses Fivetran’s data integration solution to better understand customer behavior on its SaaS platform

3 недели, 3 дня назад @ fivetran.com
The Future of Fivetran and HVR
The Future of Fivetran and HVR

Our priority is improving the experience of every customer — without compromising the features you rely on.

3 недели, 3 дня назад @ fivetran.com
Data Egress Cost Analysis
Data Egress Cost Analysis

Understand the impact of data transfer and egress costs across Microsoft Azure, Amazon Web Services and Google Cloud Platform.

3 недели, 3 дня назад @ fivetran.com
How Fivetran Uses the Looker API
How Fivetran Uses the Looker API

The Looker API allows you to programmatically manage your Looker environment. Learn how to do it here!

3 недели, 4 дня назад @ fivetran.com
Ensuring That Fivetran Parents Have a Voice
Ensuring That Fivetran Parents Have a Voice

A new employee resource group helps parents and guardians feel comfortable asking for what they need.

3 недели, 4 дня назад @ fivetran.com
An Introduction to Digital Marketing Analytics
An Introduction to Digital Marketing Analytics

What is marketing analytics? Learn why it’s important to measure and optimize your marketing activities, and how to get started.

3 недели, 5 дней назад @ fivetran.com
DataBricks DataBricks
последний пост 1 неделя, 2 дня назад
Ray on Databricks
Ray on Databricks Ray on Databricks

Ray is an open-source project first developed at RISELab that makes it simple to scale any compute-intensive Python workload. With a rich set of libraries and integrations built on a flexible distributed execution framework, Ray brings new use cases and simplifies the development of custom distributed Python functions that would normally be complicated to create....

The post Ray on Databricks appeared first on Databricks.

1 неделя, 2 дня назад @ databricks.com
Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools
Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools

Genomic technologies are driving the creation of new therapeutics, from RNA vaccines to gene editing and diagnostics. Progress in these areas motivated us to build Glow, an open-source toolkit for genomics machine learning and data analytics. The toolkit is natively built on Apache Spark™, the leading engine for big data processing, enabling population-scale genomics. The...

The post Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools appeared first on Databricks.

1 неделя, 4 дня назад @ databricks.com
10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse
10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse 10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse

acc + value) as sum FROM ( SELECT order_number, clicked_items:[*][1] as all_click_counts, from_json(clicked_items:[*][1], 'ARRAY')::ARRAY as all_click_count_array FROM autoloaderBronzeTable ) Unfortunately, not all data comes to us in a usable structure. For example, the column clicked_items is a confusing array of arrays in which the count comes in as a string. Below is a snippet of...

The post 10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse appeared first on Databricks.

2 недели, 3 дня назад @ databricks.com
Turning 2 Trillion Data Points of Traffic Intelligence into Critical Business Insights
Turning 2 Trillion Data Points of Traffic Intelligence into Critical Business Insights Turning 2 Trillion Data Points of Traffic Intelligence into Critical Business Insights

This is a guest authored post by Stephanie Mak, Senior Data Engineer, formerly at Intelematics. This blog post offers my experience of contributing to the open source community with Bricklayer, which I’d started during my time at Intelematics. Bricklayer is a utility for data engineers whose job is to farm jobs, build map layers...

The post Turning 2 Trillion Data Points of Traffic Intelligence into Critical Business Insights appeared first on Databricks.

3 недели, 4 дня назад @ databricks.com
Moneyball 2.0: Real-time Decision Making With MLB’s Statcast Data
Moneyball 2.0: Real-time Decision Making With MLB’s Statcast Data Moneyball 2.0: Real-time Decision Making With MLB’s Statcast Data

The Oakland Athletics baseball team in 2002 used data analysis and quantitative modeling to identify undervalued players and create a competitive lineup on a limited budget. The book Moneyball, written by Michael Lewis, highlighted the A’s ‘02 season and gave an inside glimpse into how unique the team’s strategic data modeling was, for its time....

The post Moneyball 2.0: Real-time Decision Making With MLB’s Statcast Data appeared first on Databricks.

1 месяц назад @ databricks.com
GPU-accelerated Sentiment Analysis Using Pytorch and Huggingface on Databricks
GPU-accelerated Sentiment Analysis Using Pytorch and Huggingface on Databricks GPU-accelerated Sentiment Analysis Using Pytorch and Huggingface on Databricks

Sentiment analysis is commonly used to analyze the sentiment present within a body of text, which could range from a review, an email or a tweet. Deep learning-based techniques are one of the most popular ways to perform such an analysis. However, these techniques tend to be very computationally intensive and often require the use...

The post GPU-accelerated Sentiment Analysis Using Pytorch and Huggingface on Databricks appeared first on Databricks.

1 месяц назад @ databricks.com
Introducing Apache Spark™ 3.2
Introducing Apache Spark™ 3.2 Introducing Apache Spark™ 3.2

We are excited to announce the availability of Apache Spark™ 3.2 on Databricks as part of Databricks Runtime 10.0. We want to thank the Apache Spark community for their valuable contributions to the Spark 3.2 release. The number of monthly maven downloads of Spark has rapidly increased to 20 million. The year-over-year growth rate represents...

The post Introducing Apache Spark™ 3.2 appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
MLflow for Bayesian Experiment Tracking
MLflow for Bayesian Experiment Tracking MLflow for Bayesian Experiment Tracking

This post is the third in a series on Bayesian inference ([1], [2] ). Here we will illustrate how to use managed MLflow on Databricks to perform and track Bayesian experiments using the Python package PyMC3. This results in systematic and reproducible experimentation ML pipelines that can be shared across data science teams due to...

The post MLflow for Bayesian Experiment Tracking appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
Creating an IP Lookup Table of Activities in a SIEM Architecture
Creating an IP Lookup Table of Activities in a SIEM Architecture Creating an IP Lookup Table of Activities in a SIEM Architecture

When working with cyber security data, one thing is for sure: there is no shortage of available data sources. If anything, there are too many data sources with overlapping data. Your traditional SIEM (security information and event management) tool is not really fit to handle the complex transformation and stitching of multiple data sources in...

The post Creating an IP Lookup Table of Activities in a SIEM Architecture appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
Developing Databricks’ Runbot CI Solution
Developing Databricks’ Runbot CI Solution Developing Databricks’ Runbot CI Solution

Runbot is a bespoke continuous integration (CI) solution developed specifically for Databricks’ needs. Originally developed in 2019, Runbot incrementally replaces our aging Jenkins infrastructure with something more performant, scalable, and user friendly for both users and maintainers of the service. This blog post will explore the motivations behind developing Runbot, the core design decisions that...

The post Developing Databricks’ Runbot CI Solution appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Native Support of Session Window in Spark Structured Streaming
Native Support of Session Window in Spark Structured Streaming Native Support of Session Window in Spark Structured Streaming

Apache Spark™ Structured Streaming allowed users to do aggregations on windows over event-time. Before Apache Spark 3.2™, Spark supported tumbling windows and sliding windows. In the upcoming Apache Spark 3.2, we add “session windows” as new supported types of windows, which works for both streaming and batch queries What is a “session window”? Tumbling...

The post Native Support of Session Window in Spark Structured Streaming appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Efficient Point in Polygon Joins via PySpark and BNG Geospatial Indexing
Efficient Point in Polygon Joins via PySpark and BNG Geospatial Indexing Efficient Point in Polygon Joins via PySpark and BNG Geospatial Indexing

This is a collaborative post by Ordnance Survey, Microsoft and Databricks. We thank Charis Doidge, Senior Data Engineer, and Steve Kingston, Senior Data Scientist, Ordnance Survey, and Linda Sheard, Cloud Solution Architect for Advanced Analytics and AI at Microsoft, for their contributions. This blog presents a collaboration between Ordnance Survey (OS), Databricks and Microsoft...

The post Efficient Point in Polygon Joins via PySpark and BNG Geospatial Indexing appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Pandas API on Upcoming Apache Spark™ 3.2
Pandas API on Upcoming Apache Spark™ 3.2 Pandas API on Upcoming Apache Spark™ 3.2

We’re thrilled to announce the pandas API as part of the upcoming Apache Spark™ 3.2 release. pandas is a powerful, flexible library and has grown rapidly to become one of the standard data science libraries. Now pandas users can leverage the pandas API on their existing Spark clusters. A few years ago, we launched Koalas,...

The post Pandas API on Upcoming Apache Spark™ 3.2 appeared first on Databricks.

1 месяц, 3 недели назад @ databricks.com
Shiny and Environments for R Notebooks
Shiny and Environments for R Notebooks Shiny and Environments for R Notebooks

At Databricks, we want the Lakehouse ecosystem widely accessible to all data practitioners, and R is a great interface language for this purpose because of its rich ecosystem of open source packages and broad use as a computing language for many non-computing scientific disciplines. The product team at Databricks actively engages with R users to...

The post Shiny and Environments for R Notebooks appeared first on Databricks.

2 месяца назад @ databricks.com
Catalog and Discover Your Databricks Notebooks Faster
Catalog and Discover Your Databricks Notebooks Faster Catalog and Discover Your Databricks Notebooks Faster

This is a collaborative post from Databricks and Elsevier. We thank Darin McBeath, Director Disruptive Technologies — Elsevier, for his contributions. As a global leader in information and analytics, Elsevier helps researchers and healthcare professionals advance science and improve health outcomes for the benefit of society. It has supported the work of its research...

The post Catalog and Discover Your Databricks Notebooks Faster appeared first on Databricks.

2 месяца, 1 неделя назад @ databricks.com
Mix
/r/DataEngineering
последний пост 1 час назад
Best way to store aggregations in DynamoDB.
Best way to store aggregations in DynamoDB.

Hi All, I have stumbled upon an use case, that processes raw daily data, into weekly data and needs to be stored in dynamodb. Part of raw data looks like this: W01 Service1 01-01-2021 Rainy W01 Service1 02-01-2021 Snowy W01 Service1 03-01-2021 Rainy W01 Service1 04-01-2021 Sunny W01 Service1 05-01-2021 Rainy W01 Service1 06-01-2021 Sunny W01 Service1 07-01-2021 Sunny I need to aggregate each week into one row and store it. The final data structure would look like this ( Week and Wether_Service are keys): Week Weather_Service Country Region Weather Occurences W01 Service1 UK North ['Rainy', 'Sunny', 'Snowy'] [3, 3, 1] W01 Service2 UK South ['Sunny', 'Rainy', 'Snowy'] [4, 2, 1] Raw data will …

1 час назад @ reddit.com
Interview for data engineer intern role, how can I prepare?
Interview for data engineer intern role, how can I prepare?

Officially the role is a software developer one but it’s applied to data, I feel like it’s a close fit to data engineering. I’m a sophomore in university, what can I learn before the interview to maximize my chance of landing the role? I only have slight experience with sql querying and processing data with python. But I do feel good with my overall programming abilities. Should I practice sql? submitted by /u/torner374 [link] [comments]

1 час назад @ reddit.com
Schemaverse, a space based strategy game to learn PostgreSQL
Schemaverse, a space based strategy game to learn PostgreSQL

submitted by /u/killer_unkill [link] [comments]

2 часа назад @ reddit.com
Interview Questions
Interview Questions

Hi all, I have an interview coming up for an entry-level (I think it's entry-level, they never specified) data engineer position. I am brushing up on some conceptual stuff, mostly Hadoop and NoSQL. This is my first interview for a data engineer position and I was wondering if I should also brush up on some leetcode or if it will likely be conceptual. Please let me know what you think. submitted by /u/tombradyisthegoat1q [link] [comments]

4 часа назад @ reddit.com
Do you guys want a quick stats primer? Here's a simple guide with the R
Do you guys want a quick stats primer? Here's a simple guide with the R

If you all need some simple stats here are the go-to. Hope it helps. This was presented to graduate students in the Faculty of Forestry at the University of Toronto. https://www.youtube.com/watch?v=GDrEwz8r8Xc First, a general introduction to probability, assumptions of inference, and hypothesis testing. The second requirement is to perform the analyses, including managing the data using some statistical software. At the vanguard of such software is the R statistical software https://www.r-project.org/;​ and its integrative environment Rstudio https://www.rstudio.com/​. Few programs constitute the virtues of open-sources highly integrated and powerful programs as the R statistical software …

6 часов назад @ reddit.com
I've always been curious about this one thing regarding database normalization...
I've always been curious about this one thing regarding database normalization...

Sorry for the click-bait-y title. Given: a columnar storage system, like an OLAP database like Snowflake. Or even a columnar storage format like parquet. If you had a column that had time as a text string, e.g. "11:30", would it improve database normalization to split that into one field with "11", one with ":", and the last with "30"? My thought is that the number of unique values you need to store in the original case is 720, assuming a 12-hr format, and 1440 assuming a 24-hr format. For the latter case, even though you would have more column objects, the number of unique values you have to carry is 73 , assuming a 12-hr format and 85, assuming a 24-hr format. Wouldn't that compress bette…

6 часов назад @ reddit.com
Current Data Analyst looking to transition into Data Engineer
Current Data Analyst looking to transition into Data Engineer

Hey guys, I'm currently a data analyst at a small company in the southeast region. Most of my work is done in excel or writing basic select statements to pull data. Sometimes I will dig through existing sql queries and edit the queries to get the data I need. That being said, I am looking for a higher salary and more interesting work. I would like to transition to data engineering but don't really know where to start. I have seen some roadmaps but don't know how I could really fit those in with my current state of knowledge. I know basic sql (T-SQL in SQL server) and I know VERY basic python. Do you guys recommend taking a Udacity course on data engineering or something similar? I like havi…

7 часов назад @ reddit.com
Junior Data Engineer salary
Junior Data Engineer salary

I recently received a junior DE offer for 85k for remote work. I am graduating this year and this would be my first full time job. Is this a fair salary? What would be a good counter offer to make? submitted by /u/SatRipper [link] [comments]

9 часов назад @ reddit.com
Interview coming up
Interview coming up

Hey all - I have an internal interview coming up for a Data Engineer job - I’m currently a data analyst in the same division etc. We’re pretty immature data-wise e.g. have external consultants doing our data warehousing & modelling etc. whilst our own BI Devs / Engineers are learning from them. These guys were just the traditional SQL gurus who’ve been put into the team. Don’t use Python or APIs or anything like that Just wondering what tips would you guys have for the interview? Some things/concepts that might help me stand out. Appreciate any help at all! submitted by /u/Scandalous_Andalous [link] [comments]

14 часов назад @ reddit.com
How prevalent is Oracle in the data engineering space?
How prevalent is Oracle in the data engineering space?

I have a lot of experience with on-premise Oracle databases in a (mainly legacy) enterprise environment, and I am wondering how much Oracle you guys are exposed to in your daily work? Or has everyone moved to something like Snowflake or Postgres? submitted by /u/ora_600 [link] [comments]

14 часов назад @ reddit.com
Is MacBook Air 2020 M1 8 GB enough for data engineering?
Is MacBook Air 2020 M1 8 GB enough for data engineering?

Currently, I am a computer technologies student and I want to develop a career in data engineering. I started my journey with Lenovo and this week, I have encountered 3 blue screen errors and I am scared of getting things worse. I wanted to upgrade my laptop to mac but the currency difference between TL and USD hit me hard. Thus I am looking for entry-level MacBook air for myself but I am curious whether 8 gb ram is enough or not. Should I buy 16 gb? Maybe I can try learning photoshop, movie and premiere for the freelance job but this is just an idea. And this must last longer because it is so hard to buy a new computer in my country, so I want to use the laptop that I want to buy. Thanks f…

14 часов назад @ reddit.com
How Does Normalization Increase Performance?
How Does Normalization Increase Performance?

Reading up on Normalization vs Denormalization it keeps coming up that Normalizing your data reduces redundancy and increases performance. The reduces redundancy I understand, but the example in my mind is a web log and I don't see how Normalizing this data would increase performance. You may get location, IP Address, Date and Time, Page Requested, OS and Browser information from a weblog. If you Normalize this data you might make a Date Table, a Time Table, a Browser Table, and an OS Table. If you made these separate tables and made them foreign keys in the fact table (web log table) wouldn't that significantly SLOW down the performance of writing the data? You would need to parse the log,…

15 часов назад @ reddit.com
Combining data from multiple data sources
Combining data from multiple data sources

How often do you need to combine/merge heterogenous data fetched from REST API or loaded from files with the data retrieved from databases? What do you use for it? What are the challenges? View Poll submitted by /u/Greg_Z_ [link] [comments]

17 часов назад @ reddit.com
I am looking for a roadmap on getting into Data Engineering. I can't hope to follow the popular roadmap shared on this sub.
I am looking for a roadmap on getting into Data Engineering. I can't hope to follow the popular roadmap shared on this sub.

I know this roadmap https://www.reddit.com/r/TheInsaneApp/comments/pjt1le/data_engineering_roadmap/?utm_medium=android_app&utm_source=share It is just massive and I can't hope to do all of that in 1-2 years (I have a full time job too). It looks like a multi year experience check list. Can anyone share a shorter curated roadmap for getting into the field? submitted by /u/intexAqua [link] [comments]

17 часов назад @ reddit.com
Smart solution to reduce an impractical number of iterations in a time-series model
Smart solution to reduce an impractical number of iterations in a time-series model

Hello folks, I know this might not be the most appropriate sub for this discussion but no harm in trying, right? We have a timeseries based ML solution that helps with anomaly detection and finding the root cause for this anomaly. How it currently operates is, if I see an anomaly in a metric (if the actual is far from prediction), we try to examine the associated dimensions and associate the anomaly to its root cause accordingly. For example, considering Covid related deaths across the US, if our model senses an anomaly (steep rise/fall), we try to break down the available data by state and see which state is responsible for such a steep change. In this example, there is only one dimension …

19 часов назад @ reddit.com
Towards Data Science Towards Data Science
последний пост 13 часов назад
Complete Guide to Perform Classification of Tweets with SpaCy
Complete Guide to Perform Classification of Tweets with SpaCy Complete Guide to Perform Classification of Tweets with SpaCy

What is NLP? How do we perform NLP? Just started with the SpaCy package? Here is a complete guide on performing NLP and its associated concepts.Photo by Glen Carrie on UnsplashCOVID-19 has affected the lives of many through losing beloved ones, being laid-off from jobs, and social distancing from the world. However, during the digital era, people did not stop sharing their thoughts, comments, or feelings with the world — they did it through the power of social media.In this article, we will go through the main concepts of NLP project, including the data selection, exploratory data analysis, NLP preprocessing, NLP models (statistical/neural language models), and metrics selection. The datase…

13 часов назад @ towardsdatascience.com
Why I Chose the MacBook Air over the MacBook Pro as a Data Scientist
Why I Chose the MacBook Air over the MacBook Pro as a Data Scientist Why I Chose the MacBook Air over the MacBook Pro as a Data Scientist

Benchmark tests and other considerations to help you decide between the latest and greatest Apple laptopsContinue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
Enhance Your Plotly Express Scatter Plot With Marginal Plots
Enhance Your Plotly Express Scatter Plot With Marginal Plots Enhance Your Plotly Express Scatter Plot With Marginal Plots

Display Extra Information on your Plotly Express Scatter PlotsContinue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
Solutions against overfitting for machine learning on tabular data
Solutions against overfitting for machine learning on tabular data Solutions against overfitting for machine learning on tabular data

Presenting 5 solutions that you can use to counteract overfitting in tabular data and classical machine learningContinue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
Five Unexpected Behaviours of Python Could Be Surprised
Five Unexpected Behaviours of Python Could Be Surprised Five Unexpected Behaviours of Python Could Be Surprised

Some cold knowledge about Python you need to knowContinue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
Exploring stacks and queues
Exploring stacks and queues Exploring stacks and queues

Supercharge your programs with two highly useful toolsContinue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
My First Six Months as a Data Scientist
My First Six Months as a Data Scientist My First Six Months as a Data Scientist

The technical and non-technical lessons I’ve learnedContinue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
Data Visualization Before Machine Learning
Data Visualization Before Machine Learning Data Visualization Before Machine Learning

Do you ever ask yourself why your machine learning model isn’t used?Continue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
Four Deep Learning Papers to Read in December 2021
Four Deep Learning Papers to Read in December 2021 Four Deep Learning Papers to Read in December 2021

From Sensory Substitution to Decision Transformers, Persistent Evolution Strategies and Sharpness-Aware MinimizationContinue reading on Towards Data Science »

17 часов назад @ towardsdatascience.com
How to Benefit from the Semi-Supervised Learning with Label Spreading Algorithm
How to Benefit from the Semi-Supervised Learning with Label Spreading Algorithm How to Benefit from the Semi-Supervised Learning with Label Spreading Algorithm

A detailed explanation of how Label Spreading algorithm works with Python exampleContinue reading on Towards Data Science »

17 часов назад @ towardsdatascience.com
Applying of Reinforcement Learning for Self-Driving Cars
Applying of Reinforcement Learning for Self-Driving Cars Applying of Reinforcement Learning for Self-Driving Cars

Markov Decision Process (MDP) and finding a holistic policy in the development of autonomous drivingContinue reading on Towards Data Science »

1 день, 17 часов назад @ towardsdatascience.com
Introduction to Applied Linear Algebra: Vectors
Introduction to Applied Linear Algebra: Vectors Introduction to Applied Linear Algebra: Vectors

Photo of Max Fischer from PexelsGoal: This article gives an introduction to vectors, vector operations and their applications in the field of data scienceWhy you should learn it: It is the basis for almost all machine learning techniques to learn from data whether it is predicting, classification or clusteringTable of Contents:What is a vector?Vector additionScalar-vector multiplicationDot productLinear CombinationsWhat is a vector?A vector is an ordered finite list of numbers. They are most often written like this:Vectors can be written in brackets or parenthesisThe elements of a vector are the values within that vector. The python equivalent are numpy arrays. The size (or length) of the v…

1 день, 17 часов назад @ towardsdatascience.com
The Poisson Hidden Markov Model for Time Series Regression
The Poisson Hidden Markov Model for Time Series Regression The Poisson Hidden Markov Model for Time Series Regression

How a mixture of two powerful random processes can be used to model time series dataA Poisson Hidden Markov Model uses a mixture of two random processes, a Poisson process and a discrete Markov process, to represent counts based time series data.Counts based time series data contain only whole numbered values such as 0, 1,2,3 etc. Examples of such data are the daily number of hits on an eCommerce website, the number of bars of soap purchased each day at a department store and so on.Such data cannot be adequately represented using models such as the Linear model or the ARIMA model because in those models, the dependent variable (y) is assumed to be real valued with both positive and negative…

1 день, 18 часов назад @ towardsdatascience.com
4 Python Pandas Functions That Serve Better With Dictionaries
4 Python Pandas Functions That Serve Better With Dictionaries 4 Python Pandas Functions That Serve Better With Dictionaries

Make more use of Pandas.Continue reading on Towards Data Science »

1 день, 18 часов назад @ towardsdatascience.com
Three R Libraries Every Data Scientist Should Know (Even if You Use Python)
Three R Libraries Every Data Scientist Should Know (Even if You Use Python) Three R Libraries Every Data Scientist Should Know (Even if You Use Python)

Powerful R libraries built by the World’s Biggest Tech CompaniesContinue reading on Towards Data Science »

1 день, 19 часов назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 1 неделя, 4 дня назад
7 Questions to Ask When Building Your Data Team at a Hypergrowth Company
7 Questions to Ask When Building Your Data Team at a Hypergrowth Company

When it comes to ensuring your data team is happy and productive, answering these seven questions will make all the difference.

1 неделя, 4 дня назад @ montecarlodata.com
Announcing Monte Carlo’s End-to-End Field-Level Lineage to Help Teams Achieve Data Trust
Announcing Monte Carlo’s End-to-End Field-Level Lineage to Help Teams Achieve Data Trust

Monte Carlo’s field-level lineage functionality is now offered as part of our automated, end-to-end data observability platform.

2 недели, 5 дней назад @ montecarlodata.com
How The Farmer’s Dog Builds Data Trust with End-to-End Data Observability
How The Farmer’s Dog Builds Data Trust with End-to-End Data Observability

How the data team at The Farmer's Dog, a fresh dog food company, achieves reliable data pipelines with automated, end-to-end data observability.

2 недели, 6 дней назад @ montecarlodata.com
Monte Carlo Launches Insights to Help Data Teams Understand What Data Matters Most to Your Business
Monte Carlo Launches Insights to Help Data Teams Understand What Data Matters Most to Your Business

Monte Carlo Insights is the first solution on the market to offer customers operational analytics about their data environment.

3 недели, 4 дня назад @ montecarlodata.com
Unicorns, data mesh, category creation, and more reasons to attend IMPACT: The Data Observability Summit
Unicorns, data mesh, category creation, and more reasons to attend IMPACT: The Data Observability Summit

Five reasons why you should attend IMPACT, the world's first Data Observability summit on Wednesday, November 3, 2021.

1 месяц назад @ montecarlodata.com
How to Choose the Right Structure for Your Data Team
How to Choose the Right Structure for Your Data Team

Best practices for building a data team at a hypergrowth startup, from hiring your first data engineer to IPO.

1 месяц назад @ montecarlodata.com
Data Mesh – Fad or Fab?
Data Mesh – Fad or Fab?

Mammad Zadeh, former VP of Engineering at Intuit, shares his take on one of data's hottest topics: data mesh.

1 месяц назад @ montecarlodata.com
Data Observability 101: Everything You Need to Know to Get Started
Data Observability 101: Everything You Need to Know to Get Started

What is data observability and does it make sense for your stack? Here’s your go-to guide to starting on the path towards data trust.

1 месяц, 1 неделя назад @ montecarlodata.com
The Future of the Data Engineer
The Future of the Data Engineer

A conversation with Maxime Beauchemin, creator of Apache Airflow and Apache Superset, on the state of data engineering in 2021.

1 месяц, 2 недели назад @ montecarlodata.com
Announcing O’Reilly’s Data Quality Fundamentals
Announcing O’Reilly’s Data Quality Fundamentals

In O'Reilly's latest, we share why and how teams can tackle data quality at scale by leveraging best practices and technologies used by some of the world’s most innovative companies.

1 месяц, 2 недели назад @ montecarlodata.com
Announcing O’Reilly’s Data Quality Fundamentals
Announcing O’Reilly’s Data Quality Fundamentals

Available today, Data Quality Fundamental's press release chapters dive into how some of the best teams are architecting for data observability.

1 месяц, 2 недели назад @ montecarlodata.com
4 Reasons Why I Joined Monte Carlo’s Data Science Team
4 Reasons Why I Joined Monte Carlo’s Data Science Team

Considering joining a data startup? Learn how and why Ryan Kearns turned his Monte Carlo internship into a job.

1 месяц, 3 недели назад @ montecarlodata.com
Monitors as Code: A New Way to Deploy Custom Data Quality Monitors From Your CI/CD Workflow
Monitors as Code: A New Way to Deploy Custom Data Quality Monitors From Your CI/CD Workflow

Monte Carlo releases Monitors as Code. Allowing data engineers to easily configure new data quality monitors as part of their daily workflow.

1 месяц, 3 недели назад @ montecarlodata.com
Monte Carlo Announces dbt Integration to Help Companies Achieve Data Observability in ELT
Monte Carlo Announces dbt Integration to Help Companies Achieve Data Observability in ELT

When it comes to achieving data trust, Monte Carlo, the leading data observability platform, and dbt, the data build tool, are better together.

2 месяца назад @ montecarlodata.com
Data Observability: Five Quick Ways to Improve the Reliability of Your Data
Data Observability: Five Quick Ways to Improve the Reliability of Your Data

Five common data observability use cases and how they can help your team improve data quality at scale and trust your data faster.

2 месяца назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 2 дня, 21 час назад
Также решил сделать скидку в 35% на курс Apache Airflow 2.0: практический курс.Промокод BLACKFRIDAY, действует до 28.11
Также решил сделать скидку в 35% на курс Apache Airflow 2.0: практический курс.Промокод BLACKFRIDAY, действует до 28.11 Также решил сделать скидку в 35% на курс Apache Airflow 2.0: практический курс.Промокод BLACKFRIDAY, действует до 28.11

Также решил сделать скидку в 35% на курс Apache Airflow 2.0: практический курс.Промокод BLACKFRIDAY, действует до 28.11

2 дня, 21 час назад @ t.me
Всем привет! 🫂Сегодня, в последнюю пятницу ноября, я решил сделать большие скидки на своей учебной платформе:— Введение в Data Engineering: дата-пайплайны, по промокоду BLACKFRIDAY скидка 50%, 345 RUB— Анализ медицинских изображений в Python по промокоду B
Всем привет! 🫂Сегодня, в последнюю пятницу ноября, я решил сделать большие скидки на своей учебной платформе:— Введение в Data Engineering: дата-пайплайны, по промокоду BLACKFRIDAY скидка 50%, 345 RUB— Анализ медицинских изображений в Python по промокоду B

Всем привет! 🫂Сегодня, в последнюю пятницу ноября, я решил сделать большие скидки на своей учебной платформе:— Введение в Data Engineering: дата-пайплайны, по промокоду BLACKFRIDAY скидка 50%, 345 RUB— Анализ медицинских изображений в Python по промокоду BLACKFRIDAY скидка 50%, 250 RUBПромокод необходимо вводить в момент оформления заказа.Всем приятной учебы и выходных!

3 дня назад @ t.me
Redshift диалект для SQLAlchemy: https://aws.amazon.com/ru/blogs/big-data/use-the-amazon-redshift-sqlalchemy-dialect-to-interact-with-amazon-redshift/
Redshift диалект для SQLAlchemy: https://aws.amazon.com/ru/blogs/big-data/use-the-amazon-redshift-sqlalchemy-dialect-to-interact-with-amazon-redshift/

Redshift диалект для SQLAlchemy: https://aws.amazon.com/ru/blogs/big-data/use-the-amazon-redshift-sqlalchemy-dialect-to-interact-with-amazon-redshift/

1 неделя, 2 дня назад @ t.me
Хотел порекомендовать вам канал Олега (@oleg_agapov) — Папка "Избранное" https://t.me/folder_favorites, сам также подписан на него.Олег работает BI-инженером, делится опытом и знаниями. Я как то уже писал про его труд https://github.com/oleg-agapov/data-en
Хотел порекомендовать вам канал Олега (@oleg_agapov) — Папка "Избранное" https://t.me/folder_favorites, сам также подписан на него.Олег работает BI-инженером, делится опытом и знаниями. Я как то уже писал про его труд https://github.com/oleg-agapov/data-en

Хотел порекомендовать вам канал Олега (@oleg_agapov) — Папка "Избранное" https://t.me/folder_favorites, сам также подписан на него.Олег работает BI-инженером, делится опытом и знаниями. Я как то уже писал про его труд https://github.com/oleg-agapov/data-engineering-book, это бесплатная книга (ещё в процессе написания) про дата инжиниринг.

1 неделя, 2 дня назад @ t.me
Учебник по машинному обучению от Школы Анализа Данных, Яндекс: https://ml-handbook.ru/
Учебник по машинному обучению от Школы Анализа Данных, Яндекс: https://ml-handbook.ru/

Учебник по машинному обучению от Школы Анализа Данных, Яндекс: https://ml-handbook.ru/

1 неделя, 3 дня назад @ t.me
Про интеграцию Prefect и dbt: https://medium.com/the-prefect-blog/orchestrating-elt-with-prefect-and-dbt-a-flow-of-flows-part-1-aac77126473
Про интеграцию Prefect и dbt: https://medium.com/the-prefect-blog/orchestrating-elt-with-prefect-and-dbt-a-flow-of-flows-part-1-aac77126473

Про интеграцию Prefect и dbt: https://medium.com/the-prefect-blog/orchestrating-elt-with-prefect-and-dbt-a-flow-of-flows-part-1-aac77126473

1 неделя, 4 дня назад @ t.me
Вебинар про Data Quality в Airflow: https://www.youtube.com/watch?v=6ib2gH4A0rI
Вебинар про Data Quality в Airflow: https://www.youtube.com/watch?v=6ib2gH4A0rI

Вебинар про Data Quality в Airflow: https://www.youtube.com/watch?v=6ib2gH4A0rI

1 неделя, 5 дней назад @ t.me
Фейсбук (а ныне Мета) провели интересный саммит на тему Data Observability, так и называется Data Observability Learning Summit 2021. Доклады уже доступны в сети без регистрации и смс: https://www.facebook.com/watch/9445547199/490224945331402Список отдельн
Фейсбук (а ныне Мета) провели интересный саммит на тему Data Observability, так и называется Data Observability Learning Summit 2021. Доклады уже доступны в сети без регистрации и смс: https://www.facebook.com/watch/9445547199/490224945331402Список отдельн

Фейсбук (а ныне Мета) провели интересный саммит на тему Data Observability, так и называется Data Observability Learning Summit 2021. Доклады уже доступны в сети без регистрации и смс: https://www.facebook.com/watch/9445547199/490224945331402Список отдельных докладов: - Data Quality at Uber- Data and ML observability in the public cloud- Data observability: Through a practitioner's lens- Observability: How to eliminate data downtime and start trusting your data- Defining reliability: SLAs for data platform teams- Multi-dimensional DO for modern data infra: Why today's AI and analytics workloads require E2E DOТема интересная и актуальная, сегодня посмотрю парочку докладов.

1 неделя, 6 дней назад @ t.me
Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 деньЕсли вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 ч
Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 деньЕсли вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 ч Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 деньЕсли вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 ч

Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 деньЕсли вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 человек. В Тинькофф 20 команд работают над 50 проектами, поэтому вы легко найдете интересное направление. Работайте удаленно или в офисе: комфортно пройти онбординг помогут менторы, общие встречи, внутреннее обучение и мероприятия.Все секции пройдут онлайн в Zoom 4 декабря. Вы узнаете о проектах, задачах, условиях работы и сможете задать любые, даже самые каверзные вопросы.Успейте оставить заявку до 1 декабря. Фидбэк об участии пришлют в те…

2 недели назад @ t.me
Нашел новый венчурный фонд, инвестирующий в инженеров-основателей в области данных: аналитика, инфраструктура, AI/DL.Сайт фонда https://www.dcf1.vc/, если у вас есть идея или прототип, то можно попробовать подать заявку на получение инвестиций. Основатель
Нашел новый венчурный фонд, инвестирующий в инженеров-основателей в области данных: аналитика, инфраструктура, AI/DL.Сайт фонда https://www.dcf1.vc/, если у вас есть идея или прототип, то можно попробовать подать заявку на получение инвестиций. Основатель

Нашел новый венчурный фонд, инвестирующий в инженеров-основателей в области данных: аналитика, инфраструктура, AI/DL.Сайт фонда https://www.dcf1.vc/, если у вас есть идея или прототип, то можно попробовать подать заявку на получение инвестиций. Основатель фонда Pete Soderling, он же основатель Data Council. Насколько я понял, сейчас цель фонда это проинвестировать в 1 тысячу инженеров-основателей.

2 недели назад @ t.me
Amazon бесплатно курсы по AWS раздаёт: https://amzn.to/31XqYC8, правда для моей страны нет возможности посмотреть их. Пишет что только Kindle titles могу брать, но возможно для вас ситуация будет другой.
Amazon бесплатно курсы по AWS раздаёт: https://amzn.to/31XqYC8, правда для моей страны нет возможности посмотреть их. Пишет что только Kindle titles могу брать, но возможно для вас ситуация будет другой.

Amazon бесплатно курсы по AWS раздаёт: https://amzn.to/31XqYC8, правда для моей страны нет возможности посмотреть их. Пишет что только Kindle titles могу брать, но возможно для вас ситуация будет другой.

2 недели, 2 дня назад @ t.me
В начале сентября прошел PyCon RU 2021, в сети стали доступны доклады: https://www.youtube.com/user/videoitpeople/videosСреди них есть интересные презентации:— Обработка ошибок в Python— Pattern matching: польза или хайп? — Построение мониторинга python-пр
В начале сентября прошел PyCon RU 2021, в сети стали доступны доклады: https://www.youtube.com/user/videoitpeople/videosСреди них есть интересные презентации:— Обработка ошибок в Python— Pattern matching: польза или хайп? — Построение мониторинга python-пр

В начале сентября прошел PyCon RU 2021, в сети стали доступны доклады: https://www.youtube.com/user/videoitpeople/videosСреди них есть интересные презентации:— Обработка ошибок в Python— Pattern matching: польза или хайп? — Построение мониторинга python-приложений с использованием opentelemetry— Rефакторинг: Regулярный и ASTообразный

2 недели, 3 дня назад @ t.me
Компания Altinity (та, которая теперь активно развивает ClickHouse) 2 ноября провела конференцию под названием Open Source Analytics Conference, в качестве спикеров были такие звёзды как Maxime Beauchemin, Andy Pavlo, Пётр Зайцев. Доклады уже доступны в се
Компания Altinity (та, которая теперь активно развивает ClickHouse) 2 ноября провела конференцию под названием Open Source Analytics Conference, в качестве спикеров были такие звёзды как Maxime Beauchemin, Andy Pavlo, Пётр Зайцев. Доклады уже доступны в се

Компания Altinity (та, которая теперь активно развивает ClickHouse) 2 ноября провела конференцию под названием Open Source Analytics Conference, в качестве спикеров были такие звёзды как Maxime Beauchemin, Andy Pavlo, Пётр Зайцев. Доклады уже доступны в сети бесплатно и без смс.Наиболее заметные:— Analytic Trends & Data Engineering— Do We Still Need People To Write Database Systems?— Distributed Tracing Using ClickHouse at eBay— Data Rivers — The New Analytics Architecture— Managing Transactional and Analytical Workloads with Open Source Databases— Effective Dashboard Design Using Apache Superset— Succeeding with Apache Druid and Clickstream Data

2 недели, 3 дня назад @ t.me
Откопал свежее видео про Dagster от его автора на очередном митапе: https://www.youtube.com/watch?v=OYNPa_xxehoУ меня никак руки не дойдут его пощупать, уж больно привлекательно он выглядит. Есть кто уже пробовал его в деле?
Откопал свежее видео про Dagster от его автора на очередном митапе: https://www.youtube.com/watch?v=OYNPa_xxehoУ меня никак руки не дойдут его пощупать, уж больно привлекательно он выглядит. Есть кто уже пробовал его в деле?

Откопал свежее видео про Dagster от его автора на очередном митапе: https://www.youtube.com/watch?v=OYNPa_xxehoУ меня никак руки не дойдут его пощупать, уж больно привлекательно он выглядит. Есть кто уже пробовал его в деле?

3 недели, 6 дней назад @ t.me
Неплохой гайд по подготовке к интервью по SQL с примерами от «Тамби Масаева»: https://www.youtube.com/watch?v=y6CWIBKEw_g
Неплохой гайд по подготовке к интервью по SQL с примерами от «Тамби Масаева»: https://www.youtube.com/watch?v=y6CWIBKEw_g

Неплохой гайд по подготовке к интервью по SQL с примерами от «Тамби Масаева»: https://www.youtube.com/watch?v=y6CWIBKEw_g

1 месяц назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 19 часов назад
Всем привет! Готов еще один перевод, посвященный Apache Spark, в котором кратко описаны основные составляющие части фреймворка. Поддержите пожалуйста лайками и голосами)https://habr.com/ru/post/592067/
Всем привет! Готов еще один перевод, посвященный Apache Spark, в котором кратко описаны основные составляющие части фреймворка. Поддержите пожалуйста лайками и голосами)https://habr.com/ru/post/592067/

Всем привет! Готов еще один перевод, посвященный Apache Spark, в котором кратко описаны основные составляющие части фреймворка. Поддержите пожалуйста лайками и голосами)https://habr.com/ru/post/592067/

19 часов назад @ t.me
Хорошая статья про оконные функции от Databricks, рассказывают теорию и показывают примеры для SQL и PySpark.
Хорошая статья про оконные функции от Databricks, рассказывают теорию и показывают примеры для SQL и PySpark.

Хорошая статья про оконные функции от Databricks, рассказывают теорию и показывают примеры для SQL и PySpark.

19 часов назад @ t.me
Как я провожу собеседования на позицию дата инженера? Обычно в 3 этапа:Этап 1: behavioral interview основаны на Amazon Leadership PrinciplesПосле Амазона, я стал использовать вопросы из behavioral interview. 3-4 вопроса, которые начинаются с фразы «Расскаж
Как я провожу собеседования на позицию дата инженера? Обычно в 3 этапа:Этап 1: behavioral interview основаны на Amazon Leadership PrinciplesПосле Амазона, я стал использовать вопросы из behavioral interview. 3-4 вопроса, которые начинаются с фразы «Расскаж

Как я провожу собеседования на позицию дата инженера? Обычно в 3 этапа:Этап 1: behavioral interview основаны на Amazon Leadership PrinciplesПосле Амазона, я стал использовать вопросы из behavioral interview. 3-4 вопроса, которые начинаются с фразы «Расскажи мне ситуацию, когда ты….». Такие вопросы очень хорошо помогают понять контекст, глубину и личностные качества кандидата. Чаще всего все тонут при использовании слова «МЫ» вместо «Я». То есть кандидат в команде, что-то делал, а сам не очень. Примеры вопросов:‍⚓Tell me about the most complex problem you’ve ever worked on (Dive Deep)‍⚓Tell me about a time when you took on something significant outside your area of responsibility, and why wa…

1 день, 15 часов назад @ t.me
Теперь как пользователь dbt, обязательно послушаю доклады на их конференции https://coalesce.getdbt.com/
Теперь как пользователь dbt, обязательно послушаю доклады на их конференции https://coalesce.getdbt.com/ Теперь как пользователь dbt, обязательно послушаю доклады на их конференции https://coalesce.getdbt.com/

Теперь как пользователь dbt, обязательно послушаю доклады на их конференции https://coalesce.getdbt.com/

1 день, 16 часов назад @ t.me
Использование Slow Change Dimension Type 1, 2 в dbt.
Использование Slow Change Dimension Type 1, 2 в dbt.

Использование Slow Change Dimension Type 1, 2 в dbt.

2 дня, 18 часов назад @ t.me
люблю читать про онлайн обучение. https://vc.ru/marketing/324935-nas-prodolzhayut-obmanyvat-servisy-onlayn-obrazovaniya-na-chernuyu-pyatnicu-v-2021
люблю читать про онлайн обучение. https://vc.ru/marketing/324935-nas-prodolzhayut-obmanyvat-servisy-onlayn-obrazovaniya-na-chernuyu-pyatnicu-v-2021

люблю читать про онлайн обучение. https://vc.ru/marketing/324935-nas-prodolzhayut-obmanyvat-servisy-onlayn-obrazovaniya-na-chernuyu-pyatnicu-v-2021

2 дня, 18 часов назад @ t.me
через 5 мин начинаем:https://youtu.be/CAdkL9vM6Do
через 5 мин начинаем:https://youtu.be/CAdkL9vM6Do

через 5 мин начинаем:https://youtu.be/CAdkL9vM6Do

3 дня, 19 часов назад @ t.me
25 Ноября в 7 вечера новый крутой вебинар! https://youtu.be/CAdkL9vM6DoНе пропустите!
25 Ноября в 7 вечера новый крутой вебинар! https://youtu.be/CAdkL9vM6DoНе пропустите! 25 Ноября в 7 вечера новый крутой вебинар! https://youtu.be/CAdkL9vM6DoНе пропустите!

25 Ноября в 7 вечера новый крутой вебинар! https://youtu.be/CAdkL9vM6DoНе пропустите!

4 дня, 14 часов назад @ t.me
https://youtu.be/KgdWvtppH50
https://youtu.be/KgdWvtppH50

https://youtu.be/KgdWvtppH50

4 дня, 15 часов назад @ t.me
Термин Data Observability становится все популярней. Data Observability, an organization’s ability to fully understand the health of the data in their system, eliminates data downtime by applying best practices of DevOps Observability to data pipelines. Li
Термин Data Observability становится все популярней. Data Observability, an organization’s ability to fully understand the health of the data in their system, eliminates data downtime by applying best practices of DevOps Observability to data pipelines. Li

Термин Data Observability становится все популярней. Data Observability, an organization’s ability to fully understand the health of the data in their system, eliminates data downtime by applying best practices of DevOps Observability to data pipelines. Like its DevOps counterpart, Data Observability uses automated monitoring, alerting, and triaging to identify and evaluate data quality and discoverability issues, leading to healthier pipelines, more productive teams, and happier customers. (Из этой статьи What is Data Observability?)В facebook прошлел Data Observability Learning Summit 2021И совсем недавно увидел продукт Datafold, компания созданная нашими основателями. И недавно они получ…

5 дней, 18 часов назад @ t.me
Бесплатный курс на 10 часов по анализу данных в Python - How to Analyze Data with Python, Pandas & Numpy
Бесплатный курс на 10 часов по анализу данных в Python - How to Analyze Data with Python, Pandas &amp; Numpy

Бесплатный курс на 10 часов по анализу данных в Python - How to Analyze Data with Python, Pandas & Numpy

5 дней, 18 часов назад @ t.me
🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработч
🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработч

🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработчику, аналитику, маркетологу хочется ускорить этот процесс. На проверку каждой гипотезы уходит несколько дней (часто и недель), плюс нужно позаботиться о статзначимости результата.Мы запускаем сервис, который помогает мобильным продуктам автоматизировать этот процесс и проводить A/B-тесты быстрее и дешевле. Для этого мы реализовали алгоритмы автоматического распределения пользователей и оптимизации под выбранную целевую метрику. Помимо прос…

6 дней, 2 часа назад @ t.me
https://youtu.be/LmW4JjR2-_8
https://youtu.be/LmW4JjR2-_8

https://youtu.be/LmW4JjR2-_8

6 дней, 11 часов назад @ t.me
Great Expectations это новая популярная библиотека для дата инжиниринга на питоне. Новая статья про использование этой библиотеки вместе с Amazon Redshift.
Great Expectations это новая популярная библиотека для дата инжиниринга на питоне. Новая статья про использование этой библиотеки вместе с Amazon Redshift.

Great Expectations это новая популярная библиотека для дата инжиниринга на питоне. Новая статья про использование этой библиотеки вместе с Amazon Redshift.

6 дней, 17 часов назад @ t.me
Планирование работы, фаз проекта, спринта - это очень важная часть командной работы и достижения результата. Мне, как инженеру данных, все эти митинги по планированию, очень не нравятся, как и любые другие митинги с 3+ человека. Но без правильного планиров
Планирование работы, фаз проекта, спринта - это очень важная часть командной работы и достижения результата. Мне, как инженеру данных, все эти митинги по планированию, очень не нравятся, как и любые другие митинги с 3+ человека. Но без правильного планиров

Планирование работы, фаз проекта, спринта - это очень важная часть командной работы и достижения результата. Мне, как инженеру данных, все эти митинги по планированию, очень не нравятся, как и любые другие митинги с 3+ человека. Но без правильного планирования невозможно сделать проект вовремя. Очень хорошая статья обзор, как разные команды и компании занимаются планированием. What planning is like at…From sprint cadence to success metrics, here’s a snapshot of the planning process at Netflix, Mailchimp, Asana, LaunchDarkly, and more.PS Можно даже сделать перевод - отличная статья на продуктовую тему. Есть желающие?

6 дней, 17 часов назад @ t.me
Left Join Left Join
последний пост 3 дня назад
MPROVE.IOОсновным докладом на Матемаркетинге-2021 от меня стала презентация нового инструмента для self-service аналитики: Mprove.io 🦄Вдохновившись Looker, мы вместе с партнером запустили свежую обновленную версию Mprove — open-source self-service BI. Крат
MPROVE.IOОсновным докладом на Матемаркетинге-2021 от меня стала презентация нового инструмента для self-service аналитики: Mprove.io 🦄Вдохновившись Looker, мы вместе с партнером запустили свежую обновленную версию Mprove — open-source self-service BI. Крат

MPROVE.IOОсновным докладом на Матемаркетинге-2021 от меня стала презентация нового инструмента для self-service аналитики: Mprove.io 🦄Вдохновившись Looker, мы вместе с партнером запустили свежую обновленную версию Mprove — open-source self-service BI. Краткие преимущества:* Язык разметки BlockML вместо сотен однотипных query 🧙* Крутая и мощная визуализация на d3.js ⚡* Система контроля версий Git 🎛️* Self-service для всех и каждого 🦸Недавно мы запустили cloud-версию. Доступ к системе по приглашениям, на сайте можно оставить заявку и обязательно указать LEFTJOIN в качестве референса. Сейчас мы ищем компании, которые хотели бы поучаствовать в пилоте, с настройкой можем помочь. А также ищем pre…

3 дня назад @ t.me
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🗣 Новость для тех, кто устал от уведомленийВ мире социальных сетей, новостных ресурсов и других раздражителей бывает непросто сосредоточиться на важных рабочих задачах или отдых
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🗣 Новость для тех, кто устал от уведомленийВ мире социальных сетей, новостных ресурсов и других раздражителей бывает непросто сосредоточиться на важных рабочих задачах или отдых

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🗣 Новость для тех, кто устал от уведомленийВ мире социальных сетей, новостных ресурсов и других раздражителей бывает непросто сосредоточиться на важных рабочих задачах или отдыхе. Так называемый “fear of missing out” – FOMO – стали замечать все больше и больше пользователей сети. И вот, американские разработчики создали Pony Messenger (хотя больше похоже, что это Turtle Messenger), который присылает (и отправляет, соответственно) все сообщения только один раз в день в установленное время. 📚 OpenAI теперь действительно открытаOpenAI наконец-то сняла ограничения на доступ к OpenAI API. Теперь любой желающий сможет …

6 дней, 1 час назад @ t.me
Про МатемаркетингПосле посещения Матемаркетинга я, конечно же, хотел поделиться своими впечатлениями с вами. Во-первых, ММ – это очень масштабно. Когда огромная толпа экспертов и профессионалов собираются на пару дней вместе, это вдохновляет и придает сил
Про МатемаркетингПосле посещения Матемаркетинга я, конечно же, хотел поделиться своими впечатлениями с вами. Во-первых, ММ – это очень масштабно. Когда огромная толпа экспертов и профессионалов собираются на пару дней вместе, это вдохновляет и придает сил

Про МатемаркетингПосле посещения Матемаркетинга я, конечно же, хотел поделиться своими впечатлениями с вами. Во-первых, ММ – это очень масштабно. Когда огромная толпа экспертов и профессионалов собираются на пару дней вместе, это вдохновляет и придает сил для новых свершений.Изначально, я думал дождаться списка докладов, отобрать какие-то интересные и прислать на них ссылки, однако поразмыслив, пришел к умозаключению, что бОльшая часть докладов реально крутая, поэтому смотрите все. Конечно, есть ряд фаворитов (типа доклада Ромы Бунина), но в остальном – хороший качественный контент от профессионалов и экспертов.Однако моя мысль в другом – самый сок конференции все-таки не в самих докладах, …

1 неделя назад @ t.me
Ваш новый черный.Product LIVE+BLACK FRIDAY = скидки до 50% на курсы по управлению!Полезно узнать, что число специалистов, которые умеют работать с ИИ-продуктами, не так велико, как хотелось бы корпорациям. А значит, у многих читателей канала появился шанс
Ваш новый черный.Product LIVE+BLACK FRIDAY = скидки до 50% на курсы по управлению!Полезно узнать, что число специалистов, которые умеют работать с ИИ-продуктами, не так велико, как хотелось бы корпорациям. А значит, у многих читателей канала появился шанс

Ваш новый черный.Product LIVE+BLACK FRIDAY = скидки до 50% на курсы по управлению!Полезно узнать, что число специалистов, которые умеют работать с ИИ-продуктами, не так велико, как хотелось бы корпорациям. А значит, у многих читателей канала появился шанс получить востребованную профессию и (кто знает?) начать работать в зарубежной компании уважаемым спецом.Стать специалистом, который умеет работать с ИИ и получать прибыль от внедрения в бизнес-процессы AI/ML-технологий учат на курсе «Управление AI/ML продуктами» школы Product LIVE.Курс практический, учат 4 месяца.Выпускник курса зарабатывает:— На знании, как работает ИИ и машинное обучение.— На умении собрать команду и выдать четкое ТЗ каж…

1 неделя назад @ t.me
Прямо сейчас в открытом потоке идёт доклад Николая Валиотти, основателя Valiotti Analytics. Николай рассказывает о проектировании BI-платформы для специалистов без знания SQL. Смотреть тут: https://matemarketing.ru
Прямо сейчас в открытом потоке идёт доклад Николая Валиотти, основателя Valiotti Analytics. Николай рассказывает о проектировании BI-платформы для специалистов без знания SQL. Смотреть тут: https://matemarketing.ru Прямо сейчас в открытом потоке идёт доклад Николая Валиотти, основателя Valiotti Analytics. Николай рассказывает о проектировании BI-платформы для специалистов без знания SQL. Смотреть тут: https://matemarketing.ru

Прямо сейчас в открытом потоке идёт доклад Николая Валиотти, основателя Valiotti Analytics. Николай рассказывает о проектировании BI-платформы для специалистов без знания SQL. Смотреть тут: https://matemarketing.ru

1 неделя, 3 дня назад @ t.me
☕️Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🗞🌍 The Product Report 2021Опубликован продуктовый отчет 2021 Amplitude, в котором много интересных выводов. Например, данные показывают, что отрасль финтех компаний растет чуть ли
☕️Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🗞🌍 The Product Report 2021Опубликован продуктовый отчет 2021 Amplitude, в котором много интересных выводов. Например, данные показывают, что отрасль финтех компаний растет чуть ли

☕️Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🗞🌍 The Product Report 2021Опубликован продуктовый отчет 2021 Amplitude, в котором много интересных выводов. Например, данные показывают, что отрасль финтех компаний растет чуть ли не по экспоненте. График роста пользователей финтех-инструментов выглядит как постепенное увеличение финтех-активности с января 2020 года по декабрь 2020 года, но нет. 100%-ный рост всего за год — это отнюдь не постепенно! Мы даже не добрались до конца 2021 года, а количество активных пользователей в финтех-индустрии выросло на 337% по сравнению с исходным уровнем.📝 How I use NotionNotion, бесплатное приложение для управления личными знани…

1 неделя, 6 дней назад @ t.me
Мы с командой постоянно читаем много материалов, книг и блогов по аналитике и технологиям. Решили создать отдельную рубрику с дайджестом любопытных новостей за прошлую неделю. Лавируйте вместе с нами на корабле знаний и постарайтесь не расплескать свой утр
Мы с командой постоянно читаем много материалов, книг и блогов по аналитике и технологиям. Решили создать отдельную рубрику с дайджестом любопытных новостей за прошлую неделю. Лавируйте вместе с нами на корабле знаний и постарайтесь не расплескать свой утр

Мы с командой постоянно читаем много материалов, книг и блогов по аналитике и технологиям. Решили создать отдельную рубрику с дайджестом любопытных новостей за прошлую неделю. Лавируйте вместе с нами на корабле знаний и постарайтесь не расплескать свой утренний кофе ☕️

1 неделя, 6 дней назад @ t.me
На данную минуту мы собрали 406 ответов на опрос про онлайн-курсы по аналитике. Большое спасибо всем респондентам, крайне полезная и очень интересная информация собирается.Начинаем анализировать и сводить 🔥🤓Отдельно хочу поблагодарить своих коллег по цеху,
На данную минуту мы собрали 406 ответов на опрос про онлайн-курсы по аналитике. Большое спасибо всем респондентам, крайне полезная и очень интересная информация собирается.Начинаем анализировать и сводить 🔥🤓Отдельно хочу поблагодарить своих коллег по цеху,

На данную минуту мы собрали 406 ответов на опрос про онлайн-курсы по аналитике. Большое спасибо всем респондентам, крайне полезная и очень интересная информация собирается.Начинаем анализировать и сводить 🔥🤓Отдельно хочу поблагодарить своих коллег по цеху, авторов телеграмм-каналов за репост и расширение охвата опроса:* Алексей Макаров @datalytx* Стас Валуев @AisForAnalytics* Дима Аношин @rockyourdata* Денис Соловьев @smart_data_channel* Рома Бунин @revealthedata* Андрей Березин @eto_analyticaПоследняя возможность пройти исследование есть на этой неделе.🏁 В пятницу 19го ноября в 23:59 мы перестанем принимать ответы.

1 неделя, 6 дней назад @ t.me
Классный курс по визуализации данныхНекоторые курсы хочется рекомендовать бескорыстно, сегодня такой случай. Настя Кузнецова (автор канала “настенька и графики“), уже давненько запустила свой курс по Визуализации данных на Stepik с использованием Tableau.
Классный курс по визуализации данныхНекоторые курсы хочется рекомендовать бескорыстно, сегодня такой случай. Настя Кузнецова (автор канала “настенька и графики“), уже давненько запустила свой курс по Визуализации данных на Stepik с использованием Tableau.

Классный курс по визуализации данныхНекоторые курсы хочется рекомендовать бескорыстно, сегодня такой случай. Настя Кузнецова (автор канала “настенька и графики“), уже давненько запустила свой курс по Визуализации данных на Stepik с использованием Tableau. Так как сейчас ни одна вакансия BI-аналитика не обходится без этого инструмента, я очень советую присмотреться к этому курсу. Особенно полезно, что Настя объясняет принципы и основные идеи при работе с датавизом.Я лично поучаствовал в этом курсе и могу смело его рекомендовать за состав, качество контента и отличные примеры. Мне захотелось поделиться с вами своей находкой, но чтобы сделать это приятнее я попросил у Насти промокод для читате…

2 недели назад @ t.me
Что можно делать с помощью Google App Script?В блоге мы часто пишем посты для рубрики «How To», чтобы сделать работу аналитика проще и эффективнее одновременно. Сегодня в посте про Google Sheets мы подробно рассказываем про автоматизацию переноса строк с о
Что можно делать с помощью Google App Script?В блоге мы часто пишем посты для рубрики «How To», чтобы сделать работу аналитика проще и эффективнее одновременно. Сегодня в посте про Google Sheets мы подробно рассказываем про автоматизацию переноса строк с о

Что можно делать с помощью Google App Script?В блоге мы часто пишем посты для рубрики «How To», чтобы сделать работу аналитика проще и эффективнее одновременно. Сегодня в посте про Google Sheets мы подробно рассказываем про автоматизацию переноса строк с одного листа на другой и показываем работу этого простого скрипта действии. Переходите в блог, чтобы узнать отличный лайфхак для быстрой работы с Google Sheets.

2 недели, 2 дня назад @ t.me
Матемаркетинг-2021Анонсы к некоторым конференциям хочется делать максимально подробно. Сегодня как раз такой случай: через неделю, 18 ноября, я буду выступать на самой крупной и, с моей точки зрения, самой качественно организованной конференции по аналитик
Матемаркетинг-2021Анонсы к некоторым конференциям хочется делать максимально подробно. Сегодня как раз такой случай: через неделю, 18 ноября, я буду выступать на самой крупной и, с моей точки зрения, самой качественно организованной конференции по аналитик

Матемаркетинг-2021Анонсы к некоторым конференциям хочется делать максимально подробно. Сегодня как раз такой случай: через неделю, 18 ноября, я буду выступать на самой крупной и, с моей точки зрения, самой качественно организованной конференции по аналитике — Матемаркетинг.Для меня большая честь быть частью этого события. Огромное спасибо @a_nikushin и всей его команде за организацию мероприятия!В оффлайне на Матемаркетинге мне хотелось выступить еще в 2019 году, но не сложилось. Поэтому, с учетом COVID-ограничений, я прочитал целых два доклада в 2020 году.Кстати, вот они:1) Облачный datastack2) Сравнение BI-системПериодически мне пишут в личку, что данные доклады оказались полезными, и я о…

2 недели, 3 дня назад @ t.me
Вести с полей ExcelЯ совершенно точно отстал от того как Excel развивается, а и в нем, как выяснилось, есть интересности. В частности, раньше мы повсеместно использовали ВПР и ИНДЕКС(ПОИСКПОЗ), а сейчас доступна функция ПРОСМОТРX 🦸‍♂️, который с легкостью
Вести с полей ExcelЯ совершенно точно отстал от того как Excel развивается, а и в нем, как выяснилось, есть интересности. В частности, раньше мы повсеместно использовали ВПР и ИНДЕКС(ПОИСКПОЗ), а сейчас доступна функция ПРОСМОТРX 🦸‍♂️, который с легкостью

Вести с полей ExcelЯ совершенно точно отстал от того как Excel развивается, а и в нем, как выяснилось, есть интересности. В частности, раньше мы повсеместно использовали ВПР и ИНДЕКС(ПОИСКПОЗ), а сейчас доступна функция ПРОСМОТРX 🦸‍♂️, который с легкостью позволяет решить задачу джойна данных в Экселе.

2 недели, 4 дня назад @ t.me
⚡️Масштабное независимое исследование онлайн-курсов по аналитике ⚡️ Мы с моими коллегами из компании твердо решили узнать все-все самое важное об онлайн образовании по теме аналитики и data science. Об онлайн образовании говорят повсеместно, курсы чрезвыч
⚡️Масштабное независимое исследование онлайн-курсов по аналитике ⚡️ Мы с моими коллегами из компании твердо решили узнать все-все самое важное об онлайн образовании по теме аналитики и data science. Об онлайн образовании говорят повсеместно, курсы чрезвыч

⚡️Масштабное независимое исследование онлайн-курсов по аналитике ⚡️ Мы с моими коллегами из компании твердо решили узнать все-все самое важное об онлайн образовании по теме аналитики и data science. Об онлайн образовании говорят повсеместно, курсы чрезвычайно…

2 недели, 5 дней назад @ t.me
Классный пост про малоизвестные фичи PostgreSQL, особенно понравилось про Match Against Multiple patterns, Get first/last row without sub-queries, сводные таблицы и про OVERLAPS.#ссылка
Классный пост про малоизвестные фичи PostgreSQL, особенно понравилось про Match Against Multiple patterns, Get first/last row without sub-queries, сводные таблицы и про OVERLAPS.#ссылка

Классный пост про малоизвестные фичи PostgreSQL, особенно понравилось про Match Against Multiple patterns, Get first/last row without sub-queries, сводные таблицы и про OVERLAPS.#ссылка

2 недели, 5 дней назад @ t.me
Вчера к одному из ранее написанных мною постов про Data Project Manager развернулась интереснейшая дискуссия в комментариях. В частности, Александр Писаренко написал несколько крайне полезных с моей точки зрения комментариев, которыми хотел бы поделиться с
Вчера к одному из ранее написанных мною постов про Data Project Manager развернулась интереснейшая дискуссия в комментариях. В частности, Александр Писаренко написал несколько крайне полезных с моей точки зрения комментариев, которыми хотел бы поделиться с

Вчера к одному из ранее написанных мною постов про Data Project Manager развернулась интереснейшая дискуссия в комментариях. В частности, Александр Писаренко написал несколько крайне полезных с моей точки зрения комментариев, которыми хотел бы поделиться с читателями в канале, поскольку до комментариев к прошлому посту не всегда легко добраться. Кратко процитирую комментарии Александра:Я думаю, что нужно определиться, какая ведущая/основная роль вам нужна: аналитик (постановщик задачи / бизнес-аналитик / product owner / data product owner) или человек для управления работами (scrum master / delivery manager / project manager)? Как правило, эти две роли по определению находятся в конфликте: …

2 недели, 5 дней назад @ t.me
SQLite на практике SQLite на практике
последний пост 20 часов назад
SQLite 3.37Тут у sqlite вышла новая версия! Да какая — теперь он научился проверять типы данных (двадцать лет ругали, что не проверяет).Написал обзор основных изменений:https://habr.com/ru/news/t/592085/
SQLite 3.37Тут у sqlite вышла новая версия! Да какая — теперь он научился проверять типы данных (двадцать лет ругали, что не проверяет).Написал обзор основных изменений:https://habr.com/ru/news/t/592085/

SQLite 3.37Тут у sqlite вышла новая версия! Да какая — теперь он научился проверять типы данных (двадцать лет ругали, что не проверяет).Написал обзор основных изменений:https://habr.com/ru/news/t/592085/

20 часов назад @ t.me
«Родительскому» курсу про SQLite такая популярность и не снилась 🤷
«Родительскому» курсу про SQLite такая популярность и не снилась 🤷 «Родительскому» курсу про SQLite такая популярность и не снилась 🤷

«Родительскому» курсу про SQLite такая популярность и не снилась 🤷

2 дня назад @ t.me
500 учеников на курсе про «окошки»!Зашел сегодня на «Степик» и увидел, что на курс по оконным функциям записались уже 500 человек. Когда его делал, совсем не рассчитывал на такую популярность.Вообще, курс про «окошки» появился как спин-офф моего большого к
500 учеников на курсе про «окошки»!Зашел сегодня на «Степик» и увидел, что на курс по оконным функциям записались уже 500 человек. Когда его делал, совсем не рассчитывал на такую популярность.Вообще, курс про «окошки» появился как спин-офф моего большого к

500 учеников на курсе про «окошки»!Зашел сегодня на «Степик» и увидел, что на курс по оконным функциям записались уже 500 человек. Когда его делал, совсем не рассчитывал на такую популярность.Вообще, курс про «окошки» появился как спин-офф моего большого курса «SQLite для аналитики». Там был модуль «оконные функции», и он мне самому так понравился, что на его основе сделал отдельный курс.Судя по всему, получилось неплохо, потому что студентов много и отзывы очень позитивные. Люди находят курс без всякой рекламы. Полностью прошли курс 40% участников — это очень недурно для онлайн-формата. Выпускники пишут, что стали регулярно использовать «окошки» в повседневной работе — лучший результат, чт…

2 дня назад @ t.me
Быстрый поиск похожих строк на SQL(готовое решение)Я что-то закопался с подробной статьей про поиск похожих строк, так что вот пока готовое решение на SQLite.Напомню, что задача в общем виде такая:— Человек ввел произвольное слово.— Мы хотим найти наиболее
Быстрый поиск похожих строк на SQL(готовое решение)Я что-то закопался с подробной статьей про поиск похожих строк, так что вот пока готовое решение на SQLite.Напомню, что задача в общем виде такая:— Человек ввел произвольное слово.— Мы хотим найти наиболее

Быстрый поиск похожих строк на SQL(готовое решение)Я что-то закопался с подробной статьей про поиск похожих строк, так что вот пока готовое решение на SQLite.Напомню, что задача в общем виде такая:— Человек ввел произвольное слово.— Мы хотим найти наиболее похожее слово из готового словаря.— И сделать это быстро.Полный перебор по словарю работает хорошо, но медленно.Чтобы сделать быстро, понадобится расширение spellfix.Подключаем расширение:.load ./spellfixСоздаем таблицу для словаря:create virtual table dictionary using spellfix1;Загружаем в нее данные:insert into dictionary(word)select ... from ...;И ищем похожие слова:select wordfrom dictionarywhere word match ?limit 1Например:sqlite> se…

1 неделя назад @ t.me
Нечеткое сравнение строк и фонетикаПока готовлю заметку про поиск похожих строк, сделал новое расширение для SQLite. Вот что в нем есть.Сравнение строк по похожести:— Расстояние Левенштейна— Расстояние Дамерау — Левенштейна— Расстояние Хэмминга— Сходство Д
Нечеткое сравнение строк и фонетикаПока готовлю заметку про поиск похожих строк, сделал новое расширение для SQLite. Вот что в нем есть.Сравнение строк по похожести:— Расстояние Левенштейна— Расстояние Дамерау — Левенштейна— Расстояние Хэмминга— Сходство Д

Нечеткое сравнение строк и фонетикаПока готовлю заметку про поиск похожих строк, сделал новое расширение для SQLite. Вот что в нем есть.Сравнение строк по похожести:— Расстояние Левенштейна— Расстояние Дамерау — Левенштейна— Расстояние Хэмминга— Сходство Джаро — Винклера— Оптимальное выравнивание строк— Расстояние SpellcheckФонетические коды:— Soundex— Refined Soundex— SpellcheckИ транслитерация (привет → privet).https://github.com/nalgeon/sqlean/blob/main/docs/fuzzy.md

1 неделя, 3 дня назад @ t.me
Вижу подзапрос → меняю на CTEМногие студенты (да и не только студенты) обожают многоуровневые SQL-запросы. Пожалуйста, пожалуйста, пожалуйста, не пишите их. Используйте табличные выражения: https://antonz.ru/cte/
Вижу подзапрос → меняю на CTEМногие студенты (да и не только студенты) обожают многоуровневые SQL-запросы. Пожалуйста, пожалуйста, пожалуйста, не пишите их. Используйте табличные выражения: https://antonz.ru/cte/

Вижу подзапрос → меняю на CTEМногие студенты (да и не только студенты) обожают многоуровневые SQL-запросы. Пожалуйста, пожалуйста, пожалуйста, не пишите их. Используйте табличные выражения: https://antonz.ru/cte/

3 недели, 2 дня назад @ t.me
Найти максимально похожую строкуПодписчик задал интересный вопрос:Есть строка в переменной str1.Есть sqlite3 и 600,000 строк внутри.Как найти макимально приближенно похожую строку в базе? Точного сходства с str1 в базе нет!Посмотрим на упрощенном примере.
Найти максимально похожую строкуПодписчик задал интересный вопрос:Есть строка в переменной str1.Есть sqlite3 и 600,000 строк внутри.Как найти макимально приближенно похожую строку в базе? Точного сходства с str1 в базе нет!Посмотрим на упрощенном примере.

Найти максимально похожую строкуПодписчик задал интересный вопрос:Есть строка в переменной str1.Есть sqlite3 и 600,000 строк внутри.Как найти макимально приближенно похожую строку в базе? Точного сходства с str1 в базе нет!Посмотрим на упрощенном примере. Допустим, у нас есть таблица employees, а в ней столбец name:sqlite> select name from employees;ДарьяБорисЕленаКсенияЛеонидМаринаИванВероникаГригорийАннаХотим найти сотрудника, чье имя больше всего похоже на Вера. Как это сделать?Если бы в SQLite была функция, которая считает похожесть между двумя строками, все было бы просто:select name, similarity(name, 'Вера') as simfrom employeesorder by sim desclimit 1Но такой функции нет. Значит, либ…

3 недели, 3 дня назад @ t.me
Мат. статистика в SQLiteИз коробки SQLite поддерживает только min(), max() и avg(). Но с помощью расширения stats легко посчитать медиану, моду, процентили и стандартное отклонение:select median(num_pages), mode(num_pages), percentile_90(num_pages), pe
Мат. статистика в SQLiteИз коробки SQLite поддерживает только min(), max() и avg(). Но с помощью расширения stats легко посчитать медиану, моду, процентили и стандартное отклонение:select median(num_pages), mode(num_pages), percentile_90(num_pages), pe

Мат. статистика в SQLiteИз коробки SQLite поддерживает только min(), max() и avg(). Но с помощью расширения stats легко посчитать медиану, моду, процентили и стандартное отклонение:select median(num_pages), mode(num_pages), percentile_90(num_pages), percentile_95(num_pages), percentile_99(num_pages), stddev(num_pages)from books;

1 месяц, 2 недели назад @ t.me
Табличные выражния 👍Прием №1, чтобы писать хорошие читаемые SQL-запросы — это табличные выражения (CTE). Люди их боятся, а зря.Любой подзапрос:select a, b, cfrom (X)where e = fМеханически превращается в CTE:with cte_name as (X)select a, b, cfrom cte_namewh
Табличные выражния 👍Прием №1, чтобы писать хорошие читаемые SQL-запросы — это табличные выражения (CTE). Люди их боятся, а зря.Любой подзапрос:select a, b, cfrom (X)where e = fМеханически превращается в CTE:with cte_name as (X)select a, b, cfrom cte_namewh

Табличные выражния 👍Прием №1, чтобы писать хорошие читаемые SQL-запросы — это табличные выражения (CTE). Люди их боятся, а зря.Любой подзапрос:select a, b, cfrom (X)where e = fМеханически превращается в CTE:with cte_name as (X)select a, b, cfrom cte_namewhere e = fВот и вся наука, не надо читать увесистую книгу по SQL или проходить курсы.Существует еще миф, что «CTE медленные», но на современных СУБД это не так. Да и вообще — как с любым утверждением о медленности чего-либо, всегда можно сравнить два варианта (подзапрос и CTE), если сомневаешься.

1 месяц, 2 недели назад @ t.me
Написал на хабр, как устроена sqlite-песочница в браузере. Если вы немного знакомы с js, может быть интересно → https://habr.com/ru/post/580240/
Написал на хабр, как устроена sqlite-песочница в браузере. Если вы немного знакомы с js, может быть интересно → https://habr.com/ru/post/580240/

Написал на хабр, как устроена sqlite-песочница в браузере. Если вы немного знакомы с js, может быть интересно → https://habr.com/ru/post/580240/

2 месяца назад @ t.me
🌤️ SQLite-песочница в браузереЧего мне всегда не хватало, так это аналога JSFiddle / CodePen для SQL. Онлайн-песочницы, в которой можно быстро проверить запрос и поделиться с другими.Да, есть SQL Fiddle и DB Fiddle, но оба весьма неудобные, на мой взгляд.В
🌤️ SQLite-песочница в браузереЧего мне всегда не хватало, так это аналога JSFiddle / CodePen для SQL. Онлайн-песочницы, в которой можно быстро проверить запрос и поделиться с другими.Да, есть SQL Fiddle и DB Fiddle, но оба весьма неудобные, на мой взгляд.В

🌤️ SQLite-песочница в браузереЧего мне всегда не хватало, так это аналога JSFiddle / CodePen для SQL. Онлайн-песочницы, в которой можно быстро проверить запрос и поделиться с другими.Да, есть SQL Fiddle и DB Fiddle, но оба весьма неудобные, на мой взгляд.Вот чего хотелось:— Возможность загрузить готовую базу, а не писать SQL для создания таблиц.— Подключать как локальные базы, так и удаленные (по url).— Сохранять базу и запросы в облаке.— Бесплатно и без регистрации.— Свежайшая версия SQLite.— Минимализм.В общем, сделал сам:sqlime.org

2 месяца назад @ t.me
🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов,
🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:&gt; Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов,

🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов, а время на понимание. Поэтому давайте решим без олимпиадного ажиотажа, спокойно и по шагам:https://antonz.ru/sql-groups/

5 месяцев, 3 недели назад @ t.me
Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon
Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

6 месяцев назад @ t.me
🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователе
🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователе

🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователей: user_id, attr1, alpha1, beta2, beta2, gamma3, delta3, epsilon4, delta4, zeta5, zeta5, alpha6, iota7, iota7, kappa8, kappa8, lambdaХотим объединить пользователей в группы. При этом действуют правила:— Если пользователи A и B обладают общим свойством → они входят в одну группу.— Если A и B обладают общим свойством P1, B и C обладают общим свойством P2 → A, B, C входят в одну группу.— Идентификатором группы считается минимальный идентифика…

6 месяцев назад @ t.me
Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скид
Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скид

Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скидка 50%.https://stepik.org/z/95367

6 месяцев назад @ t.me
Datalytics Datalytics
последний пост 4 дня назад
🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработч
🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработч

🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработчику, аналитику, маркетологу хочется ускорить этот процесс. На проверку каждой гипотезы уходит несколько дней (часто и недель), плюс нужно позаботиться о статзначимости результата.Мы запускаем сервис, который помогает мобильным продуктам автоматизировать этот процесс и проводить A/B-тесты быстрее и дешевле. Для этого мы реализовали алгоритмы автоматического распределения пользователей и оптимизации под выбранную целевую метрику. Помимо прос…

4 дня назад @ t.me
Получить оффер и стать аналитиком в Авито за выходные — реально ⚡️Как участвовать:подайте заявку и пройдите тест до 1 декабря;участников с лучшими результатами пригласят на Zoom-интервью, где вы сможете продемонстрировать свои хард-скиллы и узнать больше
Получить оффер и стать аналитиком в  Авито за выходные — реально ⚡️Как участвовать:подайте заявку и пройдите тест до 1 декабря;участников с лучшими результатами пригласят на Zoom-интервью, где вы сможете продемонстрировать свои хард-скиллы и узнать больше Получить оффер и стать аналитиком в Авито за выходные — реально ⚡️Как участвовать:подайте заявку и пройдите тест до 1 декабря;участников с лучшими результатами пригласят на Zoom-интервью, где вы сможете продемонстрировать свои хард-скиллы и узнать больше

Получить оффер и стать аналитиком в Авито за выходные — реально ⚡️Как участвовать:подайте заявку и пройдите тест до 1 декабря;участников с лучшими результатами пригласят на Zoom-интервью, где вы сможете продемонстрировать свои хард-скиллы и узнать больше о команде и задачах;у вас есть все шансы получить оффер за выходные.В Авито вы сможете влиять на продукт и участвовать в развитии сервиса, попасть в сильную команду из 100 аналитиков, а также получить отличные условия для работы и самореализации. Все подробности по ссылке: clc.to/yvDj3Q

5 дней, 3 часа назад @ t.me
По мотивам выступления на Матемаркетинг-2021 Павел Левчук сделал пост, в котором дал введение в Матрицу Вовлеченности. Матрица Вовлеченности это простой и эффективный инструмент для ранжирования ваших фичей по осям: (Х) Популярность фичи и (У) Интенсивност
По мотивам выступления на Матемаркетинг-2021 Павел Левчук сделал пост, в котором дал введение в Матрицу Вовлеченности. Матрица Вовлеченности это простой и эффективный инструмент для ранжирования ваших фичей по осям: (Х) Популярность фичи и (У) Интенсивност По мотивам выступления на Матемаркетинг-2021 Павел Левчук сделал пост, в котором дал введение в Матрицу Вовлеченности. Матрица Вовлеченности это простой и эффективный инструмент для ранжирования ваших фичей по осям: (Х) Популярность фичи и (У) Интенсивност

По мотивам выступления на Матемаркетинг-2021 Павел Левчук сделал пост, в котором дал введение в Матрицу Вовлеченности. Матрица Вовлеченности это простой и эффективный инструмент для ранжирования ваших фичей по осям: (Х) Популярность фичи и (У) Интенсивность использования.Этот подход позволяет получить быстрое представление о том, где в продукте потенциально создается ценность для клиента.https://ecommerce-in-ukraine.blogspot.com/2021/11/engagement-matrix.html

6 дней, 2 часа назад @ t.me
Как меняется лексика русского языка – исследование Яндекса и Прожито. Можно посмотреть, например, "узодяшие" из лексикона слова: докучный, закаиваться, мазурик.Еще очень хочется написать, что студенты ПАНДАН-а в ЕУ тоже работали с данными прожито по дневни
Как меняется лексика русского языка – исследование Яндекса и Прожито. Можно посмотреть, например, "узодяшие" из лексикона слова: докучный, закаиваться, мазурик.Еще очень хочется написать, что студенты ПАНДАН-а в ЕУ тоже работали с данными прожито по дневни Как меняется лексика русского языка – исследование Яндекса и Прожито. Можно посмотреть, например, "узодяшие" из лексикона слова: докучный, закаиваться, мазурик.Еще очень хочется написать, что студенты ПАНДАН-а в ЕУ тоже работали с данными прожито по дневни

Как меняется лексика русского языка – исследование Яндекса и Прожито. Можно посмотреть, например, "узодяшие" из лексикона слова: докучный, закаиваться, мазурик.Еще очень хочется написать, что студенты ПАНДАН-а в ЕУ тоже работали с данными прожито по дневникам подростков и обучили языковую модель, способную писать очень похожие тексты (почти не отличить от настоящих). Ребята супер молодцы и шлю им ❤️

6 дней, 20 часов назад @ t.me
Приглашаем на LaTech Data Talks, онлайн-митап для специалистов по работе с данными30 ноября в 19:00 по мскВ программе: • как устроена команда Data & Analytics в Lamoda и с какими вызовами нам приходится справляться;• построение процессов в команде прод
Приглашаем на LaTech Data Talks, онлайн-митап для специалистов по работе с данными30 ноября в 19:00 по мскВ программе: • как устроена команда Data &amp; Analytics в Lamoda и с какими вызовами нам приходится справляться;• построение процессов в команде прод Приглашаем на LaTech Data Talks, онлайн-митап для специалистов по работе с данными30 ноября в 19:00 по мскВ программе: • как устроена команда Data &amp; Analytics в Lamoda и с какими вызовами нам приходится справляться;• построение процессов в команде прод

Приглашаем на LaTech Data Talks, онлайн-митап для специалистов по работе с данными30 ноября в 19:00 по мскВ программе: • как устроена команда Data & Analytics в Lamoda и с какими вызовами нам приходится справляться;• построение процессов в команде продуктовых аналитиков; • как наш поиск позволяет найти те самые теплые кроссовки мечты.Подробная программа и регистрация по ссылке: https://latech.timepad.ru/event/1818149/

1 неделя, 1 день назад @ t.me
Приглашаем на митап по аналитике от EXPF x Delivery ClubПрограмма:— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito— «Платформа switchback-экспериментов в Ситимобил», Артём
Приглашаем на митап по аналитике от EXPF x Delivery ClubПрограмма:— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito— «Платформа switchback-экспериментов в Ситимобил», Артём Приглашаем на митап по аналитике от EXPF x Delivery ClubПрограмма:— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito— «Платформа switchback-экспериментов в Ситимобил», Артём

Приглашаем на митап по аналитике от EXPF x Delivery ClubПрограмма:— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito— «Платформа switchback-экспериментов в Ситимобил», Артём Солоухин, Cитимобил— «Как мы ищем точки роста в продукте: пошаговая инструкция», Владимир Абазов, Delivery Club— «Скрытая угроза ранговых критериев», Егор Семин, EXPFКогда: 25 ноября 2021, 18:00—20:00Где: onlineРегистрация и детали: https://expf.ru/expf_dc

1 неделя, 2 дня назад @ t.me
Лучшие вопросы средней сложности по SQL на собеседовании аналитика данныхИсточник
Лучшие вопросы средней сложности по SQL на собеседовании аналитика данныхИсточник

Лучшие вопросы средней сложности по SQL на собеседовании аналитика данныхИсточник

1 неделя, 2 дня назад @ t.me
Хотите понять, как выбрать метрики для вашего продукта, а на какие показатели не стоит обращать внимания? Приходите на бесплатную лекцию и получите практические советы.Вы узнаете:✔️ На каких метриках важно фокусироваться в новом и зрелом продукте?✔️ Метрик
Хотите понять, как выбрать метрики для вашего продукта, а на какие показатели не стоит обращать внимания? Приходите на бесплатную лекцию и получите практические советы.Вы узнаете:✔️ На каких метриках важно фокусироваться в новом и зрелом продукте?✔️ Метрик Хотите понять, как выбрать метрики для вашего продукта, а на какие показатели не стоит обращать внимания? Приходите на бесплатную лекцию и получите практические советы.Вы узнаете:✔️ На каких метриках важно фокусироваться в новом и зрелом продукте?✔️ Метрик

Хотите понять, как выбрать метрики для вашего продукта, а на какие показатели не стоит обращать внимания? Приходите на бесплатную лекцию и получите практические советы.Вы узнаете:✔️ На каких метриках важно фокусироваться в новом и зрелом продукте?✔️ Метрики тщеславия: что не приведет вас к успеху?✔️ Параллельные вселенные: метрики для b2b и b2c продуктов✔️ 5 советов по настройке кастомной аналитики в своем продукте🎙 Спикер: Алексей Оровецкий — Product Manager в Unisender. Алексей успел поработать Product Manager во многих сферах. Был руководителем продуктов в таких сферах, как HealthTech, InsuTech, LegalTech и B2C marketplace. 🗓 22 ноября 19:00 - 20:30 (UTC+02)Регистрация: https://bit.ly/30…

1 неделя, 3 дня назад @ t.me
В публичном треке смотрите доклад Ромы Бунина из Яндекс Go - Фреймворк развития системы отчётности в крупной компании. Доступ бесплатный - https://matemarketing.ru
В публичном треке смотрите доклад Ромы Бунина из Яндекс Go - Фреймворк развития системы отчётности в крупной компании. Доступ бесплатный - https://matemarketing.ru

В публичном треке смотрите доклад Ромы Бунина из Яндекс Go - Фреймворк развития системы отчётности в крупной компании. Доступ бесплатный - https://matemarketing.ru

1 неделя, 4 дня назад @ t.me
Только сегодня досмотрел митап от EXPF и СберМаркет - https://youtu.be/1blbhx9BYxk.Для меня самым интересным был доклад Виталия Черемисина про чувствительность метрик. Виталий очень доступно все разжевал и рассказал о том, как оценивать эту самую чувствите
Только сегодня досмотрел митап от EXPF и СберМаркет - https://youtu.be/1blbhx9BYxk.Для меня самым интересным был доклад Виталия Черемисина про чувствительность метрик. Виталий очень доступно все разжевал и рассказал о том, как оценивать эту самую чувствите

Только сегодня досмотрел митап от EXPF и СберМаркет - https://youtu.be/1blbhx9BYxk.Для меня самым интересным был доклад Виталия Черемисина про чувствительность метрик. Виталий очень доступно все разжевал и рассказал о том, как оценивать эту самую чувствительность метрик. Ниже небольшой конспект этой части его выступления.Для того, что оценить чувствительность той или иной метрики, нужно моделировать рост нашей метрики на некоторой выборке и оценивать, при каком условии чувствительность максимальная.1. Нужно взять некоторую группу пользователей, разбить ее на две группы, так чтобы в обеих группах наша метрика была равна.2. Выбрать несколько значений uplift. Шаг может быть разным, исходя из э…

1 неделя, 4 дня назад @ t.me
Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 день!Если вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300
Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 день!Если вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 день!Если вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300

Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 день!Если вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 человек. В Тинькофф 20 команд работают над 50 проектами, поэтому вы легко найдете интересное направление. Работайте удаленно или в офисе: комфортно пройти онбординг помогут менторы, общие встречи, внутреннее обучение и мероприятия.Все секции пройдут онлайн в Zoom 4 декабря. Вы узнаете о проектах, задачах, условиях работы и сможете задать любые, даже самые каверзные вопросы.Успейте оставить заявку до 1 декабря. Фидбэк об участии пришлют в т…

1 неделя, 6 дней назад @ t.me
Ну и картинка для привлечения внимания — моё первое публичное выступление на конференции iMetrics-2012. Кажется с тех пор ораторские скиллы прокачал, будет отличная возможность для меня ещё раз в этом убедиться 🙂https://matemarketing.ru/
Ну и картинка для привлечения внимания — моё первое публичное выступление на конференции iMetrics-2012. Кажется с тех пор ораторские скиллы прокачал, будет отличная возможность для меня ещё раз в этом убедиться 🙂https://matemarketing.ru/ Ну и картинка для привлечения внимания — моё первое публичное выступление на конференции iMetrics-2012. Кажется с тех пор ораторские скиллы прокачал, будет отличная возможность для меня ещё раз в этом убедиться 🙂https://matemarketing.ru/

Ну и картинка для привлечения внимания — моё первое публичное выступление на конференции iMetrics-2012. Кажется с тех пор ораторские скиллы прокачал, будет отличная возможность для меня ещё раз в этом убедиться 🙂https://matemarketing.ru/

2 недели, 3 дня назад @ t.me
Вчера я написал про то, что математика как область знаний оказала сильное влияние на мою жизнь: на восприятие своих мыслительных способностей, на восприятие себя как профессионалаЯ много общаюсь с аналитиками: как с джунами, так и с уже крепко стоящими на
Вчера я написал про то, что математика как область знаний оказала сильное влияние на мою жизнь: на восприятие своих мыслительных способностей, на восприятие себя как профессионалаЯ много общаюсь с аналитиками: как с джунами, так и с уже крепко стоящими на

Вчера я написал про то, что математика как область знаний оказала сильное влияние на мою жизнь: на восприятие своих мыслительных способностей, на восприятие себя как профессионалаЯ много общаюсь с аналитиками: как с джунами, так и с уже крепко стоящими на ногах спецами, так и с теми, кого можно называть экспертами отрасли. И у всех разное отношение к математике в профессии аналитика. Естественно, что это отношение вытекает из множества факторов: какие задачи аналитика решает в компании, уровень аналитической культуры в компании, какие вузы оканчивало большинство сотрудников компании19 ноября на конференции Матемаркетинг я поделюсь результатами своих наблюдений: расскажу как математика помог…

2 недели, 3 дня назад @ t.me
Мы собрали уже 250 ответов на опрос 🔥🔥🔥Большое спасибо всем, кто уже принял участие, вы большие молодцы! Огромная просьба к тем, кто еще планирует пройти — отвечать про один конкретный курс, про который вы хотите рассказать. Мне бы очень хотелось собрать к
Мы собрали уже 250 ответов на опрос 🔥🔥🔥Большое спасибо всем, кто уже принял участие, вы большие молодцы! Огромная просьба к тем, кто еще планирует пройти — отвечать про один конкретный курс, про который вы хотите рассказать. Мне бы очень хотелось собрать к

Мы собрали уже 250 ответов на опрос 🔥🔥🔥Большое спасибо всем, кто уже принял участие, вы большие молодцы! Огромная просьба к тем, кто еще планирует пройти — отвечать про один конкретный курс, про который вы хотите рассказать. Мне бы очень хотелось собрать как минимум 500 ответов (а лучше 1000), чтобы выборка респондентов была полноценной, поэтому большая просьба принять участие, если вы обучались на каком-либо платном курсе по аналитике / data science / data engineering и поделиться своими впечатлениями. По планам на результаты: скорее всего, на выходе будет дашборд с ответами в Tableau Public + презентация с выводами, которую можно прочитать. Помимо этого, мы хотим сделать некоторый выпуск,…

2 недели, 3 дня назад @ t.me
В продолжение сообщения про независимое исследование онлайн-курсов по аналитикеЕсли вы где-то учились/учитесь аналитике и ещё не поучаствовали в опросе — самое время
В продолжение сообщения про независимое исследование онлайн-курсов по аналитикеЕсли вы где-то учились/учитесь аналитике и ещё не поучаствовали в опросе — самое время

В продолжение сообщения про независимое исследование онлайн-курсов по аналитикеЕсли вы где-то учились/учитесь аналитике и ещё не поучаствовали в опросе — самое время

2 недели, 3 дня назад @ t.me
Труба данных Труба данных
последний пост 6 дней, 4 часа назад
https://drecon.org/На просторах англоязычного интернета нашлась еще одна конференция по Data Engineering, но теперь с модной приставкой Reliability.Доклады разные, кажется, что есть что послушать, однако это лишь на мой вкус. Поэтому лучше самому составить
https://drecon.org/На просторах англоязычного интернета нашлась еще одна конференция по Data Engineering, но теперь с модной приставкой Reliability.Доклады разные, кажется, что есть что послушать, однако это лишь на мой вкус. Поэтому лучше самому составить

https://drecon.org/На просторах англоязычного интернета нашлась еще одна конференция по Data Engineering, но теперь с модной приставкой Reliability.Доклады разные, кажется, что есть что послушать, однако это лишь на мой вкус. Поэтому лучше самому составить свое мнение, посмотрев на расписание.Учтите, конференция по МСК будет вечер/ночь.

6 дней, 4 часа назад @ t.me
Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил). У него тут прекрасное интервью вы
Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил). У него тут прекрасное интервью вы

Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил). У него тут прекрасное интервью вышло…

1 неделя назад @ t.me
Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил).У него тут прекрасное интервью выш
Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил).У него тут прекрасное интервью выш

Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил).У него тут прекрасное интервью вышло на тему будущего дата инженеров.Главные моменты - Скорость ETL и аналитики сильно возросла- Единообразие в данных все еще сложно достижимо, но это норм- Управление изменениями все также проблема, но уже есть инструменты - Данные должны быть неизменяемыми, иначе хаос придет- DE роль слишком объемная и начала дробиться на специализации- Операционка все еще доставляет проблем, просто теперь она распределеннаяНагло подсмотрел ссылку на инте…

2 недели, 6 дней назад @ t.me
https://coalesce.getdbt.com/Так, в недавнем докладе на TechTrain я рассказывал про разные пути развития Data Engineer. Так вот, “единорогом” на этом пути считается многорукая шива под названием Analytics Engineer. Это тот, кто вам и данных найдет, и постро
https://coalesce.getdbt.com/Так, в недавнем докладе на TechTrain я рассказывал про разные пути развития Data Engineer. Так вот, “единорогом” на этом пути считается многорукая шива под названием Analytics Engineer. Это тот, кто вам и данных найдет, и постро

https://coalesce.getdbt.com/Так, в недавнем докладе на TechTrain я рассказывал про разные пути развития Data Engineer. Так вот, “единорогом” на этом пути считается многорукая шива под названием Analytics Engineer. Это тот, кто вам и данных найдет, и построит пайплайн, положит это все в систему аналитики (которую сам может поднять) и сделает отчет для бизнеса. При этом, он сам пояснит бизнесу, зачем и почему этот отчет им нужен.DBT в декабре проводит бесплатную онлайн конференцию Coalesce - The Analytics Engineering Conference.Кажется, будет интересненько.Регистрация по ссылке выше. Там же и программа конференции, воркшопов и дискуссий.

1 месяц, 1 неделя назад @ t.me
Только сегодня Astronomer раздаёт бесплатно курсы и сертификации по Airflow - по промокоду airflow-free-certhttps://academy.astronomer.io/page/astronomer-certification
Только сегодня Astronomer раздаёт бесплатно курсы и сертификации по Airflow - по промокоду airflow-free-certhttps://academy.astronomer.io/page/astronomer-certification

Только сегодня Astronomer раздаёт бесплатно курсы и сертификации по Airflow - по промокоду airflow-free-certhttps://academy.astronomer.io/page/astronomer-certification

1 месяц, 1 неделя назад @ t.me
https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.htmlТут Airflow 2.2.0 подвезли.Из заметного:➡️ Custom Timetables (AIP-39)➡️ Deferrable Tasks (AIP-40)➡️ Custom @task decorators and @task.docker➡️ Validation of DAG params➡️ Testing Connections
https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.htmlТут Airflow 2.2.0 подвезли.Из заметного:➡️ Custom Timetables (AIP-39)➡️ Deferrable Tasks (AIP-40)➡️ Custom @task decorators and @task.docker➡️ Validation of DAG params➡️ Testing Connections

https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.htmlТут Airflow 2.2.0 подвезли.Из заметного:➡️ Custom Timetables (AIP-39)➡️ Deferrable Tasks (AIP-40)➡️ Custom @task decorators and @task.docker➡️ Validation of DAG params➡️ Testing Connections from the UI - test the credentials for your Connection actually work➡️ Duplication Connections from the UI➡️ DAGs “Next run” info is shown in the UI, including when the run will actually start➡️ airflow standalone command runs all of the Airflow components directly without docker - great for local development

1 месяц, 2 недели назад @ t.me
Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень б
Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень б Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень б

Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень больших компаний, и облаков в России немного, а большинство это on-prem компоненты. Тут все очевидно было. Как и с языком программирования: почти половина пишет на Python, 30% на Scala и всего 9% на Java. Тоже предсказуемо.А вот неочевидное:1) Лишь 11% ответивших считают, что самый главный технический навык это ЯП, 36% за SQL и 43% за знание тулинга и фреймворков. Литкоднинужен?😁2) Лишь 30% сразу начали заниматься DE, все остальные - перека…

1 месяц, 3 недели назад @ t.me
Итак, осень началась, а значит начался сезон конференций. Вообще, конференции это прекрасный способ узнать что-то новое, но куда важней - это нетворкинг. Да, да, банальные прописные истины! 😁Не отпускать вас на конференцию, потому что вас там переманят - э
Итак, осень началась, а значит начался сезон конференций. Вообще, конференции это прекрасный способ узнать что-то новое, но куда важней - это нетворкинг. Да, да, банальные прописные истины! 😁Не отпускать вас на конференцию, потому что вас там переманят - э

Итак, осень началась, а значит начался сезон конференций. Вообще, конференции это прекрасный способ узнать что-то новое, но куда важней - это нетворкинг. Да, да, банальные прописные истины! 😁Не отпускать вас на конференцию, потому что вас там переманят - это глупость со стороны работодателя и от такого нужно бежать. Я бы сбежал.Не ходить на конференцию, ибо “я в записи посмотрю” - это упускать возможность узнать из первых уст в кулуарах о состоянии индустрии, и выстроить связи, которые вам помогут в будущем: интересным проектом или вы найдете себе коллегу.Мерч, стикеры, книги - куда ж без этого =)Если что, этой осенью меня можно поймать тут:- 18 сентября, уже завтра, TechTrain https://bit.l…

2 месяца, 1 неделя назад @ t.me
https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/Паша вновь постарался и собрал для вас новости в DE за прошедший месяц.
https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/Паша вновь постарался и собрал для вас новости в DE за прошедший месяц.

https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/Паша вновь постарался и собрал для вас новости в DE за прошедший месяц.

2 месяца, 3 недели назад @ t.me
Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:DataVault / Anchor Modeling (8 сентября 2021 в 20:00 по мск)Спикер: Николай Голов🔗Ссылка: https://youtu.be/-ZgzpQXsxi0
Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:DataVault / Anchor Modeling (8 сентября 2021 в 20:00 по мск)Спикер: Николай Голов🔗Ссылка: https://youtu.be/-ZgzpQXsxi0

Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:DataVault / Anchor Modeling (8 сентября 2021 в 20:00 по мск)Спикер: Николай Голов🔗Ссылка: https://youtu.be/-ZgzpQXsxi0

2 месяца, 3 недели назад @ t.me
https://habr.com/ru/company/ods/blog/572264/Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).Интересные цифры и выводы внутри статьи.
https://habr.com/ru/company/ods/blog/572264/Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).Интересные цифры и выводы внутри статьи.

https://habr.com/ru/company/ods/blog/572264/Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).Интересные цифры и выводы внутри статьи.

3 месяца назад @ t.me
Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет
Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет

Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет без монетизации через рекламу).26 августа в 18:00 компания IT_One вместе с JUG Ru Group проведет онлайн митап по Big Data и Java.В программе:— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных…

3 месяца, 1 неделя назад @ t.me
Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition
Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition

Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition

3 месяца, 1 неделя назад @ t.me
https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/Паша Финкельштейн взял на себя тяжелую ношу, каждый месяц писать новости по дата инженерингу в блог JetBrains. И это кроме DE or DIE дайджеста, который я пост
https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/Паша Финкельштейн взял на себя тяжелую ношу, каждый месяц писать новости по дата инженерингу в блог JetBrains. И это кроме DE or DIE дайджеста, который я пост

https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/Паша Финкельштейн взял на себя тяжелую ношу, каждый месяц писать новости по дата инженерингу в блог JetBrains. И это кроме DE or DIE дайджеста, который я постил выше.Но это очень хорошая штука, когда все важные события внутри твоей профессиональной области собирают в одно месте. Поэтому милости просим.#Data_Engineering_Annotated

3 месяца, 3 недели назад @ t.me
Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард
Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард

Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард мутаций: хранение и поиск О поиске оптимального способа хранения более миллиарда известных мутаций человека из различных открытых источников и о том, какое место занимает Python в цепочке от сдачи пациентом слюны до выдачи результатов с найденными мутациями.”

3 месяца, 4 недели назад @ t.me
enthusiastech enthusiastech
последний пост 4 дня, 18 часов назад
Oh yeah, by the way our Tech Stack Viz (no bullshit 😏)
Oh yeah, by the way our Tech Stack Viz (no bullshit 😏) Oh yeah, by the way our Tech Stack Viz (no bullshit 😏)

Oh yeah, by the way our Tech Stack Viz (no bullshit 😏)

4 дня, 18 часов назад @ t.me
If you are open to new opportunities I suggest you join Wheely– Dream technology stack: Redshift + dbt + Looker– Challenging and demanded tasks– Result-oriented approach– International unicorn-like businessData Insights: Product Analyst & Analytics Eng
If you are open to new opportunities I suggest you join Wheely– Dream technology stack: Redshift + dbt + Looker– Challenging and demanded tasks– Result-oriented approach– International unicorn-like businessData Insights: Product Analyst &amp; Analytics Eng If you are open to new opportunities I suggest you join Wheely– Dream technology stack: Redshift + dbt + Looker– Challenging and demanded tasks– Result-oriented approach– International unicorn-like businessData Insights: Product Analyst &amp; Analytics Eng

If you are open to new opportunities I suggest you join Wheely– Dream technology stack: Redshift + dbt + Looker– Challenging and demanded tasks– Result-oriented approach– International unicorn-like businessData Insights: Product Analyst & Analytics EngineerMany more in Engineering & DesignPM me for more details

4 дня, 20 часов назад @ t.me
[RU] Полуструктурированные данные в Аналитических ХранилищахВ последние годы явным стал тренд на анализ слабоструктурированных данных – всевозможных событий, логов, API-выгрузок, реплик schemaless баз данных. Но для привычной реляционной модели это требует
[RU] Полуструктурированные данные в Аналитических ХранилищахВ последние годы явным стал тренд на анализ слабоструктурированных данных – всевозможных событий, логов, API-выгрузок, реплик schemaless баз данных. Но для привычной реляционной модели это требует

[RU] Полуструктурированные данные в Аналитических ХранилищахВ последние годы явным стал тренд на анализ слабоструктурированных данных – всевозможных событий, логов, API-выгрузок, реплик schemaless баз данных. Но для привычной реляционной модели это требует адаптации ряда новых подходов к работе с данными, о которых я и попробую рассказать сегодня.В публикации:– Преимущества гибкой схемы и semi-structured data– Источники таких данных: Events, Logs, API– Подходы к обработке: Special Data Types, Functions, Data Lakehouse– Принципы оптимизации производительности

6 дней, 3 часа назад @ t.me
✅ A joy for an eye
✅ A joy for an eye ✅ A joy for an eye

✅ A joy for an eye

6 дней, 20 часов назад @ t.me
A nice remark from Dmitry Anoshin @rockyourdataHow one can visualize its own DWH ER (Entity-Relationship) model?I would use these two ways (applicable to my DWH @ Wheely):- DBeaver's feature ER diagram- Looker's LookML DiagramBoth ways require relationship
A nice remark from Dmitry Anoshin @rockyourdataHow one can visualize its own DWH ER (Entity-Relationship) model?I would use these two ways (applicable to my DWH @ Wheely):- DBeaver's feature ER diagram- Looker's LookML DiagramBoth ways require relationship A nice remark from Dmitry Anoshin @rockyourdataHow one can visualize its own DWH ER (Entity-Relationship) model?I would use these two ways (applicable to my DWH @ Wheely):- DBeaver's feature ER diagram- Looker's LookML DiagramBoth ways require relationship

A nice remark from Dmitry Anoshin @rockyourdataHow one can visualize its own DWH ER (Entity-Relationship) model?I would use these two ways (applicable to my DWH @ Wheely):- DBeaver's feature ER diagram- Looker's LookML DiagramBoth ways require relationships to be modeled in advance i.e. defining FOREIGN KEY / REFERENCES constraints or JOIN conditions.Can anybody suggest more options?

1 неделя, 2 дня назад @ t.me
So the process of Amazon Redshift cluster migration is almost completed.New cluster is way more powerful. Now seeking ways to fully utilize its resources 😄I can state that not everything has gone as expected.The most painful parts turned out to be:– Migrat
So the process of Amazon Redshift cluster migration is almost completed.New cluster is way more powerful. Now seeking ways to fully utilize its resources 😄I can state that not everything has gone as expected.The most painful parts turned out to be:– Migrat So the process of Amazon Redshift cluster migration is almost completed.New cluster is way more powerful. Now seeking ways to fully utilize its resources 😄I can state that not everything has gone as expected.The most painful parts turned out to be:– Migrat

So the process of Amazon Redshift cluster migration is almost completed.New cluster is way more powerful. Now seeking ways to fully utilize its resources 😄I can state that not everything has gone as expected.The most painful parts turned out to be:– Migrating S3 bucket with 1M+ files to a new region (took ~4-5 hours) – really challenging– Not losing data events while switching between clusters– VPC and network issues (connecting from BI tool)– Hotfixing several Python UDFs suddenly not working on a new environmentIn some time I will publish a detailed reflection on this process.

1 неделя, 3 дня назад @ t.me
[RU] Вебинар Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + ArraysСлайды вебинара: https://docs.google.com/presentation/d/1dUxzGkBgXAp6s-VrFKT8Qw8UF6eZVQywpeQT4-ZohPM/edit?usp=sharingЗапись вебинара: https://youtu.be/dtu0yeFdxvY?t=2
[RU] Вебинар Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + ArraysСлайды вебинара: https://docs.google.com/presentation/d/1dUxzGkBgXAp6s-VrFKT8Qw8UF6eZVQywpeQT4-ZohPM/edit?usp=sharingЗапись вебинара: https://youtu.be/dtu0yeFdxvY?t=2

[RU] Вебинар Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + ArraysСлайды вебинара: https://docs.google.com/presentation/d/1dUxzGkBgXAp6s-VrFKT8Qw8UF6eZVQywpeQT4-ZohPM/edit?usp=sharingЗапись вебинара: https://youtu.be/dtu0yeFdxvY?t=276Опрос о вебинаре: https://forms.gle/JPFqoDYhJJjvnMj7A

1 неделя, 3 дня назад @ t.me
Начал! Подключайтесь:https://youtu.be/dtu0yeFdxvY
Начал! Подключайтесь:https://youtu.be/dtu0yeFdxvY

Начал! Подключайтесь:https://youtu.be/dtu0yeFdxvY

1 неделя, 3 дня назад @ t.me
Привет! Сегодня 18 ноября в 15.00 приглашаю на вебинар.Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + Arrays- Источники полуструктурированных данных: Events, Webhooks, Logs- Подходы: JSON functions, special data types, External tabl
Привет! Сегодня 18 ноября в 15.00 приглашаю на вебинар.Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + Arrays- Источники полуструктурированных данных: Events, Webhooks, Logs- Подходы: JSON functions, special data types, External tabl Привет! Сегодня 18 ноября в 15.00 приглашаю на вебинар.Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + Arrays- Источники полуструктурированных данных: Events, Webhooks, Logs- Подходы: JSON functions, special data types, External tabl

Привет! Сегодня 18 ноября в 15.00 приглашаю на вебинар.Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + Arrays- Источники полуструктурированных данных: Events, Webhooks, Logs- Подходы: JSON functions, special data types, External tables (Lakehouse)- Оптимизация производительностиСмотрим на примерах Amazon Redshift, Clickhouse.Ссылка на регистрацию: https://otus.ru/lessons/dwh/#event-1661Ссылка на youtube-трансляцию будет опубликована здесь за 5 минут до начала.

1 неделя, 4 дня назад @ t.me
We are in the middle of migration from Amazon Redshift DC2 nodes (2nd gen) to RA3 nodes (3rd gen) at Wheely.What this means for us:– Almost unlimited Disk Space (RA3 separate compute and storage)– Speeding up Data Marts to 2hrs delay from real-time– Blue/g
We are in the middle of migration from Amazon Redshift DC2 nodes (2nd gen) to RA3 nodes (3rd gen) at Wheely.What this means for us:– Almost unlimited Disk Space (RA3 separate compute and storage)– Speeding up Data Marts to 2hrs delay from real-time– Blue/g We are in the middle of migration from Amazon Redshift DC2 nodes (2nd gen) to RA3 nodes (3rd gen) at Wheely.What this means for us:– Almost unlimited Disk Space (RA3 separate compute and storage)– Speeding up Data Marts to 2hrs delay from real-time– Blue/g

We are in the middle of migration from Amazon Redshift DC2 nodes (2nd gen) to RA3 nodes (3rd gen) at Wheely.What this means for us:– Almost unlimited Disk Space (RA3 separate compute and storage)– Speeding up Data Marts to 2hrs delay from real-time– Blue/green deploymentsI will follow up as soon as we are finished.Attached simplified checklist plan.Any questions welcomed.

1 неделя, 4 дня назад @ t.me
I just tried to upgrade onto 21.10 from 21.08.After 30 minutes this cluster is never coming back.I hope I can create a new one and restore backup onto it.
I just tried to upgrade onto 21.10 from 21.08.After 30 minutes this cluster is never coming back.I hope I can create a new one and restore backup onto it. I just tried to upgrade onto 21.10 from 21.08.After 30 minutes this cluster is never coming back.I hope I can create a new one and restore backup onto it.

I just tried to upgrade onto 21.10 from 21.08.After 30 minutes this cluster is never coming back.I hope I can create a new one and restore backup onto it.

1 неделя, 5 дней назад @ t.me
Who knows what the heck is this?Telegram sold out?
Who knows what the heck is this?Telegram sold out? Who knows what the heck is this?Telegram sold out?

Who knows what the heck is this?Telegram sold out?

1 неделя, 6 дней назад @ t.me
[RU] Строим Data Vault на данных TPC-H – Greenplum + dbtVaultВ публикации:- Готовим датасет TPC-H- Поднимаем кластер Greenplum в Яндекс.Облаке- Погружаемся в кодогенерацию и макросы dbtVault- Cимулируем инкрементальное наполнение Data Vault#dbt #dbtvault
[RU] Строим Data Vault на данных TPC-H – Greenplum + dbtVaultВ публикации:- Готовим датасет TPC-H- Поднимаем кластер Greenplum в Яндекс.Облаке- Погружаемся в кодогенерацию и макросы dbtVault- Cимулируем инкрементальное наполнение Data Vault#dbt #dbtvault

[RU] Строим Data Vault на данных TPC-H – Greenplum + dbtVaultВ публикации:- Готовим датасет TPC-H- Поднимаем кластер Greenplum в Яндекс.Облаке- Погружаемся в кодогенерацию и макросы dbtVault- Cимулируем инкрементальное наполнение Data Vault#dbt #dbtvault

2 недели, 3 дня назад @ t.me
Prior to diving deep into complex analytics modeling topics like Sessionization, Attribution, RFM, one has to understand the motivation behind it. It is the questions that drive business decisions first, then instruments and practices to find reliable answ
Prior to diving deep into complex analytics modeling topics like Sessionization, Attribution, RFM, one has to understand the motivation behind it. It is the questions that drive business decisions first, then instruments and practices to find reliable answ Prior to diving deep into complex analytics modeling topics like Sessionization, Attribution, RFM, one has to understand the motivation behind it. It is the questions that drive business decisions first, then instruments and practices to find reliable answ

Prior to diving deep into complex analytics modeling topics like Sessionization, Attribution, RFM, one has to understand the motivation behind it. It is the questions that drive business decisions first, then instruments and practices to find reliable answers to these questions. Which questions does your business ask? #analytics #modeling

1 месяц назад @ t.me
Metabase + Clickhouse tutorial on Yandex.Cloud1. Spin up a Virtual Machine2. Configure VM: SSH, Docker3. Download Clickhouse plug-in4. Deploy Metabase5. Connect to Clickhouse Playground6. Visualize a questionhttps://gist.github.com/kzzzr/ecec7dca8bb70586a2
Metabase + Clickhouse tutorial on Yandex.Cloud1. Spin up a Virtual Machine2. Configure VM: SSH, Docker3. Download Clickhouse plug-in4. Deploy Metabase5. Connect to Clickhouse Playground6. Visualize a questionhttps://gist.github.com/kzzzr/ecec7dca8bb70586a2

Metabase + Clickhouse tutorial on Yandex.Cloud1. Spin up a Virtual Machine2. Configure VM: SSH, Docker3. Download Clickhouse plug-in4. Deploy Metabase5. Connect to Clickhouse Playground6. Visualize a questionhttps://gist.github.com/kzzzr/ecec7dca8bb70586a23569993df470e8#bi #clickhouse

1 месяц назад @ t.me
data будни data будни
последний пост 3 дня, 6 часов назад
Infomate.club/deЗнаете кто такой vas3k? Это который автор культовой околоайтишной рассылки (†) и чьи статьи собирают миллионы просмотров (мой топ — вычислительная фотография и машинное обучение для людей)В обычной жизни Вастрик работает питон-программистом
Infomate.club/deЗнаете кто такой vas3k? Это который автор культовой околоайтишной рассылки (†) и чьи статьи собирают миллионы просмотров (мой топ — вычислительная фотография и машинное обучение для людей)В обычной жизни Вастрик работает питон-программистом

Infomate.club/deЗнаете кто такой vas3k? Это который автор культовой околоайтишной рассылки (†) и чьи статьи собирают миллионы просмотров (мой топ — вычислительная фотография и машинное обучение для людей)В обычной жизни Вастрик работает питон-программистом (вроде какое-то время даже работал в той самой Anaconda) и делает всякие штуки. Одна из таких штук — простенькая rss-читалка с web-интерфейсом. Называется Infomate.club Под капотом там простой парсер урлов по крону плюс какая-то питонячья либа, которая пытается выжать основной смысл из большой заметки и уместить его в нескольких предложениях. Иногда глючит, но в целом работает.У меня был какой-то набор ссылок на профильные ресурсы, плюс е…

3 дня, 6 часов назад @ t.me
Интернет — полезная штука, там можно найти всё что угодно.Проблема в том, что это всё похоже на быстро движущийся конвейер: не успеваешь прочитать одну статью, как прилетают ещё три новых. Любой контент утопает в потоке нового.Хочу подсветить пару годных ш
Интернет — полезная штука, там можно найти всё что угодно.Проблема в том, что это всё похоже на быстро движущийся конвейер: не успеваешь прочитать одну статью, как прилетают ещё три новых. Любой контент утопает в потоке нового.Хочу подсветить пару годных ш

Интернет — полезная штука, там можно найти всё что угодно.Проблема в том, что это всё похоже на быстро движущийся конвейер: не успеваешь прочитать одну статью, как прилетают ещё три новых. Любой контент утопает в потоке нового.Хочу подсветить пару годных штук на этом бесконечном конвейере (на конфе как раз спрашивали):Как стать Data Engineer от Адиля Хаштамоваhttps://khashtamov.com/ru/data-engineer/Годная заметка с обзором набора технологий и навыков для инженера данных: ⁃ SQL ⁃ Python ⁃ Основы BI ⁃ Облака ⁃ Алгоритмы и структуры данных ⁃ Распределённые системыЕсли достаточно погрузиться в каждую из этих областей, то там уже бац! — и миддл.Видео от проекта DataLearn Дмитрия Аношина и его ко…

4 дня, 7 часов назад @ t.me
Weekend Offer?Вижу стало много появляться таких движух от разных компаний: Яндекс, Авито, Х5. Раз их становится всё больше, кажется, это работает (если только не все не карго-култ-повторюши). Хочу понять, насколько это хорошо работает. Типа сразу за выходн
Weekend Offer?Вижу стало много появляться таких движух от разных компаний: Яндекс, Авито, Х5. Раз их становится всё больше, кажется, это работает (если только не все не карго-култ-повторюши). Хочу понять, насколько это хорошо работает. Типа сразу за выходн

Weekend Offer?Вижу стало много появляться таких движух от разных компаний: Яндекс, Авито, Х5. Раз их становится всё больше, кажется, это работает (если только не все не карго-култ-повторюши). Хочу понять, насколько это хорошо работает. Типа сразу за выходные проходишь 2-4 собеса с разными чуваками из компании? И профит в том, процедура не растягивается на недели? (Плюс и выходной ещё — не надо отпрашиваться с текущей работы, хе-хе)Если вы участвовали в подобном, напишите как прошло?Для компании вроде тоже неплохо: сразу собрал всех собеседующих в одном месте и устроил им конвейер собеседований. Загрузил всех однотипной работой — норм батчинг.Вдруг вы проводили такое, расскажите тоже) (А есл…

4 дня, 21 час назад @ t.me
Конференции — это про людейЗаписавшись на Матемаркетинг, я всё переживал, что это не тру-дата-инженерская конфа. Доклады и темы тут ближе к бизнесу, чем к хардкор-инжинирингу. Но после немного расслабился — всё-таки дело не только в докладах.Доклады всегда
Конференции — это про людейЗаписавшись на Матемаркетинг, я всё переживал, что это не тру-дата-инженерская конфа. Доклады и темы тут ближе к бизнесу, чем к хардкор-инжинирингу. Но после немного расслабился — всё-таки дело не только в докладах.Доклады всегда

Конференции — это про людейЗаписавшись на Матемаркетинг, я всё переживал, что это не тру-дата-инженерская конфа. Доклады и темы тут ближе к бизнесу, чем к хардкор-инжинирингу. Но после немного расслабился — всё-таки дело не только в докладах.Доклады всегда можно будет посмотреть в записи. А раз уж собрались такие релевантные и небезразличные люди в одном месте, то надо успеть познакомиться и обсудить у кого что наболело.В общем, пришёл к выводу, что идеальная конфа — это когда ты всё время на ногах и с кем-то общаешься (привет, Маш! Научи меня так :-)Рад был всех увидеть, познакомиться и поболтать! Паша, Лёша, Дима, Маша, Стас, Юля, Наташа, Рома и Маша 👋Было интересно узнать у Николая Валио…

5 дней, 17 часов назад @ t.me
Как в Википедии, ты тыкаешь на одну ссылку почитать, и все, через 3 часа ты читаешь про то, как разводить кабачки в условиях болтной местности.Так и я продолжил читать статьи Maxime Beauchemin и наткнулся на свежую How the Modern Data Stack is Reshaping Da
Как в Википедии, ты тыкаешь на одну ссылку почитать, и все, через 3 часа ты читаешь про то, как разводить кабачки в условиях болтной местности.Так и я продолжил читать статьи Maxime Beauchemin и наткнулся на свежую How the Modern Data Stack is Reshaping Da

Как в Википедии, ты тыкаешь на одну ссылку почитать, и все, через 3 часа ты читаешь про то, как разводить кабачки в условиях болтной местности.Так и я продолжил читать статьи Maxime Beauchemin и наткнулся на свежую How the Modern Data Stack is Reshaping Data EngineeringВообще, выражение Modern Data Stack это уже баззворд, пихают его везде. Чаще этой фразы я слышу только “Hadoop умер” (нормально он себе живет относительно нишево, ничего он не умер, как и Ruby, не слушайте шарлатанов).Так вот, основные моменты из статьиData infrastructure as a serviceНам пора думать о платформах, потому что без развития платформы, невозможно расти дальше определенного этапа, слишком больно.Data integration se…

6 дней, 5 часов назад @ t.me
Мне близок Сашин взгляд на то, что болит у аналитиков - обобщил бы это как "борьба за качество данных". Я тоже походил по Матемаркетингу, пообщался с людьми, доклады послушал.К перечисленному в посте могу добавить 2 больших блока болей:🔸Демократизация данн
Мне близок Сашин взгляд на то, что болит у аналитиков - обобщил бы это как "борьба за качество данных". Я тоже походил по Матемаркетингу, пообщался с людьми, доклады послушал.К перечисленному в посте могу добавить 2 больших блока болей:🔸Демократизация данн

Мне близок Сашин взгляд на то, что болит у аналитиков - обобщил бы это как "борьба за качество данных". Я тоже походил по Матемаркетингу, пообщался с людьми, доклады послушал.К перечисленному в посте могу добавить 2 больших блока болей:🔸Демократизация данных и self-service BI. Аналитики все чаще становятся бутылочным горлышком в процессе принятия решений и больше времени тратят в роли интерфейса к базе данных для своих коллег. Решают ее все по-разному, в основном с помощью новых процессов, open-source инструментов или самостоятельной разработки.🔸Работа аналитиков в маркетинге сильно меняется из-за новых privacy-политик от Apple и Google и возможности запрета трекинга. Способы дальше работат…

6 дней, 17 часов назад @ t.me
Что болит Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден. Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё бол
Что болит Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден. Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё бол

Что болит Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден. Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё больше:…

6 дней, 17 часов назад @ t.me
ламповые объявления о работе с Матемаркетинга кажется, это не попало в официальные трансляции) выложу сюда часть, чтобы добро не продпало
ламповые объявления о работе с Матемаркетинга кажется, это не попало в официальные трансляции) выложу сюда часть, чтобы добро не продпало ламповые объявления о работе с Матемаркетинга кажется, это не попало в официальные трансляции) выложу сюда часть, чтобы добро не продпало

ламповые объявления о работе с Матемаркетинга кажется, это не попало в официальные трансляции) выложу сюда часть, чтобы добро не продпало

1 неделя, 1 день назад @ t.me
Документация на данныеПринцип «всё как код» — и таблицы тоже. Частая проблема в документации — её просто нет ¯\_(ツ)_/¯ а если есть, то она устаревшая.Так бывает, когда документация не зависит от текущей реальности: красивые описания живут в модном Ноушене,
Документация на данныеПринцип «всё как код» — и таблицы тоже. Частая проблема в документации — её просто нет ¯\_(ツ)_/¯ а если есть, то она устаревшая.Так бывает, когда документация не зависит от текущей реальности: красивые описания живут в модном Ноушене,

Документация на данныеПринцип «всё как код» — и таблицы тоже. Частая проблема в документации — её просто нет ¯\_(ツ)_/¯ а если есть, то она устаревшая.Так бывает, когда документация не зависит от текущей реальности: красивые описания живут в модном Ноушене, но DDL в Postgres ничего про это не знает))Что делать? Переселить документацию ближе к реальности. В Яндекс.Такси решили, что все сущности в ДВХ будут описываться в коде — названия, колонки, их тип и комментарии (!). Нельзя просто так поменять атрибут без изменения документации — всё связано.А раз описания уже в коде, это всё версионируется через гит с указанием ответственных. К тому же всё можно обвешать автотестами (всё как у настоящих …

1 неделя, 3 дня назад @ t.me
Что болит Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден.Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё больше:
Что болит Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден.Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё больше:

Что болит Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден.Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё больше: добавляются новые, старые — меняются. И в какой-то момент наступает ДАТА-ХАОС! И вот сейчас основные боли — это документация и описанные модели данных. ⁃ Таблицы на десятки и сотни колонок без описания и странными названиями ⁃ Таблиц по заказам — пять разных вариантов (плюс ещё сколько-то вьюх по ним) ⁃ Эвенты, названные абы как ⁃ Метрики, которые каждый рассчитывает по-своему и в конце ни у кого ничего не сходится ¯\_(ツ)_/¯ Короче, тренд…

1 неделя, 3 дня назад @ t.me
Иду на Матемаркетинг 18-19 ноября Конференция пройдёт в Москве со всеми анти-ковидными мерами. В этот раз будет отдельный трек по Analytics Engineering, в основном иду послушать доклады оттуда. Вот какие темы мне интересны: селф-сервис данных всё больш
Иду на Матемаркетинг 18-19 ноября Конференция пройдёт в Москве со всеми анти-ковидными мерами. В этот раз будет отдельный трек по Analytics Engineering, в основном иду послушать доклады оттуда. Вот какие темы мне интересны: селф-сервис данных всё больш

Иду на Матемаркетинг 18-19 ноября Конференция пройдёт в Москве со всеми анти-ковидными мерами. В этот раз будет отдельный трек по Analytics Engineering, в основном иду послушать доклады оттуда. Вот какие темы мне интересны: селф-сервис данных всё больше…

1 неделя, 4 дня назад @ t.me
Разделить команду на инфраструктуру и продукт Команда инфраструктуры: ⁃ Разработчики с широким кругозором ⁃ Найм небольшой Люди, которые не приносят пользу (и выручку!) бизнесу напрямую — по сути, это такой «налог на инфраструктуру». Команда развития…
Разделить команду на инфраструктуру и продукт Команда инфраструктуры: ⁃ Разработчики с широким кругозором ⁃ Найм небольшой Люди, которые не приносят пользу (и выручку!) бизнесу напрямую — по сути, это такой «налог на инфраструктуру». Команда развития…

Разделить команду на инфраструктуру и продукт Команда инфраструктуры: ⁃ Разработчики с широким кругозором ⁃ Найм небольшой Люди, которые не приносят пользу (и выручку!) бизнесу напрямую — по сути, это такой «налог на инфраструктуру». Команда развития…

1 неделя, 6 дней назад @ t.me
Как в 2019 году в Яндекс Такси «взорвался» DWH Фёдор Лаврентьев — руководитель тамошнего хранилища — рассказал на конференции HighLoad, как хранилище перестало выполнять свои задачи и как они потом это всё чинили (на первый этап ушёл год). Само хранилище
Как в 2019 году в Яндекс Такси «взорвался» DWH Фёдор Лаврентьев — руководитель тамошнего хранилища — рассказал на конференции HighLoad, как хранилище перестало выполнять свои задачи и как они потом это всё чинили (на первый этап ушёл год). Само хранилище

Как в 2019 году в Яндекс Такси «взорвался» DWH Фёдор Лаврентьев — руководитель тамошнего хранилища — рассказал на конференции HighLoad, как хранилище перестало выполнять свои задачи и как они потом это всё чинили (на первый этап ушёл год). Само хранилище…

1 неделя, 6 дней назад @ t.me
Как в 2019 году в Яндекс Такси «взорвался» DWHФёдор Лаврентьев — руководитель тамошнего хранилища — рассказал на конференции HighLoad, как хранилище перестало выполнять свои задачи и как они потом это всё чинили (на первый этап ушёл год).Само хранилище раз
Как в 2019 году в Яндекс Такси «взорвался» DWHФёдор Лаврентьев — руководитель тамошнего хранилища — рассказал на конференции HighLoad, как хранилище перестало выполнять свои задачи и как они потом это всё чинили (на первый этап ушёл год).Само хранилище раз

Как в 2019 году в Яндекс Такси «взорвался» DWHФёдор Лаврентьев — руководитель тамошнего хранилища — рассказал на конференции HighLoad, как хранилище перестало выполнять свои задачи и как они потом это всё чинили (на первый этап ушёл год).Само хранилище разрабатывали с 2016 года. Как обычно, всё начинается с одной прикладной задачи, потом добавляется ещё одна и так наслаивается одна за другой. А про общую архитектуру подумать как-то всё некогда. В какой-то момент начинается «ой всё сложно»: пайплайны падают. Витрины опаздывают. Данные неверные. Бизнес негодует.Подумать про общую архитектуру каждый раз некогда — сроки горят; поэтому всюду постепенно появляются «локальные костыли, заплатки и с…

1 неделя, 6 дней назад @ t.me
Рабочий контракт🐉 Астрологи объявили неделю софтовых рекомендаций.Представьте ситуацию: аналитик устраивается на работу и работает. Через какое-то время понимает, что уже долго его обязанности и оклад не менялся — что делать? подходит к руководителю и… ру
Рабочий контракт🐉 Астрологи объявили неделю софтовых рекомендаций.Представьте ситуацию: аналитик устраивается на работу и работает. Через какое-то время понимает, что уже долго его обязанности и оклад не менялся — что делать? подходит к руководителю и… ру

Рабочий контракт🐉 Астрологи объявили неделю софтовых рекомендаций.Представьте ситуацию: аналитик устраивается на работу и работает. Через какое-то время понимает, что уже долго его обязанности и оклад не менялся — что делать? подходит к руководителю и… руководитель пожимает плечами и предлагает составить ПЛАН НА БУДУЩЕЕ (в лучшем случае, да); то есть отслеживание показателей сотрудника ещё только начнётся!Алексей Шаграев советует поступать иначе: в любой момент между сотрудником и руководителем должен быть чёткий контракт (не путать с трудовым договором). В этом контракте должны быть указаны конкретные действия, которые ожидаются от сотрудника; когда это всё должно быть сделано; и что в ито…

1 месяц, 1 неделя назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост 5 месяцев, 1 неделя назад
Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит
Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит

Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратить в DMP, какие проблемы возникают в процессе разработки и как мы их решаем.🎓 Разработка платформы управления данными. Доклад Яндекса

5 месяцев, 1 неделя назад @ t.me
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

6 месяцев назад @ t.me
Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели
Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели

Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели наступить. Вот какие кейсы рассмотрим.Платформа для A/B-тестирования. Во что вам обойдётся автоматизация экспериментов?Сергей Масленников, аналитик Яндекс Go, расскажет, как мы освободили тысячи аналитико-часов, разработав систему АБТ.Как внедрение дорожного графа в инфраструктуру такси помогло снизить время подачи машиныАртём Бондаренко, team-lead группы аналитики Go, поделится опытом внедрения дорожного графа прямо в сервис — вместо дор…

8 месяцев, 3 недели назад @ t.me
Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за вс
Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за вс

Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO. Highly Normilized Hybrid Model Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методо…

9 месяцев, 1 неделя назад @ t.me
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 1 день, 14 часов назад
Creating A Unified Experience For The Modern Data Stack At Mozart Data
Creating A Unified Experience For The Modern Data Stack At Mozart Data

The modern data stack has been gaining a lot of attention recently with a rapidly growing set of managed services for different stages of the data lifecycle. With all of the available options it is possible to run a scalable, production grade data platform with a small team, but there are still sharp edges and integration challenges to work through. Peter Fishman and Dan Silberman experienced these difficulties firsthand and created Mozart Data to provide a single, easy to use option for getting started with the modern data stack. In this episode they explain how they designed a user experience to make working with data more accessibly by organizations without a data team, while allowing fo…

1 день, 14 часов назад @ dataengineeringpodcast.com
Doing DataOps For External Data Sources As A Service at Demyst
Doing DataOps For External Data Sources As A Service at Demyst

The data that you have access to affects the questions that you can answer. By using external data sources you can drastically increase the range of analysis that is available to your organization. The challenge comes in all of the operational aspects of finding, accessing, organizing, and serving that data. In this episode Mark Hookey discusses how he and his team at Demyst do all of the DataOps for external data sources so that you don't have to, including the systems necessary to organize and catalog the various collections that they host, the various serving layers to provide query interfaces that match your platform, and the utility of having a single place to access a multitude of inf…

1 день, 14 часов назад @ dataengineeringpodcast.com
Exploring Processing Patterns For Streaming Data Integration In Your Data Lake
Exploring Processing Patterns For Streaming Data Integration In Your Data Lake

One of the perennial challenges posed by data lakes is how to keep them up to date as new data is collected. With the improvements in streaming engines it is now possible to perform all of your data integration in near real time, but it can be challenging to understand the proper processing patterns to make that performant. In this episode Ori Rafael shares his experiences from Upsolver and building scalable stream processing for integrating and analyzing data, and what the tradeoffs are when coming from a batch oriented mindset.

1 неделя, 1 день назад @ dataengineeringpodcast.com
Laying The Foundation For The Era Of Big Complexity With Dagster
Laying The Foundation For The Era Of Big Complexity With Dagster

The technology for scaling storage and processing of data has gone through massive evolution over the past decade, leaving us with the ability to work with massive datasets at the cost of massive complexity. Nick Schrock created the Dagster framework to help tame that complexity and scale the organizational capacity for working with data. In this episode he shares the journey that he and his team at Elementl have taken to understand the state of the ecosystem and how they can provide a foundational layer for a holistic data platform.

1 неделя, 1 день назад @ dataengineeringpodcast.com
Data Quality Starts At The Source
Data Quality Starts At The Source

The most important gauge of success for a data platform is the level of trust in the accuracy of the information that it provides. In order to build and maintain that trust it is necessary to invest in defining, monitoring, and enforcing data quality metrics. In this episode Michael Harper advocates for proactive data quality and starting with the source, rather than being reactive and having to work backwards from when a problem is found.

2 недели назад @ dataengineeringpodcast.com
Eliminate Friction In Your Data Platform Through Unified Metadata Using OpenMetadata
Eliminate Friction In Your Data Platform Through Unified Metadata Using OpenMetadata

A significant source of friction and wasted effort in building and integrating data management systems is the fragmentation of metadata across various tools. After experiencing the impacts of fragmented metadata and previous attempts at building a solution Suresh Srinivas and Sriharsha Chintalapani created the OpenMetadata project. In this episode they share the lessons that they have learned through their previous attempts and the positive impact that a unified metadata layer had during their time at Uber. They also explain how the OpenMetadat project is aiming to be a common standard for defining and storing metadata for every use case in data platforms and the ways that they are architec…

2 недели, 4 дня назад @ dataengineeringpodcast.com
Business Intelligence Beyond The Dashboard With ClicData
Business Intelligence Beyond The Dashboard With ClicData

Business intelligence is often equated with a collection of dashboards that show various charts and graphs representing data for an organization. What is overlooked in that characterization is the level of complexity and effort that are required to collect and present that information, and the opportunities for providing those insights in other contexts. In this episode Telmo Silva explains how he co-founded ClicData to bring full featured business intelligence and reporting to every organization without having to build and maintain that capability on their own. This is a great conversation about the technical and organizational operations involved in building a comprehensive business intel…

3 недели, 1 день назад @ dataengineeringpodcast.com
Exploring The Evolution And Adoption of Customer Data Platforms and Reverse ETL
Exploring The Evolution And Adoption of Customer Data Platforms and Reverse ETL

The precursor to widespread adoption of cloud data warehouses was the creation of customer data platforms. Acting as a centralized repository of information about how your customers interact with your organization they drove a wave of analytics about how to improve products based on actual usage data. A natural outgrowth of that capability is the more recent growth of reverse ETL systems that use those analytics to feed back into the operational systems used to engage with the customer. In this episode Tejas Manohar and Rachel Bradley-Haas share the story of their own careers and experiences coinciding with these trends. They also discuss the current state of the market for these technologi…

3 недели, 3 дня назад @ dataengineeringpodcast.com
Removing The Barrier To Exploratory Analytics with Activity Schema and Narrator
Removing The Barrier To Exploratory Analytics with Activity Schema and Narrator

The perennial question of data warehousing is how to model the information that you are storing. This has given rise to methods as varied as star and snowflake schemas, data vault modeling, and wide tables. The challenge with many of those approaches is that they are optimized for answering known questions but brittle and cumbersome when exploring unknowns. In this episode Ahmed Elsamadisi shares his journey to find a more flexible and universal data model in the form of the "activity schema" that is powering the Narrator platform, and how it has allowed his customers to perform self-service exploration of their business domains without being blocked by schema evolution in the data warehous…

1 месяц назад @ dataengineeringpodcast.com
Streaming Data Pipelines Made SQL With Decodable
Streaming Data Pipelines Made SQL With Decodable

Streaming data systems have been growing more capable and flexible over the past few years. Despite this, it is still challenging to build reliable pipelines for stream processing. In this episode Eric Sammer discusses the shortcomings of the current set of streaming engines and how they force engineers to work at an extremely low level of abstraction. He also explains why he started Decodable to address that limitation and the work that he and his team have done to let data engineers build streaming pipelines entirely in SQL.

1 месяц назад @ dataengineeringpodcast.com
Data Exploration For Business Users Powered By Analytics Engineering With Lightdash
Data Exploration For Business Users Powered By Analytics Engineering With Lightdash

The market for business intelligence has been going through an evolutionary shift in recent years. One of the driving forces for that change has been the rise of analytics engineering powered by dbt. Lightdash has fully embraced that shift by building an entire open source business intelligence framework that is powered by dbt models. In this episode Oliver Laslett describes why dashboards aren't sufficient for business analytics, how Lightdash promotes the work that you are already doing in your data warehouse modeling with dbt, and how they are focusing on bridging the divide between data teams and business teams and the requirements that they have for data workflows.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Completing The Feedback Loop Of Data Through Operational Analytics With Census
Completing The Feedback Loop Of Data Through Operational Analytics With Census

The focus of the past few years has been to consolidate all of the organization's data into a cloud data warehouse. As a result there have been a number of trends in data that take advantage of the warehouse as a single focal point. Among those trends is the advent of operational analytics, which completes the cycle of data from collection, through analysis, to driving further action. In this episode Boris Jabes, CEO of Census, explains how the work of synchronizing cleaned and consolidated data about your customers back into the systems that you use to interact with those customers allows for a powerful feedback loop that has been missing in data systems until now. He also discusses how Ce…

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Bringing The Power Of The DataHub Real-Time Metadata Graph To Everyone At Acryl Data
Bringing The Power Of The DataHub Real-Time Metadata Graph To Everyone At Acryl Data

The binding element of all data work is the metadata graph that is generated by all of the workflows that produce the assets used by teams across the organization. The DataHub project was created as a way to bring order to the scale of LinkedIn's data needs. It was also designed to be able to work for small scale systems that are just starting to develop in complexity. In order to support the project and make it even easier to use for organizations of every size Shirshanka Das and Swaroop Jagadish founded Acryl Data. In this episode they discuss the recent work that has been done by the community, how their work is building on top of that foundation, and how you can get started with DataHub…

1 месяц, 2 недели назад @ dataengineeringpodcast.com
How And Why To Become Data Driven As A Business
How And Why To Become Data Driven As A Business

Organizations of all sizes are striving to become data driven, starting in earnest with the rise of big data a decade ago. With the never-ending growth in data sources and methods for aggregating and analyzing them, the use of data to direct the business has become a requirement. Randy Bean has been helping enterprise organizations define and execute their data strategies since before the age of big data. In this episode he discusses his experiences and how he approached the work of distilling them for his book "Fail Fast, Learn Faster". This is an entertaining and enlightening exploration of the business side of data with an industry veteran.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Make Your Business Metrics Reusable With Open Source Headless BI Using Metriql
Make Your Business Metrics Reusable With Open Source Headless BI Using Metriql

The key to making data valuable to business users is the ability to calculate meaningful metrics and explore them along useful dimensions. Business intelligence tools have provided this capability for years, but they don't offer a means of exposing those metrics to other systems. Metriql is an open source project that provides a headless BI system where you can define your metrics and share them with all of your other processes. In this episode Burak Kabakcı shares the story behind the project, how you can use it to create your metrics definitions, and the benefits of treating the semantic layer as a dedicated component of your platform.

1 месяц, 3 недели назад @ dataengineeringpodcast.com
Data Brew by Databricks Data Brew by Databricks
последний пост 1 месяц назад
Season 3E6: Open Source
Season 3E6: Open Source

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.For our season 3 finale, Nithya Ruff discusses the open-source ecosystem, ways to contribute to open-source projects (hint: it’s not just about the code), and how businesses can balance community and company interests. With 95% of open-source contributions coming from men, Nithya also educates us on how to improve diversity & inclusion in the open-source community.See more at databricks.com/data-brew

1 месяц назад @ buzzsprout.com
Season 3E5: Sustainability & Sake
Season 3E5: Sustainability & Sake

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.We interview Junta Nakai in our most unique location yet - Brooklyn Kura - the first non-Japanese sake distillery in New York. In this episode, Junta shares the philosophical, economic, and tactical approaches to sustainability and ESG, as well as the secrets to brewing sake in the US. See more at databricks.com/data-brew

1 месяц, 2 недели назад @ buzzsprout.com
Season 3E4: Executive Education
Season 3E4: Executive Education

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Did you know that the average tenure of a board member is longer than the average tenure of a marriage in the United States? In this episode, Coco Brown discusses the benefits and drawbacks of the long tenures of corporate boards, their current structure, the impact of recent legislation, and the importance of executive education to guide you through all of this. See more at databricks.com/data-brew

1 месяц, 3 недели назад @ buzzsprout.com
Season 3E3: 3 T’s to Securing AI Systems: Tests, tests, and more tests
Season 3E3: 3 T’s to Securing AI Systems: Tests, tests, and more tests

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.What does it mean to make your machine learning system “production-ready”? Yaron Singer walks us through the infrastructure, testing procedures, and more that help make ML systems ready for the real world in this episode of Data Brew.See more at databricks.com/data-brew

1 месяц, 4 недели назад @ buzzsprout.com
Season 3E2: Data Culture Outside ‘The Valley’
Season 3E2: Data Culture Outside ‘The Valley’

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Have you ever had a spam call automatically blocked for you? You can thank First Orion for that - in one day they blocked or scam tagged over 108 million calls - just on T-Mobile alone! In this episode, we have the pleasure to chat with Charles Morgan and Kent Welch, CEO and CDO, respectively, of First Orion to discuss Arkansan data culture, First Orion’s one hundred day program, and team culture.See more at databricks.com/data-brew

2 месяца назад @ buzzsprout.com
Season 3E1: Disrupt: Challenge your Business Assumptions
Season 3E1: Disrupt: Challenge your Business Assumptions

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics. In this season opener, Elena Donio shares her experience using data and domain knowledge to disrupt the traditional service and sales compensation model. She also discusses how to build companies that scale, manage corporate cultural evolution, and the influence of corporate boards.See more at databricks.com/data-brew

2 месяца, 1 неделя назад @ buzzsprout.com
Season 2E9: Data Driven Software
Season 2E9: Data Driven Software

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.We branch, version, and test our code, but what if we treated data like code? Tim Hunter joins us to discuss the open-source Data-Driven Software (DDS) package and how it leads to immense gains in collaboration and decreased runtime for data scientists at any organization.See more at databricks.com/data-brew

4 месяца, 1 неделя назад @ buzzsprout.com
Season 2E8: Feature Engineering
Season 2E8: Feature Engineering

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Is there ever a “one-size fits all” approach for feature engineering? Find out this and more with Amanda Casari and Alice Zheng, co-authors of the Feature Engineering for Machine Learning book.See more at databricks.com/data-brew

4 месяца, 3 недели назад @ buzzsprout.com
Season 2E7: Interpretable Machine Learning
Season 2E7: Interpretable Machine Learning

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.What does it mean for a model to be “interpretable”? Ameet Talwalkar shares his thoughts on IML (Interpretable Machine Learning), how it relates to data privacy and fairness, and his research in this field.See more at databricks.com/data-brew

5 месяцев назад @ buzzsprout.com
Season 2E6: AutoML
Season 2E6: AutoML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Erin LeDell shares valuable insight on AutoML, what problems are best solved by it, its current limitations, and her thoughts on the future of AutoML. We also discuss founding and growing the Women in Machine Learning and Data Science (WiMLDS) non-profit.See more at databricks.com/data-brew

5 месяцев, 2 недели назад @ buzzsprout.com
Season 2E5: ML Applications
Season 2E5: ML Applications

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Good machine learning starts with high quality data. Irina Malkova shares her experience managing and ensuring high-fidelity data, developing custom metrics to satisfy business needs, and discusses how to improve internal decision making processes.See more at databricks.com/data-brew

5 месяцев, 3 недели назад @ buzzsprout.com
Season 2E4: Hyperparameter and Neural Architecture Search
Season 2E4: Hyperparameter and Neural Architecture Search

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Liam Li is a leading researcher in the fields of hyperparameter optimization and neural architecture search, and is the author of the seminal Hyperband paper. In this session, Liam discusses the evolution of hyperparameter optimization techniques and illustrates how every data scientist can benefit from neural architecture search. See more at databricks.com/data-brew

6 месяцев, 2 недели назад @ buzzsprout.com
Season 2E3: Infrastructure for ML
Season 2E3: Infrastructure for ML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more. Adam Oliner discusses how to design your infrastructure to support ML, from integration tests to glue code, the importance of iteration, and centralized vs decentralized data science teams. He provides valuable advice for companies investing in ML and crucial lessons he’s learned from founding two companies.See more at databricks.com/data-brew

6 месяцев, 3 недели назад @ buzzsprout.com
Season 2E2: Data Ethics
Season 2E2: Data Ethics

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Have you ever wondered how your purchasing behavior may reveal protected attributes? Or how data scientists and business play a role in combating bias? We discuss with Diana Pfeil recommendations to reduce bias and improve fairness, from SHAP to adversarial debiasing.See more at databricks.com/data-brew

7 месяцев назад @ buzzsprout.com
Season 2E1: ML in Production
Season 2E1: ML in Production

For our second season, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.In the season opener, Matei Zaharia discusses how he entered the field of ML, best practices for productionizing ML pipelines, leveraging MLflow & the Lakehouse architecture for reproducible ML, and his current research in this field.See more at databricks.com/data-brew

7 месяцев, 1 неделя назад @ databricks.com
«Ничего такого» by Dodo Enginnering
последний пост 7 месяцев, 2 недели назад
А нужна ли вам цифровая трансформация?
А нужна ли вам цифровая трансформация? А нужна ли вам цифровая трансформация?

Гость подкаста — Юра Филатов. Одна из областей его деятельности — информационный консалтинг или, иначе говоря, он помогает с трансформациями. Как-то так получилось, что подкаст вышел «исповедальным»: эмоциональным, чуть жёстким, с «иллюстрациями» и без «маркетингового налёта»:Как спутать автоматизацию с трансформацией.Когда вам не нужна трансформация на «примерах с мёдом».Почему по «государевому указу» у вас ничего не заработает.Что отвечать на «Ну давай, трансформируй нам тут всё».И какую роль здесь играет страх.

7 месяцев, 2 недели назад @ buzzsprout.com
СКБ Контур — это надолго
СКБ Контур — это надолго СКБ Контур — это надолго

Гость подкаста — Света Аюпова из СКБ Контур. Света находит и проверяет новые бизнесы для Контура. Как-то так получилось, но Света нас убедила, что СКБ Контур — идеальное место для работы. Итак, в компании:Хорошие руководители, многие из которых работают в компании по 10 лет (как и большинство сотрудников).Равенство всех сотрудников на деле, а не на словах.Атмосфера как в казантипе, но без травы.Люди не уставшие, лица не серые.Все рано уходят домой.Много доверия, которое помогает быстро принимать решения.Как следствие, в компании малая текучка. Из СКБ Контур тяжело уходить. Да и зачем? Атмосфера приятная, как тёплый плед, а люди просто работают и растут. Например, руководитель Светы пришёл и…

8 месяцев назад @ buzzsprout.com
Почти распилили монолит, техчас и «латентный тимлид»
Почти распилили монолит, техчас и «латентный тимлид» Почти распилили монолит, техчас и «латентный тимлид»

Гость выпуска — Анатолий Панов. Кратко о нём:руководит разработкой всех вертикалей в Авито;пишет код только «по фану»;не собеседует инженеров;легко раскусил в Борисе латентного тимлида, когда он «собеседовался» в рубрике «Сханти Бориса» как разработчик.Поговорили про квартальные и годовые ОКR и ОКR-ревью, Performance Review, как почти распилили монолит, про техчас для новостей технического департамента, и прокачку функциональных коммьюнити.

8 месяцев, 2 недели назад @ buzzsprout.com
Как сделать корпоративные ценности настоящими, а не пластмассовыми
Как сделать корпоративные ценности настоящими, а не пластмассовыми Как сделать корпоративные ценности настоящими, а не пластмассовыми

Корпоративные ценности — это некие убеждения и принципы, которые все должны соблюдать, вроде «быть ответственным», «двигаться вперёд» и всё такое. Но зачем их соблюдать, если непонятно откуда они взялись? Зачем кто-то когда-то их выбил на скрижалях и повесил в главном зале? Без ответа на эти вопросы желание им следовать скорее не появится — они пластмассовые, не живые. Возможно поэтому в ЦИАН сделали по-другому — ценности списали с реальных людей, один из которых побывал у нас в гостях, а всем новичкам рассказывают как они появились и зачем.Как готовили ценности, важны ли они при найме и что такое словарь «разработческих» терминов, поговорили с Анной Штенгауэр (HR BP IT) и Мишей Юматовым (р…

8 месяцев, 3 недели назад @ buzzsprout.com
LeSS, скрам, портал и банковская гемба
LeSS, скрам, портал и банковская гемба LeSS, скрам, портал и банковская гемба

У нас в гостях Ксения Мешкова — овнер в команде Райффайзенбанк. Она занимается развитием внутреннего корпоративного портала, о котором мы всё выведали: как он появился, а главное — зачем, как помог решить проблем в коммуникациях бизнеса и разработки. Также узнали, как в банке появился скрам, аджайл и LeSS, и как проходит гемба в банке.

9 месяцев, 2 недели назад @ buzzsprout.com
Экосистемы и супераппы? А зачем?
Экосистемы и супераппы? А зачем? Экосистемы и супераппы? А зачем?

В гостях у нас Кирилл Гурбанов — Head of Digital Banking в МТС. Поэтому мы поговорили про всё цифровое: диджитал, стартапы, виртуальные карты Apple, про суперприложение Тинькофф Банка, про Сбер как мессенджер, экосистемы, экосистемы суперприложений и зачем это нужно. Всё как всегда. Однако, будьте готовы к тому, что внезапно в подкаст ворвётся Лада Ларгус и порвёт шаблон.

9 месяцев, 3 недели назад @ buzzsprout.com
Как дела с внутренними коммуникациями в ВТБ?
Как дела с внутренними коммуникациями в ВТБ? Как дела с внутренними коммуникациями в ВТБ?

Что такое внутренние коммуникации? Вот я «айтишник», я открыл «Джиру» – вот мои задачки, я беру, делаю, дальше тестировщикам, всё упало — какие коммуникации? Ан нет. Написать, правильно объяснить задачу и правильно спросить «что там делать» — это всё внутренние коммуникации. Об этом мы и поговорили с Екатериной Тышковской, руководителем службы внутренних коммуникаций банка ВТБ.Что такое гибридная работа, как компаниям сохранить офисную культуру и что такое культура согласия в новом выпуске «Ничего такого».

9 месяцев, 4 недели назад @ buzzsprout.com
Запуск завтра Podcast Запуск завтра Podcast
последний пост 1 неделя, 4 дня назад
Ваша идея ничего не стоит. Инвестор vs cтартап
Ваша идея ничего не стоит. Инвестор vs cтартап Ваша идея ничего не стоит. Инвестор vs cтартап

Пятый сезон подкаста мы завершаем новым празднично — открытой записью эпизода. Самат встретился с инвестором Кириллом Беловым и узнал, как работают венчурные фонды, что и как нужно питчить инвестору, как оценить стоимость стартапа и какие IT-тренды ждут нас в ближайшем будущем. Ссылка на запись youtube-трансляции разговора Самата и Кирилла: https://youtu.be/NXub8CLL08Q Друзья, пройдите, пожалуйста, наш опрос! https://s878737.typeform.com/to/gm1WwitT Курс «DevOps для эксплуатации и разработки» от Яндекс.Практикум: https://practicum.yandex.ru/promo/devops-course?utm_source=pr&utm_medium=content&utm_campaign=pr_content_devops-course_zapuskzavtra 3-4 декабря пройдет ежегодная и самая большая те…

1 неделя, 4 дня назад @ zapuskzavtra.libsyn.com
Maps.me. Как упаковать мир в телефон
Maps.me. Как упаковать мир в телефон Maps.me. Как упаковать мир в телефон

Сделать карту, на которой будет отображен весь мир — нетривиальная задача. Но для создателей приложения Maps.me она была еще сложнее. Они задумали карту, которая работала бы офлайн. Хотя для обработки данных о нашей планете в телефоне не хватает ни процессора, ни памяти. О том, как в Maps.me решали эту проблему и откуда вообще берется информация о мире Самат разговаривает с сооснователем сервиса, Юрием Мельничеком. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Пройти бесплатный тренажер по математике можно по ссылке https://practicum.yandex.ru/math-founda…

2 недели, 4 дня назад @ zapuskzavtra.libsyn.com
Доставка и логистика. Как страну превращают в товаропровод
Доставка и логистика. Как страну превращают в товаропровод Доставка и логистика. Как страну превращают в товаропровод

Как за день доставить из Москвы во Владивосток крупногабаритный груз? А маленький пакет из Сочи в Тамбов? А как не потерять посылку, проверить ее на запрещенные вещества и сэкономить на перевозках, если у тебя таких посылок — 22 миллиона в год? Самат говорит о доставке с Сергеем Климашем, заместителем генерального директора СберЛогистики. Сергей рассказывает, как банк становится новой почтой, а в России силами Сбера, Озона и Яндекса появляется новая транспортная система. Не пропустите нашу открытую запись 8 ноября! Она будет проходить на ютуб-канале Либо/Либо по этой ссылке https://www.youtube.com/watch?v=NXub8CLL08Q. Нажимайте на колокольчик, и тогда ютуб вам напомнит о мероприятии, и вы н…

3 недели, 4 дня назад @ zapuskzavtra.libsyn.com
Как устроены сотовые сети
Как устроены сотовые сети Как устроены сотовые сети

А еще 5G, LTE, отели базовых станций, антенны, мобильные операторы, аукционы частот, роуминг и сетевые уязвимости. О телекоммуникациях Самат говорит с основателем компании Fairwaves Александром Чемерисом, который обеспечивал связью африканские деревни и штат Оахака в Мексике. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Сайт Доки: https://doka.guide/ Не пропустите нашу открытую запись 8 ноября! Подписывайтесь на канал Либо/Либо https://www.youtube.com/c/ЛибоЛибо/videos и присоединяйтесь к событию на фейсбуке https://www.facebook.com/events/27196747817629…

1 месяц назад @ zapuskzavtra.libsyn.com
«Мы слышим, как вы дышите». Как бизнесы с помощью CRM контролируют поведение покупателей
«Мы слышим, как вы дышите». Как бизнесы с помощью CRM контролируют поведение покупателей «Мы слышим, как вы дышите». Как бизнесы с помощью CRM контролируют поведение покупателей

В одном из эпизодов «Запуска завтра» герой рассказывал, что работа над CRM-системой в Microsoft была самой скучной в его жизни. Это программное обеспечение нужно любому бизнесу, но при этом в его создании нет ничего интересного. Сегодня Самат разговаривает с человеком, который придерживается противоположной точки зрения. Юлиана Гордон была CRM-директором Ozon, внедряла CRM в Мегафоне и МТС, а сейчас занимается своей школой электронной торговли iWENGO. Юлиана объясняет, почему CRM — это не просто таблица с данными, а главный инструмент, благодаря которому бизнес зарабатывает миллионы. Приходите на открытую запись подкаста 8 ноября! Покупайте билеты по ссылке https://dkrassvet.space/events/za…

1 месяц, 1 неделя назад @ zapuskzavtra.libsyn.com
Психология в IT. Эпизод с неудобными вопросами
Психология в IT. Эпизод с неудобными вопросами Психология в IT. Эпизод с неудобными вопросами

Мы часто думаем, что к психологу нужно идти с проблемами в личной жизни, а рабочие вопросы пытаемся решить сами или не решаем вовсе. Мы хотим разобраться, о чем в IT-тусовке говорить не принято и как обсуждать проблемы, с которыми сталкивается каждый из нас. Как разговаривать о повышении? как победить синдром самозванца? как бороться с токсичностью в команде и как разруливать конфликты? Во всем этом Самат разбирается вместе с IT-психологом Анастасией Калашниковой. Ссылки от Анастасии: Сервис по оценке себя и поиску ментора: https://getmentor.dev/ Подкаст Psy v IT https://t.me/psyvit Подкаст NewHR https://t.me/newhrpodcast Курс «Аналитик Данных» от Яндекс.Практикум: https://practicum.yandex.…

1 месяц, 2 недели назад @ zapuskzavtra.libsyn.com
Почему Facebook, Instagram и WhatsApp лежали 6 часов. Разбор по хардкору
Почему Facebook, Instagram и WhatsApp лежали 6 часов. Разбор по хардкору Почему Facebook, Instagram и WhatsApp лежали 6 часов. Разбор по хардкору

Вечером 4 октября перестал работать Facebook и принадлежащие ему компании. Сбой случился из-за сетевых проблем. Сети Самат обсуждает вместе с техническим директором ВКонтакте Александром Тоболем и с главой сетевой инфраструктуры Mail.ru Group Еленой Якуповой. За что отвечают протокол BGP и DNS-сервера, как конфигурируется сеть и как это все связано с тем, что вечер понедельника мы провели без соцсетей. Прочитать о том, как студенты Практикума делали бота в телеграме, можно по ссылке https://vk.com/@yandex.practicum-sbor-i-otpravka-soobschenii-iz-telegram-v-slack-opyt-sozdani Проект о сетях https://linkmeup.ru/ 4:30 Как происходит передача информации между сетями разных провайдеров 11:30 Поч…

1 месяц, 3 недели назад @ zapuskzavtra.libsyn.com
Олимпиадное программирование. Как Россия каждый год занимает первое место
Олимпиадное программирование. Как Россия каждый год занимает первое место Олимпиадное программирование. Как Россия каждый год занимает первое место

C 1 по 6 октября в Москве проходит финал чемпионата мира по программированию ICPC. Это студенческая олимпиада, и обычно ее выигрывают команды из МГУ, ИТМО или СПбГУ. Самат обсуждает достижения российских спортсменов с тренером Еленой Андреевой. Именно ее ученики в 2018 и в 2019 годах занимали первое место. Самат узнает, как готовят студентов к соревнованиям, какие задачи решают на олимпиадах и почему спортивное программирование так сильно отличается от школьной информатики. Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреоне https://www.patreon.com/zapooskzavtra Зарегистрироваться на День открытых дверей Яндекс.Практикума можно по ссылке https://ya.cc/t/nuP1x…

2 месяца назад @ zapuskzavtra.libsyn.com
BitTorrent и торрент-трекеры. Как оказались связаны пиратские форумы и распределенные протоколы
BitTorrent и торрент-трекеры. Как оказались связаны пиратские форумы и распределенные протоколы BitTorrent и торрент-трекеры. Как оказались связаны пиратские форумы и распределенные протоколы

В начале 2000х Netflix продавал DVD-диски, а мы скачивали сериалы с торрент-трекеров. На каких технологиях работали трекеры и как они появлялись? Самат разбирается с одним из создателей протокола BitTorrent Станиславом Шалуновым и с одним из родоначальников трекера LostFilm Андреем Кравцем. Если вы хотите работать со Стасом над распределенными протоколами, то пишите https://www.facebook.com/shalunov Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Прочитать историю Максима Никитина можно по ссылке https://academy.yandex.ru/posts/iz-taksista-v-razrabotchika В…

2 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как Яндекс пережил самую крупную DDoS-атаку в истории интернета
Как Яндекс пережил самую крупную DDoS-атаку в истории интернета Как Яндекс пережил самую крупную DDoS-атаку в истории интернета

На обычный сайт может поступать около 100 запросов в секунду, а на yandex.ru утром 5 сентября обрушился 21 миллион. Случившееся Самат обсуждает с директором по безопасности Яндекса Антоном Карповым. Что такое DDoS (Distributed Denial of Service), как работает черный рынок взломов и может ли армия электрочайников стать угрозой безопасности страны. Узнать о том, как студенты меняют Практикум, можно по ссылке https://praktikum.blog/whatwedointheshadows/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_whatwedointheshadows_zapuskzavtra 10й эпизод второго сезона «Как устроен интернет и как его блокируют» https://zapuskzavtra.libsyn.com/k15wwhke3n5s Журнал «Хакер» https://xakep.ru/ 2:40 К…

2 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Как в России появился каршеринг
Как в России появился каршеринг Как в России появился каршеринг

Москва — крупнейший рынок каршеринга в мире. Но еще 10 лет назад в России не было ни одного автомобиля, который можно было бы взять в краткосрочную аренду через приложение. Первыми запустить подобный сервис придумали в BelkaCar. Основательницы компании Елена Мурадова, Лориана Сардар и Екатерина Макарова пролоббировали каршеринг в Дептрансе и обошли 300 инвесторов, прежде чем привлечь первых пользователей. В этом эпизоде Елена и Лориана рассказывают Самату о том, как в Россию пришел и как развивается шеринг автомобилей. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zap…

2 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Из редакторки подкаста в редактор кода. Как филолог становится программистом
Из редакторки подкаста в редактор кода. Как филолог становится программистом Из редакторки подкаста в редактор кода. Как филолог становится программистом

Привет! Я Юля, редакторка «Запуска завтра». Я помогаю Самату брать интервью и записывать подводки, а еще я придумываю описания эпизодов. В этот раз в подкасте речь пойдет обо мне, поэтому я решила написать этот текст от первого лица. Три месяца назад я начала учиться программированию. До работы над подкастом я не интересовалась IT и даже боялась лезть в эту тему, а теперь по ночам пытаюсь валидировать формы с помощью java script. В разговоре Самат захотел узнать, как меняется моя жизнь прямо сейчас. Этот эпизод в меньшей степени о технологиях, в большей — о том, как сложно и страшно изучать новое, но как здорово, когда получается. Этот подкаст мы делаем совместно с сервисом онлайн-образован…

2 месяца, 4 недели назад @ zapuskzavtra.libsyn.com
Тестирование. Зачем тыкать на 1 000 кнопок в секунду и скармливать код мутантам
Тестирование. Зачем тыкать на 1 000 кнопок в секунду и скармливать код мутантам Тестирование. Зачем тыкать на 1 000 кнопок в секунду и скармливать код мутантам

В новом эпизоде подкаста Самат разбирается, как осмысленно ломать компьютер. Он говорит с Максимом Садымом, инженером из Google и Amazon, о тестировании. Как автоматизировать UI тесты, как часто проводить нагрузочное тестирование, какие ошибки программы показывает хаос-тестирование и можно ли быть хорошим программистом, если ты не пишешь юнит-тесты? Максим рассказывает об основных видах тестирования с примерами из практики, а еще вспоминает, как пару лет не мог попасть на работу в Google. Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреоне https://www.patreon.com/zapooskzavtra Книга Cracking the …

3 месяца назад @ zapuskzavtra.libsyn.com
Луркоморье. Как возник фольклор русского интернета
Луркоморье. Как возник фольклор русского интернета Луркоморье. Как возник фольклор русского интернета

Самат говорит с создателем Луркоморья Давидом Хомаком. Формально, о возникновении Lurkmore.to, но по сути — об истории русского интернета. Game.EXE, Башорг, Двач, LiveJournal, Linux-тачки и «пека-бояре», Роскомнадзор и Рамзан Кадыров. Давид вспоминает, как зарождался язык русскоязычных мемов, как рунет перестал быть анонимным и как государство пришло за виртуальной свободой. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или н…

3 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
200 млн установок и 28 дней цикла. Как мужчины придумали приложение для месячных
200 млн установок и 28 дней цикла. Как мужчины придумали приложение для месячных 200 млн установок и 28 дней цикла. Как мужчины придумали приложение для месячных

У приложения Flo 41 миллион активных пользовательниц в месяц. Они живут по всему миру и следят во Flo за своим циклом: месячными и овуляцией. Самат говорит о фемтехе с техническим директором Flo Романом Бугаевым. В чем сложность предсказания месячных, зачем женщинам подписка, если есть бумажный календарик, и сложно ли мужчинам работать в компании о женском здоровье. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреон…

3 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 1 неделя, 2 дня назад
Из тестирования в разработку (level: all)
Из тестирования в разработку (level: all) Из тестирования в разработку (level: all)

В гостях у Moscow Python Podcast Python developer компании Grid Dynamics Russia Лариса Петрова. Поговорили с Ларисой о ее пути в разработку, обсудили опыт прохождения собеседований и подготовку к ним. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Grid Dynamics Russia: https://careers.griddynamics.com/discover-openings Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Pyt…

1 неделя, 2 дня назад @ learnpython.podbean.com
На чем писать код (level: all)
На чем писать код (level: all) На чем писать код (level: all)

В гостях у Moscow Python Podcast ведущий разработчик компании NVIDIA Роман Сакал. Поговорили с Романом о том, на чем писать код, на чем его пишут в NVIDIA и о том, почему Python is the second best language. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 недели, 1 день назад @ learnpython.podbean.com
Рынок найма разработчиков (level: all)
Рынок найма разработчиков (level: all) Рынок найма разработчиков (level: all)

В гостях у Moscow Python Podcast технический директор компании Geecko Никита Обухов. Поговорили с Никитой о рынке найма разработчиков и о DevRel. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция GeekRel: https://conf.geecko.com/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 недели, 2 дня назад @ learnpython.podbean.com
Главная конференция в области ИИ GTC21
Главная конференция в области ИИ GTC21 Главная конференция в области ИИ GTC21

Злата приглашает всех на GTC

Конференция GTC: https://www.nvidia.com/ru-ru/gtc/

1 месяц назад @ learnpython.podbean.com
в нефтехимии (level: all)
в нефтехимии (level: all) в нефтехимии (level: all)

В гостях у Moscow Python Podcast старший владелец продукта компании Сибур Диджитал Вадим Щемелинин. Поговорили с Вадимом о Индустрии 4.0, видеоаналитике в нефтехимии и о многом другом.. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция HighLoad++: https://www.highload.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц назад @ learnpython.podbean.com
О развитии разработчика (level: all)
О развитии разработчика (level: all) О развитии разработчика (level: all)

В гостях у Moscow Python Podcast руководитель подразделения World of Tanks Game Logic компании Wargaming Левон Авакян. Поговорили с Левоном о правильном развитии разработчика. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 1 неделя назад @ learnpython.podbean.com
Docs as Code (level: all)
Docs as Code (level: all) Docs as Code (level: all)

В гостях у Moscow Python Podcast разработчик компании Recall Masters Анатолий Щербаков. Поговорили с Анатолием о документации к вашему коду, почему она нужна и о подходе Docs as Code. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 2 недели назад @ learnpython.podbean.com
К чему приводят стримы (level: all)
К чему приводят стримы (level: all) К чему приводят стримы (level: all)

В гостях у Moscow Python Podcast junior разработчик компании AdCombo Александр Шейкин. Поговорили с Александром о его пути в разработчики Python, первом опыте работы. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца назад @ learnpython.podbean.com
Хорошие практики построения инфраструктуры ML-моделей (level: all)
Хорошие практики построения инфраструктуры ML-моделей (level: all) Хорошие практики построения инфраструктуры ML-моделей (level: all)

В гостях у Moscow Python Podcast Data Science компании Лаборатория Касперского Дмитрий Аникин. Поговорили с Дмитрием о Python в машинном обучении, инфраструктуре моделей и многом другом. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 1 неделя назад @ learnpython.podbean.com
Лицензирование Питон-приложений (level: all)
Лицензирование Питон-приложений (level: all) Лицензирование Питон-приложений (level: all)

В гостях у Moscow Python Podcast сооснователь компании Profiscope Алексей Смирнов. Поговорили с Алексеем о применении Open Source-лицензий в PyPI. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Ревью кода: https://mpccomplexity.codescoring.com Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 3 недели назад @ learnpython.podbean.com
Разбираемся, как бороться с legacy (level: all)
Разбираемся, как бороться с legacy (level: all) Разбираемся, как бороться с legacy (level: all)

В гостях у Moscow Python Podcast Director of engineering компании Takeoff Technologies Владимир Филонов . Поговорили с Владимиром о том, откуда берется legacy и как с ним бороться и как продать бизнесу refactoring этого legacy. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 4 недели назад @ learnpython.podbean.com
в банковской сфере (level: all)
в банковской сфере (level: all) в банковской сфере (level: all)

В гостях у Moscow Python Podcast разработчик в Raiffeisen Bank Влад Лоухин. Поговорили с Владом о том, что Python делает в банке, специфике Python в банковской сфере и о многом другом. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца, 2 недели назад @ learnpython.podbean.com
Про образование (level: all)
Про образование (level: all) Про образование (level: all)

В гостях у Moscow Python Podcast СТО образовательных проектов Mail.ru Дмитрий Санников. Поговорили с Дмитрием о многообразии курсов и образовательных программ в Mail.ru. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца, 3 недели назад @ learnpython.podbean.com
Про Data Science сообщество (level: all)
Про Data Science сообщество (level: all) Про Data Science сообщество (level: all)

В гостях у Moscow Python Podcast Senior Data Scientist компании Lamoda, организатор курсов DadaGym Петр Ермаков. Обсудили с Петром data science сообщество и ивенты . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца назад @ learnpython.podbean.com
Переход с Flask на FastAPI (level: all)
Переход с Flask на FastAPI (level: all) Переход с Flask на FastAPI (level: all)

В гостях у Moscow Python Podcast CTO и со-основатель компании Datafold Александр Морозов. Обсудили с Александром причины перехода его стартапа с Flask на FastAPI. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца, 3 недели назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 1 неделя назад
Podlodka #243 – IT в кино
Podlodka #243 – IT в кино Podlodka #243 – IT в кино

А вы знали, что голливудские компании в производстве спецэффектов активно используют инструменты написанные отечественным разработчиком? В гости позвали автора – Романа Белова. Поговорили и про инструменты, и про производственный цикл фильмов, и про виды и способы реализации визуальных эффектов. Решите задачи e-commerce-проектов с гибкой IT-инфраструктурой Selectel: https://slc.tl/O5czU Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPod…

1 неделя назад @ soundcloud.com
Podlodka #242 – Файрволы
Podlodka #242 – Файрволы Podlodka #242 – Файрволы

В выпуск позвали сооснователя и CEO Wallarm Ивана Новикова. Начали с сетевых слоев, но в основном говорили про уровень приложений. Именно на этом уровне файрволы развиваются последние годы. Не обошли стороной концепцию Zero Trust. А под конец обсудили куда файрволы развиваются. Отказоустойчивые облачные базы данных для интернет-магазинов и сервисов доставки в Selectel: https://slc.tl/BAvsG Промокод на 500₽ на SoftSkills Crew: LIKE_A_BOSS Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkaca…

2 недели назад @ soundcloud.com
Podlodka #241 – Профессия: бизнес-аналитик
Podlodka #241 – Профессия: бизнес-аналитик Podlodka #241 – Профессия: бизнес-аналитик

В индустрии существует бессчетное количество разновидностей аналитиков: продуктовые, системные, бизнес, финансовые и многие другие. В выпуске вместе с Алексеем Белозерским мы разбираемся в их классификации и закапываемся в специфику работы бизнес-аналитика: основные задачи, используемые подходы и инструменты. Узнайте, как подготовить IT-инфраструктуру к сезону распродаж, на бесплатном вебинаре от Selectel: https://slc.tl/gDOfD 22 ноября стартует конференция для продакт-менеджеров Podlodka Product Crew. Промокод на скидку: ANALYTICS. https://podlodka.io/productcrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетя…

3 недели назад @ soundcloud.com
Podlodka #240 – Golang
Podlodka #240 – Golang Podlodka #240 – Golang

Пополняем золотую коллекцию языковых выпусков Podlodka долгожданным эпизодом про Golang! Все, как вы любите — история развития, области применения, ключевые фичи, экосистема, и немного холивара про сильные и слабые стороны. Погрузил в мир Go, объяснил, почему “less is exponentially more” и как это отражается на том, что язык предлагает разработчикам Алексей Палажченко — программист из Sidero Labs и ведущий подкаста GolangShow. Аккуратно! В выпуске чересчур много шуток про дженерики! Гибкие облачные базы данных для многопользовательских игр и других игровых проектов в Selectel: https://slc.tl/H6I7r Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и…

4 недели назад @ soundcloud.com
Podlodka #239 – Сети, часть 1: Интернет
Podlodka #239 – Сети, часть 1: Интернет Podlodka #239 – Сети, часть 1: Интернет

Замахнулись на необъятное и обсудили компьютерные сети! Одного выпуска для такой тему явно мало, поэтому пока мы сфокусировались на интернете, и подробно изучили приключения сигнала на пути от пользователя к целевому сервису. В гостях у нас Тёма Гавриченков из Servers.com, которого вы можете помнить из нашего выпуска про дата-центры. Разверните гибкую и производительную облачную базу данных для своего игрового проекта в облаке Selectel: https://slc.tl/z9sWf C 8 ноября стартует новый сезон конференции Podlodka Backend Crew! По промокоду TANNENBAUM скидка для слушателей этого выпуска, а подробности и расписание на сайте https://podlodka.io/becrew. Поддержи лучший подкаст про IT:

www.patreon.c…

1 месяц назад @ soundcloud.com
Podlodka #238 – JavaScript
Podlodka #238 – JavaScript Podlodka #238 – JavaScript

Лучший выпуск про лучший язык программирования с лучшим гостем, а в гости пришел наш коллега по подкастном цеху, автор Hegel.js, а с недавних пор еще и разработчик из команды Kotlin/JS & Wasm: Артем Кобзарь. Начали с истории появления JS, традиционно для языковых выпусков обсудили сильные и слабые is not a function стороны, а закончили обсуждением как его выучить по-настоящему. Ведь большинство разработчиков не столько пишут на JS, сколько на фреймворках. Гибкая и надежная IT-инфраструктура для игровых разработчиков в Selectel: https://slc.tl/Wcp8O Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат:…

1 месяц, 1 неделя назад @ soundcloud.com
Podlodka #237 – Как ставить цели организации
Podlodka #237 – Как ставить цели организации Podlodka #237 – Как ставить цели организации

Подлодка не может плыть без капитана, а организация – без целей. Или может? Денис Дудоров, главный за организационное развитие в Авито, помог нам разобраться в том, как осознанно подойти к целеполаганию в компании. В выпуске – много инсайтов про то, как взаимосвязаны различные аспекты управления организацией и чем отличаются фреймворки целеполагания. Разверните геораспределенную IT-инфраструктуру для многопользовательских игр в Selectel: https://slc.tl/VOu6R Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.fa…

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #236 – Вузы и IT-компании
Podlodka #236 – Вузы и IT-компании Podlodka #236 – Вузы и IT-компании

Мы уже привыкли ругать высшее образование за то, что оно зачастую не помогает правильно подготовиться к будущей карьере в IT. В этом выпуске вместе с Константином Федутиновым из ВГУ мы узнаем, что можно сделать в обычном отдельно взятом вузе, чтобы радикально поменять правила игры и выстроить отношения между студентами и IT-компаниями еще во время учебы. Разверните IT-инфраструктуру для решения задач игровой разработки в Selectel: https://slc.tl/SCxps Podlodka Techlead Crew стартует уже 11 октября. Билеты по ссылке https://podlodka.io/techcrew, а по промокоду ADALOVELACE вас ждет приятная скидка! Поддержи лучший подкаст про IT:

https://patreon.com/podlodka Также ждем вас, ваши лайки, репост…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #235 – Problem Solving
Podlodka #235 – Problem Solving Podlodka #235 – Problem Solving

Каждый день мы решаем проблемы – поиск нового места работы, подбор фреймворка под задачу, составление плана развития для демотивированного сотрудника. Хотя все эти проблемы с первого взгляда абсолютно разные, общий подход к их решению может быть одинаковым. Павел Комаровский, бывший консультант McKinsey и автор блога RationalAnswer, поделился универсальным фреймворком для системного решения любых проблем. Разверните гибкую IT-инфраструктуру для образовательных и исследовательских проектов в Selectel: https://slc.tl/Jsi2e Поддержи лучший подкаст про IT:

https://patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka T…

2 месяца назад @ soundcloud.com
Podlodka #234 – Нетворкинг
Podlodka #234 – Нетворкинг Podlodka #234 – Нетворкинг

Про важность нетворкинга не рассказывает только ленивый, но вопрос «а как делать это правильно?» не теряет актуальности. В выпуске мы не только обсудили, чем нетворкинг может быть полезен и как наконец начать им заниматься, но и нырнули куда глубже участия в random coffee и беспорядочных знакомствах на afterparty очередной конференции. Про ценность социального капитала, важность эмпатии и эмоций и множество других глубоких аспектов нетворкинга нам рассказал Павел Хегай, технологический предприниматель и основатель нетворкинг сообщества Heg.ai. За прикладными темами, крутыми экспертами и, конечно, активным нетворкингом залетай в Podlodka TeamLead Crew https://podlodka.io/tlcrew (промокод tl_…

2 месяца, 1 неделя назад @ soundcloud.com
Podlodka #233 – Компьютерное зрение
Podlodka #233 – Компьютерное зрение Podlodka #233 – Компьютерное зрение

Посмотреть на изображение и понять, что на ней котик. Это такая простая задача для человека, но нужно целое направление исследований и сложных алгоритмов, чтобы с ней справился компьютер. Компьютерное зрение — что это такое, как работает и зачем нужно? Разбираемся с Артуром Кузиным из SberDevices. Решайте сложные задачи EdTech-проектов на инфраструктуре Selectel: https://slc.tl/tlkbH Выберите любую из наших конференций Podlodka Crew по ссылке https://podlodka.io/crew, и до 27 сентября успейте купить билет со скидкой по промокоду BARKHAT Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.m…

2 месяца, 2 недели назад @ soundcloud.com
Podlodka #232 – Чекап здоровья
Podlodka #232 – Чекап здоровья Podlodka #232 – Чекап здоровья

У нас уже было много выпусков про здоровье, но не обсуждали как системно подойти к здоровью для увеличения продолжительности жизни. Чекап – инстурмент именно для этого. Разобрали подход на какие чекапы, в каком возрасте и с как часто ходить. В гости к нам пришел Алексей Утин – сердечно-сосудистый хирург, кардиолог, Со-основатель проекта медицинских диспансеризаций SMART CheckUP. Реализуйте актуальные технологии на инфраструктуре Selectel для EdTech: https://slc.tl/JWIYc Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Face…

2 месяца, 3 недели назад @ soundcloud.com
Podlodka #231 – Киберспорт
Podlodka #231 – Киберспорт Podlodka #231 – Киберспорт

Большинство из нас занимаются этим в качестве хобби, кто-то любит смотреть, а кто-то мечтает стать профи и построить на этом всю свою карьеру. Киберспорт — молодая, но уже очень денежная индустрия, манящая многих. Как же обстоят дела за кулисами? Сколько часов игрового стажа нужно, чтобы стать профессионалом и достаточно ли для этого лишь усердия? Как тренируются топовые киберспортсмены? Есть ли жизнь в киберспорте после 25 и можно ли жить на донаты на твиче? Артем Никулин (holy_hunter), выигравший порядка 20 сибирских офлайн и 30 онлайн турниров по Dota 2, и ездивший на MAJOR в качестве тренера team empire, погрузил нас в мир киберспорта, рассказал об устройстве киберспортивных организаций…

3 месяца назад @ soundcloud.com
Podlodka #230 – Julia
Podlodka #230 – Julia Podlodka #230 – Julia

Много ли вы знаете языков, созданных для максимальной производительности различных вычислений? Кто-то подумает про MATLAB, кто-то вспомнит Fortran, но мы в этом выпуске поговорим о Julia. Это молодой, но очень интересный язык, с которым мы предлагаем вам познакомиться вместе с нами и Юлией Беляковой! Разверните облачный сервер с GPU в пару кликов в Selectel: https://slc.tl/Z9t89 Новый сезон конференции Podlodka iOS Crew! https://podlodka.io/ioscrew. Темы недель: «Работа с сетью» и «Совершенный код» Промокод для слушателей: JULIA Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlod…

3 месяца, 1 неделя назад @ soundcloud.com
Podlodka #229 – Медитация
Podlodka #229 – Медитация Podlodka #229 – Медитация

Закрой глаза, сделай глубокий вдох и включай выпуск про Медитацию. В гости к нам пришла психолог и автор подкаста «Эмоциональный Интеллигент» – Анна Проворная. Постарались поговорить про тему без булшита: какие есть исследования, как медитация влияет на наше тело, а главное, раз это инструмент, какие задачи можно им решать, а какие – нет. Управляемые кластеры Kubernetes в Selectel для динамичных проектов: https://slc.tl/cgmEz Новый конференция от команды Podlodka! Podlodka Design Crew https://podlodka.io/designcrew. Темы недель: «Редизайн» и «Взаимодействие дизайнеров и разработчиков» Промокод для слушателей: PIXEL_PERFECT Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем …

3 месяца, 2 недели назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 3 дня назад
Виталий Быков live!
Виталий Быков live!

Как создать рекламное агентство? Почему "креативные индустрии" делают всех богаче? И как меняется реклама в двадцать первом веке?Сегодня с нами проветривается Виталий Быков — основатель агетнства "Red Keds" и организатор фестиваля креативных индустрий Great 8.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)

3 дня назад @ buzzsprout.com
Виталий Терлецкий live!
Виталий Терлецкий live! Виталий Терлецкий live!

С чего начинать путь в мир комиксов? Как сделать независимое издательство? И что делать, если у тебя есть двести миллионов рублей?Сегодня с нами проветривается Виталий Терлецкий. Автор комиксов и издатель Терлецки Комикс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)

1 неделя, 3 дня назад @ buzzsprout.com
Венчурные инвестиции
Венчурные инвестиции

Как работают венчурные инвестиции? Какой путь проходит компания от стартапа до единорога? Что ожидает рынок технологических инвестиций на горизонте в несколько лет?Сегодня с нами проветриваются: Алексей Менн - партнер венчурного фонда Begin CapitalМария Шутова - генетик, научный консультант, в прошлом - аналитик фонда 4Bio CapitalНе будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаПоддержи шоу Support the show (https://www.patreon.com/progulka)

2 недели, 2 дня назад @ buzzsprout.com
Андрей Щербак live!
Андрей Щербак live!

Что такое социальные науки? Зачем их изучать? И как связаны молоко и демократия? Сегодня с нами проветривается доцент Высшей школы экономики в Санкт-Петербурге Андрей Щербак.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show Support the show (https://www.patreon.com/progulka)

3 недели, 2 дня назад @ buzzsprout.com
Енисейский Киото
Енисейский Киото

Как в Сибири изучали возможность создания космических поселений? И где в России надо учиться на шеф-повара?Добро пожаловать в Красноярск, который нам показался чем-то похожим на культурную столицу Японии.Сегодня с нами проветриваются:— Егор Задереев, руководитель группы научных коммуникаций Красноярского научного центра СО РАН, кандидат биологических наук.— Николай Григорьев, руководитель проектного офиса Института Гастрономии Сибирского Федерального Университета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаАвтор и ведущий — Иван ЯмщиковАвтор рубрики Just One More Thing — Ксения ДруговейкоРежи…

1 месяц назад @ buzzsprout.com
User-generated content
User-generated content User-generated content

Как пользователь может обучать алгоритмы? Почему люди залипают в ТикТок? И что случается с вашим постом до того, как его увидят ваши друзья?Сегодня с нами проветриваются:— Алексей Сенников — руководитель направления модерации социальной сети Одноклассники— Натальи Казаченко — руководитель группы аналитики качества рекомендаций в ЯндексеНе будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

1 месяц, 1 неделя назад @ buzzsprout.com
Стрит-арт
Стрит-арт Стрит-арт

Как организовать фестиваль стрит-арта в своём городе? Как уличные художники меняют современную культуру? И где в России смотреть классный стрит-арт? Сегодня с нами проветриваются:— Анна Клец — организатор фестиваля Стенограффия в Екатеринбурге.— Зося Леутина — художник графитист и муралист, одна из организаторов фестиваля Графит науки в Новосибирске.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

1 месяц, 2 недели назад @ buzzsprout.com
Медицинские технологии
Медицинские технологии Медицинские технологии

Кого и как лечит искусственный интеллект? Зачем нужна персонализированная медицина? И как алгоритмы могут помочь нам "укрепить" здоровье?Сегодня с нами проветриваются— Иван Дрокин — со-основатель и директор по науке braingarden.ai, со-основатель и директор по исследованиям botkin.ai — Булат Загидуллин — аспирант университета Хельсинки, интерн в компании Байер.— Дмитрий Бычков — aспирант университета Хельсинки, специалист по анализу данных в стартапе Kaliber Labs.Не будьте такими душными, давайте лучше — проветримся!Support the show (https://www.patreon.com/progulka)

1 месяц, 3 недели назад @ buzzsprout.com
Философия космизма
Философия космизма Философия космизма

Что такое космизм? Как мало кому известное мистико-философское учение изменило и продолжает менять современный мир?В нашем сотом юбилейном выпуске мы поговорим с Людмилой Будневой из НГУ и Верой Алексеевой из музея Константина Циолковского о русском космизме.Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

1 месяц, 4 недели назад @ buzzsprout.com
Софья Касацкая live!
Софья Касацкая live! Софья Касацкая live!

Как "киллеры" сохраняют ваше здоровье? Чем врождённый иммунитет отличается от приобретённого? И как образ жизни влияет на иммунитет? Сегодня с нами проветривается Софья Касацкая. Софья получила PhD по иммунологии в СколТехе и ведёт канал Shameless Bacteria про иммунологию, биологию, медицину и прочее интересное.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

2 месяца назад @ buzzsprout.com
Диалекты и регионализмы
Диалекты и регионализмы Диалекты и регионализмы

Где находятся Курмыши? Что такое латка? И как формируются региональные диалекты?В последнем эпизоде сезона мы говорим о великом и могучем русском языке в компании двух прекрасных гостей:Борис Иомдин — кандидат филологических наук, ведущий научный сотрудник и заведующий сектором теоретической семантики Института русского языка им. В. В. Виноградова РАН, научный сотрудник Яндекса, доцент Школы лингвистики Высшей Школы Экономики.Иван Левин— лингвист, младший научный сотрудник Института русского языка им. Виноградова.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patre…

4 месяца, 1 неделя назад @ buzzsprout.com
Алексей Шпильман live!
Алексей Шпильман live! Алексей Шпильман live!

Как «дрессируют» алгоритмы? С чем обучение с подкреплением можно смешивать, не взбалтывая? И достаточно ли одного пряника, чтоб создавать прорывные алгоритмы машинного обучения?Сегодня с нами проветривается Алексей Шпильман. Алексей заведует центром анализа данных и машинного обучения в Высшей Школе Экономики в Санкт-Петербурге и руководит лабораторией агентных систем и обучения с подкреплением в JetBrains Research.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

4 месяца, 3 недели назад @ buzzsprout.com
Open Source из России
Open Source из России

Как и почему open source захватил мир? Что такое "заразная" лицензия? И создаются в России создают opensource-проекты мирового уровня?Сегодня с нами проветриваются:Андрей Бреслав — один из создателей языка программирования Котлин, cооснователь сервиса по подбору психологов Альтер.Станислав Кириллов, руководитель группы ML систем в Яндексе. Команда Станислава разрабатывает CatBoost и инфраструктуру для эмэльщиков. Михаил Бурцев — основатель проекта DeepPavlov.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

4 месяца, 4 недели назад @ buzzsprout.com
Сергей Нетесов live! II
Сергей Нетесов live! II

Что такое штамм? Как меняются вирусы? Почему вакцинация не только снижает нагрузку на систему здравоохранения, но и замедляет появление новых вариантов вируса?Под занавес прошлого сезона у нас в гостях был Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета. После нашей первой беседы вы просили позвать Сергея ещё. Мы прислушались!Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

5 месяцев, 1 неделя назад @ buzzsprout.com
Георгий Бугаков live!
Георгий Бугаков live! Георгий Бугаков live!

Со скольки лет стоит учить ребёнка программировать? Где нужно получить разрешение, чтобы начать работать программистом в четырнадцать? И чего не стоит делать родителям при воспитании детей?Сегодня с нами проветривается Георгий Бугаков. Жора уже два года работает в Skyeng, при том что в июне он закончил девятый класс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

5 месяцев, 1 неделя назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост 6 месяцев, 2 недели назад
Трудная проблема сознания. Как научить машину думать
Трудная проблема сознания. Как научить машину думать Трудная проблема сознания. Как научить машину думать

Каково написать первую программу гусиным пером в мире, где нет даже электрических лампочек, о чем мечтали отцы кибернетики, когда создавали математическую модель нейрона, и чего мы сами ждем от чипов Neuralink— в заключительном эпизоде первого сезона, где гении пьют виски на даче, макаки играют в пинг-понг без рук, роботы лечат малярию и все очень много мечтают. Этот подкаст мы делаем вместе со SberDevices

6 месяцев, 2 недели назад @ nowyouarehere.libsyn.com
Моральная машина. Зачем нейросети совесть
Моральная машина. Зачем нейросети совесть Моральная машина. Зачем нейросети совесть

Откуда у алгоритмов загоны и предрассудки, как роботам решать дилему вагонетки, и что нейросеть понимает про семейные ценности — в эпизоде, где спящие люди тихо едут на Теслах из киберпанка в киберкоммунизм. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

7 месяцев, 1 неделя назад @ nowyouarehere.libsyn.com
Сам ты нейросеть. Как устроено машинное обучение
Сам ты нейросеть. Как устроено машинное обучение Сам ты нейросеть. Как устроено машинное обучение

Почему алгоритмы начали сами повторять достижения человечества, как научились предсказывать изобретения и что общего у малыша на карусели и нейросети GPT3. Этот подкаст мы делаем вместе со SberDevices Подкаст Ивана Ямщикова "Проветримся" https://www.patreon.com/progulka Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

7 месяцев, 3 недели назад @ nowyouarehere.libsyn.com
Что чувствует эмоциональный ИИ
Что чувствует эмоциональный ИИ Что чувствует эмоциональный ИИ

Как машины читают то, что у вас на лице написано, решают дилемму покерфейса, предсказывают выгорание и учатся испытывать эмоции сами. Этот подкаст мы делаем вместе со SberDevices Эпизод подкаста "Запуск завтра" про Давида Яна https://zapuskzavtra.libsyn.com/i7pyit9e0q2o Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

8 месяцев, 1 неделя назад @ nowyouarehere.libsyn.com
На человеческом уровне. Зачем мы учим машины играть
На человеческом уровне. Зачем мы учим машины играть На человеческом уровне. Зачем мы учим машины играть

В этом эпизоде мы расскажем, что может нейросеть, которая провела две тысячи лет в Доте, как четыре бота сломали прятки и почему машинам нужно самоутвержаться за счет гроссмейстеров. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

8 месяцев, 3 недели назад @ nowyouarehere.libsyn.com
Нейросети и творчество. На что способны алгоритмы-художники
Нейросети и творчество. На что способны алгоритмы-художники Нейросети и творчество. На что способны алгоритмы-художники

В этом эпизоде мы разбираемся, зачем человеку роботы, которые могут воображать котов, писать небылицы, импровизировать в стиле Баха и писать стихи из поисковых запросов. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

9 месяцев назад @ nowyouarehere.libsyn.com
Вам это понравится. Как алгоритмы воспринимают человека
Вам это понравится. Как алгоритмы воспринимают человека Вам это понравится. Как алгоритмы воспринимают человека

Как машины пытаются составить портрет человека по его кликам и лайкам, какие выводы о нем делают по чеку из магазина и почему вам лучше не знать, какой вы фрукт – в новом выпуске «Вы находитесь здесь». Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

9 месяцев, 2 недели назад @ nowyouarehere.libsyn.com
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 1 неделя, 6 дней назад
Humans as Robot Caretakers
Humans as Robot Caretakers Humans as Robot Caretakers

HitchBOT was an experiment in stewardship: A small, rudimentary robot unable to move on its own, depending on the kindness of passersby to help it along its journey. Until it met an untimely end. Trust is a two-way street, and because robots are not powered by their own moral code, they rely on humans to supply both empathy and support. Dr. Frauke Zeller shares HitchBOT’s origin story. Eli Schwartz recounts his heartbreak upon learning what happened in Philadelphia. Dr. Julie Carpenter analyzes why it all went down. And Georgia Guthrie epitomizes the outpouring of sympathy that followed. Together, they tell a layered story about humans, and how we respond to robots. With HitchBOT, we find a…

1 неделя, 6 дней назад @ redhat.com
Robot as Body
Robot as Body Robot as Body

For years, prosthetic technology focused on form over function, on masking lost limbs, rather than agency and usability. But things are changing. Innovations in robotics are giving more people more options, with lower thresholds of entry—and lower price tags, too. Tilly Lockey takes us through her journey with prosthetic arms. Brian Schulz gives some history of mechanical prosthetics, and what it means for people to reach embodiment with their devices. Tyler Hayes talks about the software that made advancements in assistive technology possible. Charlie Kemp discusses his work building universal robot interfaces, and how they can benefit everyone. And Henry and Jane Evans explain how robots …

3 недели, 6 дней назад @ redhat.com
From Compiler: Do We Want A World Without Technical Debt?
From Compiler: Do We Want A World Without Technical Debt? From Compiler: Do We Want A World Without Technical Debt?

Who says tech talk has to be boring? On Compiler, we dig into tech topics big, small, and strange. We talk to people who know the code, and bring their perspectives back to you. Intrigued? Here's a preview episode.Software development teams often reach a crossroads. Should they perform maintenance and address bug issues, or add new features to satisfy users? The former isn’t as exciting, but sometimes the most important work is invisible to those who reap the benefits. For now, the project has been released, and everyone wants to celebrate. But there’s an elephant in the room, one that teams can ignore—at least, for a while. In this episode of Compiler, we unpack the concept of technical de…

1 месяц назад @ redhat.com
Robot as Humanoid
Robot as Humanoid Robot as Humanoid

It’s hard enough to make a functional, reliable robot. Many people also want to make those robots in our image. That’s a tough needle to thread. Often, the most efficient design isn’t the most human-like one. But that isn’t stopping us from reaching for those humanoid robots. Professor Shigeki Sugano argues in favor of creating human-shaped robots. But it’s such an enduring challenge, we’ve come up with a name for it: the uncanny valley. Evan Ackerman walks us through the uncanny valley’s treacherous terrain. Deanna Dezern shares how she’s connected to her robot companion. And Dor Skuler explains how he deliberately avoided making his robots look like humans.If you want to read up on some o…

1 месяц, 1 неделя назад @ redhat.com
Robot as Maker
Robot as Maker Robot as Maker

One of the first functional robots appeared on TV in 1966. That’s earlier than some of us expect. The Unimate’s televised premiere sparked the world’s imagination. It represented a host of possibilities. Those possibilities, however, also implied a coming competition that would last for decades. Dag Spicer tells the story of the Unimate, the first industrial robot—and how little the American public trusted it. But that distrust wasn’t universal. Tomonori Sanada explains how the Unimate was received very differently in Japan. Joe Campbell describes the dangers of working alongside industrial robots. But he’s working to change that with cobots. And Paul Shoup shares how his company, employees…

1 месяц, 3 недели назад @ redhat.com
Robot as Software
Robot as Software Robot as Software

Building a physical robot isn’t cheap—even when it’s the final version. Designing a robot and testing it over and over again? That takes a lot of tries. And likely more than a few failures on the way to success. Luckily, simulation software is reducing the scrap heap—and bringing down the costs of building robots from the ground up. Kevin Knoedler shares how simulation software allows him to program and design robots from home. And even though he doesn’t have the budget or support of major research institutions like DARPA, his robots still end up winning major competitions. Evan Ackerman points out that winning those competitions takes a lot of skills. But amateurs have more ways than ever …

2 месяца, 1 неделя назад @ redhat.com
Robot as Servant
Robot as Servant Robot as Servant

The 1980s promised robotic servants were in reach. They’d clean up our houses. Bring us drinks. Usher in an era of leisure. We didn’t get robot butlers. But if we look around, we’ll find an army of robotic servants already automating away domestic drudgery. Richard Rowland recounts the extent to which Androbot over-promised on its ability to build a robot servant. 40 years later, we still don’t have robot maids. Monroe Kennedy III walks us through the complexities of seemingly simple tasks. To make things more difficult, each attempt to build a robot had to build the hardware AND write the code from scratch. Keenan Wyrobek explains that’s why he helped write and share the Robot Operating Sy…

2 месяца, 3 недели назад @ redhat.com
Command Line Heroes Season 8: Broadcasting the Robot Revolution
Command Line Heroes Season 8: Broadcasting the Robot Revolution Command Line Heroes Season 8: Broadcasting the Robot Revolution

Robots have a special place in our imaginations. Writers, artists, directors, and more have shown how robots can change our world—for better or far, far worse. In the real world, robots seem a long way off. But are they? Season 8 of Command Line Heroes is all about the rise of the robots. They just may not be what you expect. We meet the first industrial robot, take a journey through the uncanny valley, and investigate a possible robot crime. Season 8 covers the robots that are in our midst—and the determined dreamers who bring them to life. The first episode drops September 7, 2021. Follow today and sign up for the newsletter to get the latest updates.

3 месяца, 1 неделя назад @ redhat.com
After the Bubble
After the Bubble After the Bubble

The Y2K bug generated a lot of fear, but all that hype fizzled when the new millennium didn’t start with a digital apocalypse. It turns out that fear was just aimed at the wrong catastrophe. While plenty were riding high on the rise of the internet beyond the Y2K scare, another disaster had been brewing since 1995—and would bring them back down. But the dot-com bubble wasn’t the end. The internet was here to stay. Not long after the turn of the millennium, the dot-com economy collapsed. Peter Relan points to the flawed business plans that fueled the dot-com bubble, and how many entrepreneurs and investors underestimated the complexity of building a business on the internet. Ernie Smith tell…

5 месяцев назад @ commandlineheroes.simplecast.com
The World of the World Wide Web
The World of the World Wide Web The World of the World Wide Web

1995 laid the groundwork for a truly global World Wide Web. But not every country took the same path to connecting to the internet. Some resisted, wanting to create their own version. Others had to fight for access, not wanting to be left behind. And while we made huge strides in connecting the world in those early years, we still have a long way to go. Julien Mailland recounts the rollout of France’s Minitel service—how it was years ahead of the internet, but eventually lost its lead. Steve Goldstein explains what was involved in building the infrastructure to expand the NSFNET beyond the United States. Gianluigi Negro shares how China pushed for its connection, and how different it would …

5 месяцев, 2 недели назад @ redhat.com
Looking for Search
Looking for Search Looking for Search

The web was growing quickly in the ‘90s. But all that growth wasn’t going to lead to much if people couldn’t actually find any web sites. In 1995, an innovative new tool started crawling the web. And the search engine it fed opened the doors to the World Wide Web. Elizabeth Van Couvering describes trying to find websites before search engines, and how difficult it was becoming in the early ’90s to keep track of them all. Louis Monier talks about having to convince others how important search engines would become—and he showed them what a web crawler could do. Paul Cormier recounts taking the search engine from a research project to a commercial one. And Richard Seltzer wrote the book on sea…

6 месяцев назад @ redhat.com
Shopping for the Web
Shopping for the Web Shopping for the Web

We put a lot of trust into online shopping: sharing our names, addresses, and handing over money. In return, we have faith that the purchased item appears at our doorstep in a few days or weeks. That trust didn’t come easily. In 1995, we took our first steps out of the brick and mortar store to load our digital shopping cart. Robert Spector reveals how Amazon.com’s business foundations are in data—and being early to the internet. Sandeep Krishnamurthy recounts the rise of eBay. Angela Robinson describes the technology that makes secure transactions and trustworthy e-commerce possible. Kartik Shastri shares how difficult it was to store and process consumer data. And Katie Wilson explains ho…

6 месяцев, 2 недели назад @ redhat.com
Web UX Begins
Web UX Begins Web UX Begins

Looking at the internet in 1995 is like looking back at awkward grade school yearbooks—all the weirdness and flaws stand out in stark contrast to what it’s grown into since. And web design took awhile to become a career—but it got a big boost in 1995. When the Batman Forever website launched to promote the movie, it showed people what was possible on the web. And it forever changed what we’d expect from a website. Jay Hoffmann describes the quirky designs of the early web. Richard Vijgen explains how we went from a lack of conventions to a homogenized web. Jeffrey Zeldman recounts building the Batman Forever movie’s website—and sowing the seeds of professional web design. Jessica Helfand ou…

6 месяцев, 4 недели назад @ redhat.com
A Language for the Web
A Language for the Web A Language for the Web

The Hypertext Markup Language (HTML) gave everyone a foundation for building and viewing the World Wide Web. In 1995, its standardization led to dominance. Its simplicity helped it spread. And its solid common foundation helped shape the internet. Dr. Belinda Barnet explains what kind of framework was initially needed to build and navigate the Web. Jeff Veen describes the three ingredients Tim Berners-Lee combined to create HTML: the ideal language for the Web. Gavin Nicol recounts the need to standardize the quickly-growing language. And Gretchen McCulloch points out how HTML instills an inherent bias for English speakers to develop for the web.If you want to read up on some of our researc…

7 месяцев, 1 неделя назад @ redhat.com
From NSF to ISP
From NSF to ISP From NSF to ISP

1995 was the year that ISPs became the dominant gateway to the information superhighway. But how’d we go from ARPANET all the way to that? It turns out, none of it would have happened without a team of intrepid engineers at the University of Michigan.Marc Weber tells us how a tension between academics and the military set the next evolution of the ARPANET. Douglas Van Houweling discusses the work his MERIT team did at the University of Michigan to build the national backbone of the NSFNET. Elise Gerich, MERIT’s systems manager, talks about how they made the leap from a T1 connection to a T3 to handle traffic from their growing network. And Janet Abbate emphasizes how all this set the stage …

7 месяцев, 3 недели назад @ redhat.com
Python Bytes Python Bytes
последний пост 6 дней, 3 часа назад
#260 It's brutally simple: made just from pickle and zip
#260 It's brutally simple: made just from pickle and zip 6 дней, 3 часа назад @ pythonbytes.fm
#259 That argument is a little late-bound
#259 That argument is a little late-bound 1 неделя, 5 дней назад @ pythonbytes.fm
#258 Python built us an anime dog!
#258 Python built us an anime dog! 2 недели, 4 дня назад @ pythonbytes.fm
#257 Python Launcher - Launching Python Everywhere
#257 Python Launcher - Launching Python Everywhere 3 недели, 4 дня назад @ pythonbytes.fm
#256 And the best open source project prize goes to ...
#256 And the best open source project prize goes to ... 1 месяц назад @ pythonbytes.fm
#255 Closember eve, the cure for Hacktoberfest?
#255 Closember eve, the cure for Hacktoberfest? 1 месяц, 1 неделя назад @ pythonbytes.fm
#254 Do Excel things, get notebook Python code with Mito
#254 Do Excel things, get notebook Python code with Mito 1 месяц, 2 недели назад @ pythonbytes.fm
#253 A new Python for you, and for everyone!
#253 A new Python for you, and for everyone! 1 месяц, 3 недели назад @ pythonbytes.fm
#252 Jupyter is now a desktop app!
#252 Jupyter is now a desktop app! 2 месяца назад @ pythonbytes.fm
#251 A 95% complete episode (wait for it)
#251 A 95% complete episode (wait for it) 2 месяца, 1 неделя назад @ pythonbytes.fm
#250 skorch your scikit-learn together with PyTorch
#250 skorch your scikit-learn together with PyTorch 2 месяца, 2 недели назад @ pythonbytes.fm
#249 All of Linux as a Python API
#249 All of Linux as a Python API 2 месяца, 3 недели назад @ pythonbytes.fm
#248 while True: stand up, sit down
#248 while True: stand up, sit down

**Watch the live stream:** [ ![Watch this episode on YouTube](/episodes/youtube_image/eIEGTZnsyCg) __ Play on YouTube ](https://www.youtube.com/watch?v=eIEGTZnsyCg) **About the show**

2 месяца, 4 недели назад @ pythonbytes.fm
#247 Do you dare to press "."?
#247 Do you dare to press "."? 3 месяца назад @ pythonbytes.fm
#246 Love your crashes, use Rich to beautify tracebacks
#246 Love your crashes, use Rich to beautify tracebacks

**Watch the live stream:** [ ![Watch this episode on YouTube](/episodes/youtube_image/I_F9YSiLSaI) __ Play on YouTube ](https://www.youtube.com/watch?v=I_F9YSiLSaI) **About the show**

3 месяца, 2 недели назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 4 дня, 18 часов назад
Nuxt.js with Alex Lichter
Nuxt.js with Alex Lichter

When creating a website, there’s no shortage of choices for how to do it. Builders must make strategic decisions about the language or framework they want to adopt. An important first consideration for many is selecting a web application framework like React or Vue. Motivated by a low page response time and good user experience,

The post Nuxt.js with Alex Lichter appeared first on Software Engineering Daily.

4 дня, 18 часов назад @ softwareengineeringdaily.com
Metaplane with Kevin Hu
Metaplane with Kevin Hu

Application observability is a fairly mature area. Engineering teams have a wide selection of tools they can choose to adopt and a significant amount of thought leadership and philosophy already exists giving guidance for managing your application. That application is going to persist data. As you scale up, your system is invariably going to experience

The post Metaplane with Kevin Hu appeared first on Software Engineering Daily.

5 дней, 4 часа назад @ softwareengineeringdaily.com
Risk and Compliance with Terry O’Daniel
Risk and Compliance with Terry O’Daniel

Consumers are increasingly becoming aware of how detrimental it can be when companies mismanage data. This demand has fueled regulations, defined standards, and applied pressure to companies. Modern enterprises need to consider corporate risk management and regulatory compliance. In this interview, I speak with Terry O’Daniels, Director of Engineering (Risk & Compliance) at Instacart. Sponsorship

The post Risk and Compliance with Terry O’Daniel appeared first on Software Engineering Daily.

6 дней, 8 часов назад @ softwareengineeringdaily.com
Software Engineering at Google with Titus Winters
Software Engineering at Google with Titus Winters

Thanks to the amazing books, blogs, videos, quickstarts, frameworks, and other software-related resources, getting started as a software engineer is easier than ever. Although you can get started in a day, it can take years to become a master of the craft and most practitioners describe it as a profession of lifelong learning. Titus Winters

The post Software Engineering at Google with Titus Winters appeared first on Software Engineering Daily.

1 неделя, 2 дня назад @ softwareengineeringdaily.com
Building Engineering Teams with Tramale Turner
Building Engineering Teams with Tramale Turner

With a few impressive exceptions, software is rarely written by one person. It takes a team and as that team outgrows a single shared office, coordination and communication become emergent problems. There are lots of lessons to be learned from companies that have already found approaches that scale. In this episode, I interview Tramale Turner,

The post Building Engineering Teams with Tramale Turner appeared first on Software Engineering Daily.

1 неделя, 3 дня назад @ softwareengineeringdaily.com
Deploying Computer Vision to the Edge at Anduril Industries with Forrest Iandola
Deploying Computer Vision to the Edge at Anduril Industries with Forrest Iandola

Neural networks, in particular, deep neural networks have revolutionized machine learning. Researchers and companies have pushed on the efficiency of every aspect of the machine learning lifecycle. The impact of the trained models is particularly significant for computer vision and in turn for autonomous driving and security systems. In this episode, I interview Forrest Iandola,

The post Deploying Computer Vision to the Edge at Anduril Industries with Forrest Iandola appeared first on Software Engineering Daily.

1 неделя, 4 дня назад @ softwareengineeringdaily.com
Yotascale with Jake Reichert
Yotascale with Jake Reichert

Modern businesses run on the cloud and increasingly so they run on multi-cloud infrastructure. As any growing company can tell you, cloud costs can easily run far out of control. Today’s enterprises are trying to deliver new products and services at a fast pace. That needs to be done in a cost-effective, ideally cloud-agnostic way.

The post Yotascale with Jake Reichert appeared first on Software Engineering Daily.

1 неделя, 6 дней назад @ softwareengineeringdaily.com
Grace Gong said she thought I could be president and then she disappeared.
Grace Gong said she thought I could be president and then she disappeared.

I call my friends at Pal Jazeera to action.

The post Grace Gong said she thought I could be president and then she disappeared. appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
WOTC rhymes with
WOTC rhymes with

– pope smoke

The post WOTC rhymes with appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
in other old news (Bryan Hubble) Supercompute, Inc makes bid to acquire Hasbro for an eigth of shitty marijuanda
in other old news (Bryan Hubble) Supercompute, Inc makes bid to acquire Hasbro for an eigth of shitty marijuanda

The post in other old news (Bryan Hubble) Supercompute, Inc makes bid to acquire Hasbro for an eigth of shitty marijuanda appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
The incrimination will not stop until Sunday is reclaimed.
The incrimination will not stop until Sunday is reclaimed.

Gadiel is my best friend. I will find what happened to him at all costs.

The post The incrimination will not stop until Sunday is reclaimed. appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
Special Thanks to University of Texas at Austin (especially Mike Scott and Lorenzo Alvisi)
Special Thanks to University of Texas at Austin (especially Mike Scott and Lorenzo Alvisi)

education arrives in strange forms

The post Special Thanks to University of Texas at Austin (especially Mike Scott and Lorenzo Alvisi) appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
sed makes bid to acquire club’s house poker room and casino-style restaurant
sed makes bid to acquire club’s house poker room and casino-style restaurant

CONS lmao UT AUSTIN FOREVER WHAT STARTS HERE PWNS LESLIE LAMP-Portz I like YT Music, Spotify, Apple Muzic, etc idk what erlang is and do not really want to – llamao GG (you lose) I love grace gong – $U$ -+ . …. . =+=S+++= / . $_$ The post sed makes bid to acquire club’s house poker room and casino-style restaurant appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
hand sanitizer is probably also for your phone
hand sanitizer is probably also for your phone

plastic plants can affect electronics

The post hand sanitizer is probably also for your phone appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
I believe Germany won WWII then enslaved China. Let’s find out.
I believe Germany won WWII then enslaved China. Let’s find out.

This should be an interesting puzzle to solve.

The post I believe Germany won WWII then enslaved China. Let’s find out. appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com