Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 3 дня, 20 часов назад
Commitment to Craft
Commitment to Craft Commitment to Craft

Ari Balogh, CTO at Airbnb, shares how striving towards excellence has served us well in a time of uncertainty.If you’ve ever been part of a startup, you understand the importance of speed. Sometimes it feels like nothing else matters, since getting your products to market quickly can determine whether you survive. When Airbnb was an emerging company with a radical new vision for travel, we often had to prioritize speed in making tough engineering tradeoffs.These decisions paid off, and Airbnb grew into a platform that supports millions of Hosts and Guests globally. Now, in addition to delivering fast, our success depends on providing an experience of exceptional quality that considers every…

3 дня, 20 часов назад @ medium.com
Automating Data Protection at Scale, Part 1
Automating Data Protection at Scale, Part 1 Automating Data Protection at Scale, Part 1

Part one of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at Airbnb.Elizabeth Nammour, Wendy Jin, Shengpu LiuOur community of hosts and guests trust that we will keep their data safe and honor their privacy rights. With frequent news reports of data security breaches, coupled with global regulations and security requirements, monitoring and protecting data has become an even more critical problem to solve.At Airbnb, data is collected, stored, and propagated across different data stores and infrastructures, making it hard to rely on engineers to manually keep track of how user and sensitive data flows through our environment. …

5 дней, 20 часов назад @ medium.com
Task-Oriented Conversational AI in Airbnb Customer Support
Task-Oriented Conversational AI in Airbnb Customer Support Task-Oriented Conversational AI in Airbnb Customer Support

How Airbnb is powering automated support to enhance the host and guest experienceGavin Li, Mia ZhaoCustomer Support (CS) can make or break a guest’s travel experience. To support Airbnb’s community of guests and Hosts, we have been investing heavily in developing intelligent CS solutions leveraging state-of-the-art natural language processing (NLP), machine learning (ML), and artificial intelligence (AI) technologies.In this blog post, we’ll introduce the automated support system at Airbnb, which employs the latest task-oriented conversational AI technology, through the lens of a recently launched feature called Mutual Cancellation. We will describe in detail how we framed the business prob…

1 месяц, 1 неделя назад @ medium.com
How Airbnb Built “Wall” to prevent data bugs
How Airbnb Built “Wall” to prevent data bugs How Airbnb Built “Wall” to prevent data bugs

Gaining trust in data with extensive data quality, accuracy and anomaly checksAs shared in our Data Quality Initiative post, Airbnb has embarked on a project of massive scale to ensure trustworthy data across the company. To enable employees to make faster decisions with data and provide better support for business metric monitoring, we introduced Midas, an analytical data certification process that certifies all important metrics and data sets. As part of that process, we made robust data quality checks and anomaly detection mandatory requirements to prevent data bugs propagating through the data warehouse. We also created guidelines on which specific data quality checks need to be impleme…

1 месяц, 2 недели назад @ medium.com
Using Sentiment Score to Assess Customer Service Quality
Using Sentiment Score to Assess Customer Service Quality Using Sentiment Score to Assess Customer Service Quality

How AI-based Sentiment Models Complement Net Promoter ScoreBy Shuai Shao, Mia Zhao, Yuanyuan NiNet Promoter Score (NPS) is a well-accepted measurement of customer satisfaction in most customer-facing industries. We leverage NPS at Airbnb to help measure how well we serve our community of guests and hosts through our customer service. But NPS has two major drawbacks: 1) NPS is sparse, given only a fraction of users respond to the survey, and 2) NPS is slow. It takes at least a week for results to show up. Airbnb uses A/B testing heavily across our core products and customer service offerings. In the A/B testing world, the longer it takes to see results and interpret experiments, the longer i…

1 месяц, 3 недели назад @ medium.com
How Airbnb Measures Future Value to Standardize Tradeoffs
How Airbnb Measures Future Value to Standardize Tradeoffs How Airbnb Measures Future Value to Standardize Tradeoffs

The propensity score matching model powering how we optimize for long-term decision-makingBy Mitra Akhtari, Jenny Chen, Amelia Lemionet, Dan Nguyen, Hassan Obeid, Yunshan ZhuAt Airbnb, we have a vision to build a 21st century company by operating over an infinite time horizon and balancing the interests of all stakeholders. To do so effectively, we need to be able to compare, in a common currency, both the short and long-term value of actions and events that take place on our platform. These actions could be a guest making a booking or a host adding amenities to their listing, to name just two examples.Though randomized experiments measure the initial impact of some of these actions, others…

2 месяца, 1 неделя назад @ medium.com
A Deep Dive into Airbnb’s Server-Driven UI System
A Deep Dive into Airbnb’s Server-Driven UI System A Deep Dive into Airbnb’s Server-Driven UI System

How Airbnb ships features faster across web, iOS, and Android using a server-driven UI system named Ghost Platform 👻.By Ryan BrooksBackground: Server-Driven UIBefore we dive into Airbnb’s implementation of server-driven UI (SDUI), it’s important to understand the general idea of SDUI and how it provides an advantage over traditional client-driven UI.In a traditional world, data is driven by the backend and the UI is driven by each client (web, iOS, and Android). As an example, let’s take Airbnb’s listing page. To show our users a listing, we might request listing data from the backend. Upon receiving this listing data, the client transforms that data into UI.This comes with a few issues. Fi…

2 месяца, 3 недели назад @ medium.com
Building an Inclusive Codebase
Building an Inclusive Codebase Building an Inclusive Codebase

Our playbook for driving down non-inclusive terminologyBy: Michael Bachand, Amanda Vawter, Dan Federman, Jake Silver, Julia Wang, Mark TaiCode is our craft. At Airbnb, we view our code and product as a reflection of our values. Each developer imbues their work with a piece of themselves. We want all engineers to be proud of the codebase in which they work and the systems that they use every day.We want to share with you some of the work that we are doing at Airbnb to build an inclusive engineering culture. We hope that sharing our story may energize and bolster similar efforts to eliminate non-inclusive terminology throughout the industry.Bootstrapping ChangeAirbnb’s mission is to create a …

3 месяца назад @ medium.com
How Airbnb Standardized Metric Computation at Scale
How Airbnb Standardized Metric Computation at Scale How Airbnb Standardized Metric Computation at Scale

Metric Infrastructure with Minerva @ AirbnbPart II: The six design principles of Minerva compute infrastructureBy: Amit Pahwa, Cristian Figueroa, Donghan Zhang, Haim Grosman, John Bodley, Jonathan Parks, Maggie Zhu, Philip Weiss, Robert Chang, Shao Xie, Sylvia Tomiyama, Xiaohui SunIntroductionAs described in the first post of this series, Airbnb invested significantly in building Minerva, a single source of truth metric platform that standardizes the way business metrics are created, computed, served, and consumed. We spent years iterating toward the right metric infrastructure and designing the right user experience. Because of this multi-year investment, when Airbnb’s business was severel…

3 месяца, 2 недели назад @ medium.com
Building a faster web experience with the postTask scheduler
Building a faster web experience with the postTask scheduler Building a faster web experience with the postTask scheduler

Building a Faster Web Experience with the postTask SchedulerWhen was the last time you opened a page on a website and tried to click on something multiple times for it to work? Or the last time you swiped on an image in a carousel and it stuttered and shifted around unnaturally?While this type of experience happens far too often, we can use tools that can help us make better, more responsive experiences for users. Scheduling and prioritizing tasks efficiently can be the difference between a responsive experience and one that feels sluggish.At Airbnb, we’ve been collaborating with the Chrome team on improving performance using a prioritized task scheduler to implement new patterns and improv…

4 месяца назад @ medium.com
Airbnb’s Promotions and Communications Platform
Airbnb’s Promotions and Communications Platform Airbnb’s Promotions and Communications Platform

OMNI is an intuitive, homegrown platform that supports message creation, processing, and distribution to engage our guests and hosts at the right time and on the right channels.By Paritosh Aggarwal and Henry WuIntroductionAirbnb is a busy marketplace with millions of active users across the globe. Billions of messages are exchanged each year — both between Airbnb and our users, and between our host and guest communities. To facilitate the scaling of these messages, we invested in building a reliable, scalable, and cost-effective communication platform.The Promotions and Communications Platform (internally called “OMNI”) forms a core pillar of Marketing Technology at Airbnb. Marketing Techno…

4 месяца, 1 неделя назад @ medium.com
How does Airbnb track and measure growth marketing?
How does Airbnb track and measure growth marketing? How does Airbnb track and measure growth marketing?

By: Jing Guo, Henry Wu, Abhrajit Mukherjee, Shike MeiIntroductionAirbnb’s mission is to “Create a world where anyone can belong anywhere.” This message is delivered to people all around the world through marketing, e.g., See What’s Possible When It’s Made Possible by Hosts. It helps Airbnb connect guests and hosts to build a strong community, and undoubtedly contributes to the impressive growth of the company.Figure 1. Airbnb Marketing DomainsMarketing at Airbnb is exciting — it presents challenges on numerous fronts, one of which is accounting for campaign tracking across the different ad platforms (see Figure 1). Tracking enables the Marketing team to have the full capability to analyze t…

4 месяца, 2 недели назад @ medium.com
How Airbnb Achieved Metric Consistency at Scale
How Airbnb Achieved Metric Consistency at Scale How Airbnb Achieved Metric Consistency at Scale

Data is the voice of our users at scale. In the midst of the COVID-19 pandemic, we saw that travel with Airbnb has become hyper-local.Part-I: Introducing Minerva — Airbnb’s Metric PlatformAuthors: Robert Chang, Amit Pahwa, Shao XieIntroductionAt Airbnb, we lean on data to inform our critical decisions. We validate product ideas through randomized controlled experiments, and we track our business performance rigorously to ensure that we maximize values for our stakeholders. To achieve these goals, we needed to build a robust data platform that serves the internal users’ end-to-end needs.While we have previously shared how we ingest data into our data warehouse and how to enable users to cond…

4 месяца, 3 недели назад @ medium.com
Himeji: A Scalable Centralized System for Authorization at Airbnb
Himeji: A Scalable Centralized System for Authorization at Airbnb Himeji: A Scalable Centralized System for Authorization at Airbnb

by Alan Yao, Dipak Pawar, Blair Wu, and Abhishek ParmarThe ProblemOver the last couple of years, Airbnb engineering moved from a monolithic Ruby on Rails architecture to a service oriented architecture. In our Rails architecture, we had an API per resource to access the underlying data. These APIs had authorization checks to protect sensitive data. As there was a single way to access a resource’s data, managing these checks was easy. In the transition to SOA, we moved to a layered architecture where there are data services that wrap databases and presentation services hydrating from multiple data services. The initial approach to moving the permission checks from monolith to SOA was to move…

5 месяцев назад @ medium.com
Achieving Insights and Savings with Cost Data
Achieving Insights and Savings with Cost Data Achieving Insights and Savings with Cost Data

The path to cloud efficiency begins with a cost data foundationby Anna Matlin and Tamar EtermanIntroductionBusiness profitability and sustainability are powerful reasons to invest in infrastructure efficiency, but it is easy to feel lost about how to actually reduce costs. A foundation of robust and actionable data is essential for a successful efficiency program. At Airbnb, building this foundation made it possible to prioritize savings opportunities and ushered in a wave of cost reductions, summarized in a previous post.More importantly, cost data has become a lever for long-term control. The team can react quickly before a spike wreaks havoc on the monthly bill and plan ahead when a big …

5 месяцев, 1 неделя назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 4 дня, 23 часа назад
Practical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation Operations
Practical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation Operations Practical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation Operations

By Ricky Gardiner, Alex BorysovBackgroundIn our previous post, we discussed how we utilize FieldMask as a solution when designing our APIs so that consumers can request the data they need when fetched via gRPC. In this blog post we will continue to cover how Netflix Studio Engineering uses FieldMask for mutation operations such as update and remove.Example: Netflix Studio ProductionMoney Heist (La casa de papel) / NetflixPreviously we outlined what a Production is and how the Production Service makes gRPC calls to other microservices such as the Schedule Service and Script Service to retrieve schedules and scripts (aka screenplay) for a particular production such as La Casa De Papel. We can…

4 дня, 23 часа назад @ netflixtechblog.com
The Show Must Go On: Securing Netflix Studios At Scale
The Show Must Go On: Securing Netflix Studios At Scale The Show Must Go On: Securing Netflix Studios At Scale

Written by Jose Fernandez, Arthur Gonigberg, Julia Knecht, and Patrick ThomasIn 2017, Netflix Studios was hitting an inflection point from a period of merely rapid growth to the sort of explosive growth that throws “how do we scale?” into every conversation. The vision was to create a “Studio in the Cloud”, with applications supporting every part of the business from pitch to play. The security team was working diligently to support this effort, faced with two apparently contradictory priorities:1) streamline any security processes so that we could get applications built and deployed to the public internet faster2) raise the overall security bar so that the accumulated risk of this giant an…

6 дней, 20 часов назад @ netflixtechblog.com
Decision Making at Netflix
Decision Making at Netflix Decision Making at Netflix

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis introduction is the first in a multi-part series on how Netflix uses A/B tests to make decisions that continuously improve our products, so we can deliver more joy and satisfaction to our members. Subsequent posts will cover the basic statistical concepts underpinning A/B tests, the role of experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.Netflix was created with the idea of putting consumer choice and control at the center of the entertainment experience, and as a company…

1 неделя, 5 дней назад @ netflixtechblog.com
Practical API Design at Netflix, Part 1: Using Protobuf FieldMask
Practical API Design at Netflix, Part 1: Using Protobuf FieldMask Practical API Design at Netflix, Part 1: Using Protobuf FieldMask

By Alex Borysov, Ricky GardinerBackgroundAt Netflix, we heavily use gRPC for the purpose of backend to backend communication. When we process a request it is often beneficial to know which fields the caller is interested in and which ones they ignore. Some response fields can be expensive to compute, some fields can require remote calls to other services. Remote calls are never free; they impose extra latency, increase probability of an error, and consume network bandwidth. How can we understand which fields the caller doesn’t need to be supplied in the response, so we can avoid making unnecessary computations and remove calls? With GraphQL this comes out of the box through the use of field…

2 недели, 2 дня назад @ netflixtechblog.com
Towards a Reliable Device Management Platform
Towards a Reliable Device Management Platform Towards a Reliable Device Management Platform

By Benson Ma, Alok AhujaIntroductionAt Netflix, hundreds of different device types, from streaming sticks to smart TVs, are tested every day through automation to ensure that new software releases continue to deliver the quality of the Netflix experience that our customers enjoy. In addition, Netflix continuously works with its partners (such as Roku, Samsung, LG, Amazon) to port the Netflix SDK to their new and upcoming devices (TVs, smart boxes, etc), to ensure the quality bar is reached before allowing the Netflix application on the device to go out into the world. The Partner Infrastructure team at Netflix provides solutions to support these two significant efforts by enabling device ma…

2 недели, 6 дней назад @ netflixtechblog.com
Data Movement in Netflix Studio via Data Mesh
Data Movement in Netflix Studio via Data Mesh Data Movement in Netflix Studio via Data Mesh

By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng ZengBackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces many interesting challenges; one of the challenges is how to provide visibility of Studio data across multiple phases and systems to facilitate operational excellence and empower decision making. Netflix is known for its loosely coupled microservice architecture and with a global studio footprint, s…

1 месяц, 3 недели назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Kevin Wylie
Data Engineers of Netflix — Interview with Kevin Wylie Data Engineers of Netflix — Interview with Kevin Wylie

Data Engineers of Netflix — Interview with Kevin WylieThis post is part of our “Data Engineers of Netflix” series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Kevin WylieKevin Wylie is a Data Engineer on the Content Data Science and Engineering team. In this post, Kevin talks about his extensive experience in content analytics at Netflix since joining more than 10 years ago.Kevin grew up in the Washington, DC area, and received his undergraduate degree in Mathematics from Virginia Tech. Before joining Netflix, he worked at MySpace, helping implement page categorization, pathing analysis, sessionization, and more. In his free time he enjoys garde…

2 месяца назад @ netflixtechblog.com
Exploring Data @ Netflix
Exploring Data @ Netflix Exploring Data @ Netflix

By Gim Mahasintunan on behalf of Data Platform Engineering.Supporting a rapidly growing base of engineers of varied backgrounds using different data stores can be challenging in any organization. Netflix’s internal teams strive to provide leverage by investing in easy-to-use tooling that streamlines the user experience and incorporates best practices.In this blog post, we are thrilled to share that we are open-sourcing one such tool: the Netflix Data Explorer. The Data Explorer gives our engineers fast, safe access to their data stored in Cassandra and Dynomite/Redis data stores.Netflix Data Explorer on GitHubHistoryWe began this project several years ago when we were onboarding many new Dy…

2 месяца, 3 недели назад @ netflixtechblog.com
Introducing Netflix Timed Text Authoring Lineage
Introducing Netflix Timed Text Authoring Lineage Introducing Netflix Timed Text Authoring Lineage

A Script Authoring SpecificationBy: Bhanu Srikanth, Andy Swan, Casey Wilms, Patrick PearsonThe Art of Dubbing and SubtitlingDubbing and subtitling are inherently creative processes. At Netflix, we strive to make shows as joyful to watch in every language as in the original language, whether a member watches with original or dubbed audio, closed captions, forced narratives, subtitles or any combination they prefer. Capturing creative vision and nuances in translation is critical to achieving this goal. Creating a dub or a subtitle is a complex, multi-step process that involves:Transcribing and timing the dialogue in the original language from a completed show to create a source transcription…

2 месяца, 4 недели назад @ netflixtechblog.com
How Netflix uses eBPF flow logs at scale for network insight
How Netflix uses eBPF flow logs at scale for network insight How Netflix uses eBPF flow logs at scale for network insight

By Alok Tiagi, Hariharan Ananthakrishnan, Ivan Porto Carrero and Keerti LakshminarayanNetflix has developed a network observability sidecar called Flow Exporter that uses eBPF tracepoints to capture TCP flows at near real time. At much less than 1% of CPU and memory on the instance, this highly performant sidecar provides flow data at scale for network insight.ChallengesThe cloud network infrastructure that Netflix utilizes today consists of AWS services such as VPC, DirectConnect, VPC Peering, Transit Gateways, NAT Gateways, etc and Netflix owned devices. Netflix software infrastructure is a large distributed ecosystem that consists of specialized functional tiers that are operated on the …

3 месяца, 2 недели назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Dhevi Rajendran
Data Engineers of Netflix — Interview with Dhevi Rajendran Data Engineers of Netflix — Interview with Dhevi Rajendran

Data Engineers of Netflix — Interview with Dhevi RajendranDhevi RajendranThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Dhevi Rajendran is a Data Engineer on the Growth Data Science and Engineering team. Dhevi joined Netflix in July 2020 and is one of many Data Engineers who have onboarded remotely during the pandemic. In this post, Dhevi talks about her passion for data engineering and taking on a new role during the pandemic.Before Netflix, Dhevi was a software engineer at Two Sigma, where she was most recently on a data engineering team responsible for bringing in datasets fr…

3 месяца, 2 недели назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Samuel Setegne
Data Engineers of Netflix — Interview with Samuel Setegne Data Engineers of Netflix — Interview with Samuel Setegne

Data Engineers of Netflix — Interview with Samuel SetegneSamuel SetegneThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Samuel Setegne is a Senior Software Engineer on the Core Data Science and Engineering team. Samuel and his team build tools and frameworks that support data engineering teams across Netflix. In this post, Samuel talks about his journey from being a clinical researcher to supporting data engineering teams.Samuel comes from West Philadelphia, and he received his Master’s in Biotechnology from Temple University. Before Netflix, Samuel worked at Travelers Insurance i…

3 месяца, 2 недели назад @ netflixtechblog.com
My (Seemingly) Random Walk to Netflix
My (Seemingly) Random Walk to Netflix My (Seemingly) Random Walk to Netflix

Part of our series on who works in Analytics at Netflix — and what the role entailsBy Sean Barnes, Studio Production Data Science & EngineeringI am going to tell you a story about a person that works for Netflix. That person grew up dreaming of working in the entertainment industry. They attended the University of Southern California, double majored in data science and television & film production, and graduated summa cum laude. Upon graduation, they received an offer from Netflix to become an analytics engineer, and pursue their lifelong dream of orchestrating the beautiful synergy of analytics and entertainment. Pretty straightforward, right?!Such a linear trajectory would make for a comp…

3 месяца, 3 недели назад @ netflixtechblog.com
Achieving observability in async workflows
Achieving observability in async workflows Achieving observability in async workflows

Written by Colby Callahan, Megha Manohara, and Mike Azar.Managing and operating asynchronous workflows can be difficult without the proper tools and architecture that puts observability, debugging, and tracing at the forefront.Imagine getting paged outside normal work hours — users are having trouble with the application you’re responsible for, and you start diving into logs. However, they are scattered across multiple systems, and there isn’t an easy way to tie related messages together. Once you finally find useful identifiers, you may begin writing SQL queries against your production database to find out what went wrong. You’re joining tables, resolving status types, cross-referencing da…

4 месяца, 1 неделя назад @ netflixtechblog.com
Netflix Drive
Netflix Drive Netflix Drive

A file and folder interface for Netflix Cloud ServicesWritten by Vikram Krishnamurthy, Kishore Kasi, Abhishek Kapatkar, Tejas Chopra, Prudhviraj Karumanchi, Kelsey Francis, Shailesh BirariIn this post, we are introducing Netflix Drive, a Cloud drive for media assets and providing a high level overview of some of its features and interfaces. We intend this to be a first post in a series of posts covering Netflix Drive. In the future posts, we will do an architectural deep dive into the several components of Netflix Drive.Netflix, and particularly Studio applications (and Studio in the Cloud) produce petabytes of data backed by billions of media assets. Several artists and workflows that may …

4 месяца, 2 недели назад @ netflixtechblog.com
Pinterest Engineering
последний пост 2 дня, 18 часов назад
Faster Flink adoption with self-service diagnosis tool at Pinterest
Faster Flink adoption with self-service diagnosis tool at Pinterest Faster Flink adoption with self-service diagnosis tool at Pinterest

Fanshu Jiang & Lu Niu | Software Engineers, Stream Processing Platform TeamAt Pinterest, stream data processing powers a wide range of real-time use cases. In recent years, the platform powered by Flink has proven to be of great value to the business by providing near real-time content activation and metrics reporting, with the potential to unlock more use cases in the future. However, to take advantage of that potential, we needed to address the issue of developer velocity.It can take weeks to go from writing the first line of code to a stable data flow in production. Troubleshooting and tuning Flink jobs can be particularly time-consuming, due to the number of logs and metrics to investig…

2 дня, 18 часов назад @ medium.com
Pinterest Home Feed Unified Lightweight Scoring: A Two-tower Approach
Pinterest Home Feed Unified Lightweight Scoring: A Two-tower Approach Pinterest Home Feed Unified Lightweight Scoring: A Two-tower Approach

Dafang He | Software Engineer, Home Candidate Generation; Andrew Liu | Software Engineer, Home Candidate Generation; Jay Adams | Software Engineer, InspireIntroPinterest is a place where users (Pinners) can save and discover content from both web and mobile platforms, and where increasingly Creators can publish native content right to Pinterest. We hold billions of content (Pins) in our corpus and serve personalized recommendations that inspire Pinners to create a life they love. One of the key and most complicated surfaces for Pinterest is the home feed, where Pinners will see personalized feeds based on their engagement and interests. In this blog, we will discuss how we unify our light-w…

1 неделя, 3 дня назад @ medium.com
Pinterest’s Analytics as a Platform on Druid (Part 3 of 3)
Pinterest’s Analytics as a Platform on Druid (Part 3 of 3) Pinterest’s Analytics as a Platform on Druid (Part 3 of 3)

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamThis is a three-part blog series. Click to read part 1 and part 2.In this blog post series, we are going to discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the third of the blog post series, and will discuss learnings on optimizing Druid for real-time use cases.Learnings on Optimizing Druid for Real Time Use CasesWhen we first brought Druid to Pinterest, it was mainly used to serve queries for batch ingested data. Over time, we have been shifting to a real-time based reporting system to make metrics ready for query within minutes o…

1 неделя, 5 дней назад @ medium.com
Pinterest’s Analytics as a Platform on Druid (Part 2 of 3)
Pinterest’s Analytics as a Platform on Druid (Part 2 of 3) Pinterest’s Analytics as a Platform on Druid (Part 2 of 3)

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamThis series is three parts. To read part 1, click here. Part 3 coming soon.In this blog post series, we’ll discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the second of the blog post series, and will discuss learnings on optimizing Druid for batch use cases.Learnings on Optimizing Druid for Batch Use CasesSystem VisibilityDuring the process of onboarding different use cases, we found many critical system metrics were missing in Druid. In response, we added metrics on usage of processing threads, merge buffers, rows in memory, etc.,…

3 недели, 3 дня назад @ medium.com
Pinterest’s Analytics as a Platform on Druid (Part 1 of 3)
Pinterest’s Analytics as a Platform on Druid (Part 1 of 3) Pinterest’s Analytics as a Platform on Druid (Part 1 of 3)

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Real Time Analytics TeamIn this blog post series, we’ll discuss Pinterest’s Analytics as a Platform on Druid and share some learnings on using Druid. This is the first of the blog post series with a short history on switching to Druid, system architecture with Druid, and learnings on optimizing host types for Mmap.A Short History on Switching to DruidHistorically, most of the analytical use cases in Pinterest were powered by Hbase, which was then a well-supported, key value store in the company. All the reporting metrics were precomputed in an hourly or daily batch job, transformed into a key value data mode…

1 месяц назад @ medium.com
Confiar en las métricas en Pinterest
Confiar en las métricas en Pinterest Confiar en las métricas en Pinterest

Ryan Cooke | Mánager de ingenieríaThis article was originally posted in English; read the English version here.Pinterest, como muchas empresas de tecnología, depende en gran medida de los datos para orientar la toma de decisiones e impulsar el aprendizaje automático. Esta estrategia depende fundamentalmente de que los datos sean precisos. A lo largo de los años, trabajamos para mejorar los procesos por los cuales corroboramos que podemos confiar en los datos clave para tomar decisiones y asegurarnos de que las métricas sean precisas.Cómo puede haber errores en los datosPara aquellos que no están familiarizados con las métricas, este puede parecer un problema extraño. Algo como el número de …

1 месяц, 1 неделя назад @ medium.com
Improving efficiency and reducing runtime using S3 read optimization
Improving efficiency and reducing runtime using S3 read optimization Improving efficiency and reducing runtime using S3 read optimization

Bhalchandra Pandit | Software EngineerOverviewWe describe a novel approach we took to improving S3 read throughput and how we used it to improve the efficiency of our production jobs. The results have been very encouraging. A standalone benchmark showed a 12x improvement in S3 read throughput (from 21 MB/s to 269 MB/s). Increased throughput allowed our production jobs to finish sooner. As a result, we saw 22% reduction in vcore-hours, 23% reduction in memory-hours, and similar reduction in run time of a typical production job. Although we are happy with the results, we are exploring additional enhancements in the future. They are briefly described at the end of this blog.MotivationWe proces…

1 месяц, 1 неделя назад @ medium.com
How we scaled the size of Pinterest’s ad corpus by 60x
How we scaled the size of Pinterest’s ad corpus by 60x How we scaled the size of Pinterest’s ad corpus by 60x

Nishant Roy | Tech Lead, Ads Serving PlatformIn May 2020, Pinterest launched a partnership with Shopify that allowed merchants to easily upload their catalogs to the Pinterest platform and create Product Pins and shopping ads. This vastly increased the number of shopping ads in our corpus available for our recommendation engine to choose from, when serving an ad on Pinterest. In order to continue to support this rapid growth, we leveraged a key-value (KV) store and some memory optimizations in Go to scale the size of our ad corpus by 60x. We had three main goals:Simplify scaling our ads business without a linear increase in infrastructure costsImprove system performanceMinimize maintenance …

1 месяц, 2 недели назад @ medium.com
Fighting Spam using Clustering and Automated Rule Creation
Fighting Spam using Clustering and Automated Rule Creation Fighting Spam using Clustering and Automated Rule Creation

Cathy Yang | Software Engineer, Trust & SafetyOne of our biggest priorities at Pinterest is keeping Pinners safe, and that includes protecting them from spam. The Trust & Safety team’s goal is not only to catch spam, but to remove it as quickly as possible to minimize Pinner impact.The goal of spammers is to make money, and the best way to do this is to spam at scale. It’s a numbers game: one million spam emails are much more effective than one spam email. In order to remove spam quickly, we look at common trends in spam attacks to identify suspect behavior.To achieve the scale required to be effective, spammers must automate their actions, and each of these “attacks” can be thought of as a…

1 месяц, 2 недели назад @ medium.com
Building scalable near-real time indexing on HBase
Building scalable near-real time indexing on HBase Building scalable near-real time indexing on HBase

Ankita Wagh | Software Engineer, Storage and CachingHBase is one of the most critical storage backends at Pinterest., powering many of our online traffic storage services like Zen (graph database) and UMS (wide column data store). Although HBase has many advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, and Hadoop integration, it doesn’t natively support advanced indexing and querying. Secondary indexing is one of the most demanded features by our clients, but supporting that directly in HBase is quite challenging. Maintaining separate index tables as the number of indexes grows is not a scalable solution in terms of query …

2 месяца назад @ medium.com
The machine learning behind delivering relevant ads
The machine learning behind delivering relevant ads The machine learning behind delivering relevant ads

Felix Fang | Software Engineer, Advertiser Solutions GroupChi Xu | Software Engineer, Advertiser Solutions GroupPinterest is where people go to plan and shop, making ideas and ads from brands helpful in taking Pinners from inspiration to action. It’s our goal to ensure ads continue to be additive and not intrusive on Pinterest. Because of the unique and powerful first party signals on the platform, advertisers can reach Pinners based on their interests, intent and engagement on the platform.To help in delivering the right ads to the right Pinners in an audience of hundreds of millions of people, we offer advertisers features to achieve relevance including Actalike (AAL) audiences, also know…

2 месяца назад @ medium.com
Cómo protegemos las contraseñas de los usuarios
Cómo protegemos las contraseñas de los usuarios Cómo protegemos las contraseñas de los usuarios

This article was originally published in English, view the English version here.Yuru Shao | Ingeniero de softwareAalaa Satti | Ingeniero de softwareAmine Kamel | Jefe de seguridad de producciónEn Pinterest, un método con el que garantizamos la seguridad de la cuenta es mediante la protección de las contraseñas de los usuarios. Las contraseñas pueden ser problemáticas por una gran cantidad de razones, incluido el hecho de que las personas suelen reutilizar sus contraseñas, eligen aquellas que son fáciles de recordar y comparten los detalles que componen sus contraseñas o sus contraseñas reales con otras personas. Por lo tanto, lidiar con estos problemas no es tarea fácil si deseamos ofrecer …

2 месяца назад @ medium.com
Unified Flink Source at Pinterest: Streaming Data Processing
Unified Flink Source at Pinterest: Streaming Data Processing Unified Flink Source at Pinterest: Streaming Data Processing

Lu Niu & Chen Qin | Software Engineers, Stream Processing Platform TeamTo best serve Pinners, creators, and advertisers, Pinterest leverages Flink as its stream processing engine. Flink is a data processing engine for stateful computation over data streams. It provides rich streaming APIs, exact-once support, and state checkpointing, which are essential to build stable and scalable streaming applications. Nowadays Flink is widely used in companies like Alibaba, Netflix, and Uber in mission critical use cases.Xenon is the Flink-based stream processing platform at Pinterest. The mission is to build a reliable, scalable, easy-to-use, and efficient stream platform to enable data-driven products…

2 месяца назад @ medium.com
Advertiser Recommendation Systems at Pinterest
Advertiser Recommendation Systems at Pinterest Advertiser Recommendation Systems at Pinterest

Erika Sun & Keshava Subramanya | Ads Intelligence TeamThe Ads Intelligence team at Pinterest is charged with building and maintaining machine learning and algorithm-driven recommendations and the Recommendations Ranker to provide advertisers with the best experience in reaching relevant Pinners and help them reach their campaign goals. As part of this work, we leverage data in various algorithms to generate recommendations. These recommendations then appear on multiple surfaces, such as the external-facing Ads Manager and internal tools for our sales team. We use the insight and feedback found in past recommendation adoptions to improve future recommendation generation logic. The following …

2 месяца, 1 неделя назад @ medium.com
Interactive Querying with Apache Spark SQL at Pinterest
Interactive Querying with Apache Spark SQL at Pinterest Interactive Querying with Apache Spark SQL at Pinterest

Sanchay Javeria | Software Engineer, Big Data Query Platform, Data EngineeringAshish Singh | Technical Lead, Big Data Query Platform, Data EngineeringTo achieve our mission of bringing everyone inspiration through our visual discovery engine, Pinterest relies heavily on making data-driven decisions to improve the Pinner experience for over 475 million monthly active users. Reliable, fast, and scalable interactive querying is essential to make those data-driven decisions possible. In the past, we published how Presto at Pinterest serves this function. Here, we’ll share how we built a scalable, reliable, and efficient interactive querying platform that processes hundreds of petabytes of data …

2 месяца, 1 неделя назад @ medium.com
Facebook
последний пост 2 месяца назад
Fully Sharded Data Parallel: faster AI training with fewer GPUs
Fully Sharded Data Parallel: faster AI training with fewer GPUs

Training AI models at a large scale isn’t easy. Aside from the need for large amounts of computing power and resources, there is also considerable engineering complexity behind training very large models. At Facebook AI Research (FAIR) Engineering, we have been working on building tools and infrastructure to make training large AI models easier. Our [...]

Read More...

The post Fully Sharded Data Parallel: faster AI training with fewer GPUs appeared first on Facebook Engineering.

2 месяца назад @ engineering.fb.com
Asicmon: A platform agnostic observability system for AI accelerators
Asicmon: A platform agnostic observability system for AI accelerators

We will be hosting a talk about our work on, “A Platform Agnostic Observability System for AI Accelerators” during our virtual Systems @Scale event at 10:20 a.m. PT on Wednesday, June 30, followed by a live Q&A session. Please submit any questions to systemsatscale@fb.com before the event. Accelerators are special-purpose hardware devices optimized for specific [...]

Read More...

The post Asicmon: A platform agnostic observability system for AI accelerators appeared first on Facebook Engineering.

2 месяца, 3 недели назад @ engineering.fb.com
How Facebook encodes your videos
How Facebook encodes your videos

People upload hundreds of millions of videos to Facebook every day. Making sure every video is delivered at the best quality — with the highest resolution and as little buffering as possible — means optimizing not only when and how our video codecs compress and decompress videos for viewing, but also which codecs are used [...]

Read More...

The post How Facebook encodes your videos appeared first on Facebook Engineering.

5 месяцев, 2 недели назад @ engineering.fb.com
How machine learning powers Facebook’s News Feed ranking algorithm
How machine learning powers Facebook’s News Feed ranking algorithm

Designing a personalized ranking system for more than 2 billion people (all with different interests) and a plethora of content to select from presents significant, complex challenges. This is something we tackle every day with News Feed ranking. Without machine learning (ML), people’s News Feeds could be flooded with content they don’t find as relevant [...]

Read More...

The post How machine learning powers Facebook’s News Feed ranking algorithm appeared first on Facebook Engineering.

7 месяцев, 3 недели назад @ engineering.fb.com
How Facebook keeps its large-scale infrastructure hardware up and running
How Facebook keeps its large-scale infrastructure hardware up and running

Facebook’s services rely on fleets of servers in data centers all over the globe — all running applications and delivering the performance our services need. This is why we need to make sure our server hardware is reliable and that we can manage server hardware failures at our scale with as little disruption to our [...]

Read More...

The post How Facebook keeps its large-scale infrastructure hardware up and running appeared first on Facebook Engineering.

9 месяцев, 2 недели назад @ engineering.fb.com
Uber Engineering
последний пост 3 дня, 21 час назад
YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process
YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process

At Uber, real-time mobile analytics events—generated by button taps, page views, and more—form the backbone of the mobile data workflow process.

To process these events, our Mobile Data Platform Team designed and developed the Fontana library, which converts the nearly-one-million-QPS …

The post YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process appeared first on Uber Engineering Blog.

3 дня, 21 час назад @ eng.uber.com
Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System
Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System

Problem

Uber deploys a few storage technologies to store business data based on their application model. One such technology is called Schemaless, which enables the modeling of related entries in one single row of multiple columns, as well as …

The post Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System appeared first on Uber Engineering Blog.

1 неделя, 3 дня назад @ eng.uber.com
Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework
Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework

Introduction

Uber’s GSS (Global Scaled Solutions) team runs scaled programs for diverse products and businesses, including but not limited to Eats, Rides, and Freight. The team transforms Uber’s ideas into agile, global solutions by designing and implementing scalable solutions. One …

The post Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework appeared first on Uber Engineering Blog.

2 недели, 3 дня назад @ eng.uber.com
Enabling Seamless Kafka Async Queuing with Consumer Proxy
Enabling Seamless Kafka Async Queuing with Consumer Proxy

Uber has one of the largest deployments of Apache Kafka in the world, processing trillions of messages and multiple petabytes of data per day. As Figure 1 shows, today we position Apache Kafka as a cornerstone of our technology stack. …

The post Enabling Seamless Kafka Async Queuing with Consumer Proxy appeared first on Uber Engineering Blog.

2 недели, 5 дней назад @ eng.uber.com
How Data Shapes the Uber Rider App
How Data Shapes the Uber Rider App

Introduction

Data is crucial for our products. Data analytics help us provide a frictionless experience to the people that use our services. It also enables our engineers, product managers, data analysts, and data scientists to make informed decisions. The impact …

The post How Data Shapes the Uber Rider App appeared first on Uber Engineering Blog.

3 недели, 3 дня назад @ eng.uber.com
Powering the Network Pricing Model with Near Real-Time Features
Powering the Network Pricing Model with Near Real-Time Features

Background

Drivers within the same area may have quite different earnings, depending on the trips they take. For example, consider two hypothetical drivers in downtown San Francisco. Two riders request two rides: one is within downtown San Francisco, and the …

The post Powering the Network Pricing Model with Near Real-Time Features appeared first on Uber Engineering Blog.

3 недели, 5 дней назад @ eng.uber.com
Eats Safety Team On-Call Overview
Eats Safety Team On-Call Overview

Introduction

Our engineers have the responsibility of ensuring a consistent and positive experience for our riders, drivers, eaters, and delivery/restaurant partners.

Ensuring such an experience requires reliable systems: our apps have to work when anyone needs them. A major component …

The post Eats Safety Team On-Call Overview appeared first on Uber Engineering Blog.

1 месяц назад @ eng.uber.com
Unifying Support Content to Enable More Empathetic and Personalized Customer Support Experiences
Unifying Support Content to Enable More Empathetic and Personalized Customer Support Experiences

Introduction Content quality is critical to the support experienced by Uber’s customers. Consider an Eater who reached out for help to cancel a very delayed order. The same resolution, such as refunding the charge, can be delivered alongside a robotic-sounding …

The post Unifying Support Content to Enable More Empathetic and Personalized Customer Support Experiences appeared first on Uber Engineering Blog.

1 месяц назад @ eng.uber.com
Efficiently Managing the Supply and Demand on Uber’s Big Data Platform
Efficiently Managing the Supply and Demand on Uber’s Big Data Platform

With Uber’s business growth and the fast adoption of big data and AI, Big Data scaled to become our most costly infrastructure platform. To reduce operational expenses, we developed a holistic framework with 3 pillars: platform efficiency, supply, and demand …

The post Efficiently Managing the Supply and Demand on Uber’s Big Data Platform appeared first on Uber Engineering Blog.

1 месяц, 1 неделя назад @ eng.uber.com
Cost-Efficient Open Source Big Data Platform at Uber
Cost-Efficient Open Source Big Data Platform at Uber

As Uber’s business has expanded, the underlying pool of data that powers it has grown exponentially, and thus ever more expensive to process. When Big Data rose to become one of our largest operational expenses, we began an initiative to …

The post Cost-Efficient Open Source Big Data Platform at Uber appeared first on Uber Engineering Blog.

1 месяц, 1 неделя назад @ eng.uber.com
Challenges and Opportunities to Dramatically Reduce the Cost of Uber’s Big Data
Challenges and Opportunities to Dramatically Reduce the Cost of Uber’s Big Data

Introduction

Big data is at the core of Uber’s business. We continue to innovate and provide better experiences for our earners, riders, and eaters by leveraging big data, machine learning, and artificial intelligence technology. As a result, over the last …

The post Challenges and Opportunities to Dramatically Reduce the Cost of Uber’s Big Data appeared first on Uber Engineering Blog.

1 месяц, 1 неделя назад @ eng.uber.com
How Uber Achieves Operational Excellence in the Data Quality Experience
How Uber Achieves Operational Excellence in the Data Quality Experience

Uber delivers efficient and reliable transportation across the global marketplace, which is powered by hundreds of services, machine learning models, and tens of thousands of datasets. While growing rapidly, we’re also committed to maintaining data quality, as it can greatly …

The post How Uber Achieves Operational Excellence in the Data Quality Experience appeared first on Uber Engineering Blog.

1 месяц, 2 недели назад @ eng.uber.com
Uber’s Finance Computation Platform
Uber’s Finance Computation Platform

For a company of our size and scale, robust, accurate, and compliant accounting and analytics are a necessity, ensuring accurate and granular visibility into our financials, across multiple lines of business.

Most standard, off-the-shelf finance engineering solutions cannot support the …

The post Uber’s Finance Computation Platform appeared first on Uber Engineering Blog.

1 месяц, 2 недели назад @ eng.uber.com
Pinot Real-Time Ingestion with Cloud Segment Storage
Pinot Real-Time Ingestion with Cloud Segment Storage

Introduction

Apache Pinot is an open source data analytics engine (OLAP), which allows users to query data ingested from as recently as a few seconds ago to as old as a few years back. Pinot’s ability to ingest real-time data …

The post Pinot Real-Time Ingestion with Cloud Segment Storage appeared first on Uber Engineering Blog.

1 месяц, 3 недели назад @ eng.uber.com
Uber’s Fulfillment Platform: Ground-up Re-architecture to Accelerate Uber’s Go/Get Strategy
Uber’s Fulfillment Platform: Ground-up Re-architecture to Accelerate Uber’s Go/Get Strategy

Introduction to Fulfillment at Uber

Uber’s mission is to help our consumers effortlessly go anywhere and get anything in thousands of cities worldwide. At its core, we capture a consumer’s intent and fulfill it by matching it with the right …

The post Uber’s Fulfillment Platform: Ground-up Re-architecture to Accelerate Uber’s Go/Get Strategy appeared first on Uber Engineering Blog.

1 месяц, 3 недели назад @ eng.uber.com
Spotify Engineering Spotify Engineering
последний пост 1 неделя, 6 дней назад
Introducing Pedalboard: Spotify’s Audio Effects Library for Python
Introducing Pedalboard: Spotify’s Audio Effects Library for Python Introducing Pedalboard: Spotify’s Audio Effects Library for Python

We’ve just open sourced Pedalboard, Spotify’s framework for adding effects to audio in Python. Pedalboard makes it easy to use studio-quality audio effects in your code, rather than just in your digital audio workstation (DAW). If you ask any music or podcast producer where they spend most of their time, chances are they’ll say their [...]

1 неделя, 6 дней назад @ engineering.atspotify.com
Four Lessons We Learned from Creating Spotify’s Desktop App
Four Lessons We Learned from Creating Spotify’s Desktop App Four Lessons We Learned from Creating Spotify’s Desktop App

TL;DR Over the years, Spotify’s brand has expanded to encompass a number of products, from mobile apps to web players to car things. But sitting at the core is our flagship product, the one that started it all: the desktop app. In the first episode of our podcast series, “Spotify: A Product Story”, host and [...]

1 месяц, 2 недели назад @ engineering.atspotify.com
Patrick Balestra: Senior Engineer
Patrick Balestra: Senior Engineer Patrick Balestra: Senior Engineer

8:30am I’m at my best after nine hours’ sleep, so I tend to wake up pretty late, shower and dress as though I’m going into the office. Although I’ve been in Stockholm a while now, I’m still not a fan of the Swedish breakfast of bread and cheese or salami – give me Nutella on toast [...]

3 месяца, 2 недели назад @ engineering.atspotify.com
Achieving Team Purpose and Pride with Scrum
Achieving Team Purpose and Pride with Scrum Achieving Team Purpose and Pride with Scrum

Team purpose and pride — my team hit those high marks, but it was a long journey to get there from where we started. At Spotify, we strive for “aligned autonomy” among our teams. Meaning: we align on what it is we set out to do, but preserve flexibility to choose how we’ll achieve those [...]

3 месяца, 3 недели назад @ engineering.atspotify.com
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture

TLDR; In episode 08 of our podcast series “Spotify: A Product Story”, we share stories and lessons from building and open sourcing Backstage, our homegrown developer portal. Hear why a developer-friendly, market-based platform like Backstage could only have been developed at Spotify (where autonomy is prized, not top-down mandates) and why that ends up making [...]

4 месяца назад @ engineering.atspotify.com
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It

There is no excerpt because this is a protected post.

4 месяца, 1 неделя назад @ engineering.atspotify.com
Customization vs. Configuration in Evolving Design Systems
Customization vs. Configuration in Evolving Design Systems Customization vs. Configuration in Evolving Design Systems

When a design system first starts out, the promise of visual consistency glows bright — the ideal product would have only one set of buttons, a unified typography scale, and elements that look the same no matter which designer made the design or which developer programmed them to be real and deployed. As the product [...]

4 месяца, 3 недели назад @ engineering.atspotify.com
Nour Daoud Bösing: Security Engineer
Nour Daoud Bösing: Security Engineer Nour Daoud Bösing: Security Engineer

Nour is a Security Engineer at Spotify New York – juggling her busy day job with completing her Masters in Cyber Security and looking after her 10-month-old daughter, Leya.

4 месяца, 3 недели назад @ engineering.atspotify.com
Rethinking Spotify Search
Rethinking Spotify Search Rethinking Spotify Search

Search @ Spotify Search is a well-established functionality across different industries, devices, and applications. When users come to any kind of search, they already have something in mind, whether they come looking for one thing in particular or are open to becoming inspired. Spotify Search is no exception, helping a vast majority of users find joy [...]

5 месяцев, 1 неделя назад @ engineering.atspotify.com
Building the Future of Our Desktop Apps
Building the Future of Our Desktop Apps Building the Future of Our Desktop Apps

For the past couple of years, we’ve been on a mission to modernize our Spotify clients by creating one single desktop UI for both the Desktop application and the Web Player. We couldn’t build everything we wanted to for our users with our old setup, so we decided to do something about it. In the [...]

5 месяцев, 2 недели назад @ engineering.atspotify.com
David Riordan: Product Manager
David Riordan: Product Manager David Riordan: Product Manager

5:00 am My days begin with an early morning wake-up call from Zev – he comes through at around 5am and we get a couple of dedicated hours of playtime before the rest of the world gets up. It’s fun – this morning, we baked oatmeal cookies. Then once my wife and I are ready, we [...]

5 месяцев, 3 недели назад @ engineering.atspotify.com
Dmitry Anoshin recommends
Snowflake
последний пост 3 дня, 16 часов назад
Taking Serverless to Task
Taking Serverless to Task

We are delighted to announce the public preview of serverless tasks in Snowflake! Snowflake tasks allow users to schedule the execution of a SQL statement. Over the last two years, we have seen a tremendous growth in tasks in Snowflake. In addition to organic growth as the Snowflake customer base and usage have grown, we […]

The post Taking Serverless to Task appeared first on Snowflake.

3 дня, 16 часов назад @ snowflake.com
Consumption-based Pricing: Ensuring Every Customer’s Value and Success
Consumption-based Pricing: Ensuring Every Customer’s Value and Success

Consumption-based, aka usage-based, pricing is hardly new. Anyone with an electricity, gas, or water bill knows that the amount you pay each month varies depending on your usage. More recently, disruptive companies have pushed other industries (transportation, hospitality, communications, and insurance) to transform by providing usage-based products and services via software applications. As consumers, we […]

The post Consumption-based Pricing: Ensuring Every Customer’s Value and Success appeared first on Snowflake.

3 дня, 20 часов назад @ snowflake.com
Snowflake Provides the Data Backbone for California’s Digital COVID-19 Vaccine Record
Snowflake Provides the Data Backbone for California’s Digital COVID-19 Vaccine Record

Earlier this year as Californians were getting vaccinated by the millions, state leaders were figuring out how to give Californians the option of a digital vaccination record—one that wouldn’t get lost, ripped, or ruined in a washing machine. Just a few months later, the California Department of Public Health (CDPH) and the California Department of […]

The post Snowflake Provides the Data Backbone for California’s Digital COVID-19 Vaccine Record appeared first on Snowflake.

4 дня, 19 часов назад @ snowflake.com
How To Get True ROI From Your Account-Based Marketing (ABM)
How To Get True ROI From Your Account-Based Marketing (ABM)

Account-based marketing, or ABM, is more often used as targeted demand generation—not one-to-one marketing. In a 2020 study of more than 300 organizations worldwide, Forrester found that “a significant number of respondents claimed they were using an ABM approach but weren’t doing what we would consider the basics of ABM, such as working with sales.”1 […]

The post How To Get True ROI From Your Account-Based Marketing (ABM) appeared first on Snowflake.

5 дней, 18 часов назад @ snowflake.com
NEW SNOWFLAKE FEATURES RELEASED IN AUGUST 2021
NEW SNOWFLAKE FEATURES RELEASED IN AUGUST 2021

August releases from Snowflake include several updates and enhancements to Snowflake, among them new capabilities for data governance and security that help organizations better know, protect, and unlock value from their data. Several leading data providers also joined Snowflake Data Marketplace, offering data sets for everything from targeted demographics to ecommerce purchase data and reviews […]

The post NEW SNOWFLAKE FEATURES RELEASED IN AUGUST 2021 appeared first on Snowflake.

6 дней, 18 часов назад @ snowflake.com
How Snowflake’s Data Cloud Helps FinServ Customers
How Snowflake’s Data Cloud Helps FinServ Customers

According to a recent PwC U.S. CEO survey, 84% of CEOs plan to increase their investment in digital transformation.1 This investment is especially important in the financial services (FinServ) industry, where legacy systems often impede the smooth and speedy flow of data that is necessary for transaction processing. According to a recent Economist Intelligence Unit […]

The post How Snowflake’s Data Cloud Helps FinServ Customers appeared first on Snowflake.

1 неделя, 2 дня назад @ snowflake.com
Migrating Airflow from Amazon EC2 to Kubernetes
Migrating Airflow from Amazon EC2 to Kubernetes

Data engineers, data scientists, and data analysts at Snowflake build various ETL and ELT data pipelines that run at different set schedules to obtain information, to make better informed decisions, and to provide analytical insights that drive company strategy. A reliable, efficient, and trustworthy workflow management system is crucial to make sure these pipelines run […]

The post Migrating Airflow from Amazon EC2 to Kubernetes appeared first on Snowflake.

1 неделя, 3 дня назад @ snowflake.com
Snowflake Data Cloud and Snowflake Data Marketplace Inform Game Dev, Delivers Business Insights at 2K Games
Snowflake Data Cloud and Snowflake Data Marketplace Inform Game Dev, Delivers Business Insights at 2K Games

If you’ve played critically acclaimed 2K Games1 (part of Take-Two Interactive Software) such as NBA 2K, Borderlands, Sid Meier’s Civilization, or WWE SuperCard, you can appreciate the creativity and quality development that go into delivering some of the most popular and entertaining games today. In a recent webinar, 2K Games’ Head of Mobile Analytics, Hao […]

The post Snowflake Data Cloud and Snowflake Data Marketplace Inform Game Dev, Delivers Business Insights at 2K Games appeared first on Snowflake.

1 неделя, 5 дней назад @ snowflake.com
Custom SQL Now Supported in the Snowflake Connector for Power BI!
Custom SQL Now Supported in the Snowflake Connector for Power BI!

As the adoption of the Snowflake Data Cloud and Power BI continues to gain momentum across all business and vertical markets, it’s important that the capabilities, user experience, and integration of Snowflake and Power BI continue to evolve to provide best-in-class experiences to our users. To this end, Snowflake and Microsoft have developed a strong […]

The post Custom SQL Now Supported in the Snowflake Connector for Power BI! appeared first on Snowflake.

2 недели, 4 дня назад @ snowflake.com
Data Science: The Future of Corporate Finance
Data Science: The Future of Corporate Finance

Corporate finance must change. Across industries, an organization’s Finance team should shed light on what’s happening today with revenue and other financial indicators, while also predicting what the future may hold. And they must do the same for the entire organization. Until recently, it would have been impossible to meet these expectations. Excel-driven forecasting requires […]

The post Data Science: The Future of Corporate Finance appeared first on Snowflake.

2 недели, 5 дней назад @ snowflake.com
Empower Data Teams with a Data Mesh Built on Snowflake
Empower Data Teams with a Data Mesh Built on Snowflake

Over the last couple of years, the data mesh architecture has emerged as a new framework to help solve many of the challenges that have plagued organizations, especially as they’ve scaled their data and data teams and tried to deliver more value, faster. Removing these barriers to data and delivering value at scale is a […]

The post Empower Data Teams with a Data Mesh Built on Snowflake appeared first on Snowflake.

2 недели, 6 дней назад @ snowflake.com
Douglas Evolves from Retail Stores to Ecommerce and Leverages Snowflake to Democratize Its Data
Douglas Evolves from Retail Stores to Ecommerce and Leverages Snowflake to Democratize Its Data

Beauty and lifestyle retailer Douglas offers more than 130,000 products across its network of online shops, beauty marketplace, and over 2,000 stores. Based in Düsseldorf, Douglas looks to inspire its customers to live their own kind of beauty with a previously unparalleled assortment of products. Formerly a multi-channel retailer, Douglas is now evolving into Europe’s […]

The post Douglas Evolves from Retail Stores to Ecommerce and Leverages Snowflake to Democratize Its Data appeared first on Snowflake.

3 недели, 2 дня назад @ snowflake.com
The Journey to Processing PII in the Data Cloud
The Journey to Processing PII in the Data Cloud

During the process of turning data into insights, the most compelling data often comes with an added responsibility—the need to protect the people whose lives are caught up in that data. Plenty of data sets include sensitive information, and it’s the duty of every organization, down to each individual, to ensure that sensitive information is […]

The post The Journey to Processing PII in the Data Cloud appeared first on Snowflake.

3 недели, 3 дня назад @ snowflake.com
The Annotated Data Architect Resume
The Annotated Data Architect Resume

It’s a great time to be a data architect. In fact, from a career point of view, it’s a great time to be a data anything. Companies are discovering the extraordinary value of analytics. That makes it a candidates’ market, said McElla Pappas, VP – US West for recruiting firm Harnham, which specializes in data […]

The post The Annotated Data Architect Resume appeared first on Snowflake.

3 недели, 6 дней назад @ snowflake.com
5 Guidelines for Reliable Data Pipeline Processing
5 Guidelines for Reliable Data Pipeline Processing

Data is central to how we run our businesses, establish our institutions, and manage our personal and professional lives. Nearly every interaction generates data, whether it’s from software applications, social media connections, mobile communications, or many types of digital services. Multiply those interactions by a growing number of connected people, devices, and interaction points, and […]

The post 5 Guidelines for Reliable Data Pipeline Processing appeared first on Snowflake.

1 месяц назад @ snowflake.com
Cloudera Cloudera
последний пост 1 неделя, 2 дня назад
Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers
Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers

Across the federal government, agencies are struggling to identify, organize, analyze, and act on troves of data. It’s a problem that leaders are working actively to tackle, but they’re in a race against immeasurable volumes of data that is continuously being generated in perpetuity in stores known and unknown. At the Internal Revenue Service, decades’ […]

The post Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers appeared first on Cloudera Blog.

1 неделя, 2 дня назад @ blog.cloudera.com
Optimizing Cloudera Data Engineering Autoscaling Performance
Optimizing Cloudera Data Engineering Autoscaling Performance

The shift to cloud has been accelerating, and with it, a push to modernize data pipelines that fuel key applications. That is why cloud native solutions which take advantage of the capabilities such as disaggregated storage & compute, elasticity, and containerization are more paramount than ever. At Cloudera, we introduced Cloudera Data Engineering (CDE) as […]

The post Optimizing Cloudera Data Engineering Autoscaling Performance appeared first on Cloudera Blog.

2 недели, 4 дня назад @ blog.cloudera.com
Automating Data Pipelines in CDP with CDE Managed Airflow Service
Automating Data Pipelines in CDP with CDE Managed Airflow Service

When we announced the GA of Cloudera Data Engineering back in September of last year, a key vision we had was to simplify the automation of data transformation pipelines at scale. By leveraging Spark on Kubernetes as the foundation along with a first class job management API many of our customers have been able to […]

The post Automating Data Pipelines in CDP with CDE Managed Airflow Service appeared first on Cloudera Blog.

1 месяц назад @ blog.cloudera.com
Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure
Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure

After the launch of CDP Data Engineering (CDE) on AWS a few months ago, we are thrilled to announce that CDE, the only cloud-native service purpose built for enterprise data engineers, is now available on Microsoft Azure. CDP Data Engineering offers an all-inclusive toolset that enables data pipeline orchestration, automation, advanced monitoring, visual profiling, and […]

The post Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure appeared first on Cloudera Blog.

2 месяца, 1 неделя назад @ blog.cloudera.com
Migrate Hive data from CDH to CDP public cloud
Migrate Hive data from CDH to CDP public cloud

Introduction Many Cloudera customers are making the transition from being completely on-prem to cloud by either backing up their data in the cloud, or running multi-functional analytics on CDP Public cloud in AWS or Azure. The Replication Manager service facilitates both disaster recovery and data migration across different environments. Using easy-to-define policies, Replication Manager solves […]

The post Migrate Hive data from CDH to CDP public cloud appeared first on Cloudera Blog.

2 месяца, 3 недели назад @ blog.cloudera.com
Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore
Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore

A sturdy data infrastructure coupled with a proficient workforce are pillars for an organization’s digital transformation efforts. McKinsey lists building capabilities for the workforce of the future as one of five categories of factors improving the chances of a successful digital transformation. Investing the right amount in digital talent and scaling up workforce planning and […]

The post Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore appeared first on Cloudera Blog.

3 месяца, 2 недели назад @ blog.cloudera.com
Modernizing Data Pipelines using Cloudera Data Platform – Part 1
Modernizing Data Pipelines using Cloudera Data Platform – Part 1

Data pipelines are in high demand in today’s data-driven organizations. As critical elements in supplying trusted, curated, and usable data for end-to-end analytic and machine learning workflows, the role of data pipelines is becoming indispensable. To keep up, data pipelines are being vigorously reshaped with modern tools and techniques. At Cloudera, we recently introduced several […]

The post Modernizing Data Pipelines using Cloudera Data Platform – Part 1 appeared first on Cloudera Blog.

3 месяца, 2 недели назад @ blog.cloudera.com
Spark on Kubernetes – Gang Scheduling with YuniKorn
Spark on Kubernetes – Gang Scheduling with YuniKorn

Apache YuniKorn (Incubating) has just released 0.10.0 (release announcement). As part of this release, a new feature called Gang Scheduling has become available. By leveraging the Gang Scheduling feature, Spark jobs scheduling on Kubernetes becomes more efficient. What is Apache YuniKorn (Incubating)? Apache YuniKorn (Incubating) is a new Apache incubator project that offers rich scheduling […]

The post Spark on Kubernetes – Gang Scheduling with YuniKorn appeared first on Cloudera Blog.

4 месяца, 2 недели назад @ blog.cloudera.com
Managing Python dependencies for Spark workloads in Cloudera Data Engineering
Managing Python dependencies for Spark workloads in Cloudera Data Engineering

Update August 2021: Starting with CDE v1.9, you can now use the python-env resource (Option 2) for all Python packages, including those dependent on C base libraries such as Pandas, Pyarrow, etc. Use custom-runtime-image (Option 3) only for custom libraries & more advanced scenarios. Apache Spark is now widely used in many enterprises for building […]

The post Managing Python dependencies for Spark workloads in Cloudera Data Engineering appeared first on Cloudera Blog.

4 месяца, 3 недели назад @ blog.cloudera.com
Cloudera Data Engineering – Integration steps to leverage Spark on Kubernetes
Cloudera Data Engineering – Integration steps to leverage Spark on Kubernetes

What is Cloudera Data Engineering (CDE) ? Cloudera Data Engineering is a serverless service for Cloudera Data Platform (CDP) that allows you to submit jobs to auto-scaling virtual clusters. CDE enables you to spend more time on your applications, and less time on infrastructure. CDE allows you to create, manage, and schedule Apache Spark jobs […]

The post Cloudera Data Engineering – Integration steps to leverage Spark on Kubernetes appeared first on Cloudera Blog.

5 месяцев, 1 неделя назад @ blog.cloudera.com
Using other CDP services with Cloudera Operational Database
Using other CDP services with Cloudera Operational Database

In the previous blog post, we looked at some of the application development concepts for the Cloudera Operational Database (COD). In this blog post, we’ll see how you can use other CDP services with COD. COD is an operational database-as-a-service that brings ease of use and flexibility to Apache HBase. Cloudera Operational Database enables developers […]

The post Using other CDP services with Cloudera Operational Database appeared first on Cloudera Blog.

7 месяцев назад @ blog.cloudera.com
Next Stop – Building a Data Pipeline from Edge to Insight
Next Stop – Building a Data Pipeline from Edge to Insight

This is part 2 in this blog series. You can read part 1, here: Digital Transformation is a Data Journey From Edge to Insight This blog series follows the manufacturing, operations and sales data for a connected vehicle manufacturer as the data goes through stages and transformations typically experienced in a large manufacturing company on […]

The post Next Stop – Building a Data Pipeline from Edge to Insight appeared first on Cloudera Blog.

7 месяцев, 1 неделя назад @ blog.cloudera.com
Data – the Octane Accelerating Intelligent Connected Vehicles
Data – the Octane Accelerating Intelligent Connected Vehicles

The digital revolution is making a deep impact on the automotive industry, offering practically unlimited possibilities for more efficient, convenient, and safe driving and travel experiences in connected vehicles. This revolution is just beginning to accelerate – in fact, according to a recent Applied Market Research study, the global connected car market was valued at […]

The post Data – the Octane Accelerating Intelligent Connected Vehicles appeared first on Cloudera Blog.

7 месяцев, 1 неделя назад @ blog.cloudera.com
An A-Z Data Adventure on Cloudera’s Data Platform
An A-Z Data Adventure on Cloudera’s Data Platform

In this blog we will take you through a persona-based data adventure, with short demos attached, to show you the A-Z data worker workflow expedited and made easier through self-service, seamless integration, and cloud-native technologies. You will learn all the parts of Cloudera’s Data Platform that together will accelerate your everyday Data Worker tasks. This […]

The post An A-Z Data Adventure on Cloudera’s Data Platform appeared first on Cloudera Blog.

9 месяцев назад @ blog.cloudera.com
Enabling The Full ML Lifecycle For Scaling AI Use Cases
Enabling The Full ML Lifecycle For Scaling AI Use Cases

When it comes to machine learning (ML) in the enterprise, there are many misconceptions about what it actually takes to effectively employ machine learning models and scale AI use cases. When many businesses start their journey into ML and AI, it’s common to place a lot of energy and focus on the coding and data […]

The post Enabling The Full ML Lifecycle For Scaling AI Use Cases appeared first on Cloudera Blog.

9 месяцев назад @ blog.cloudera.com
Smart Data
последний пост 19 часов назад
Here’s How AI-backed Insurance Plans Make Your Life Easy
Here’s How AI-backed Insurance Plans Make Your Life Easy

You might be surprised to hear that AI is becoming more important in the field of insurance than ever. Insurance companies have been using AI and big data for underwriting and other functions for years. As Gen Z is now beginning to make radical financial decisions for themselves, we’ve seen a rise in the number […]

The post Here’s How AI-backed Insurance Plans Make Your Life Easy appeared first on SmartData Collective.

19 часов назад @ smartdatacollective.com
Benefits of Having AI-Powered Software Solutions for Expense Management
Benefits of Having AI-Powered Software Solutions for Expense Management

All businesses need a system to accurately track their expenses. Without it, they would not be able to keep reliable records and would likely soon find themselves in financial trouble. To track expenses, most businesses rely on some form of expense management software. However, not all expense management software options are created equal. Some offer […]

The post Benefits of Having AI-Powered Software Solutions for Expense Management appeared first on SmartData Collective.

3 дня, 19 часов назад @ smartdatacollective.com
Using Building Analytics to Mitigate the Costs of Construction Mistakes
Using Building Analytics to Mitigate the Costs of Construction Mistakes

Big data has been a gamechanger for countless companies in virtually every industry. The construction industry is no exception. Construction analytics is a new field that was worth just over $5 billion in 2018. It is growing at a rate of over 19% a year and should be worth $15.21 billion by 2026. Why is […]

The post Using Building Analytics to Mitigate the Costs of Construction Mistakes appeared first on SmartData Collective.

6 дней, 15 часов назад @ smartdatacollective.com
The Impact of Artificial Intelligence on Social TV
The Impact of Artificial Intelligence on Social TV

Artificial intelligence has become very important in modern digital and traditional media. There are a number of different types of AI applications in conventional media. One of the biggest trends has been the inception of social TV. The Evolving Role of AI on Social TV The increase of social media has made TV more entertaining […]

The post The Impact of Artificial Intelligence on Social TV appeared first on SmartData Collective.

1 неделя, 1 день назад @ smartdatacollective.com
How AI-Driven Data Analytics Tools Benefit Businesses and Organizations
How AI-Driven Data Analytics Tools Benefit Businesses and Organizations

More and more businesses and organizations treat data as an essential asset. The importance of managing and leveraging data cannot be overestimated. The process of interpreting and analyzing data and putting it into context helps businesses and organizations make informed decisions, predict trends, anticipate expectations, improve security, optimize internal operations, and stay ahead of competitors. […]

The post How AI-Driven Data Analytics Tools Benefit Businesses and Organizations appeared first on SmartData Collective.

1 неделя, 4 дня назад @ smartdatacollective.com
The Growing Role of Analytics in Business Knowledge Management
The Growing Role of Analytics in Business Knowledge Management

In the current economic turbulent times, showing business stakeholders that your knowledge sharing and reusing brings business value works as a driving force for investing in a knowledge management tool. But, how do you convince stakeholders about the importance of knowledge management? Simple! Use data and analytics to back your claims. The simplest way is […]

The post The Growing Role of Analytics in Business Knowledge Management appeared first on SmartData Collective.

2 недели, 6 дней назад @ smartdatacollective.com
Is Data Analytics Ushering in the Modern Age of Weather Forecasting?
Is Data Analytics Ushering in the Modern Age of Weather Forecasting?

Weather forecasting technology has grown from strength to strength in the last few decades. Gone are the days when you had to wait for the local news channel to share the weather forecasts for the next day. Nor do you have to reach out to the newspaper to find out what the weather is going […]

The post Is Data Analytics Ushering in the Modern Age of Weather Forecasting? appeared first on SmartData Collective.

3 недели, 3 дня назад @ smartdatacollective.com
Artificial Intelligence for eCommerce: A Closer Look
Artificial Intelligence for eCommerce: A Closer Look

Artificial intelligence is one of the fastest-growing technologies. It grew 270% in just four years since more companies started noticing its benefits and adopted this technology. eCommerce businesses are no exception. Over 50 percent of them use AI for various purposes, like creating personalized services and automation. This article will share the basic concept of […]

The post Artificial Intelligence for eCommerce: A Closer Look appeared first on SmartData Collective.

3 недели, 4 дня назад @ smartdatacollective.com
AI-Driven Customization Provides Tremendous Benefits for Your Brand
AI-Driven Customization Provides Tremendous Benefits for Your Brand

In this virtual age of social media, we love to customize our profiles, blogs, and business pages. We love to personalize our pages with quirks and branding that shows off our personalities and likes. We have found that AI technology can be very useful, because it allows you to nuance the visuals and messages for […]

The post AI-Driven Customization Provides Tremendous Benefits for Your Brand appeared first on SmartData Collective.

3 недели, 4 дня назад @ smartdatacollective.com
Using Analytics To Decide Which Cryptocurrency To Invest In
Using Analytics To Decide Which Cryptocurrency To Invest In

Analytics technology has helped improve financial management considerably. It is important to know how to use data analytics to improve your budget, cut costs and make sound investment decisions. One way to use analytics is to invest in cryptocurrencies more wisely. You can find some great ways to identify trends in the cryptocurrency industry. However, […]

The post Using Analytics To Decide Which Cryptocurrency To Invest In appeared first on SmartData Collective.

3 недели, 5 дней назад @ smartdatacollective.com
Can Predictive Analytics Identify Future Crypto Profitability?
Can Predictive Analytics Identify Future Crypto Profitability?

Cryptocurrencies are undoubtedly the rave of the moment. There are stories all over the internet about how crypto made someone a millionaire overnight. However, the crypto market experienced a significant downtrend recently with prices plummeting as low as 30% from peak prices in a matter of days. This has raised questions about the future of […]

The post Can Predictive Analytics Identify Future Crypto Profitability? appeared first on SmartData Collective.

4 недели назад @ smartdatacollective.com
The Growing Role of Analytics in Product Development
The Growing Role of Analytics in Product Development

Data is an important part of any business, including areas that focus on product development. With data, you can analyze it and then incorporate your findings into the development stages of the product’s creation. As such, you end up with a final product that is a lot more effective than it would be without that […]

The post The Growing Role of Analytics in Product Development appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Businesses Discover the Importance of Merging Analytics and Content Marketing
Businesses Discover the Importance of Merging Analytics and Content Marketing

Data is the backbone of effective digital marketing, and content is not just king; it is the entire royal family. When you combine both, you get one of the most formidable and effective marketing strategies ever. Businesses worldwide, especially SaaS businesses, have discovered that smart, measurable content marketing is the key to achieving their business […]

The post Businesses Discover the Importance of Merging Analytics and Content Marketing appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
4 Ways to Use Analytics to Measure and Optimize Business Growth
4 Ways to Use Analytics to Measure and Optimize Business Growth

Data analytics has upended the world of business in countless ways. A growing number of businesses are discovering new applications for data analytics technology as they strive to streamline operations and boost their bottom lines. Many companies have found that analytics technology is ideal for optimizing their business models in a number of ways. This […]

The post 4 Ways to Use Analytics to Measure and Optimize Business Growth appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Top eCommerce Metrics for Online Businesses to Study with Analytics
Top eCommerce Metrics for Online Businesses to Study with Analytics

Analytics technology is very important for online businesses. You need to pay close attention to analytics data on various KPIs to determine whether your strategy is working well and what tweaks need to be made. As an eCommerce entrepreneur, you have the benefit of being able to access a plethora of data at any time […]

The post Top eCommerce Metrics for Online Businesses to Study with Analytics appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Knoldus
последний пост 2 часа назад
Design Patterns in Rust Programming
Design Patterns in Rust Programming

Reading Time: 3 minutes The Design Patterns are programming language independent strategies for solving a common problem. By using design patterns, you can make your code more flexible, reusable, and maintainable. These solutions were obtained by trial and error by numerous software developers. Types of Design Patterns There are following types of design Patterns in Rust for solving our problems : Behavioural Creational Behavioural Patterns Behavioural design pattern are design patterns that Continue Reading

The post Design Patterns in Rust Programming appeared first on Knoldus Blogs.

2 часа назад @ blog.knoldus.com
How to use Vectors in Rust?
How to use Vectors in Rust?

Reading Time: 3 minutes Rust has been the most loved programming language for the last five years in a row. It is a low-level statically-typed multi-paradigm programming language that’s focused on safety and performance. Rust solves problems that C/C++ has been struggling with for a long time, such as memory errors and building concurrent programs. Due to the borrow checker, Rust can prevent data races at compile-time. Data races occur when Continue Reading

The post How to use Vectors in Rust? appeared first on Knoldus Blogs.

2 часа назад @ blog.knoldus.com
5 Debian Package Management Tools you need to know
5 Debian Package Management Tools you need to know

Reading Time: 4 minutes Hi everyone! Today in this tutorial, we’re going to look at 5 different package management tools that Debian uses specially in DevOps. Above all, Before diving in, lets take a brief look at what Package Management actually is. What is Package Management? Firstly, A package generally refers to a compressed file archive containing all the files that come with a particular application. These are referred Continue Reading

The post 5 Debian Package Management Tools you need to know appeared first on Knoldus Blogs.

4 часа назад @ blog.knoldus.com
Kubernetes Container Orchestration System for Devops
Kubernetes Container Orchestration System for Devops

Reading Time: 5 minutes Firstly, Kubernetes is a manageable, extensible, open-source program for maintaining containerized workloads and services that promotes declarative arrangement and automation in DevOps. It has a large, quickly developing ecosystem. Kubernetes services, maintenance tools are widely available. Why you require Kubernetes and whatever it can take In addition, Containers are good method to bundle and run your applications. In a production background, you need to maintain Continue Reading

The post Kubernetes Container Orchestration System for Devops appeared first on Knoldus Blogs.

5 часов назад @ blog.knoldus.com
Ansible for Devops as Infrastructure as Code
Ansible for Devops as Infrastructure as Code

Reading Time: 3 minutes Firstly, Ansible is simple open-source IT engine that automates application deployment, infra service orchestration, cloud provisioning and many other IT devices. Secondly, Ansible uses playbook to define automation jobs, and playbook use very simple language i.e. Hence the profit is that even the IT infrastructure maintenance people can know and understand the playbook and debug if needed (YAML – It is in human-readable form). In conclusion, After Continue Reading

The post Ansible for Devops as Infrastructure as Code appeared first on Knoldus Blogs.

5 часов назад @ blog.knoldus.com
Chef Devops Infrastructure as Code for Deployment
Chef Devops Infrastructure as Code for Deployment

Reading Time: 3 minutes Firstly, Chef is open-source technology Adam Jacob, co-founder of Opscode recognised as the originator of Chef. This technology uses Ruby encoding to develop basic construction blocks like recipes and cookbooks. Chef is use for infrastructure automation and helps minimising manual and repeated tasks for infrastructure management. Chef got its own law for different building blocks, which required to manage and automate infrastructure. Why Chef? In Continue Reading

The post Chef Devops Infrastructure as Code for Deployment appeared first on Knoldus Blogs.

5 часов назад @ blog.knoldus.com
Getting Started with Prometheus
Getting Started with Prometheus

Reading Time: 4 minutes Prometheus is an open-source monitoring system for processing time series metric data. It collects, organizes, and stores metrics using unique identifiers and timestamps. DevOps teams and developers query that data using PromQL and then visualize it in a UI such as Grafana. Basic Terminologies of Prometheus Monitoring : Monitoring is a systematic process of collecting and recording the activities taking place in a target project, Continue Reading

The post Getting Started with Prometheus appeared first on Knoldus Blogs.

5 часов назад @ blog.knoldus.com
Working of adhoc commands and Modules in Ansible
Working of adhoc commands and Modules in Ansible

Reading Time: 3 minutes What is Ansible Let see the working of adhoc commands and modules in ansible in this blog.Ansible is an open-source automation tool or platform used for IT tasks such as configuration management, application deployment, intraservice orchestration, and provisioning. It is agent less means you don’t need to install any other software or firewall ports on the client systems you want to automate.It uses a very simple Continue Reading

The post Working of adhoc commands and Modules in Ansible appeared first on Knoldus Blogs.

5 часов назад @ blog.knoldus.com
Integration of Jira With GitHub
Integration of Jira With GitHub

Reading Time: 4 minutes Why to Integrate? Jira GitHub Integration : GitHub and Jira are common applications we use daily in our projects. How often do you switch between them? Every half an hour? Maybe every couple of hours? Don’t you think that such juggling slows you down and your work could be much more streamlined? Github and Atlassian have collaborated with each other to connect our code in Continue Reading

The post Integration of Jira With GitHub appeared first on Knoldus Blogs.

5 часов назад @ blog.knoldus.com
Terraform (Infrastructure as Code)
Terraform (Infrastructure as Code)

Reading Time: 4 minutes In this blog, we are going to create AWS infrastructure using Terraform. Basically, we can name it “Code as Infrastructure” So before moving to the setup let’s take a little introduction. Introduction: It is a tool for building, changing, and versioning infrastructure safely and efficiently. Terraform can manage existing and popular service providers as well as custom in-house solutions. It is created by hashicorp. The Continue Reading

The post Terraform (Infrastructure as Code) appeared first on Knoldus Blogs.

5 часов назад @ blog.knoldus.com
Maven: Let’s Get Started with Single Module Project
Maven: Let’s Get Started with Single Module Project

Reading Time: 4 minutes If you wants to manage the build, testing, and deployment processes. Maven can helps you out in this. It can separate the unit tests and integration tests.So you only run them when necessary and cut down on build time. In this blog we’re going to learn for what reason do we need Maven, basics, and a single module project of Maven. For what reason do Continue Reading

The post Maven: Let’s Get Started with Single Module Project appeared first on Knoldus Blogs.

6 часов назад @ blog.knoldus.com
Let’s learn Dockerizing a Node.js web app : Docker
Let’s learn Dockerizing a Node.js web app : Docker

Reading Time: 3 minutes The goal of this blog is to show you how to get a Node.js application into a Docker container. This blog is intended for development, and not for a production deployment. This blog also assumes you have a working Docker Installation and a basic understanding of how a Node.js application is structured. If you want to learn in more detail about it, you can refer here. So let’s Continue Reading

The post Let’s learn Dockerizing a Node.js web app : Docker appeared first on Knoldus Blogs.

6 часов назад @ blog.knoldus.com
Cats Effect : Pure Functional way to code in Scala
Cats Effect : Pure Functional way to code in Scala

Reading Time: 2 minutes Follow 5 Simple Rules with Cats Program written using Cats Effect provides incredibly strong guarantees and powerful functionality, performance, safety, and composability, provided you follow each of the following rules: Wrap all side-effects in delay, async, blocking, or interruptible (pro tip: try to keep the size of your delay blocks small; two delays with a flatMap is much better than one big delay) Use bracket or Resource for anything which must be closed Never hard-block a thread outside of blocking or interruptible Use IOApp instead of writing your own def main Continue Reading

The post Cats Effect : Pure Functional way to code in Scala appeared first on Knold…

7 часов назад @ blog.knoldus.com
Getting started with first Node JS Server with HTTP
Getting started with first Node JS Server with HTTP

Reading Time: 3 minutes Introduction: Node.js is a platform built on Chrome’s JavaScript Runtime for easily building fast and scalable network applications. Node.js uses an event-driven, non-blocking I/O model that makes it lightweight and efficient, perfect for data-intensive real-time applications that run across distributed devices. If you wants to learn more about Node.js, you can refer here. Before creating an actual “Hello, World!” application using Node.js, let us see Continue Reading

The post Getting started with first Node JS Server with HTTP appeared first on Knoldus Blogs.

7 часов назад @ blog.knoldus.com
Simple Queue Service – Quick Start | AWS SQS – Part 1
Simple Queue Service – Quick Start | AWS SQS – Part 1

Reading Time: 3 minutes Hi everyone! Almost a month back I wrote a blog on Message Queue and there I told you that soon I’ll start writing about Simple Queue Service. For a basic understanding of Message Queues, you can have a look here. Talking about Simple Queue Service, it’s a service provided by AWS, and in short, just known as SQS. What is Simple Queue Service? AWS SQS Continue Reading

The post Simple Queue Service – Quick Start | AWS SQS – Part 1 appeared first on Knoldus Blogs.

3 дня, 7 часов назад @ blog.knoldus.com
We Cloud Data We Cloud Data
последний пост 1 месяц, 1 неделя назад
A Rewarding Journey From Consulting to Data Science
A Rewarding Journey From Consulting to Data Science

This blog is posted by Ernesto Ramos, a WeCloudData alumni from our full-time Data Science diploma program. Ernesto is a project manager at BeamData, a Toronto-based Data Science consulting company. Prior to joining BeamData, Ernesto worked in R&D at a major pharmaceutical company and completed his MSc in Pharmacology at the University of Toronto. At... View Article

The post A Rewarding Journey From Consulting to Data Science appeared first on WeCloudData.

1 месяц, 1 неделя назад @ weclouddata.com
Toronto Institute of Data Science and Technology, WeCloudData, Launches New Data Engineering Diploma Program
Toronto Institute of Data Science and Technology, WeCloudData, Launches New Data Engineering Diploma Program

It has FINALLY arrived! Our long awaited Data Engineering diploma program has launched at last. As the leading institute for data science and technology, WeCloudData, is excited to announce the official start of our first Data Engineering diploma program to be on February 17th, 2021! Focusing on guiding students through gaining the required skills and... View Article

The post Toronto Institute of Data Science and Technology, WeCloudData, Launches New Data Engineering Diploma Program appeared first on WeCloudData.

7 месяцев, 3 недели назад @ weclouddata.com
Data Engineering Series #2: Cloud Services and FOSS in Data Engineer’s World
Data Engineering Series #2: Cloud Services and FOSS in Data Engineer’s World

Data Engineering Series #1: 10 Key tech skills you need, to become a competent Data Engineer. Data Engineering Series #2: Cloud Services and FOSS in Data Engineer’s world “Open Source (OSS) frameworks have improved the quality of Big Data processing with its diverse set of tools addressing numerous use cases In fact, if you are a... View Article

The post Data Engineering Series #2: Cloud Services and FOSS in Data Engineer’s World appeared first on WeCloudData.

9 месяцев, 2 недели назад @ weclouddata.com
Data Engineering Series #1: 10 Key Tech Skills You Need, to Become a Competent Data Engineer.
Data Engineering Series #1: 10 Key Tech Skills You Need, to Become a Competent Data Engineer.

Bridging the gap between Application Developers and Data Scientists, the demand for Data Engineers rose up to 50% in 2020, especially due to increase in investments on AI based SaaS products. After going through multiple Job Descriptions and based on my experience in the field , I have come up with the detailed skill sets to... View Article

The post Data Engineering Series #1: 10 Key Tech Skills You Need, to Become a Competent Data Engineer. appeared first on WeCloudData.

9 месяцев, 2 недели назад @ weclouddata.com
Career Switch from Accountant to Data Scientist with WeCloudData
Career Switch from Accountant to Data Scientist with WeCloudData

The blog is posted by WeCloudData’s full-time data science diploma program student Yining Zhuang. In this blog, I would like to share my experience with people who are thinking of changing their career path from business to data science. I hope my journey can encourage people who are struggling in their current position, and help... View Article

The post Career Switch from Accountant to Data Scientist with WeCloudData appeared first on WeCloudData.

9 месяцев, 3 недели назад @ weclouddata.com
Learn Data Engineering Learn Data Engineering
последний пост 2 недели, 4 дня назад
Data Engineering vs Data Science
Data Engineering vs Data Science

What is the difference between data science and data engineering? Data Science

Data Scientists work with the data and are basically doing the analytics part. They take the data and create new insights. They do the analytics for instance by using Machine Learning techniques or do just simple...

2 недели, 4 дня назад @ learndataengineering.com
Where to validate incoming data?
Where to validate incoming data?

When you watch the blueprint I also use in my cookbook you see the different phases: Connect, Processing Framework, Store and Buffer. At the beginning you think about where you validate the data? To make sure that the data is okay and makes sense. Do you validate the data directly on the API -...

3 недели, 4 дня назад @ learndataengineering.com
AWS, Azure or GCP?
AWS, Azure or GCP?

I get often asked: What is the best or easiest cloud platform to start with for data engineering? Here are my thoughts on this. A general overview. Market shares Amazon Web Services (AWS) is globally the biggest cloud provider (approx. 50% of the market). This goes for the US and the EU...

3 недели, 6 дней назад @ learndataengineering.com
Scala vs. PySpark!
Scala vs. PySpark!

In one of my livestreams, a viewer asked me the question: Scala or PySpark? Which one I prefer and why, I'll answer you in this video: https://youtu.be/64iMuH2QLjE Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to...

7 месяцев назад @ learndataengineering.com
How to Draw Cool Architecture Diagrams For AWS, Google Cloud and Azure
How to Draw Cool Architecture Diagrams For AWS, Google Cloud and Azure

How to draw architecture diagrams for AWS, Google Cloud and Azure in an easy and time-saving way? Check out this video to find out! The tool is really great! https://youtu.be/hNoVd-XKbmI Let me know in the comments how you think about it! See you later. Andreas Check out our Data...

7 месяцев назад @ learndataengineering.com
Salary Of A Junior Data Engineer
Salary Of A Junior Data Engineer

Jobs as a Junior Data Engineer are in great demand. But what do you really earn as such? Check out this video to find out:https://youtu.be/Yve3Yl37mrE Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing...

7 месяцев назад @ learndataengineering.com
Roadmap For Data Engineers To Learn The Necessary Skills
Roadmap For Data Engineers To Learn The Necessary Skills

You're an aspiring Data Engineer and don't know exactly how to proceed to best acquire all the skills you need? Then be sure to watch this video. There you will get a roadmap on how to proceed: https://youtu.be/LKhdmm4CzbU Let me know in the comments how you think about it! See you...

7 месяцев назад @ learndataengineering.com
Skills You Should Have As a Data Engineer
Skills You Should Have As a Data Engineer

SQL and Python - two skills everyone talks about. But what other skills should you have as a Data Engineer? Check out this video to find out: https://youtu.be/8f1AL_BW6nQ Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy...

7 месяцев, 1 неделя назад @ learndataengineering.com
How to deal with job rejections!
How to deal with job rejections!

You got a job rejection? No need to worry. You can learn from it! How? I explain it to you in this video: https://youtu.be/Gp9kEG_cuOM Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing of Data Science!

7 месяцев, 1 неделя назад @ learndataengineering.com
What you should do if your company doesn't give you a data engineer title!
What you should do if your company doesn't give you a data engineer title!

You work as a Data Engineer but your company titles your job differently and doesn't want to give you a Data Engineer title? No need to worry. Chek out this video to see what you should do: https://youtu.be/qmzF2dthv58 Let me know in the comments how you think about it! See you...

7 месяцев, 1 неделя назад @ learndataengineering.com
How deep do you need to know operating systems for Data Engineering?
How deep do you need to know operating systems for Data Engineering?

How deep do you need to know operating systems for Data Engineering? Watch this video to find out: https://youtu.be/nFzFvyeUY2o Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the Plumbing of Data Science!

7 месяцев, 1 неделя назад @ learndataengineering.com
How to choose what cloud platform to learn?
How to choose what cloud platform to learn?

You want to gain knowledge about a platform. But you are not sure which platform to choose? Check out this video, to see what you need to know to make that decision: https://youtu.be/t5a3QvXdav8 Let me know in the comments how you think about it! See you later. Andreas Check out our...

7 месяцев, 1 неделя назад @ learndataengineering.com
How to rate Spark from 1 to 10!
How to rate Spark from 1 to 10!

Spark is just great! But what makes it that great and how would i rate it on a scale of 1 to 10? Check out this video to find out: https://youtu.be/b0_4d-8qkoM Let me know in the comments how you think about it! See you later. Andreas Check out our Data Engineering Academy to learn the...

7 месяцев, 2 недели назад @ learndataengineering.com
SCRIBD
последний пост 1 месяц, 3 недели назад
Categorizing user-uploaded documents
Categorizing user-uploaded documents Categorizing user-uploaded documents

Scribd offers a variety of publisher and user-uploaded content to our users and

while the publisher content is rich in metadata, user-uploaded content

typically is not. Documents uploaded by the users have varied subjects and

content types which can make it challenging to link them together. One way to

connect content can be through a taxonomy - an important type of structured

information widely used in various domains. In this series, we have already

shared how we identify document

types and extract information

from documents, this post

will discuss how insights from data were used to help build the taxonomy and

our approach to assign categories to the user-uploaded documents.

Building the…

1 месяц, 3 недели назад @ tech.scribd.com
Information Extraction at Scribd
Information Extraction at Scribd Information Extraction at Scribd

Extracting metadata from our documents is an important part of our discovery

and recommendation pipeline, but discerning useful and relevant details

from text-heavy user-uploaded documents can be challenging. This is

part 2 in a series of blog posts describing a multi-component machine learning

system the Applied Research team built to extract metadata from our documents in order to enrich downstream discovery models. In this post, we present the challenges and

limitations the team faced when building information extraction NLP models for Scribd’s text-heavy documents and how they were solved.

As mentioned in part 1, we now have a way of identifying text-heavy documents. Having done that, w…

2 месяца назад @ tech.scribd.com
Presenting Rust and Python Support for Delta Lake
Presenting Rust and Python Support for Delta Lake

Delta Lake is integral to our data platform which is why we have invested

heavily in delta-rs to support our

non-JVM Delta Lake needs. This year I had the opportunity to share the progress

of delta-rs at Data and AI Summit. Delta-rs was originally started by my colleague QP just over a year ago and it has now grown to now a multi-company project with numerous contributors, and downstream projects such as kafka-delta-ingest.

In the session embedded below, I introduce the delta-rs project which is

helping bring the power of Delta Lake outside of the Spark ecosystem. By

providing a foundational Delta Lake library in Rust, delta-rs can enable native

bindings in Python, Ruby, Golang, and more.We…

2 месяца назад @ tech.scribd.com
Identifying Document Types at Scribd
Identifying Document Types at Scribd Identifying Document Types at Scribd

User-uploaded documents have been a core component of Scribd’s business from

the very beginning, understanding what is actually in the document corpus

unlocks exciting new opportunities for discovery and recommendation.

With Scribd anybody can upload and share

documents, analogous to YouTube and videos. Over

the years, our document corpus has become larger and more diverse which has

made understanding it an ever-increasing challenge.

Over the past year one of the missions of the Applied Research team has been to

extract key document metadata to enrich

downstream discovery systems. Our approach combines semantic understanding with

user behaviour in a multi-component machine learning system.

2 месяца, 1 неделя назад @ tech.scribd.com
Automating Databricks with Terraform
Automating Databricks with Terraform

The long term success of our data platform relies on putting tools into the

hands of developers and data scientists to “choose their own adventure”. A big

part of that story has been Databricks which we

recently integrated with Terraform to make it easy to

scale a top-notch developer experience. At the 2021 Data and AI Summit, Core

Platform infrastructure engineer Hamilton

Hord and Databricks engineer Serge

Smertin presented on the Databricks terraform provider

and how it’s been used by Scribd.

In the session embedded below, they share the details on the Databricks (Labs)

Terraform

integration

and how it can automate literally every aspect required for a production-grade

platform: data secu…

2 месяца, 2 недели назад @ tech.scribd.com
Kafka to Delta Lake, as fast as possible
Kafka to Delta Lake, as fast as possible Kafka to Delta Lake, as fast as possible

Streaming data from Apache Kafka into Delta Lake is an integral part of

Scribd’s data platform, but has been challenging to manage and

scale. We use Spark Structured Streaming jobs to read data from

Kafka topics and write that data into Delta Lake tables. This approach gets the job

done but in production our experience has convinced us that a different

approach is necessary to efficiently bring data from Kafka to Delta Lake. To

serve this need, we created

kafka-delta-ingest.

The user requirements are likely relatable to a lot of folks: My application emits data into Kafka that I want to analyze later.

I want my Kafka data to land in the data warehouse and be queryable pretty soon after inge…

4 месяца назад @ tech.scribd.com
Growing the Delta Lake ecosystem with Rust and Python
Growing the Delta Lake ecosystem with Rust and Python

Scribd stores billions of records in Delta Lake but writing

or reading that data had been constrained to a single tech stack, all of that

changed with the creation of delta-rs.

Historically using Delta Lake required applications to be implemented with or

accompanied by Apache Spark. Many of our batch

and streaming data processing applications are all Spark-based, but that’s not

everything that exists! In mid-2020 it became clear that Delta Lake would be a

powerful tool in areas adjacent to the domain that Spark occupies. From my

perspective, I figured that would soon need to bring data into and out of Delta

Lake in dozens of different ways. Some discussions and prototyping led to the

creati…

4 месяца назад @ tech.scribd.com
Backing up Delta Lake
Backing up Delta Lake

Transitioning from a more traditional database operation (read ACID, RDBMS blah blah) background to a newer data platform is always interesting. As it constantly challenges all yours year old wisdom and kind of forces you to adapt to newer way of getting things done.

At Scribd we have made

Delta Lake a cornerstone of our data platform. All data in

Delta Lake is stored in Apache Parquet format enabling Delta Lake to leverage

the efficient compression and encoding schemes that are native to Parquet. The

Delta Lake transaction log (also known as the DeltaLog) is an ordered record of

every transaction that has ever been performed on a Delta Lake table since its

inception. So a particular datase…

4 месяца, 2 недели назад @ tech.scribd.com
Integrating Airflow with Okta
Integrating Airflow with Okta Integrating Airflow with Okta

At Scribd we use Airflow as a scheduler for most of our batch workloads, this blog is not about Airflow so we are not getting into why Airflow. This is about one of the biggest challenge that we faced while using Airflow and finally conquer. That is how to do authentication and authorisation for Airflow. Of course Airflow does support LDAP and at Scribd we started using LDAP with Airflow initially, but as the organisation grow and more and more user started using Airflow, it became imperative that we integrate Airflow with our SSO provider that is Okta.

Sadly there is a lack of resources on how to implement airflow with Okta specifically. This write up will describe the journey of integrati…

4 месяца, 3 недели назад @ tech.scribd.com
Embedding-based Retrieval at Scribd
Embedding-based Retrieval at Scribd Embedding-based Retrieval at Scribd

Building recommendations systems like those implemented at large companies like Facebook and Pinterest can be accomplished using off the shelf tools like Elasticsearch. Many modern recommendation systems implement embedding-based retrieval, a technique that uses embeddings to represent documents, and then converts the recommendations retrieval problem into a similarity search problem in the embedding space. This post details our approach to “embedding-based retrieval” with Elasticsearch.

Context

Recommendations plays an integral part in helping users discover content that delights them on the Scribd platform, which hosts millions of premium ebooks, audiobooks, etc along with over a hundred …

5 месяцев, 1 неделя назад @ tech.scribd.com
Data Quest
последний пост 2 недели, 5 дней назад
30-Day Data Science Challenge
30-Day Data Science Challenge

We're excited to kick off the 30 Day Dataquest Challenge! Here’s why:Building learning habits is crucial to your data career, but it can be difficult to get into a new habit. Maybe you’ve tried building before, but, time and time again, you fall off. Something comes up. What starts off exciting becomes too difficult. Before […]

The post 30-Day Data Science Challenge appeared first on Dataquest.

2 недели, 5 дней назад @ dataquest.io
How I Learned Data Science in 6 Months
How I Learned Data Science in 6 Months

Everyone’s journey to become a data scientist is different, and the learning curve will vary depending on many factors, including time availability, prior knowledge, the tools you use, etc. One learner shares his story about how he became a data scientist in 6 months with Dataquest. Here’s how his journey began:As the title suggests, this […]

The post How I Learned Data Science in 6 Months appeared first on Dataquest.

1 месяц назад @ dataquest.io
Data Analyst Skills – 8 Skills You Need to Get a Job
Data Analyst Skills – 8 Skills You Need to Get a Job

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

The post Data Analyst Skills – 8 Skills You Need to Get a Job appeared first on Dataquest.

5 месяцев назад @ dataquest.io
Data Engineer, Data Analyst, Data Scientist — What’s the Difference?
Data Engineer, Data Analyst, Data Scientist — What’s the Difference?

In the fast-growing field of data, the "big three" job roles are data engineer, data analyst, and data scientist. Figure out which is the best fit for you.

The post Data Engineer, Data Analyst, Data Scientist — What’s the Difference? appeared first on Dataquest.

5 месяцев, 1 неделя назад @ dataquest.io
You Need Data Skills to Future-Proof Your Career
You Need Data Skills to Future-Proof Your Career

No matter what industry you're in, you need data skills to future-proof your career. You might be thinking: Vik is the CEO of a company that teaches data science - of course he'd say that! But stick with me for a few more paragraphs, I'll walk you through how data was key to all of the […]

The post You Need Data Skills to Future-Proof Your Career appeared first on Dataquest.

5 месяцев, 2 недели назад @ dataquest.io
Data Analytics Certification: Do You Need a Certificate to Get a Job as a Data Analyst?
Data Analytics Certification: Do You Need a Certificate to Get a Job as a Data Analyst?

If you’re interested in becoming a data analyst, or even just interested in adding some data skills to your resume, you’ve probably wondered: do I need some kind of data analytics certification?Finding the real answer to this question is tricky. There are a million data analytics certificate programs out there, and they all have a […]

The post Data Analytics Certification: Do You Need a Certificate to Get a Job as a Data Analyst? appeared first on Dataquest.

6 месяцев назад @ dataquest.io
SQL Interview Questions — Real Questions to Prep for Your Job Interview
SQL Interview Questions — Real Questions to Prep for Your Job Interview

A lot of the SQL interview questions you'll find on the web are generic: "What is SQL?" You'll never be asked that. We've got real questions to help you prep.

The post SQL Interview Questions — Real Questions to Prep for Your Job Interview appeared first on Dataquest.

7 месяцев, 2 недели назад @ dataquest.io
Want a Job in Data? Learn SQL.
Want a Job in Data? Learn SQL.

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

The post Want a Job in Data? Learn SQL. appeared first on Dataquest.

7 месяцев, 3 недели назад @ dataquest.io
Do You Need a SQL Certification to Get a Data Job in 2021?
Do You Need a SQL Certification to Get a Data Job in 2021?

If you want to work in data, do you need a SQL certification? That’s a question that can be difficult to answer, especially with different organizations pushing to get you to spend money on their certificate programs. Table Of Contents (click to expand) 1Do you need to learn SQL? Yes.2Do you need a SQL certificate? […]

The post Do You Need a SQL Certification to Get a Data Job in 2021? appeared first on Dataquest.

8 месяцев назад @ dataquest.io
Infrastructure
AWS
последний пост 2 дня, 13 часов назад
Arçelik hosts global AWS DeepRacer League using new LIVE feature to educate over 200 employees on machine learning
Arçelik hosts global AWS DeepRacer League using new LIVE feature to educate over 200 employees on machine learning

This is a guest post by Pınar Köse Kulacz, Innovation Director at Arçelik. Arçelik, the leading global manufacturer of household appliances, has collaborated with AWS since 2019 to increase efficiency and innovate on new services. Here at Arçelik, we believe that data and artificial intelligence provide a critical advantage over competitors in the global consumer […]

2 дня, 13 часов назад @ aws.amazon.com
Train fraudulent payment detection with Amazon SageMaker
Train fraudulent payment detection with Amazon SageMaker

The ability to detect fraudulent card payments is becoming increasingly important as the world moves towards a cashless society. For decades, banks have relied on building complex mathematical models to predict whether a given card payment transaction is likely to be fraudulent or not. These models must be both accurate and precise—they must catch fraudulent […]

2 дня, 19 часов назад @ aws.amazon.com
Perform interactive data engineering and data science workflows from Amazon SageMaker Studio notebooks
Perform interactive data engineering and data science workflows from Amazon SageMaker Studio notebooks

Amazon SageMaker Studio is the first fully integrated development environment (IDE) for machine learning (ML). With a single click, data scientists and developers can quickly spin up Studio notebooks to explore and prepare datasets to build, train, and deploy ML models in a single pane of glass. We’re excited to announce a new set of […]

2 дня, 19 часов назад @ aws.amazon.com
Reduce costs and increase resource utilization of Apache Spark jobs on Kubernetes with Amazon EMR on Amazon EKS
Reduce costs and increase resource utilization of Apache Spark jobs on Kubernetes with Amazon EMR on Amazon EKS

Amazon EMR on Amazon EKS is a deployment option for Amazon EMR that allows you to run Apache Spark on Amazon Elastic Kubernetes Service (Amazon EKS). If you run open-source Apache Spark on Amazon EKS, you can now use Amazon EMR to automate provisioning and management, and run Apache Spark up to three times faster. […]

2 дня, 21 час назад @ aws.amazon.com
How Rapid7 built multi-tenant analytics with Amazon Redshift using near-real-time datasets
How Rapid7 built multi-tenant analytics with Amazon Redshift using near-real-time datasets

This is a guest post co-written by Rahul Monga, Principal Software Engineer at Rapid7. Rapid7 InsightVM is a vulnerability assessment and management product that provides visibility into the risks present across an organization. It equips you with the reporting, automation, and integrations needed to prioritize and fix those vulnerabilities in a fast and efficient manner. […]

4 дня, 15 часов назад @ aws.amazon.com
Launch Amazon SageMaker Studio from external applications using presigned URLs
Launch Amazon SageMaker Studio from external applications using presigned URLs

Amazon SageMaker Studio provides a single, web-based visual interface where you can perform all ML development steps, improving data science team productivity by up to 10 times. Studio gives you complete access, control, and visibility into each step required to build, train, and deploy models. You can quickly upload data, create new notebooks, train and […]

4 дня, 17 часов назад @ aws.amazon.com
Custom document annotation for extracting named entities in documents using Amazon Comprehend
Custom document annotation for extracting named entities in documents using Amazon Comprehend

Intelligent document processing (IDP), as defined by IDC, is an approach by which unstructured content and structured data is analyzed and extracted for use in downstream applications. IDP involves document reading, categorization, and data extraction, by using AI’s processes of computer vision (CV), Optical Character Recognition (OCR), and natural language processing (NLP) on provided texts.[1] […]

4 дня, 20 часов назад @ aws.amazon.com
Extract custom entities from documents in their native format with Amazon Comprehend
Extract custom entities from documents in their native format with Amazon Comprehend

Multiple industries such as finance, mortgage, and insurance face the challenge of extracting information from documents and taking a specific action to enable business processes. Intelligent document processing (IDP) helps extract information locked within documents that is important to business operations. Customers are always seeking new ways to use artificial intelligence (AI) to help them […]

4 дня, 20 часов назад @ aws.amazon.com
AWS is redefining how companies process documents in a digital world
AWS is redefining how companies process documents in a digital world

Think about the last time you opened a bank account, applied for insurance, or refinanced your home. It was probably done on paper. The number of documents in a mortgage packet alone is over 100 pages long. What do you do with all that paper? For many companies across a variety of industries, including financial […]

4 дня, 20 часов назад @ aws.amazon.com
Automate benchmark tests for Amazon Aurora PostgreSQL
Automate benchmark tests for Amazon Aurora PostgreSQL

Optimizing a database is an important activity for new and existing application workloads. You need to take cost, operations, performance, security, and reliability into consideration. Conducting benchmark tests help with these considerations. With Amazon Aurora PostgreSQL-Compatible Edition, you can run multiple benchmark tests with different transaction characteristics matching your data access patterns. In this post, […]

4 дня, 23 часа назад @ aws.amazon.com
How Amazon CodeGuru Reviewer helps Gridium maintain a high quality codebase
How Amazon CodeGuru Reviewer helps Gridium maintain a high quality codebase

Gridium creates software that lets people run commercial buildings at a lower cost and with less energy. Currently, half of the world lives in cities. Soon, nearly 70% will, while buildings utilize 40% of the world’s electricity. In the U.S. alone, commercial real estate value tops one trillion dollars. Furthermore, much of this asset class […]

5 дней, 12 часов назад @ aws.amazon.com
Introducing PII identification and redaction in streaming transcriptions using Amazon Transcribe
Introducing PII identification and redaction in streaming transcriptions using Amazon Transcribe

Amazon Transcribe is an automatic speech recognition (ASR) service that makes it easy for developers to add speech to text capabilities to their applications. Since launching in 2017, Amazon Transcribe has added numerous features to enhance its capabilities around converting speech to text. Some of these features include automatic language detection, custom language models, vocabulary […]

5 дней, 16 часов назад @ aws.amazon.com
Perform audio redaction for personally identifiable information with Amazon Transcribe
Perform audio redaction for personally identifiable information with Amazon Transcribe

Amazon Transcribe is an automatic speech recognition (ASR) service that makes it easy to add speech-to-text capabilities to your applications. Speech or audio data is virtually impossible for computers to search and analyze. Therefore, recorded speech needs to be converted to text before it can be used in applications. Automatic content redaction is a feature […]

5 дней, 20 часов назад @ aws.amazon.com
Get value from every customer touchpoint using Amazon Connect as a data gathering mechanism
Get value from every customer touchpoint using Amazon Connect as a data gathering mechanism

The recent pandemic and the impossibility of meeting customers in person has made two-way contact centers an effective tool for sales representatives to reach to customers. Amazon Connect is the ideal service to manage these contacts, and its adoption gives you the opportunity to gather new business insights. Thanks to Amazon Connect, you can program […]

5 дней, 20 часов назад @ aws.amazon.com
Connect to Amazon Keyspaces from your desktop using IntelliJ, PyCharm, or DataGrip IDEs
Connect to Amazon Keyspaces from your desktop using IntelliJ, PyCharm, or DataGrip IDEs

AWS customers use Amazon Keyspaces (for Apache Cassandra) to modernize their Cassandra workloads. Keyspaces offers customers scalability and fast performance to provide users a great end-user experience. Amazon Keyspaces is a scalable, highly available, and managed Apache Cassandra-compatible database service. With Amazon Keyspaces, you can run your Cassandra workloads on AWS using the same Cassandra […]

6 дней, 1 час назад @ aws.amazon.com
AWS
последний пост 2 дня, 13 часов назад
Analyze daily trading activity using transaction data from Amazon Redshift in Amazon FinSpace
Analyze daily trading activity using transaction data from Amazon Redshift in Amazon FinSpace

Financial services organizations use data from various sources to discover new insights and improve trading decisions. Finding the right dataset and getting access to the data can frequently be a time-consuming process. For example, to analyze daily trading activity, analysts need to find a list of available databases and tables, identify its owner’s contact information, […]

6 дней, 8 часов назад @ aws.amazon.com
Send webhooks to SaaS applications from Amazon Aurora via Amazon EventBridge
Send webhooks to SaaS applications from Amazon Aurora via Amazon EventBridge

Customers developing software as a service (SaaS) applications often need to send outgoing webhooks (HTTP call-backs in response to events) to other SaaS applications such as Salesforce, Marketo, or ServiceNow. When processing webhooks, you often have to implement custom logic or services to enqueue and emit these events. This introduces additional complexity and operational overhead. […]

6 дней, 22 часа назад @ aws.amazon.com
Register now for Flink Forward Global, October 26-27, 2021
Register now for Flink Forward Global, October 26-27, 2021

Flink Forward Global 2021 is a 2-day virtual conference for the Apache Flink and stream processing communities. Apache Flink is an open-source distributed engine for processing data streams that can support both streaming and batch workloads. Amazon Kinesis Data Analytics is a fully managed service for Apache Flink on AWS that reduces the complexity of […]

1 неделя, 2 дня назад @ aws.amazon.com
Manage your Amazon Fraud Detector resources in an automated and secure manner using AWS CloudFormation
Manage your Amazon Fraud Detector resources in an automated and secure manner using AWS CloudFormation

Amazon Fraud Detector is a fully managed service that makes it easy to identify potentially fraudulent online activities, such as the creation of fake accounts or online payment fraud. Unlike general-purpose machine learning (ML) packages, Amazon Fraud Detector is designed specifically to detect fraud. Amazon Fraud Detector combines your data, the latest in ML science, […]

1 неделя, 2 дня назад @ aws.amazon.com
Post-migration steps and best practices for Amazon RDS for SQL Server
Post-migration steps and best practices for Amazon RDS for SQL Server

Amazon Relational Database Service (Amazon RDS) makes it easy to set up, operate, and scale a relational database in the cloud. It provides cost-efficient and resizable capacity while automating time-consuming administration tasks, such as hardware provisioning, database setup, patching, and backups. It frees you to focus on your applications, so you can give them the […]

1 неделя, 2 дня назад @ aws.amazon.com
Embed multi-tenant dashboards in SaaS apps using Amazon QuickSight without provisioning or managing users
Embed multi-tenant dashboards in SaaS apps using Amazon QuickSight without provisioning or managing users

Amazon QuickSight is a fully-managed, cloud-native business intelligence (BI) service that makes it easy to connect to your data, create interactive dashboards, and share these with tens of thousands of users, either within QuickSight itself, or embedded in software as a service (SaaS) apps. QuickSight Enterprise Edition recently added row-level security (RLS) using tags, a […]

1 неделя, 3 дня назад @ aws.amazon.com
The development of Bundesliga Match Fact Passing Profile, a deep dive into passing in football
The development of Bundesliga Match Fact Passing Profile, a deep dive into passing in football

This post was authored by Simon Rolfes. Simon played 288 Bundesliga games as a central midfielder, scored 41 goals, and won 26 caps for Germany. Currently, he serves as Sporting Director at Bayer 04 Leverkusen, where he oversees and develops the pro player roster, the scouting department, and the club’s youth development. Simon also writes […]

1 неделя, 3 дня назад @ aws.amazon.com
Stream time series data into Amazon Timestream using Apache NiFi
Stream time series data into Amazon Timestream using Apache NiFi

Time series data is one of the fastest growing categories of source data used by organizations to provide better services, analysis, and insights to their end-users. High on the list of requirements is the speed at which streaming data can be ingested and accessed by existing and new applications. One of the enabling technologies being […]

1 неделя, 4 дня назад @ aws.amazon.com
A PartiQL deep dive: Understand the language and bring SQL queries to AWS non-relational database services
A PartiQL deep dive: Understand the language and bring SQL queries to AWS non-relational database services

It’s data, data everywhere! To turn data into information, and information into insight, we need to understand our data to its full extent and make use of the statistics derived from it. Applying the obtained results successfully while making business decisions remains a challenge for most organizations, even today. This is partly due to the […]

1 неделя, 4 дня назад @ aws.amazon.com
Federated authentication to Amazon Redshift using AWS Single Sign-On
Federated authentication to Amazon Redshift using AWS Single Sign-On

Managing database users through identity federation allows you to manage authentication and authorization procedures centrally. Amazon Redshift, a fast, fully managed cloud data warehouse, provides browser-based plugins for JDBC/ODBC drivers, which helps you easily implement identity federation capabilities added with multi-factor authentication (MFA) to secure your data warehouse, and also helps automation and enforcement of […]

1 неделя, 4 дня назад @ aws.amazon.com
Implement anti-money laundering solutions on AWS
Implement anti-money laundering solutions on AWS

The detection and prevention of financial crime continues to be an important priority for banks. Over the past 10 years, the level of activity in financial crimes compliance in financial services has expanded significantly, with regulators around the globe taking scores of enforcement actions and levying $36 billion in fines. Apart from the fines, the […]

1 неделя, 4 дня назад @ aws.amazon.com
Orchestrate Jenkins Workloads using Dynamic Pod Autoscaling with Amazon EKS
Orchestrate Jenkins Workloads using Dynamic Pod Autoscaling with Amazon EKS

This blog post will demonstrate how to leverage Jenkins with Amazon Elastic Kubernetes Service (EKS) by running a Jenkins Manager within an EKS pod. In doing so, we can run Jenkins workloads by allowing Amazon EKS to spawn dynamic Jenkins Agent(s) in order to perform application and infrastructure deployment. Traditionally, customers will setup a Jenkins Manager-Agent […]

1 неделя, 4 дня назад @ aws.amazon.com
Migrating to Amazon RDS for SQL Server using transactional replication with native backup and restore: Part 3
Migrating to Amazon RDS for SQL Server using transactional replication with native backup and restore: Part 3

If you have large mission-critical workloads running on an on-premises Microsoft SQL Server database, you may be looking for ways to migrate to AWS with minimal to near-zero downtime. In this post, we show you a solution for migrating your on-premises SQL Server database to Amazon Relational Database (Amazon RDS) for SQL Server using the […]

1 неделя, 5 дней назад @ aws.amazon.com
Boost transcription accuracy of class lectures with custom language models for Amazon Transcribe
Boost transcription accuracy of class lectures with custom language models for Amazon Transcribe

Many universities like transcribing their recorded class lectures and later creating captions out of these transcriptions. Amazon Transcribe is a fully-managed automatic speech recognition service (ASR) that makes it easy to add speech-to-text capabilities to voice-enabled applications. Transcribe assists in increasing accessibility and improving content engagement and learning outcomes by connecting with both auditory and […]

1 неделя, 5 дней назад @ aws.amazon.com
Finding code inconsistencies using Amazon CodeGuru Reviewer
Finding code inconsistencies using Amazon CodeGuru Reviewer

Here we are introducing the inconsistency detector for Java in Amazon CodeGuru Reviewer. CodeGuru Reviewer automatically analyzes pull requests (created in supported repositories such as AWS CodeCommit, GitHub, GitHub Enterprise, and Bitbucket) and generates recommendations for improving code quality. For more information, see Automating code reviews and application profiling with Amazon CodeGuru. The Inconsistency Principle […]

1 неделя, 5 дней назад @ aws.amazon.com
Astronomer Astronomer
последний пост 4 дня, 4 часа назад
Airflow at Wise: Data Orchestrator in Machine Learning
Airflow at Wise: Data Orchestrator in Machine Learning

A talk with Alexandra Abbas—a Machine Learning Engineer at Wise—about how they leverage Apache Airflow in their ML initiatives.

4 дня, 4 часа назад @ astronomer.io
How to Build a Modern Data Stack
How to Build a Modern Data Stack

Breaking down what a modern data stack means in practice. We discuss four core components, five reasons to set it up, and how to orchestrate it.

1 неделя, 4 дня назад @ astronomer.io
How CRED Built 90+ DAGs in 6 months with Astronomer
How CRED Built 90+ DAGs in 6 months with Astronomer

Check out the story of CRED—a FinTech company based in India—and how they leveraged the power of Apache Airflow.

1 неделя, 6 дней назад @ astronomer.io
How to Build an ETL Process?
How to Build an ETL Process?

Extract, transform, load. Discover the vital steps and methods of building an ETL process for your business.

2 недели, 3 дня назад @ astronomer.io
Airflow Pools
Airflow Pools

Using pools to control task parallelism in Airflow.

2 недели, 5 дней назад @ astronomer.io
Data Silos: What Are They and How to Fix Them?
Data Silos: What Are They and How to Fix Them?

Everything you need to know about data silos—how they influence your business, where they come from, and how to fix them.

3 недели, 6 дней назад @ astronomer.io
Airflow at Societe Generale: Data Orchestration Solution in Banking
Airflow at Societe Generale: Data Orchestration Solution in Banking

A conversation with Societe Generale about their Airflow implementation and development of the data orchestration solution.

1 месяц назад @ astronomer.io
Integrating Airflow and dbt
Integrating Airflow and dbt

Running dbt models in your Airflow DAGs.

1 месяц назад @ astronomer.io
Using Airflow with SageMaker
Using Airflow with SageMaker

Methods for orchestrating SageMaker machine learning pipelines with Airflow.

1 месяц, 1 неделя назад @ astronomer.io
Data Pipeline: Components, Types and Best Practices
Data Pipeline: Components, Types and Best Practices

What is all the data pipelines fuss about? Learn the basics and follow our best practices.

1 месяц, 1 неделя назад @ astronomer.io
Data Pipeline: Components, Types and Best Practices
Data Pipeline: Components, Types and Best Practices

What is all the data pipelines fuss about? Learn the basics and follow our best practices.

1 месяц, 1 неделя назад @ astronomer.io
Building a Scalable Analytics Architecture with Airflow and dbt: Part 3
Building a Scalable Analytics Architecture with Airflow and dbt: Part 3

Learn how to build a scalable analytics architecture with Apache Airflow and dbt—in the 3rd and final part of our series.

1 месяц, 2 недели назад @ astronomer.io
Executing Notebooks with Airflow
Executing Notebooks with Airflow

Methods for orchestrating commonly used notebooks with Airflow.

1 месяц, 3 недели назад @ astronomer.io
What is data orchestration and why is it essential for business
What is data orchestration and why is it essential for business

Discover what data orchestration is, learn the most significant pain points it addresses, and find out how to help your business grow.

1 месяц, 3 недели назад @ astronomer.io
Airflow Summit 2021 Highlights
Airflow Summit 2021 Highlights

Learn about the biggest community-driven event around Apache Airflow 2021!

1 месяц, 3 недели назад @ astronomer.io
DBT — Data Build Tool DBT — Data Build Tool
последний пост 3 недели, 5 дней назад
We'll gather in person again... just not in 2021
We'll gather in person again... just not in 2021 We'll gather in person again... just not in 2021

We are cancelling in-person events for the remainder of 2021. We know these are disappointing news but remain confident that it's the right decision for safely engaging with our dbt Community.

3 недели, 5 дней назад @ blog.getdbt.com
On DAGs, Hierarchies, and IDEs
On DAGs, Hierarchies, and IDEs On DAGs, Hierarchies, and IDEs

With the DAG-in-the-IDE (now available to all dbt Cloud users), analytics engineers can seamlessly navigate the core structure of their dbt project with low friction and low cognitive load, making the entire development process more intuitive, pleasant, and efficient.

1 месяц назад @ blog.getdbt.com
We the purple people
We the purple people We the purple people

The data world needs more purple people — generalists who can navigate both the business context and the modern data stack. Let's put aside skillset dichotomies, and learn to feel comfortable in the space between.

1 месяц, 3 недели назад @ blog.getdbt.com
dbt and Hightouch are putting your transformed data to work
dbt and Hightouch are putting your transformed data to work dbt and Hightouch are putting your transformed data to work

Give your business teams access to transformed data in the tools they use every day. Hightouch now integrates with dbt to help you bring “Reverse ETL” to your stack.

1 месяц, 3 недели назад @ blog.getdbt.com
Announcing: The Foundry Program
Announcing: The Foundry Program Announcing: The Foundry Program

Over the past few months, the dbt Labs’ recruiting team has partnered with leaders from our Engineering and Analytics Engineering organizations to design the Foundry Program. This program will provide a gateway for those that are new to the field or looking to make a career change.

2 месяца назад @ blog.getdbt.com
Of the Community, By the Community, For the Community
Of the Community, By the Community, For the Community Of the Community, By the Community, For the Community

Or: why we raised a series C.

2 месяца, 3 недели назад @ blog.getdbt.com
dbt + Materialize: Streaming to a dbt project near you
dbt + Materialize: Streaming to a dbt project near you dbt + Materialize: Streaming to a dbt project near you

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

3 месяца, 2 недели назад @ blog.getdbt.com
dbt + Materialize: Streaming to a dbt project near you
dbt + Materialize: Streaming to a dbt project near you dbt + Materialize: Streaming to a dbt project near you

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

3 месяца, 2 недели назад @ blog.getdbt.com
Analytics Engineering for Everyone: Databricks in dbt Cloud
Analytics Engineering for Everyone: Databricks in dbt Cloud Analytics Engineering for Everyone: Databricks in dbt Cloud

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

4 месяца, 2 недели назад @ blog.getdbt.com
Analytics Engineering for Everyone: Databricks in dbt Cloud
Analytics Engineering for Everyone: Databricks in dbt Cloud Analytics Engineering for Everyone: Databricks in dbt Cloud

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

4 месяца, 2 недели назад @ blog.getdbt.com
Announcing Staging: dbt Demo Days
Announcing Staging: dbt Demo Days Announcing Staging: dbt Demo Days

Staging is a ✨new✨ quarterly event that brings dbt users (that’s you!) into the product development lifecycle (where I spend my days 😅).

8 месяцев, 1 неделя назад @ blog.getdbt.com
Announcing Staging: dbt Demo Days
Announcing Staging: dbt Demo Days Announcing Staging: dbt Demo Days

Staging is a ✨new✨ quarterly event that brings dbt users (that’s you!) into the product development lifecycle (where I spend my days 😅).

8 месяцев, 1 неделя назад @ blog.getdbt.com
The Modern Data Stack: Past, Present, and Future
The Modern Data Stack: Past, Present, and Future The Modern Data Stack: Past, Present, and Future

My thoughts on where our space has been and where it might be going.

9 месяцев, 3 недели назад @ blog.getdbt.com
The Modern Data Stack: Past, Present, and Future
The Modern Data Stack: Past, Present, and Future The Modern Data Stack: Past, Present, and Future

My thoughts on where our space has been and where it might be going.

9 месяцев, 3 недели назад @ blog.getdbt.com
FiveTran FiveTran
последний пост 1 час назад
Product Managers! Join Us at #mdscon 2021
Product Managers! Join Us at #mdscon 2021

Featuring speakers and sessions for data professionals of all kinds

1 час назад @ fivetran.com
Fivetran Achieves PCI DSS Level I Validation
Fivetran Achieves PCI DSS Level I Validation

Ecommerce customers can now connect Fivetran to PCI-validated data sources and transmit cardholder data to a PCI-validated destination.

2 дня, 21 час назад @ fivetran.com
Fivetran, SOC2 Type 2 and You
Fivetran, SOC2 Type 2 and You

An in-depth discussion of Fivetran’s SOC 2 Type 2 compliance and Powered By Fivetran (PBF).

4 дня, 1 час назад @ fivetran.com
Team Leads! Join Us at #mdscon 2021
Team Leads! Join Us at #mdscon 2021

Featuring speakers and sessions for data professionals of all kinds

4 дня, 1 час назад @ fivetran.com
Fivetran speeds up time to market for ItsaCheckmate
Fivetran speeds up time to market for ItsaCheckmate

Service provider in the restaurant industry uses Fivetran to empower employees to make data-driven decisions to optimize the business

4 дня, 6 часов назад @ fivetran.com
Introducing the Fivetran Terraform Provider
Introducing the Fivetran Terraform Provider

Integrate Fivetran into your infrastructure-as-code development.

5 дней, 1 час назад @ fivetran.com
Applying the Scientific Method to Improve Business Intelligence
Applying the Scientific Method to Improve Business Intelligence

The scientific method is a proven route to successful, tested and verified improvement. Here’s how to combine it with BI.

6 дней, 1 час назад @ fivetran.com
Announcing the First Fivetran Software Development Kit
Announcing the First Fivetran Software Development Kit

The new tools offer improved usability over the REST API for developers in Go.

6 дней, 7 часов назад @ fivetran.com
What Is a Database Schema?
What Is a Database Schema?

Use schemas to make life easier for your analysts and engineers.

6 дней, 20 часов назад @ fivetran.com
Data Analysts! Join Us at #mdscon 2021
Data Analysts! Join Us at #mdscon 2021

Featuring speakers and sessions for data professionals of all kinds

1 неделя назад @ fivetran.com
Fivetran AWS Customers Can Now Manage Credential Encryption
Fivetran AWS Customers Can Now Manage Credential Encryption

With customer-managed keys, Fivetran Business Critical users running AWS gain full control over credential encryption.

1 неделя, 3 дня назад @ fivetran.com
Build Your Own Agenda for the Modern Data Stack Conference
Build Your Own Agenda for the Modern Data Stack Conference

With a quick scroll and a few clicks, you can cue up the speakers and sessions you’re most excited about.

1 неделя, 3 дня назад @ fivetran.com
How to (Re)Use dbt: Guiding Rapid MDS Deployments
How to (Re)Use dbt: Guiding Rapid MDS Deployments

Learn how off-the-shelf, open-source dbt packages make data modeling frictionless.

1 неделя, 4 дня назад @ fivetran.com
Data Engineers and Data Architects! Join Us at #mdscon 2021
Data Engineers and Data Architects! Join Us at #mdscon 2021

Featuring speakers and sessions for data professionals of all kinds

1 неделя, 4 дня назад @ fivetran.com
Fivetran Adds Private Networking Support for AWS Customers
Fivetran Adds Private Networking Support for AWS Customers

Fivetran Business Critical secures data traffic with AWS PrivateLink.

2 недели, 3 дня назад @ fivetran.com
DataBricks DataBricks
последний пост 2 дня, 19 часов назад
Timeliness and Reliability in the Transmission of Regulatory Reports
Timeliness and Reliability in the Transmission of Regulatory Reports Timeliness and Reliability in the Transmission of Regulatory Reports

Managing risk and regulatory compliance is an increasingly complex and costly endeavour. Regulatory change has increased 500% since the 2008 global financial crisis and boosted the regulatory costs in the process. Given the fines associated with non-compliance and SLA breaches (banks hit an all-time high in fines of $10 billion in 2019 for AML), processing...

The post Timeliness and Reliability in the Transmission of Regulatory Reports appeared first on Databricks.

2 дня, 19 часов назад @ databricks.com
Real-time Point-of-Sale Analytics With a Data Lakehouse
Real-time Point-of-Sale Analytics With a Data Lakehouse Real-time Point-of-Sale Analytics With a Data Lakehouse

Disruptions in the supply chain – from reduced product supply and diminished warehouse capacity – coupled with rapidly shifting consumer expectations for seamless consumer demands in the new normal. In this blog, we’ll address the need for real-time data in retail, and how to overcome the challenges of moving real-time streaming of point-of-sale data at...

The post Real-time Point-of-Sale Analytics With a Data Lakehouse appeared first on Databricks.

1 неделя, 3 дня назад @ databricks.com
How Incremental ETL Makes Life Simpler With Data Lakes
How Incremental ETL Makes Life Simpler With Data Lakes How Incremental ETL Makes Life Simpler With Data Lakes

Incremental ETL (Extract, Transform and Load) in a conventional data warehouse has become commonplace with CDC (change data capture) sources, but scale, cost, accounting for state and the lack of machine learning access make it less than ideal. In contrast, incremental ETL in a data lake hasn’t been possible due to factors such as the...

The post How Incremental ETL Makes Life Simpler With Data Lakes appeared first on Databricks.

2 недели, 6 дней назад @ databricks.com
Announcing Databricks Autologging for Automated ML Experiment Tracking
Announcing Databricks Autologging for Automated ML Experiment Tracking Announcing Databricks Autologging for Automated ML Experiment Tracking

Machine learning teams require the ability to reproduce and explain their results–whether for regulatory, debugging or other purposes. This means every production model must have a record of its lineage and performance characteristics. While some ML practitioners diligently version their source code, hyperparameters and performance metrics, others find it cumbersome or distracting from their rapid...

The post Announcing Databricks Autologging for Automated ML Experiment Tracking appeared first on Databricks.

3 недели, 2 дня назад @ databricks.com
Improving On-Shelf Availability for Items with AI Out of Stock Modeling
Improving On-Shelf Availability for Items with AI Out of Stock Modeling Improving On-Shelf Availability for Items with AI Out of Stock Modeling

This post was written in collaboration with Databricks partner Tredence. We thank Rich Williams, Vice President Data Engineering, and Morgan Seybert, Chief Business Officer, of Tredence for their contributions. Retailers are missing out on nearly $1 trillion in global sales because they don’t have on-hand what customers want to buy in their stores. Adding...

The post Improving On-Shelf Availability for Items with AI Out of Stock Modeling appeared first on Databricks.

3 недели, 5 дней назад @ databricks.com
Solution Accelerator: Multi-touch Attribution
Solution Accelerator: Multi-touch Attribution Solution Accelerator: Multi-touch Attribution

Behind the growth of every consumer-facing product is the acquisition and retention of an engaged user base. When it comes to customer acquisition, the goal is to attract high-quality users as cost effectively as possible. With marketing dollars dispersed across a wide array of different touchpoints — campaigns, channels, and creatives — measuring effectiveness is...

The post Solution Accelerator: Multi-touch Attribution appeared first on Databricks.

3 недели, 6 дней назад @ databricks.com
Make Your RStudio on Databricks More Durable and Resilient
Make Your RStudio on Databricks More Durable and Resilient Make Your RStudio on Databricks More Durable and Resilient

One of the questions that we often hear from our customers these days is, “Should I develop my solution in Python or R?” There is no right or wrong answer to this question, as it largely depends on the available talent pool, functional requirements, availability of packages that fit the problem domain and many other...

The post Make Your RStudio on Databricks More Durable and Resilient appeared first on Databricks.

1 месяц назад @ databricks.com
How We Achieved High-bandwidth Connectivity With BI Tools
How We Achieved High-bandwidth Connectivity With BI Tools How We Achieved High-bandwidth Connectivity With BI Tools

Business Intelligence (BI) tools such as Tableau and Microsoft Power BI are notoriously slow at extracting large query results from traditional data warehouses because they typically fetch the data in a single thread through a SQL endpoint that becomes a data transfer bottleneck. Data analysts can connect their BI tools to Databricks SQL endpoints to...

The post How We Achieved High-bandwidth Connectivity With BI Tools appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
How We Built Databricks on Google Kubernetes Engine (GKE)
How We Built Databricks on Google Kubernetes Engine (GKE) How We Built Databricks on Google Kubernetes Engine (GKE)

Our release of Databricks on Google Cloud Platform (GCP) was a major milestone toward a unified data, analytics and AI platform that is truly multi-cloud. Databricks on GCP, a jointly-developed service that allows you to store all of your data on a simple, open lakehouse platform, is based on standard containers running on top of...

The post How We Built Databricks on Google Kubernetes Engine (GKE) appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
An Experimentation Pipeline for Extracting Topics From Text Data Using PySpark
An Experimentation Pipeline for Extracting Topics From Text Data Using PySpark An Experimentation Pipeline for Extracting Topics From Text Data Using PySpark

This post is part of a series of posts on topic modeling. Topic modeling is the process of extracting topics from a set of text documents. This is useful for understanding or summarizing large collections of text documents. A document can be a line of text, a paragraph or a chapter in a book. The...

The post An Experimentation Pipeline for Extracting Topics From Text Data Using PySpark appeared first on Databricks.

1 месяц, 3 недели назад @ databricks.com
Getting Started With Ingestion into Delta Lake
Getting Started With Ingestion into Delta Lake Getting Started With Ingestion into Delta Lake

Ingesting data can be hard and complex since you either need to use an always-running streaming platform like Kafka or you need to be able to keep track of which files haven’t been ingested yet. In this blog, we will discuss Auto Loader and COPY INTO, two methods of ingesting data into a Delta Lake...

The post Getting Started With Ingestion into Delta Lake appeared first on Databricks.

1 месяц, 4 недели назад @ databricks.com
The Delta Between ML Today and Efficient ML Tomorrow
The Delta Between ML Today and Efficient ML Tomorrow The Delta Between ML Today and Efficient ML Tomorrow

Delta Lake and MLflow both come up frequently in conversation but often as two entirely separate products. This blog will focus on the synergies between Delta Lake and MLflow for machine learning use cases and explain how you can leverage Delta Lake to deliver strong ML results based on solid data foundations. If you are...

The post The Delta Between ML Today and Efficient ML Tomorrow appeared first on Databricks.

1 месяц, 4 недели назад @ databricks.com
Monitoring ML Models With Model Assertions
Monitoring ML Models With Model Assertions Monitoring ML Models With Model Assertions

This is a guest post from the Stanford University Computer Science Department. We thank Daniel Kang, Deepti Raghavan and Peter Bailis of Stanford University for their contributions. Machine learning (ML) models are increasingly used in a wide range of business applications. Organizations deploy hundreds of ML models to predict customer churn, optimal pricing, fraud...

The post Monitoring ML Models With Model Assertions appeared first on Databricks.

1 месяц, 4 недели назад @ databricks.com
AML Solutions at Scale Using Databricks Lakehouse Platform
AML Solutions at Scale Using Databricks Lakehouse Platform AML Solutions at Scale Using Databricks Lakehouse Platform

Anti-Money Laundering (AML) compliance has been undoubtedly one of the top agenda items for regulators providing oversight of financial institutions across the globe. As AML evolved and became more sophisticated over the decades, so have the regulatory requirements designed to counter modern money laundering and terrorist financing schemes. The Bank Secrecy Act of 1970 provided...

The post AML Solutions at Scale Using Databricks Lakehouse Platform appeared first on Databricks.

2 месяца назад @ databricks.com
Feature Engineering at Scale
Feature Engineering at Scale Feature Engineering at Scale

Feature engineering is one of the most important and time-consuming steps of the machine learning process. Data scientists and analysts often find themselves spending a lot of time experimenting with different combinations of features to improve their models and to generate BI reports that drive business insights. The larger, more complex datasets with which data...

The post Feature Engineering at Scale appeared first on Databricks.

2 месяца назад @ databricks.com
Mix
/r/DataEngineering
последний пост 1 час назад
Data Engineering course - UC Berkeley, Spring 2021
Data Engineering course - UC Berkeley, Spring 2021

submitted by /u/tfyz [link] [comments]

1 час назад @ reddit.com
How likely is it to land a London based DE job with 100k+ salary working fully remote?
How likely is it to land a London based DE job with 100k+ salary working fully remote?

I'm seeing a few DE jobs pop up in my emails with big London salaries (fully-remote). I'm just wondering if anyone has any experience landing these roles? I'm also curious if DE salaries are likely to change in the coming years. I'm still after junior positions. But I'm already thinking about where I could be in 5, 10 or 20 years. Ideally I'd eventually be on £100k - but maybe I'm just expecting too much from UK tech salaries... Although I do like DE, money is still important to me. submitted by /u/Aaron-SWE [link] [comments]

4 часа назад @ reddit.com
Snowflake architecture/mapping
Snowflake architecture/mapping

Hello everyone Hoping I could perhaps get some help with this. My team is inheriting a datawarehouse on Snowflake - as you can imagine there is not much accompanying documentation. Is there any tool that can scan/download the various schemas and tables to display the architecture/relationships at all? Just trying to save myself a manual background task as & when I get the time to commit to it. Many thanks and have a great week. submitted by /u/yddadpoj [link] [comments]

5 часов назад @ reddit.com
how can I write my pipeline to execute only certain tasks?
how can I write my pipeline to execute only certain tasks?

I currently have a python script, main.py, as my entry point to my docker container. Main.py combines functions for separate processes, not dependent on each other. Sometimes only one process will fail and I might want to rerun that, but currently I am just reruning the entire main.py script. I'm sure there is a better way to design my pipeline so that I can manually run my docker container and input something to say 'only run task x this time'. I'm thinking there's probably a lot of ways to do it... like setting an env variable when I run my container and run specific functions based on what that env variable is. I know Airflow exists, but I'm not sure if that would work for me because I a…

7 часов назад @ reddit.com
Benn Stancil's data OS, UCBerkely's data engineering spring 2021 course, Airbnb's Automating Data Protection at Scale, Uber's YAML Generator for Funnel YAML Files, Intuit's A Paved Road for Data Pipelines, Pinterest's Faster Flink adoption with self-servic
Benn Stancil's data OS, UCBerkely's data engineering spring 2021 course, Airbnb's Automating Data Protection at Scale, Uber's YAML Generator for Funnel YAML Files, Intuit's A Paved Road for Data Pipelines, Pinterest's Faster Flink adoption with self-servic Benn Stancil's data OS, UCBerkely's data engineering spring 2021 course, Airbnb's Automating Data Protection at Scale, Uber's YAML Generator for Funnel YAML Files, Intuit's A Paved Road for Data Pipelines, Pinterest's Faster Flink adoption with self-servic

submitted by /u/vananth22 [link] [comments]

11 часов назад @ reddit.com
Big Data Pipelines on AWS, Azure & GCP (associated blog in comments)
Big Data Pipelines on AWS, Azure & GCP (associated blog in comments) Big Data Pipelines on AWS, Azure & GCP (associated blog in comments)

submitted by /u/Kickass_Wizard [link] [comments]

11 часов назад @ reddit.com
Data lake engineer salary Goldman Sachs
Data lake engineer salary Goldman Sachs

What is the pay like and what are working conditions ? I’m Ontario if possible but anywhere else is fine as well. submitted by /u/TheOneWhoDidntCum [link] [comments]

14 часов назад @ reddit.com
data engineering training
data engineering training

what do you recommend as a training for someone who is interested in expanding their knowledge in data engineering and streaming? submitted by /u/HighlyIllogicall [link] [comments]

16 часов назад @ reddit.com
DE certifications
DE certifications

Hey everyone! I’ve been looking on the internet for certificafions, beginner DE, and I’ve came across the Cloud Digital Leader Certification. Is this one good for beginners? Or should I just study hard for the GCP Data Engineer one? Since the cloud digital leader focuses on all the products GCP offers and not database and storage. Also I’ve been thinking of doing data engineer course from datacamp, is that one good or you recommend something else? submitted by /u/Zorkol02 [link] [comments]

17 часов назад @ reddit.com
CDC implementation in Airflow.
CDC implementation in Airflow.

How can we implement CDC in Airflow using Mysql or Python Operator. :thinking_face: Can anyone share helping source or thoughts. :smiley: submitted by /u/m_usamahameed [link] [comments]

18 часов назад @ reddit.com
Do you use math and stats as a data engineer?
Do you use math and stats as a data engineer?

I currently work as a junior software engineer with previous experience as a data analyst. I'm looking to make the transition into data engineering because I enjoy the convergence of the two fields (data analytics and software development). My question is whether math and stats is used in your job like data scientist or ML engineers? submitted by /u/if155 [link] [comments]

19 часов назад @ reddit.com
Managing a data warehouse project as a non-DE, and non-PM
Managing a data warehouse project as a non-DE, and non-PM

TL;DR: Company needs a data warehouse project starting all the way from defining data and systems. I want to grow my career, but have no DE or PM experience. Is this a good fit? Background: I work for a smallish company in the process industry. The company has 10-30 computer systems that may or may not be connected in some ways. Think process control, sensors, financial reporting, customer interface, and so on. And I say may or may not be connected, because I don't believe there's any one person in the company who knows exactly what's going on and where. I am not responsible for any of these systems. So this is the starting point. New leadership understands it's not OK and wants to make cha…

19 часов назад @ reddit.com
How can I become a self taught Data Engineer?
How can I become a self taught Data Engineer?

Hello all, I want to become a self taught data engineer to get a remote position. For this I have learn Python, SQL, Data Cleaning ,pandas and some Data structure and algorithm. My question is : What are the must have skills before applying as junior data engineer ? what are the road map to become a self taught data engineer? how can prepare my portfolio to apply for remote DE position? if some one can help will be very thankful submitted by /u/shaon_9941 [link] [comments]

19 часов назад @ reddit.com
Pyspark ETL (AWS Glue) Joining on Nearest Timestamp
Pyspark ETL (AWS Glue) Joining on Nearest Timestamp

Hi, I have an ETL job that involves handling two types of json data (one is generated every minute, and one is generated every 5mins). The goal is to join them using the object_id, and the timestamp. However, their timestamp are not exactly the same. How can I join the every-5-min data to the nearest timestamp in the every-1-min data using Pyspark. Has anyone experienced creating an ETL job for the same problem? Any help is appreciated. submitted by /u/vinsanity1603 [link] [comments]

23 часа назад @ reddit.com
Data teams structure
Data teams structure

What is the structure of your data team, including data engineers, data scientists, data analysts, ...? Do you have dedicated team for data engineering or both data scientists and data engineers are working in one team? and do you have different teams / sub-teams for different business domains? submitted by /u/nobel-001 [link] [comments]

23 часа назад @ reddit.com
Towards Data Science Towards Data Science
последний пост 51 минуту назад
Why you should try something else than Airflow for data pipeline orchestration
Why you should try something else than Airflow for data pipeline orchestration Why you should try something else than Airflow for data pipeline orchestration

Let’s evaluate AWS step functions, Google workflows, Prefect next to AirflowContinue reading on Towards Data Science »

51 минуту назад @ towardsdatascience.com
SQL Interview Questions You Must Prepare: The Ultimate Guide
SQL Interview Questions You Must Prepare: The Ultimate Guide SQL Interview Questions You Must Prepare: The Ultimate Guide

Are you wondering what SQL interview questions you will be asked? This ultimate guide will take you through the top SQL interview questions for various data positions and the tips to approach your next SQL interview.Image created by the authorSQL is a must have tool in the arsenal of any aspiring data scientist. In this article we provide an outline to learn, prepare and ace your next SQL Interview for a Data Science role. We will explore why SQL is so widely used, then provide you a breakdown of SQL skills needed by each role viz — Data Analyst, Data Scientist, Machine Learning Engineer, etc. Further, we provide you with real interview examples from the StrataScratch Platform illustrating …

53 минуты назад @ towardsdatascience.com
Why Bootstrapping Actually Works
Why Bootstrapping Actually Works Why Bootstrapping Actually Works

A simplified layman explanation of why this popular technique in data science makes senseContinue reading on Towards Data Science »

55 минут назад @ towardsdatascience.com
Build your first Graph Neural Network model to predict traffic speed in 20 minutes
Build your first Graph Neural Network model to predict traffic speed in 20 minutes Build your first Graph Neural Network model to predict traffic speed in 20 minutes

A step-by-step coding practiceContinue reading on Towards Data Science »

57 минут назад @ towardsdatascience.com
Create a fast auto-documented, maintainable and easy-to-use Python API in 5 lines of code with…
Create a fast auto-documented, maintainable and easy-to-use Python API in 5 lines of code with… Create a fast auto-documented, maintainable and easy-to-use Python API in 5 lines of code with…

Perfect for (unexperienced) developers who just need a complete, working, fast and secure APIContinue reading on Towards Data Science »

58 минут назад @ towardsdatascience.com
How this “artificial dreaming” program works, and how you can create your own artwork with it
How this “artificial dreaming” program works, and how you can create your own artwork with it How this “artificial dreaming” program works, and how you can create your own artwork with it

You don’t need to know any programming -just have a Google account. Here is an article straight to the point, reviewing along the way…Continue reading on Towards Data Science »

58 минут назад @ towardsdatascience.com
Submitting Model Predictions to Kaggle Competition
Submitting Model Predictions to Kaggle Competition Submitting Model Predictions to Kaggle Competition

Illustration photo by Alex Andrews from PexelsSimple Submitting Offline Kernel to Kaggle Trending CompetitionThis post presents how to create a simple Kaggle kernel for a Competition submission that require an offline environmentIn the previous post, we have talked about the need for hyperparameter searchers, and we have walked throw Grid.ai Runs which simplifies fine-tuning in the cloud. We can even monitor our training online and eventually terminate some by our choice with all default configurations.HyperParameter Optimization with Grid.ai and No Code ChangeNow that we have our best model, it’s time to submit our results. This challenge and several others have restricted access to the te…

58 минут назад @ towardsdatascience.com
Two Overlooked Aspects in Data Science Project Development
Two Overlooked Aspects in Data Science Project Development Two Overlooked Aspects in Data Science Project Development

The success of projects in data science rely on two key pillars: engaging closely with domain experts, and the implementation of a rigorous science methodology. This post is based on our experience at PickleTech working in projects in Health, Sports Performance, Supply Chain and Mobility.Photo by PickleTechThe ContextIn recent years, data availability has increased at an impressive speed, throughout many different fields. This is thanks to the increasing efficiency of data recording devices and processing tools. That is amazing! And it actually has enabled the creation of many high potential applications. Those span over a wide range of areas: from fundamental research in particle physics t…

59 минут назад @ towardsdatascience.com
Does empathy play a role in being data-driven?
Does empathy play a role in being data-driven? Does empathy play a role in being data-driven?

An important soft skill in the world of hard numbersPhoto by Md Mahdi on UnsplashIt was demonstrated almost ten years ago, that data-driven decision making is superior to HiPPO. Since then, being data-driven has become an ambition for many companies and individuals alike.“Companies in the top third of their industry in the use of data-driven decision making were, on average, 5% more productive and 6% more profitable than their competitors.” — Andrew McAfee and Erik BrynjolfssonIn order to be able to make data-driven decisions, one requires a certain level of data literacy, though I prefer the term: data fluency. One needs to be able to think in data.But don’t be mistaken into thinking it’s …

59 минут назад @ towardsdatascience.com
Emotion-Based Art Generation Using C-GAN
Emotion-Based Art Generation Using C-GAN Emotion-Based Art Generation Using C-GAN

Can AI be creative and understand emotions through art?Deep Learning-based Art Generation: Landscape + positive emotion, Image by AuthorIntroductionWith the emergence of Deep Learning-based solutions for image generation and emotion classification, I was wondering if we could bring these two goals together to build a model that takes a simple emotion (positive, negative, and neutral) as input and generates a piece of art that somehow integrates the previously provided emotion.Photo by Igor Miske on UnsplashThis project brings philosophical questions in computer science but also in art.Does an emotion arise only from a visual stimulus or are there other unconscious factors that influence our…

1 час назад @ towardsdatascience.com
Statistical Machine Learning: Kernelized Generalized Linear Models (GLMs) & Kernelized Linear…
Statistical Machine Learning: Kernelized Generalized Linear Models (GLMs) & Kernelized Linear… Statistical Machine Learning: Kernelized Generalized Linear Models (GLMs) & Kernelized Linear…

Mathematical Derivations of Kernelized Features Spaces for Linear Smoothers, with a full Computational SimulationContinue reading on Towards Data Science »

9 часов назад @ towardsdatascience.com
5 Development Rules to Improve Your Data Science Projects
5 Development Rules to Improve Your Data Science Projects 5 Development Rules to Improve Your Data Science Projects

Simple tips to guide your data science workflowContinue reading on Towards Data Science »

9 часов назад @ towardsdatascience.com
Measuring Semantic Changes Using Temporal Word Embedding
Measuring Semantic Changes Using Temporal Word Embedding Measuring Semantic Changes Using Temporal Word Embedding

A guide to how temporal word embeddings can be used to measure word evolution and some considerations regarding stability of embeddingContinue reading on Towards Data Science »

9 часов назад @ towardsdatascience.com
The Hot Hand in Chess
The Hot Hand in Chess The Hot Hand in Chess

A Recreation of Amos Tversky’s Hot Hand Fallacy Analysis, Applied to Chess PlayersContinue reading on Towards Data Science »

9 часов назад @ towardsdatascience.com
The Only Auto-Completion Extension You’ll Ever Need For Your Jupyter Notebooks
The Only Auto-Completion Extension You’ll Ever Need For Your Jupyter Notebooks The Only Auto-Completion Extension You’ll Ever Need For Your Jupyter Notebooks

This is the one I recommend using. Explore just a few simple steps to set it up!Continue reading on Towards Data Science »

9 часов назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 4 дня, 23 часа назад
Anomaly Detection: Why Your Data Team Is Just Not That Into It
Anomaly Detection: Why Your Data Team Is Just Not That Into It

Delivering reliable data products doesn't have to be so painful. Introducing a more proactive approach to data quality: the Data Reliability lifecycle

4 дня, 23 часа назад @ montecarlodata.com
Solving Data’s “Last Mile” Problem with Reverse ETL and Data Observability
Solving Data’s “Last Mile” Problem with Reverse ETL and Data Observability

How Reverse ETL and Data Observability can help teams go the extra mile when it comes to trusting your data products.

1 неделя, 4 дня назад @ montecarlodata.com
Monte Carlo Recognized as a DataOps Leader by G2
Monte Carlo Recognized as a DataOps Leader by G2

Monte Carlo’s Data Observability Platform wins Best Support and Easiest To Do Business With for Summer 2021 by G2, the peer-to-peer review site.

1 неделя, 5 дней назад @ montecarlodata.com
The Rise of the Data Incident Commander
The Rise of the Data Incident Commander

When your data breaks, who are you gonna call? Your data incident commander!

2 недели, 5 дней назад @ montecarlodata.com
The Rise of the Data Incident Commander
The Rise of the Data Incident Commander

When your data breaks, who are you gonna call? Your data incident commander!

2 недели, 5 дней назад @ montecarlodata.com
How Vimeo Jumped into the Future with Monte Carlo
How Vimeo Jumped into the Future with Monte Carlo

Learn why the the data engineering team at Vimeo chose to partner with Monte Carlo for data observability.

3 недели, 6 дней назад @ montecarlodata.com
How Vimeo Jumped into the Future with Monte Carlo
How Vimeo Jumped into the Future with Monte Carlo

Learn why the the data engineering team at Vimeo chose to partner with Monte Carlo for data observability.

3 недели, 6 дней назад @ montecarlodata.com
How Vimeo Jumped into the Future with Monte Carlo
How Vimeo Jumped into the Future with Monte Carlo

Learn why the the data engineering team at Vimeo chose to partner with Monte Carlo for data observability.

3 недели, 6 дней назад @ montecarlodata.com
Monte Carlo Raises Series C, Brings Funding to $101M to Help Companies Trust Their Data
Monte Carlo Raises Series C, Brings Funding to $101M to Help Companies Trust Their Data

Monte Carlo’s Series C highlights the rapid growth of the Data Observability category, our industry-defining customer adoption, and global expansion.

1 месяц назад @ montecarlodata.com
Monte Carlo Raises Series C, Brings Funding to $101M to Help Companies Trust Their Data
Monte Carlo Raises Series C, Brings Funding to $101M to Help Companies Trust Their Data

Monte Carlo’s Series C highlights the rapid growth of the Data Observability category, our industry-defining customer adoption, and global expansion.

1 месяц назад @ montecarlodata.com
Monte Carlo Raises Series C, Brings Funding to $101M to Help Companies Trust Their Data
Monte Carlo Raises Series C, Brings Funding to $101M to Help Companies Trust Their Data

Monte Carlo’s Series C highlights the rapid growth of the Data Observability category, our industry-defining customer adoption, and global expansion.

1 месяц назад @ montecarlodata.com
Celebrating the New Pioneers of Data Reliability
Celebrating the New Pioneers of Data Reliability

How today’s data leaders are prioritizing data trust and reliability at their companies.

1 месяц назад @ montecarlodata.com
Celebrating the New Pioneers of Data Reliability
Celebrating the New Pioneers of Data Reliability

How today’s data leaders are prioritizing data trust and reliability at their companies.

1 месяц назад @ montecarlodata.com
Celebrating the New Pioneers of Data Reliability
Celebrating the New Pioneers of Data Reliability

How today’s data leaders are prioritizing data trust and reliability at their companies.

1 месяц назад @ montecarlodata.com
Decoding the Data Mesh
Decoding the Data Mesh

Building a data mesh? Avoid these common mesh-conceptions.

1 месяц, 1 неделя назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 2 часа назад
​​Если вы работаете с разнородными данными, поступающими из разных источников, и хотите ускорить свою работу, то этот вебинар для вас.Подключайтесь 21 сентября в 11:00 к эфиру, где эксперт SberCloud расскажет, как пользоваться сервисом Data Lake Insight и
​​Если вы работаете с разнородными данными, поступающими из разных источников, и хотите ускорить свою работу, то этот вебинар для вас.Подключайтесь 21 сентября в 11:00 к эфиру, где эксперт SberCloud расскажет, как пользоваться сервисом Data Lake Insight и

​​Если вы работаете с разнородными данными, поступающими из разных источников, и хотите ускорить свою работу, то этот вебинар для вас.Подключайтесь 21 сентября в 11:00 к эфиру, где эксперт SberCloud расскажет, как пользоваться сервисом Data Lake Insight и как одним SQL-запросом обработать данные, расположенные в разных системах, без предварительной загрузки этих данных в какое-либо единое хранилище.Ждём Data-инженеров, аналитиков, DevOps-инженеров и администраторов.Регистрация на вебинар по ссылке.

2 часа назад @ t.me
SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki
SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

4 дня, 4 часа назад @ t.me
Выпустил августовский выпуск https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/
Выпустил августовский выпуск https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/

Выпустил августовский выпуск https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/

1 неделя, 5 дней назад @ t.me
Ещё раз про data mesh: https://www.montecarlodata.com/decoding-the-data-mesh/
Ещё раз про data mesh: https://www.montecarlodata.com/decoding-the-data-mesh/

Ещё раз про data mesh: https://www.montecarlodata.com/decoding-the-data-mesh/

2 недели, 4 дня назад @ t.me
Хотите пилить расширения для PostgreSQL на Rust? Оно у нас есть: https://tech.marksblogg.com/postgresql-extension-rust.html
Хотите пилить расширения для PostgreSQL на Rust? Оно у нас есть: https://tech.marksblogg.com/postgresql-extension-rust.html

Хотите пилить расширения для PostgreSQL на Rust? Оно у нас есть: https://tech.marksblogg.com/postgresql-extension-rust.html

2 недели, 6 дней назад @ t.me
Не рекламы ради, а помощи сообществу для. 26 августа в 18:00 компания ITOne вместе с JUG Ru Group проведет бесплатный онлайн митап по Big Data и Java.На «ITOne Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и много
Не рекламы ради, а помощи сообществу для. 26 августа в 18:00 компания ITOne вместе с JUG Ru Group проведет бесплатный онлайн митап по Big Data и Java.На «ITOne Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и много Не рекламы ради, а помощи сообществу для. 26 августа в 18:00 компания ITOne вместе с JUG Ru Group проведет бесплатный онлайн митап по Big Data и Java.На «ITOne Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и много

Не рекламы ради, а помощи сообществу для. 26 августа в 18:00 компания ITOne вместе с JUG Ru Group проведет бесплатный онлайн митап по Big Data и Java.На «ITOne Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и многом другом, чем живут дата-специалисты.В программе:— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных, архитектуры и разные подходы к работе с Big Data.А еще вас будет ждать дискуссионная зона и…

3 недели, 6 дней назад @ t.me
юмор дата инженеров 😁
юмор дата инженеров 😁 юмор дата инженеров 😁

юмор дата инженеров 😁

1 месяц назад @ t.me
Обзор Open Source решений из мира данных: https://www.datafold.com/blog/the-modern-data-stack-open-source-edition
Обзор Open Source решений из мира данных: https://www.datafold.com/blog/the-modern-data-stack-open-source-edition

Обзор Open Source решений из мира данных: https://www.datafold.com/blog/the-modern-data-stack-open-source-edition

1 месяц назад @ t.me
Маленькая балалайка для анализа метаданных в базе данных PostgreSQL: https://github.com/marklit/datafluent_pgНаписана на питоне, удобно запускать из консоли. В результате формирует отчёт в Excel 🤖Пост в блоге автора: https://tech.marksblogg.com/data-fluent
Маленькая балалайка для анализа метаданных в базе данных PostgreSQL: https://github.com/marklit/datafluent_pgНаписана на питоне, удобно запускать из консоли. В результате формирует отчёт в Excel 🤖Пост в блоге автора: https://tech.marksblogg.com/data-fluent

Маленькая балалайка для анализа метаданных в базе данных PostgreSQL: https://github.com/marklit/datafluent_pgНаписана на питоне, удобно запускать из консоли. В результате формирует отчёт в Excel 🤖Пост в блоге автора: https://tech.marksblogg.com/data-fluent-for-postgresql.html

1 месяц назад @ t.me
Ребята из #CloudMTS предлагают облачные сервисы для быстрого запуска новых ИТ-продуктов. Актуально для разработчиков, кто хочет выйти на рынок раньше остальных. Сервисами можно пользоваться бесплатно 30 дней!Реализуйте ваши проекты на готовой облачной IT и
Ребята из #CloudMTS предлагают облачные сервисы для быстрого запуска новых ИТ-продуктов. Актуально для разработчиков, кто хочет выйти на рынок раньше остальных. Сервисами можно пользоваться бесплатно 30 дней!Реализуйте ваши проекты на готовой облачной IT и Ребята из #CloudMTS предлагают облачные сервисы для быстрого запуска новых ИТ-продуктов. Актуально для разработчиков, кто хочет выйти на рынок раньше остальных. Сервисами можно пользоваться бесплатно 30 дней!Реализуйте ваши проекты на готовой облачной IT и

Ребята из #CloudMTS предлагают облачные сервисы для быстрого запуска новых ИТ-продуктов. Актуально для разработчиков, кто хочет выйти на рынок раньше остальных. Сервисами можно пользоваться бесплатно 30 дней!Реализуйте ваши проекты на готовой облачной IT инфраструктуре:✔️ Получите всё, что нужно для разработки цифрового продукта: IaaS, облачный суперкомпьютер на GPU, резервное копирование, хранилище S3, CDN, WAF, сервисы Azure и многое другое. ✔️ Используйте любое количество сервисов одновременно. ✔️ Никаких ограничений по функционалу и скрытых платежей.Выведите свой продукт на рынок в рекордные сроки с #CloudMTS!Узнать подробности можно по ссылке: https://bit.ly/2VhG1U2

1 месяц, 1 неделя назад @ t.me
У ребят из dbt есть гайд про Analytics Engineer: https://www.getdbt.com/analytics-engineering/
У ребят из dbt есть гайд про Analytics Engineer: https://www.getdbt.com/analytics-engineering/

У ребят из dbt есть гайд про Analytics Engineer: https://www.getdbt.com/analytics-engineering/

1 месяц, 2 недели назад @ t.me
https://developer.confluent.io/learn-kafka/kafka-connect/intro/
https://developer.confluent.io/learn-kafka/kafka-connect/intro/

https://developer.confluent.io/learn-kafka/kafka-connect/intro/

1 месяц, 2 недели назад @ t.me
Стали доступны доклады с Airflow Summit 2021 🔥. Из наиболее интересных тем:- The new modern data stack Airbyte Airflow DBT- The Newcomer's Guide to Airflow's Architecture- Writing Dry Code in Airflow- Looking ahead: What comes after Airflow 2 0- Lessons Le
Стали доступны доклады с Airflow Summit 2021 🔥. Из наиболее интересных тем:- The new modern data stack Airbyte Airflow DBT- The Newcomer's Guide to Airflow's Architecture- Writing Dry Code in Airflow- Looking ahead: What comes after Airflow 2 0- Lessons Le

Стали доступны доклады с Airflow Summit 2021 🔥. Из наиболее интересных тем:- The new modern data stack Airbyte Airflow DBT- The Newcomer's Guide to Airflow's Architecture- Writing Dry Code in Airflow- Looking ahead: What comes after Airflow 2 0- Lessons Learned while Migrating Data Pipelines from Enterprise Schedulers to Airflow- Deep dive in to the Airflow scheduler- Dataclasses as Pipeline Definitions in AirflowИ многие другие. Бегом изучать на канале Apache Airflow.

1 месяц, 2 недели назад @ t.me
Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-databaseК слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Djan
Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-databaseК слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Djan

Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-databaseК слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Django.

1 месяц, 3 недели назад @ t.me
Всем привет! 🤝Наверняка среди моих подписчиков есть люди, увлеченные темой Data Science. Мой товарищ Ренат Алимбеков (@alimbekovkz) недавно выпустил мануал по подготовке к интервью на роль data scientist. Ренат неоднократный призёр соревнований на Kaggle,
Всем привет! 🤝Наверняка среди моих подписчиков есть люди, увлеченные темой Data Science. Мой товарищ Ренат Алимбеков (@alimbekovkz) недавно выпустил мануал по подготовке к интервью на роль data scientist. Ренат неоднократный призёр соревнований на Kaggle,

Всем привет! 🤝Наверняка среди моих подписчиков есть люди, увлеченные темой Data Science. Мой товарищ Ренат Алимбеков (@alimbekovkz) недавно выпустил мануал по подготовке к интервью на роль data scientist. Ренат неоднократный призёр соревнований на Kaggle, а ныне data scientist в Beeline, где занимается задачами в области компьютерного зрения.Наверняка многие из вас помнят, что Ренат выпускал бесплатный курс на моей образовательной платформе: Анализ медицинских изображений в Python, также он ведёт свой блог и канал.Приобрести его руководство Data Science Interview Guide можно по ссылке на платформе Gumroad.Используйте промокод DATAENG, чтобы получить скидку 2$.

1 месяц, 3 недели назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 9 часов назад
У Microsoft тоже есть облако Azure, и в нем есть целая платформа для аналитики, которая называется Azure Synapse Analytics. В него входят уже устоявшиеся инструменты Azure SQL Data Warehouse (теперь называется Dedicated SQL Pool), Azure Data Factory, Azure
У Microsoft тоже есть облако Azure, и в нем есть целая платформа для аналитики, которая называется Azure Synapse Analytics. В него входят уже устоявшиеся инструменты Azure SQL Data Warehouse (теперь называется Dedicated SQL Pool), Azure Data Factory, Azure

У Microsoft тоже есть облако Azure, и в нем есть целая платформа для аналитики, которая называется Azure Synapse Analytics. В него входят уже устоявшиеся инструменты Azure SQL Data Warehouse (теперь называется Dedicated SQL Pool), Azure Data Factory, Azure ML, Power BI Service, так и были добавлены новые Azure Spark Pools, Serverless SQL Pool. Все достаточно удобно, каждый инструмент легко интегрируется с решениями Azure. Если вы работаете с решениями Microsoft, то облако Azure это следующий логический шаг вашего развития. Так же Azure Synapse способен заменить решения Azure HDInsight и Azure Databricks (решения для big data). По опыту я знаю и видел огромное количество решений на Microsoft…

9 часов назад @ t.me
Хороший документ от HBR - “RESUMES and COVER LETTERS”, подойдет всем, кому нужно сделать резюме и письмо на английском языке, а так же тем, кто пишет письмо на английском. Тут есть примеры синонимов глаголов и других оборотов речи, которые можно использова
Хороший документ от HBR - “RESUMES and COVER LETTERS”, подойдет всем, кому нужно сделать резюме и письмо на английском языке, а так же тем, кто пишет письмо на английском. Тут есть примеры синонимов глаголов и других оборотов речи, которые можно использова

Хороший документ от HBR - “RESUMES and COVER LETTERS”, подойдет всем, кому нужно сделать резюме и письмо на английском языке, а так же тем, кто пишет письмо на английском. Тут есть примеры синонимов глаголов и других оборотов речи, которые можно использовать для написания эссе или деловой переписки.

11 часов назад @ t.me
Как учить Python? Ну или любой другой язык (хоть испанский) - нужна практика! Вот интересный репозиторий Python Mini Projects, в котором 101 проект, от простого к сложному.
Как учить Python? Ну или любой другой язык (хоть испанский) - нужна практика! Вот интересный репозиторий Python Mini Projects, в котором 101 проект, от простого к сложному.

Как учить Python? Ну или любой другой язык (хоть испанский) - нужна практика! Вот интересный репозиторий Python Mini Projects, в котором 101 проект, от простого к сложному.

20 часов назад @ t.me
Ещё один отзыв от нашей студентки из Финляндии:Курс Data Learn помог мне получить необходимые технические навыки для работы Data Engineer на европейском рынке. В РФ я работала системным аналитиком на проектах в финансовой сфере и активных навыков работы с
Ещё один отзыв от нашей студентки из Финляндии:Курс Data Learn помог мне получить необходимые технические навыки для работы Data Engineer на европейском рынке. В РФ я работала системным аналитиком на проектах в финансовой сфере и активных навыков работы с

Ещё один отзыв от нашей студентки из Финляндии:Курс Data Learn помог мне получить необходимые технические навыки для работы Data Engineer на европейском рынке. В РФ я работала системным аналитиком на проектах в финансовой сфере и активных навыков работы с современными ETL инструментами не имела. После переезда в Северную Европу стало понятно, что для работы BI аналитиком кроме хорошего английского неплохо бы знать один-два местных языка на хорошем уровне (это пару лет активного изучения), а от разработчиков этого не требуется. Курс от Data Learn позволил оперативно (месяцы) подтянуть навыки работы с ETL инструментарием и облачными технологиями западных вендоров. Во всех компаниях, с которым…

1 день, 21 час назад @ t.me
Получается телеграмм сдал позиции независимого и безопасного приложения? Или он таким и не был никогда😕
Получается телеграмм сдал позиции независимого и безопасного приложения? Или он таким и не был никогда😕 Получается телеграмм сдал позиции независимого и безопасного приложения? Или он таким и не был никогда😕

Получается телеграмм сдал позиции независимого и безопасного приложения? Или он таким и не был никогда😕

2 дня, 8 часов назад @ t.me
В чатике DIE or DE скинули видео - Big Data: IOTA архитектура: обработка мульти-структурных данных несвязанной природыЯ не думаю, что когда-то буду пользоваться IOTA архитектурой, но очень крутой спикер - Константин Будник – ветеран разработки экосистемы A
В чатике DIE or DE скинули видео - Big Data: IOTA архитектура: обработка мульти-структурных данных несвязанной природыЯ не думаю, что когда-то буду пользоваться IOTA архитектурой, но очень крутой спикер - Константин Будник – ветеран разработки экосистемы A

В чатике DIE or DE скинули видео - Big Data: IOTA архитектура: обработка мульти-структурных данных несвязанной природыЯ не думаю, что когда-то буду пользоваться IOTA архитектурой, но очень крутой спикер - Константин Будник – ветеран разработки экосистемы Apache Hadoop. Он уже больше 20 лет занимается разработкой ПО, аналитикой быстрых и больших данных, 17 панетов по распределенным системам, и по его словам, в Hadoop его кода очень очень много. Очень классно и интресно рассказывает, практически на пальцах объясняет сложные концепции. Раньше про него не слышал. Можно считать его отечественным отцом hadoop и big data😎

2 дня, 20 часов назад @ t.me
Есть несколько ролей в data science:Data scientist - универсальный специалист, которые строит модели, готовит данные по возможности и находит инсайты и рекомендации.Research scientist - человек с PhD в какой-то области, решает конкретную задачу из своей об
Есть несколько ролей в data science:Data scientist - универсальный специалист, которые строит модели, готовит данные по возможности и находит инсайты и рекомендации.Research scientist - человек с PhD в какой-то области, решает конкретную задачу из своей об

Есть несколько ролей в data science:Data scientist - универсальный специалист, которые строит модели, готовит данные по возможности и находит инсайты и рекомендации.Research scientist - человек с PhD в какой-то области, решает конкретную задачу из своей области, например computer vision, NLP. Дорабатывает и усовершенствует существующие подходы и методологии.Applied scientist - тоже с PhD в какой то области, отлично разбирается в domain, выступает как subject matter expert, создаёт методологии, но сам может и не строить модели, даёт задание data scientist.ML engineer - software engineer, которые пишет код для machine learning (deep learning часто), запускает модели в продакшн и масштабирует.…

2 дня, 21 час назад @ t.me
Крутые новости - Microsoft отказывается от паролей. Мне ещё в Амазоне на всех проектах говорил, что пароли это зло, например в AWS мы использовали роли IAM. В Azure сейчас используем Service Principal и роли IAM. А тут жизнь станет проще для простых людей.
Крутые новости - Microsoft отказывается от паролей. Мне ещё в Амазоне на всех проектах говорил, что пароли это зло, например в AWS мы использовали роли IAM. В Azure сейчас используем Service Principal и роли IAM. А тут жизнь станет проще для простых людей.

Крутые новости - Microsoft отказывается от паролей. Мне ещё в Амазоне на всех проектах говорил, что пароли это зло, например в AWS мы использовали роли IAM. В Azure сейчас используем Service Principal и роли IAM. А тут жизнь станет проще для простых людей.

3 дня, 13 часов назад @ t.me
Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.
Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.

Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.

3 дня, 19 часов назад @ t.me
Хорошая визуализация про ценность данных (ответов на бизнес вопросы). Если данные правильные, то это хорошо для компании, если не правильные, то это плохо. А еще есть возможность вообще ничего не делать, тогда это ни плохо, ни хорошо. Но в целом, все таки
Хорошая визуализация про ценность данных (ответов на бизнес вопросы). Если данные правильные, то это хорошо для компании, если не правильные, то это плохо. А еще есть возможность вообще ничего не делать, тогда это ни плохо, ни хорошо. Но в целом, все таки Хорошая визуализация про ценность данных (ответов на бизнес вопросы). Если данные правильные, то это хорошо для компании, если не правильные, то это плохо. А еще есть возможность вообще ничего не делать, тогда это ни плохо, ни хорошо. Но в целом, все таки

Хорошая визуализация про ценность данных (ответов на бизнес вопросы). Если данные правильные, то это хорошо для компании, если не правильные, то это плохо. А еще есть возможность вообще ничего не делать, тогда это ни плохо, ни хорошо. Но в целом, все таки плохо😝

3 дня, 21 час назад @ t.me
Не часто вижу, как кого-то наказывают (компанию, продукт) за ложные обещания, особенно за данные. Я работал давно с AppAnnie, и вроде популярный иснтрумент, и денег у них должно хватать, но они решили "под шумок" обманывать клиентов и разработчиков. Кто та
Не часто вижу, как кого-то наказывают (компанию, продукт) за ложные обещания, особенно за данные. Я работал давно с AppAnnie, и вроде популярный иснтрумент, и денег у них должно хватать, но они решили "под шумок" обманывать клиентов и разработчиков. Кто та

Не часто вижу, как кого-то наказывают (компанию, продукт) за ложные обещания, особенно за данные. Я работал давно с AppAnnie, и вроде популярный иснтрумент, и денег у них должно хватать, но они решили "под шумок" обманывать клиентов и разработчиков. Кто там разберет, как эти данные, модели и алгоритмы работают. From 2014 to 2018, that data had a little extra (and apparently untoward) spice added to it—non-aggregated and non-anonymized data provided to App Annie by different mobile developers. This was a two-way deception. The company told developers who provided user data to App Annie that said data would be anonymized and aggregated before analytics were presented to customers. Customers i…

4 дня, 18 часов назад @ t.me
Сегодня (у вас наверно завтра) будет что-то интересное - Space Launch - First ever all private citizen orbital mission launch. SpaceX will launch four private astronauts on the first free flight mission of Crew Dragon on Inspiration4. The Falcon 9 B1062-3
Сегодня (у вас наверно завтра) будет что-то интересное - Space Launch - First ever all private citizen orbital mission launch. SpaceX will launch four private astronauts on the first free flight mission of Crew Dragon on Inspiration4. The Falcon 9 B1062-3

Сегодня (у вас наверно завтра) будет что-то интересное - Space Launch - First ever all private citizen orbital mission launch. SpaceX will launch four private astronauts on the first free flight mission of Crew Dragon on Inspiration4. The Falcon 9 B1062-3 will launch Crew Dragon C207-2 into a 590 km low-Earth orbit; this will mark the highest orbit a crewed mission has gone to since the STS-103 mission in 1999. The Inspiration4 mission will launch from Launch Complex 39A (LC-39A), at the Kennedy Space Center, in Florida, USA.Так как я начинал свою карьеру в ГКНПЦ им Хруничева (провел там 3 года), это они запускаю Протон и в школе ходил в Дворец Пионеров на м Университет, где занимался ракет…

4 дня, 20 часов назад @ t.me
#вакансия #fulltime #продуктовыйаналитик #удаленка #офисПривет! Ищем продуктового аналитика (Junior+ — Middle) в компанию Академия Eduson. 💴 ЗП: до 150 000 рублей на руки.Полная занятость, удаленная работа (офис в г.Москва, м. Автозаводская, БЦ Омега Плаза
#вакансия #fulltime #продуктовыйаналитик #удаленка #офисПривет! Ищем продуктового аналитика (Junior+ — Middle) в компанию Академия Eduson. 💴 ЗП: до 150 000 рублей на руки.Полная занятость, удаленная работа (офис в г.Москва, м. Автозаводская, БЦ Омега Плаза

#вакансия #fulltime #продуктовыйаналитик #удаленка #офисПривет! Ищем продуктового аналитика (Junior+ — Middle) в компанию Академия Eduson. 💴 ЗП: до 150 000 рублей на руки.Полная занятость, удаленная работа (офис в г.Москва, м. Автозаводская, БЦ Омега Плаза.Мы ищем аналитика, который сможет покрыть дашбордами весь маркетинг, продажи и операционку Академии, построить предиктивные модели и будет проводить количественные исследования в продукте. У нас настроена аналитическая инфраструктура, так что сейчас дело за содержанием.Задачи: — Вместе с архитектором определять требования к системе сбора аналитических данных;— Настроить панели мониторинга, которые помогут команде следить за успехами и про…

4 дня, 22 часа назад @ t.me
Недавно был шикарный вебинар про Data Vault от Николая, где он все подробно объяснил. Итого, у нас есть 3 основные методологии:- 3NF- Dimensional Modelling- Data VaultТак же Николай рассказывал мельком про Anchor modelling (4ая методология) - Vertica+Ancho
Недавно был шикарный вебинар про Data Vault от Николая, где он все подробно объяснил. Итого, у нас есть 3 основные методологии:- 3NF- Dimensional Modelling- Data VaultТак же Николай рассказывал мельком про Anchor modelling (4ая методология) - Vertica+Ancho

Недавно был шикарный вебинар про Data Vault от Николая, где он все подробно объяснил. Итого, у нас есть 3 основные методологии:- 3NF- Dimensional Modelling- Data VaultТак же Николай рассказывал мельком про Anchor modelling (4ая методология) - Vertica+Anchor Modeling (его статья на хабр из Авито)А недавно мне попалась еще одна вещь из мира моделирования хранилищ - Activity Schema.The activity schema is a new data modeling paradigm designed for modern data warehouses. It was created and implemented by Ahmed Elsamadisi at Narrator. This new standard is a response to the current state of modeling with star or snowflake schemas - multiple definitions for single concepts, layers of dependencies, …

5 дней, 15 часов назад @ t.me
Интерсная заметка про data mesh, мне стало немного понятней, когд а на пальцах описали:Force me to describe how a data mesh might actually work, and my immediate thought is something like Trino (née Presto): It’s a query wrapper that sits on top of a bunch
Интерсная заметка про data mesh, мне стало немного понятней, когд а на пальцах описали:Force me to describe how a data mesh might actually work, and my immediate thought is something like Trino (née Presto): It’s a query wrapper that sits on top of a bunch

Интерсная заметка про data mesh, мне стало немного понятней, когд а на пальцах описали:Force me to describe how a data mesh might actually work, and my immediate thought is something like Trino (née Presto): It’s a query wrapper that sits on top of a bunch of data sources. This seems to be the community’s best guess for well. But as Ross Housewright points out, this is an uninspiring answer. If the data mesh works with any underlying data structure (e.g., it can sit on top of BigQuery, Oracle, S3, and every weird thing in between), it doesn’t integrate anything. It’s just a switchboard, routing queries to different destinations. If the data mesh does requires data sources to be heavily stan…

5 дней, 16 часов назад @ t.me
Left Join Left Join
последний пост 1 час назад
Интересная статья про ошибочное использование статистической значимости в контексте исследования в Бангладеше о ношении масок.
Интересная статья про ошибочное использование статистической значимости в контексте исследования в Бангладеше о ношении масок.

Интересная статья про ошибочное использование статистической значимости в контексте исследования в Бангладеше о ношении масок.

1 час назад @ t.me
Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.
Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.

Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.

4 дня, 4 часа назад @ t.me
Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для
Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для

Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для меня большое событие, я подошел к нему еще и с аналитической точки зрения, а именно построил дашборд, используя данные о ребенке в течение первых 8 месяцев его жизни. И сегодня я хочу показать как круто меняется жизнь семьи на примере собственного анализа данных жизни первых 8 месяцев малыша. Данные я собирал с помощью приложения BabyTracker, а затем визуализировал их в Tableau, чтобы затем проанализировать их и поделиться своими выводами,…

6 дней, 3 часа назад @ t.me
Бесплатное API для получения данных из Библии на разных языках ⛪
Бесплатное API для получения данных из Библии на разных языках ⛪

Бесплатное API для получения данных из Библии на разных языках ⛪

1 неделя, 1 день назад @ t.me
В сегодняшнем видео цикла гайдов по BI-инструментов говорим про Metabase – open-source инструмент, который умеет самостоятельно описывать датасеты, отправлять уведомления об изменениях в данных, и, конечно, писать запросы к данным и строить на полученных р
В сегодняшнем видео цикла гайдов по BI-инструментов говорим про Metabase – open-source инструмент, который умеет самостоятельно описывать датасеты, отправлять уведомления об изменениях в данных, и, конечно, писать запросы к данным и строить на полученных р

В сегодняшнем видео цикла гайдов по BI-инструментов говорим про Metabase – open-source инструмент, который умеет самостоятельно описывать датасеты, отправлять уведомления об изменениях в данных, и, конечно, писать запросы к данным и строить на полученных результатах визуализации и дашборды.Посмотрите на полученный результат в материале блога и ответьте на два небольших вопроса.Автор дашборда, член команды Valiotti Analytics — Мария Авдеева

1 неделя, 4 дня назад @ t.me
Минутка фото-контента: вечерние посиделки с авторитетами BI-рынка РФ в Петербургском Трапписте: @sgromych, @paveldubinin
Минутка фото-контента: вечерние посиделки с авторитетами BI-рынка РФ в Петербургском Трапписте: @sgromych, @paveldubinin

Минутка фото-контента: вечерние посиделки с авторитетами BI-рынка РФ в Петербургском Трапписте: @sgromych, @paveldubinin

1 неделя, 4 дня назад @ t.me
Одной из популярных тем в современном дата-стеке является проблема headless bi или проблема метаданных (организация единого источника правды). К примеру, airbnb решает это для себя через MinervaDB, но она пока не доступна для инженеров данных (закрытый код
Одной из популярных тем в современном дата-стеке является проблема headless bi или проблема метаданных (организация единого источника правды). К примеру, airbnb решает это для себя через MinervaDB, но она пока не доступна для инженеров данных (закрытый код

Одной из популярных тем в современном дата-стеке является проблема headless bi или проблема метаданных (организация единого источника правды). К примеру, airbnb решает это для себя через MinervaDB, но она пока не доступна для инженеров данных (закрытый код). А вот разработчики rakam (self-service BI, кстати, сделали ребрендинг) недавно выпустили MetriQL, который в связке с dbt должна решить эту проблему. MetriQL разработан под интересной лицензией: Business Source License.

2 недели назад @ t.me
Мне написал подписчик канала, аналитик данных Иван Тория, который поделился гайдом по запуску dbt на GCP в продакшене. Отличная статья, которая может быть полезна, если вы планируете развернуть dbt.
Мне написал подписчик канала, аналитик данных Иван Тория, который поделился гайдом по запуску dbt на GCP в продакшене. Отличная статья, которая может быть полезна, если вы планируете развернуть dbt.

Мне написал подписчик канала, аналитик данных Иван Тория, который поделился гайдом по запуску dbt на GCP в продакшене. Отличная статья, которая может быть полезна, если вы планируете развернуть dbt.

2 недели назад @ t.me
Настя Кузнецова недавно спрашивала про классные названия библиотек на Python🐍 Вот, например, Pint 🍺 для работы с физическими величинами. Ну, разве не прелестное название? 😋Так что, не единой пандой 🐼
Настя Кузнецова недавно спрашивала про классные названия библиотек на Python🐍 Вот, например, Pint 🍺 для работы с физическими величинами. Ну, разве не прелестное название? 😋Так что, не единой пандой 🐼

Настя Кузнецова недавно спрашивала про классные названия библиотек на Python🐍 Вот, например, Pint 🍺 для работы с физическими величинами. Ну, разве не прелестное название? 😋Так что, не единой пандой 🐼

2 недели, 1 день назад @ t.me
У Димы Аношина промелькнула интересная задачка в канале. В комментариях есть хорошие рабочие ответы, но меня заинтересовало то, что в PostgreSQL отсутствует RESPECT NULLS / IGNORE NULLS.Как можно решить задачу без игнорирования NULLS? Очевидно, что с подза
У Димы Аношина промелькнула интересная задачка в канале. В комментариях есть хорошие рабочие ответы, но меня заинтересовало то, что в PostgreSQL отсутствует RESPECT NULLS / IGNORE NULLS.Как можно решить задачу без игнорирования NULLS? Очевидно, что с подза

У Димы Аношина промелькнула интересная задачка в канале. В комментариях есть хорошие рабочие ответы, но меня заинтересовало то, что в PostgreSQL отсутствует RESPECT NULLS / IGNORE NULLS.Как можно решить задачу без игнорирования NULLS? Очевидно, что с подзапросом. Предположим, что таблица называется test_case, тогдаSELECT ts, event_name, position, SUM(CASE WHEN position IS NOT NULL THEN 1 END) OVER (ORDER BY ts) as cum_groupFROM test_caseДанный подзапрос (назовем его `sub`) позволит нам разбить строки на группы, к которым нужно отнести строку с NULL. А если position будет отличная от нуля, мы получим новую группу. Далее, мы можем просто посчитать первое значение из каждой группы, используя а…

2 недели, 2 дня назад @ t.me
Смешное видео про интерпретатор javascript 😅
Смешное видео про интерпретатор javascript 😅

Смешное видео про интерпретатор javascript 😅

2 недели, 2 дня назад @ t.me
Про два слеша в http://В осеннем семестре взял всего лишь один курс CSE6242, поскольку был ошарашен объемом материалов к изучению.Курс супер-крутой, обязательно и подробно про него расскажу. В нем много про визуализацию данных, отсылок к Тафти и прям полно
Про два слеша в http://В осеннем семестре взял всего лишь один курс CSE6242, поскольку был ошарашен объемом материалов к изучению.Курс супер-крутой, обязательно и подробно про него расскажу. В нем много про визуализацию данных, отсылок к Тафти и прям полно

Про два слеша в http://В осеннем семестре взял всего лишь один курс CSE6242, поскольку был ошарашен объемом материалов к изучению.Курс супер-крутой, обязательно и подробно про него расскажу. В нем много про визуализацию данных, отсылок к Тафти и прям полноценное погружение в D3.js.В рамках курса начал читать книгу Interactive Data Visualization for the Web от O'Reilly (классная!), и в ней обнаружилась интересность. Возможно, вы когда-то задумывались, почему протокол http:// указывается с двумя слешами? Оказывается, этому нет объяснения и создатель веба Тим Бернс Ли сожалеет об этом, поскольку они там совершенно ни для чего не нужны 🤷

2 недели, 3 дня назад @ t.me
Delivery Club образовательный. Аналитики сервиса поделились опытом создания мониторинга и системы “near real-time” оповещений для компаний. Приятный спойлер: супер пригодная фича не только для пользователей, но и для внутренних разрабов. Читаем материал ре
Delivery Club образовательный. Аналитики сервиса поделились опытом создания мониторинга и системы “near real-time” оповещений для компаний. Приятный спойлер: супер пригодная фича не только для пользователей, но и для внутренних разрабов. Читаем материал ре

Delivery Club образовательный. Аналитики сервиса поделились опытом создания мониторинга и системы “near real-time” оповещений для компаний. Приятный спойлер: супер пригодная фича не только для пользователей, но и для внутренних разрабов. Читаем материал ребят по ссылке и обсуждаем внизу в комментариях.#реклама #постоплачен

2 недели, 4 дня назад @ t.me
Классная статья про использование цепей Маркова для моделирования числа ходов, необходимых для победы в игре 2048. Там еще и продолжение есть. #link
Классная статья про использование цепей Маркова для моделирования числа ходов, необходимых для победы в игре 2048. Там еще и продолжение есть. #link Классная статья про использование цепей Маркова для моделирования числа ходов, необходимых для победы в игре 2048. Там еще и продолжение есть. #link

Классная статья про использование цепей Маркова для моделирования числа ходов, необходимых для победы в игре 2048. Там еще и продолжение есть. #link

3 недели, 3 дня назад @ t.me
🎓 Курс MGT-6203 🎓Честно говоря, данный курс был плохо организован, я был им дико не доволен. Ну, и отзывы на OMSCentral это подтверждают. В начале курса мы заново проходили линейную регрессию в R (спрашивается для чего, если она уже была в курсе ISYE-6501)
🎓 Курс MGT-6203 🎓Честно говоря, данный курс был плохо организован, я был им дико не доволен. Ну, и отзывы на OMSCentral это подтверждают. В начале курса мы заново проходили линейную регрессию в R (спрашивается для чего, если она уже была в курсе ISYE-6501)

🎓 Курс MGT-6203 🎓Честно говоря, данный курс был плохо организован, я был им дико не доволен. Ну, и отзывы на OMSCentral это подтверждают. В начале курса мы заново проходили линейную регрессию в R (спрашивается для чего, если она уже была в курсе ISYE-6501), затем логистическую регрессию, затем изучали стандартное отклонение и ряд других самых базовых величин из финансовых вычислений (return, compound return), после этого погружались в метрики маркетинга (очень широко и несколько остало от действительности), в конце концов завершили курс управлением очередьми, оптимизацией процессов с использованием статистических критериев.В курсе три домашних работы с вычислениями на R и два экзамена. Кажд…

3 недели, 4 дня назад @ t.me
SQLite на практике SQLite на практике
последний пост 3 месяца, 2 недели назад
🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов,
🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов,

🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов, а время на понимание. Поэтому давайте решим без олимпиадного ажиотажа, спокойно и по шагам:https://antonz.ru/sql-groups/

3 месяца, 2 недели назад @ t.me
Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon
Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

3 месяца, 2 недели назад @ t.me
🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователе
🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователе

🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователей: user_id, attr1, alpha1, beta2, beta2, gamma3, delta3, epsilon4, delta4, zeta5, zeta5, alpha6, iota7, iota7, kappa8, kappa8, lambdaХотим объединить пользователей в группы. При этом действуют правила:— Если пользователи A и B обладают общим свойством → они входят в одну группу.— Если A и B обладают общим свойством P1, B и C обладают общим свойством P2 → A, B, C входят в одну группу.— Идентификатором группы считается минимальный идентифика…

3 месяца, 2 недели назад @ t.me
Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скид
Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скид

Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скидка 50%.https://stepik.org/z/95367

3 месяца, 3 недели назад @ t.me
Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения
Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения

Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения в «окошки» не найдете во всем интернете 💪https://antonz.ru/window-rolling/

4 месяца, 1 неделя назад @ t.me
Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можн
Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можн

Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можно как-то из коробки?Да! Такой подход (добавить или обновить по необходимости) в мире SQL называется «upsert». В SQLite он реализуется через инструкцию on conflict.Допустим, мы хотим добавить/обновить записи в таблице stats. Тогда запрос будет примерно такой:insert into stats(id, last_updated, usage)select ... from ...on conflict(id) do updateset last_updated = excluded.last_updated, usage = usage + excluded.usage;excluded — это та запись, …

4 месяца, 1 неделя назад @ t.me
Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.ht
Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.ht

Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.https://antonz.ru/window-aggregate/

4 месяца, 3 недели назад @ t.me
Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте мн
Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте мн Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте мн

Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте много новых фич в один релиз». Хотя звучит довольно очевидно, мы никогда не устаем наступать на эти грабли ツ

5 месяцев назад @ t.me
Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offse
Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offse

Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offset/

5 месяцев назад @ t.me
Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать ра
Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать ра

Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать разбросанный по интернету код в единый набор библиотек, с разделением по предметной области и автоматической сборкой для всех ОС.В программировании на C я не силен, так что дело продвигается не очень быстро. Но кое-что уже удалось сделать:— математические функции (sqrt, pow, log)— мат. статистика (median, percentile, stddev)— строковые функции (reverse, split_part)— регулярные выражения (like, substr, replace)— поддержка юникода— работа с cs…

5 месяцев, 1 неделя назад @ t.me
Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/
Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/

Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/

5 месяцев, 2 недели назад @ t.me
SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из
SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из

SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из данных ответы на вопросы. В этом вся суть прикладного анализа данных.47 уроков и 130 практических заданий, сертификат для выпускников.Огромное спасибо бета-тестерам и всем участникам за критику и комментарии! Ваша обратная связь бесценна 🙏https://antonz.ru/sqlite-course/

5 месяцев, 3 недели назад @ t.me
Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.
Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.

Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.employeesunion allselect * from samara.employees;Удобно, чтобы не переливать данные в одну базу, если они уже лежат в разных.

5 месяцев, 3 недели назад @ t.me
​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, К
​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, К

​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, Ксения, Марина, Леонид, Иван, Вероника, Григорий и Анна. Особенно Марина, конечно.Чтобы узнать, причем тут все эти люди, переходите к седьмому и последнему модулю курса — Оконные функции!P.S. Для тех, кто пройдет все модули, откроется Финал. Он пока еще запекается, но скоро будет готов.

5 месяцев, 3 недели назад @ t.me
Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быт
Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быт

Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быть полезны «окошки» в SQL:https://antonz.ru/window-functions/

6 месяцев, 1 неделя назад @ t.me
Datalytics Datalytics
последний пост 1 час назад
25 сентября приглашаем на первый в этом году офлайн-митап от Яндекс.Дзена. Будем говорить про объяснимость рекомендаций, общаться и готовить бургеры!Количество мест ограничено. Все зарегистрировавшиеся получат видеозаписи с мероприятия. Продробности и реги
25 сентября приглашаем на первый в этом году офлайн-митап от Яндекс.Дзена. Будем говорить про объяснимость рекомендаций, общаться и готовить бургеры!Количество мест ограничено. Все зарегистрировавшиеся получат видеозаписи с мероприятия. Продробности и реги 25 сентября приглашаем на первый в этом году офлайн-митап от Яндекс.Дзена. Будем говорить про объяснимость рекомендаций, общаться и готовить бургеры!Количество мест ограничено. Все зарегистрировавшиеся получат видеозаписи с мероприятия. Продробности и реги

25 сентября приглашаем на первый в этом году офлайн-митап от Яндекс.Дзена. Будем говорить про объяснимость рекомендаций, общаться и готовить бургеры!Количество мест ограничено. Все зарегистрировавшиеся получат видеозаписи с мероприятия. Продробности и регистрация по ссылкеhttps://clck.ru/XcYbm

1 час назад @ t.me
📈 Как создавать быстрые и точные диаграммы разброса с большим количеством данных на Pythonhttps://dev-gang.ru/article/kak-sozdavat-bystrye-i-tocznye-diagrammy-razbrosa-s-bolshim-koliczestvom-dannyh-na-python-4f6zzxa0gq/@machinelearning_ru
📈 Как создавать быстрые и точные диаграммы разброса с большим количеством данных на Pythonhttps://dev-gang.ru/article/kak-sozdavat-bystrye-i-tocznye-diagrammy-razbrosa-s-bolshim-koliczestvom-dannyh-na-python-4f6zzxa0gq/@machinelearning_ru 📈 Как создавать быстрые и точные диаграммы разброса с большим количеством данных на Pythonhttps://dev-gang.ru/article/kak-sozdavat-bystrye-i-tocznye-diagrammy-razbrosa-s-bolshim-koliczestvom-dannyh-na-python-4f6zzxa0gq/@machinelearning_ru

📈 Как создавать быстрые и точные диаграммы разброса с большим количеством данных на Pythonhttps://dev-gang.ru/article/kak-sozdavat-bystrye-i-tocznye-diagrammy-razbrosa-s-bolshim-koliczestvom-dannyh-na-python-4f6zzxa0gq/@machinelearning_ru

2 дня, 3 часа назад @ t.me
Ребята, привет! Мы в Яндекс.Практикум ищем Продуктового аналитика в команду роста 🚀Команда роста находит самые приоритетные точки развития продукта и максимально быстро придумывает решение, которое позволит вырастить ключевые метрики. Продуктовый аналитик
Ребята, привет! Мы в Яндекс.Практикум ищем Продуктового аналитика в команду роста 🚀Команда роста находит самые приоритетные точки развития продукта и максимально быстро придумывает решение, которое позволит вырастить ключевые метрики. Продуктовый аналитик Ребята, привет! Мы в Яндекс.Практикум ищем Продуктового аналитика в команду роста 🚀Команда роста находит самые приоритетные точки развития продукта и максимально быстро придумывает решение, которое позволит вырастить ключевые метрики. Продуктовый аналитик

Ребята, привет! Мы в Яндекс.Практикум ищем Продуктового аналитика в команду роста 🚀Команда роста находит самые приоритетные точки развития продукта и максимально быстро придумывает решение, которое позволит вырастить ключевые метрики. Продуктовый аналитик помогает находить новые гипотезы об улучшении продукта, а также проектирует и сопровождает эксперименты.Что для этого нужно:🎯 работали продуктовым аналитиком более ~2 лет;🎯 уже решали задачи проектирования, сопровождения и оценки результатов экспериментов;🎯 знаете SQL на уровне продвинутых запросов;🎯 знакомы с Python на прикладном уровне;🎯 знаете теорию вероятностей и математическую статистику;🎯 можете построить аналитический дашборд.От на…

3 дня, 1 час назад @ t.me
Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для
Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для

Смена подгузников, отсутствие сна: новый baby-project datavizСегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для меня большое событие, я подошел к нему еще и с аналитической точки зрения, а именно построил дашборд, используя данные о ребенке в течение первых 8 месяцев его жизни. И сегодня я хочу показать как круто меняется жизнь семьи на примере собственного анализа данных жизни первых 8 месяцев малыша. Данные я собирал с помощью приложения BabyTracker, а затем визуализировал их в Tableau, чтобы затем проанализировать их и поделиться своими выводами,…

5 дней, 4 часа назад @ t.me
SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki
SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Присоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

1 неделя назад @ t.me
16 сентября, ЧтКонференция по Machine Learning in productionЧерез неделю @selectelnews соберет сообщество специалистов, которых интересует все новое в сферах ML и AI, чтобы поговорить про MLOps-платформы, применение ML в работе технической поддержки, жизне
16 сентября, ЧтКонференция по Machine Learning in productionЧерез неделю @selectelnews соберет сообщество специалистов, которых интересует все новое в сферах ML и AI, чтобы поговорить про MLOps-платформы, применение ML в работе технической поддержки, жизне 16 сентября, ЧтКонференция по Machine Learning in productionЧерез неделю @selectelnews соберет сообщество специалистов, которых интересует все новое в сферах ML и AI, чтобы поговорить про MLOps-платформы, применение ML в работе технической поддержки, жизне

16 сентября, ЧтКонференция по Machine Learning in productionЧерез неделю @selectelnews соберет сообщество специалистов, которых интересует все новое в сферах ML и AI, чтобы поговорить про MLOps-платформы, применение ML в работе технической поддержки, жизненный цикл моделей машинного обучения и другие направления.В программе:— Управление жизненным циклом моделей машинного обучения — возможности Polymatica ML— От данных к модели: ML-платформа и ее эксплуатация с точки зрения DevOps— Поддержка VK: как оставаться поддержкой с человеческим лицом, внедряя MLДата: 16 сентября в 10:30 МСКМесто проведения: online и offline (офис Selectel, Санкт-Петербург, ул. Цветочная, 19)Регистрируйтесь бесплатно …

1 неделя, 4 дня назад @ t.me
Должен вот в чём признаться — я очень не люблю рисовать что-то в MiroМне мешает, что форма объектов в Miro в каком-то смысле превалирует над содержанием. При этом иногда приходится схематизировать, ведь многие знания проще передавать в виде схем. Но для ме
Должен вот в чём признаться — я очень не люблю рисовать что-то в MiroМне мешает, что форма объектов в Miro в каком-то смысле превалирует над содержанием. При этом иногда приходится схематизировать, ведь многие знания проще передавать в виде схем. Но для ме

Должен вот в чём признаться — я очень не люблю рисовать что-то в MiroМне мешает, что форма объектов в Miro в каком-то смысле превалирует над содержанием. При этом иногда приходится схематизировать, ведь многие знания проще передавать в виде схем. Но для меня схема всегда только визуальная репрезентация каких-то упорядоченных данных, которые могут быть описаны через некоторую нотацию: таблицу, определенной структуры или текстом с какой-то стандартизированной разметкой, которую сам придумал. Сначала структура — потом наполнениеВ большинстве случаев, я набрасываю что-то в текстовом файле или в таблице, а потом на основе этого уже рисую в Miro схему, которую можно показать кому-то. Мне самому в…

1 неделя, 4 дня назад @ t.me
Часто слышу от нанимающих менеджеров, что они ищут аналитиков, обладающих одним или несколькими типами мышления: аналитическое мышление, продуктовое мышление, бизнесовое мышлениеПри этом ясное дело, что каждый нанимающий менеджер мыслит все 3 типа мышления
Часто слышу от нанимающих менеджеров, что они ищут аналитиков, обладающих одним или несколькими типами мышления: аналитическое мышление, продуктовое мышление, бизнесовое мышлениеПри этом ясное дело, что каждый нанимающий менеджер мыслит все 3 типа мышления

Часто слышу от нанимающих менеджеров, что они ищут аналитиков, обладающих одним или несколькими типами мышления: аналитическое мышление, продуктовое мышление, бизнесовое мышлениеПри этом ясное дело, что каждый нанимающий менеджер мыслит все 3 типа мышления совершенно по-разномуНапример, для меня: 🌳 аналитическое — про модели, структуры внутри моделей, ограничения, скрытые в моделях (видеть деревья за лесом)👨‍🔬 продуктовое — про гипотезы и оценку effort/impact (как влиять на лес через рациональный выбор наиболее эффективных способов)💸 бизнесовое — про цели и принципы достижения этих целей с помощью организационных структур (зачем нам что-то делать с лесом и как организовать лесников)Понятно,…

3 недели, 4 дня назад @ t.me
Интересно сейчас разные специалисты рассуждают о будущем аналитики, аналитика.В частности Алексей Свирин написал интересный пост в fb. В мимолетный миг досуга также надумал сформировать свое мнение.Не вижу проблемы в том, что дата-аналитика как есть сейчас
Интересно сейчас разные специалисты рассуждают о будущем аналитики, аналитика.В частности Алексей Свирин написал интересный пост в fb. В мимолетный миг досуга также надумал сформировать свое мнение.Не вижу проблемы в том, что дата-аналитика как есть сейчас

Интересно сейчас разные специалисты рассуждают о будущем аналитики, аналитика.В частности Алексей Свирин написал интересный пост в fb. В мимолетный миг досуга также надумал сформировать свое мнение.Не вижу проблемы в том, что дата-аналитика как есть сейчас сдохнет. Ну и ладно, такова жизнь.У себя в голове не могу толком разделить продуктового и дата-аналитиков. Так как продуктовый, конечно, должен уметь работать с данными, а аналитик данных должен обладать продуктовым мышлением, иначе толка от него не будет.К вариантам, которые предложил Алексей (системный аналитик, продуктолог, программист, дата-инженер) уверенно добавлю обычного продуктового аналитика.Предыдущий мой руководитель прекрасно…

3 недели, 4 дня назад @ t.me
6 сентября стартует новый поток курса о данных в энтерпрайзе. Это первая подобная программа в России. Ее разработали создатели MDM- и CDI-решений из компании HFLabs. 🧑‍💻Для когоПодойдет всем, кто работает или хочет работать с клиентскими данными в крупной
6 сентября стартует новый поток курса о данных в энтерпрайзе. Это первая подобная программа в России. Ее разработали создатели MDM- и CDI-решений из компании HFLabs. 🧑‍💻Для когоПодойдет всем, кто работает или хочет работать с клиентскими данными в крупной 6 сентября стартует новый поток курса о данных в энтерпрайзе. Это первая подобная программа в России. Ее разработали создатели MDM- и CDI-решений из компании HFLabs. 🧑‍💻Для когоПодойдет всем, кто работает или хочет работать с клиентскими данными в крупной

6 сентября стартует новый поток курса о данных в энтерпрайзе. Это первая подобная программа в России. Ее разработали создатели MDM- и CDI-решений из компании HFLabs. 🧑‍💻Для когоПодойдет всем, кто работает или хочет работать с клиентскими данными в крупной компании. Специальность не имеет значения: полезно аналитикам, архитекторам, тестировщикам, инженерам по данным.📚ПрограммаПять дней, пять преподавателей, пять модулей:1. Предпосылки создания MDM-системы. Проектирование модели данных.2. Построение MDM-системы: структура и правила работы с данными. 3. Добавление новых источников в MDM-систему.4. Получение данных из эталонной клиентской базы. Обратное распространение.5. Управление качеством д…

3 недели, 5 дней назад @ t.me
Мы создали специальный курс по Python для разработчиков с опытом. За 6 месяцев обучения вы освоите углублённые знания технологий, которые используются в backend-разработке на Python. Научитесь решать сложные задачи с базами данных, работать с синхронными и
Мы создали специальный курс по Python для разработчиков с опытом. За 6 месяцев обучения вы освоите углублённые знания технологий, которые используются в backend-разработке на Python. Научитесь решать сложные задачи с базами данных, работать с синхронными и Мы создали специальный курс по Python для разработчиков с опытом. За 6 месяцев обучения вы освоите углублённые знания технологий, которые используются в backend-разработке на Python. Научитесь решать сложные задачи с базами данных, работать с синхронными и

Мы создали специальный курс по Python для разработчиков с опытом. За 6 месяцев обучения вы освоите углублённые знания технологий, которые используются в backend-разработке на Python. Научитесь решать сложные задачи с базами данных, работать с синхронными и асинхронными фреймворками. И писать очень красивый и лаконичный код.Вас ждёт:- Собственная среда для обучения. Специальный полноценный тренажёр от Яндекс.Практикума.- Портфолио из 6 веб-проектов. Соберёте всё вместе и получите аналог Netflix.- Практика. Все знания отрабатываются в онлайн-тренажёре.- Поддержка наставников.- Программа профессиональной акселерации и помощь с трудоустройством.Учитесь прямо сейчас. Вводный курс — бесплатный

4 недели назад @ t.me
Год назад мы с Колей Валиотти сделали дашбород по рынку вакансий аналитиков. 🎉 Подводим итоги за год! Сделали это в виде карточек по разным направлениям аналитики — пощёлкайте и сравните разные профессии.А ещё, подобрали ТГ каналы, чтобы качаться в каждой
Год назад мы с Колей Валиотти сделали дашбород по рынку вакансий аналитиков. 🎉 Подводим итоги за год! Сделали это в виде карточек по разным направлениям аналитики — пощёлкайте и сравните разные профессии.А ещё, подобрали ТГ каналы, чтобы качаться в каждой Год назад мы с Колей Валиотти сделали дашбород по рынку вакансий аналитиков. 🎉 Подводим итоги за год! Сделали это в виде карточек по разным направлениям аналитики — пощёлкайте и сравните разные профессии.А ещё, подобрали ТГ каналы, чтобы качаться в каждой

Год назад мы с Колей Валиотти сделали дашбород по рынку вакансий аналитиков. 🎉 Подводим итоги за год! Сделали это в виде карточек по разным направлениям аналитики — пощёлкайте и сравните разные профессии.А ещё, подобрали ТГ каналы, чтобы качаться в каждой из областей:— Про BI и Табло — Reveal The Data =)— Про аналитику и DS — Left Join— Про системный анализ — BA|SA— Про DE — Инжиниринг данных— Про маркетинг — Матемаркетинг— Про Web — WebAnalytics🔗 Карточки на Табло Паблик🔗 Основной дашбордDisclaimer: данные по вакансиям с HH для Москвы и Питера. Профессии определяются по наличию ключевых слов в названии вакансии (есть BI → BI-аналитик, есть ML → Data Scientist и т.п.). Больше всего вакансий…

1 месяц назад @ t.me
Отличный джоб-тайтл вакансии. Сразу понятно кого ищут
Отличный джоб-тайтл вакансии. Сразу понятно кого ищут Отличный джоб-тайтл вакансии. Сразу понятно кого ищут

Отличный джоб-тайтл вакансии. Сразу понятно кого ищут

1 месяц назад @ t.me
🔥 Подготовил новый перевод с кейсами: Исследуем отношение между переменными 🐼1⃣ Мы будем визуализировать отношения с помощью диаграмм рассеяния (scatter plots), диаграмм размаха (box plots) и скрипичных диаграмм (violin plots).2⃣ И количественно определять
🔥 Подготовил новый перевод с кейсами: Исследуем отношение между переменными 🐼1⃣ Мы будем визуализировать отношения с помощью диаграмм рассеяния (scatter plots), диаграмм размаха (box plots) и скрипичных диаграмм (violin plots).2⃣ И количественно определять

🔥 Подготовил новый перевод с кейсами: Исследуем отношение между переменными 🐼1⃣ Мы будем визуализировать отношения с помощью диаграмм рассеяния (scatter plots), диаграмм размаха (box plots) и скрипичных диаграмм (violin plots).2⃣ И количественно определять отношения, используя корреляцию (correlation) и простую регрессию (simple regression).Самый важный урок этого блокнота заключается в том, что вы всегда должны визуализировать взаимосвязь между переменными, прежде чем пытаться ее количественно оценить; в противном случае вас могут ввести в заблуждение.👉 Ссылка на html-версию 👉 Ссылка на Colab🐍 Остальные переводы по ссылке: https://dfedorov.spb.ru/pandas/

1 месяц, 1 неделя назад @ t.me
Совершенно оффтопный пост с очень личной просьбойБыла когда-то (а может и есть сейчас) такая компания «Кирилл и Мефодий». Они занимались производством интерактивных энциклопедий на CD/DVD в начале 2000х, когда ещё мало у кого был нормальный интернет. Может
Совершенно оффтопный пост с очень личной просьбойБыла когда-то (а может и есть сейчас) такая компания «Кирилл и Мефодий». Они занимались производством интерактивных энциклопедий на CD/DVD в начале 2000х, когда ещё мало у кого был нормальный интернет. Может

Совершенно оффтопный пост с очень личной просьбойБыла когда-то (а может и есть сейчас) такая компания «Кирилл и Мефодий». Они занимались производством интерактивных энциклопедий на CD/DVD в начале 2000х, когда ещё мало у кого был нормальный интернет. Может быть у кого-то есть контакты того, кто там работал или работает до сих пор. Буду рад, если поделитесь

1 месяц, 1 неделя назад @ t.me
Труба данных Труба данных
последний пост 2 дня, 23 часа назад
Итак, осень началась, а значит начался сезон конференций. Вообще, конференции это прекрасный способ узнать что-то новое, но куда важней - это нетворкинг. Да, да, банальные прописные истины! 😁Не отпускать вас на конференцию, потому что вас там переманят - э
Итак, осень началась, а значит начался сезон конференций. Вообще, конференции это прекрасный способ узнать что-то новое, но куда важней - это нетворкинг. Да, да, банальные прописные истины! 😁Не отпускать вас на конференцию, потому что вас там переманят - э

Итак, осень началась, а значит начался сезон конференций. Вообще, конференции это прекрасный способ узнать что-то новое, но куда важней - это нетворкинг. Да, да, банальные прописные истины! 😁Не отпускать вас на конференцию, потому что вас там переманят - это глупость со стороны работодателя и от такого нужно бежать. Я бы сбежал.Не ходить на конференцию, ибо “я в записи посмотрю” - это упускать возможность узнать из первых уст в кулуарах о состоянии индустрии, и выстроить связи, которые вам помогут в будущем: интересным проектом или вы найдете себе коллегу.Мерч, стикеры, книги - куда ж без этого =)Если что, этой осенью меня можно поймать тут:- 18 сентября, уже завтра, TechTrain https://bit.l…

2 дня, 23 часа назад @ t.me
https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/Паша вновь постарался и собрал для вас новости в DE за прошедший месяц.
https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/Паша вновь постарался и собрал для вас новости в DE за прошедший месяц.

https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/Паша вновь постарался и собрал для вас новости в DE за прошедший месяц.

1 неделя, 5 дней назад @ t.me
Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:DataVault / Anchor Modeling (8 сентября 2021 в 20:00 по мск)Спикер: Николай Голов🔗Ссылка: https://youtu.be/-ZgzpQXsxi0
Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:DataVault / Anchor Modeling (8 сентября 2021 в 20:00 по мск)Спикер: Николай Голов🔗Ссылка: https://youtu.be/-ZgzpQXsxi0

Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:DataVault / Anchor Modeling (8 сентября 2021 в 20:00 по мск)Спикер: Николай Голов🔗Ссылка: https://youtu.be/-ZgzpQXsxi0

1 неделя, 6 дней назад @ t.me
https://habr.com/ru/company/ods/blog/572264/Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).Интересные цифры и выводы внутри статьи.
https://habr.com/ru/company/ods/blog/572264/Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).Интересные цифры и выводы внутри статьи.

https://habr.com/ru/company/ods/blog/572264/Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).Интересные цифры и выводы внутри статьи.

2 недели, 6 дней назад @ t.me
Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет
Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет

Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет без монетизации через рекламу).26 августа в 18:00 компания IT_One вместе с JUG Ru Group проведет онлайн митап по Big Data и Java.В программе:— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных…

3 недели, 6 дней назад @ t.me
Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition
Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition

Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafoldhttps://www.datafold.com/blog/the-modern-data-stack-open-source-edition

1 месяц назад @ t.me
https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/Паша Финкельштейн взял на себя тяжелую ношу, каждый месяц писать новости по дата инженерингу в блог JetBrains. И это кроме DE or DIE дайджеста, который я пост
https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/Паша Финкельштейн взял на себя тяжелую ношу, каждый месяц писать новости по дата инженерингу в блог JetBrains. И это кроме DE or DIE дайджеста, который я пост

https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/Паша Финкельштейн взял на себя тяжелую ношу, каждый месяц писать новости по дата инженерингу в блог JetBrains. И это кроме DE or DIE дайджеста, который я постил выше.Но это очень хорошая штука, когда все важные события внутри твоей профессиональной области собирают в одно месте. Поэтому милости просим.#Data_Engineering_Annotated

1 месяц, 2 недели назад @ t.me
Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард
Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард

Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.Лично меня интересует вот эта тема: “Миллиард мутаций: хранение и поиск О поиске оптимального способа хранения более миллиарда известных мутаций человека из различных открытых источников и о том, какое место занимает Python в цепочке от сдачи пациентом слюны до выдачи результатов с найденными мутациями.”

1 месяц, 2 недели назад @ t.me
https://t.me/deordie/16Очередной дайджест (8) DE or DIEТемы выпуска- 4 Things You Need to Know When Solving for Data Quality - Data Lake vs. Data Warehouse - Migrating to Apache Iceberg at Adobe Experience Platform - 5 More Reasons to Choose Apache Pulsar
https://t.me/deordie/16Очередной дайджест (8) DE or DIEТемы выпуска- 4 Things You Need to Know When Solving for Data Quality - Data Lake vs. Data Warehouse - Migrating to Apache Iceberg at Adobe Experience Platform - 5 More Reasons to Choose Apache Pulsar

https://t.me/deordie/16Очередной дайджест (8) DE or DIEТемы выпуска- 4 Things You Need to Know When Solving for Data Quality - Data Lake vs. Data Warehouse - Migrating to Apache Iceberg at Adobe Experience Platform - 5 More Reasons to Choose Apache Pulsar Over Apache Kafka- Create Cloud Architecture with Diagrams for AWS, Azure, and GPC

1 месяц, 2 недели назад @ t.me
#НамДжунаБы Epoch8.co в поисках джуна DEДля отклика заполните пожалуйста форму:https://airtable.com/shrhBZuHzKPM1xA2t
#НамДжунаБы Epoch8.co в поисках джуна DEДля отклика заполните пожалуйста форму:https://airtable.com/shrhBZuHzKPM1xA2t #НамДжунаБы Epoch8.co в поисках джуна DEДля отклика заполните пожалуйста форму:https://airtable.com/shrhBZuHzKPM1xA2t

#НамДжунаБы Epoch8.co в поисках джуна DEДля отклика заполните пожалуйста форму:https://airtable.com/shrhBZuHzKPM1xA2t

1 месяц, 3 недели назад @ t.me
#НамДжунаБыВакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz
#НамДжунаБыВакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz #НамДжунаБыВакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz

#НамДжунаБыВакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz

1 месяц, 3 недели назад @ t.me
https://h2oai.github.io/db-benchmark/Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.This page aims to benchmark various databas
https://h2oai.github.io/db-benchmark/Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.This page aims to benchmark various databas https://h2oai.github.io/db-benchmark/Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.This page aims to benchmark various databas

https://h2oai.github.io/db-benchmark/Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.This page aims to benchmark various database-like tools popular in open-source data science. It runs regularly against very latest versions of these packages and automatically updates. We provide this as a service to both developers of these packages and to users. You can find out more about the project in Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.

1 месяц, 3 недели назад @ t.me
#НамДжунаБы Ngrow.ai в поисках Junior Python Developer
#НамДжунаБы Ngrow.ai в поисках Junior Python Developer #НамДжунаБы Ngrow.ai в поисках Junior Python Developer

#НамДжунаБы Ngrow.ai в поисках Junior Python Developer

1 месяц, 3 недели назад @ t.me
#НамДжунаБыDE Intern в P&Ghttps://russia.pgcareers.com/job/moscow/it-devops-internship/1644/10150755936?source=RS_SWE
#НамДжунаБыDE Intern в P&Ghttps://russia.pgcareers.com/job/moscow/it-devops-internship/1644/10150755936?source=RS_SWE #НамДжунаБыDE Intern в P&Ghttps://russia.pgcareers.com/job/moscow/it-devops-internship/1644/10150755936?source=RS_SWE

#НамДжунаБыDE Intern в P&Ghttps://russia.pgcareers.com/job/moscow/it-devops-internship/1644/10150755936?source=RS_SWE

1 месяц, 4 недели назад @ t.me
#НамДжунаБы Junior+ DS в Х5, Перекресток.Впрок
#НамДжунаБы Junior+ DS в Х5, Перекресток.Впрок #НамДжунаБы Junior+ DS в Х5, Перекресток.Впрок

#НамДжунаБы Junior+ DS в Х5, Перекресток.Впрок

2 месяца назад @ t.me
enthusiastech enthusiastech
последний пост 3 дня назад
Яндекс.Облако не перестает приятно удивлять.Респект, так держать.Скоро на канале будут кейсы Маркетинговой аналитики с использованием Я.Облака:- ELT + Airbyte- S3 Data Lake (Parquet columnar)- dbt + Clickhouse- Dashboarding + Datalens
Яндекс.Облако не перестает приятно удивлять.Респект, так держать.Скоро на канале будут кейсы Маркетинговой аналитики с использованием Я.Облака:- ELT + Airbyte- S3 Data Lake (Parquet columnar)- dbt + Clickhouse- Dashboarding + Datalens Яндекс.Облако не перестает приятно удивлять.Респект, так держать.Скоро на канале будут кейсы Маркетинговой аналитики с использованием Я.Облака:- ELT + Airbyte- S3 Data Lake (Parquet columnar)- dbt + Clickhouse- Dashboarding + Datalens

Яндекс.Облако не перестает приятно удивлять.Респект, так держать.Скоро на канале будут кейсы Маркетинговой аналитики с использованием Я.Облака:- ELT + Airbyte- S3 Data Lake (Parquet columnar)- dbt + Clickhouse- Dashboarding + Datalens

3 дня назад @ t.me
Современные Data Pipelines превратились в commodity наподобие электричества в розетке – они просто должны быть и функционировать, обеспечивая базовые потребности аналитиков и инженеров. Множество компаний, таких как Fivetran, Hevo, Alooma, сегодня зарабаты
Современные Data Pipelines превратились в commodity наподобие электричества в розетке – они просто должны быть и функционировать, обеспечивая базовые потребности аналитиков и инженеров. Множество компаний, таких как Fivetran, Hevo, Alooma, сегодня зарабаты Современные Data Pipelines превратились в commodity наподобие электричества в розетке – они просто должны быть и функционировать, обеспечивая базовые потребности аналитиков и инженеров. Множество компаний, таких как Fivetran, Hevo, Alooma, сегодня зарабаты

Современные Data Pipelines превратились в commodity наподобие электричества в розетке – они просто должны быть и функционировать, обеспечивая базовые потребности аналитиков и инженеров. Множество компаний, таких как Fivetran, Hevo, Alooma, сегодня зарабатывают на предоставлении Data Pipelines / Integration как сервис. Наряду с очевидными преимуществами, основными недостатками являются закрытый исходный код и отсутствие возможности быстро добавлять новые коннекторы.В этой публикации на примере репликации данных открытого счетчика Яндекс.Метрика в объектное хранилище S3 я познакомлю вас с Airbyte – решением с открытым исходным кодом. Это новый стандарт для выстраивания потоков интеграции данн…

3 недели, 3 дня назад @ t.me
SQL – это не скучно. С современными инструментами возможности языка кратно возросли. Мультитул для моделирования данных dbt, современные колоночные аналитические СУБД позволяют буквально творить с данными чудеса.Меня зовут Артемий и я Analytics Engineer в
SQL – это не скучно. С современными инструментами возможности языка кратно возросли. Мультитул для моделирования данных dbt, современные колоночные аналитические СУБД позволяют буквально творить с данными чудеса.Меня зовут Артемий и я Analytics Engineer в

SQL – это не скучно. С современными инструментами возможности языка кратно возросли. Мультитул для моделирования данных dbt, современные колоночные аналитические СУБД позволяют буквально творить с данными чудеса.Меня зовут Артемий и я Analytics Engineer в компании Wheely. И сегодня я подготовил небольшой экскурс в реальные и интересные сценарии использования гибридного SQL:– Операции Pivot и Unpivot для табличных данных– Генерирование суррогатного ключа и ключа конкатенации– Гибкая фильтрация записей из таблиц-источников– Автоматизация экспорта данных из Хранилища в S3– Валютные курсы, Continuous Integration, Data Qualityhttps://habr.com/ru/company/otus/blog/572816/

1 месяц назад @ t.me
MongoDB – одна из самых популярных документ-ориентированных баз данных класса NoSQL с большим сообществом пользователей. Ее основными преимуществами являются гибкость схемы хранения, иерархическая структура документов, поддержка расширенного набора типов д
MongoDB – одна из самых популярных документ-ориентированных баз данных класса NoSQL с большим сообществом пользователей. Ее основными преимуществами являются гибкость схемы хранения, иерархическая структура документов, поддержка расширенного набора типов д

MongoDB – одна из самых популярных документ-ориентированных баз данных класса NoSQL с большим сообществом пользователей. Ее основными преимуществами являются гибкость схемы хранения, иерархическая структура документов, поддержка расширенного набора типов данных. Сегодня MongoDB чаще всего используется как бэкенд веб- и мобильных приложений.Казалось бы, зачем может потребоваться извлекать схему данных в schemaless database? Однако это может быть крайне полезно и в некоторых ситуациях абсолютно необходимо:• Репликация данных в аналитическое хранилище• Интерактивная аналитика из BI-инструментов (SQL)• Аудит имеющейся структуры БДВ этой публикации я хотел бы показать простой и удобный способ по…

1 месяц, 2 недели назад @ t.me
Начинаем https://youtu.be/SsCe5b0Tqzc
Начинаем https://youtu.be/SsCe5b0Tqzc

Начинаем https://youtu.be/SsCe5b0Tqzc

1 месяц, 3 недели назад @ t.me
В среду 28.07 в 14.00 состоится презентация моей программы Analytics Engineer.4 месяца интенсивного погружения в самые востребованные и актуальные навыки на стыке миров Data Engineering & Data Analytics.На вебинаре расскажу про потребность на рынке, со
В среду 28.07 в 14.00 состоится презентация моей программы Analytics Engineer.4 месяца интенсивного погружения в самые востребованные и актуальные навыки на стыке миров Data Engineering & Data Analytics.На вебинаре расскажу про потребность на рынке, со В среду 28.07 в 14.00 состоится презентация моей программы Analytics Engineer.4 месяца интенсивного погружения в самые востребованные и актуальные навыки на стыке миров Data Engineering & Data Analytics.На вебинаре расскажу про потребность на рынке, со

В среду 28.07 в 14.00 состоится презентация моей программы Analytics Engineer.4 месяца интенсивного погружения в самые востребованные и актуальные навыки на стыке миров Data Engineering & Data Analytics.На вебинаре расскажу про потребность на рынке, содержание программы, отвечу на вопросы.Ссылка на трансляцию будет здесь за 5-10 минут.

1 месяц, 3 недели назад @ t.me
В условиях постоянно растущей сложности аналитических инструментов и распределенной команды не просто возможно, но и необходимо повышать скорость поставки (T2M) и качество (Quality) выводимого в продуктив функционала. Фокус сегодняшней публикации – внедрен
В условиях постоянно растущей сложности аналитических инструментов и распределенной команды не просто возможно, но и необходимо повышать скорость поставки (T2M) и качество (Quality) выводимого в продуктив функционала. Фокус сегодняшней публикации – внедрен В условиях постоянно растущей сложности аналитических инструментов и распределенной команды не просто возможно, но и необходимо повышать скорость поставки (T2M) и качество (Quality) выводимого в продуктив функционала. Фокус сегодняшней публикации – внедрен

В условиях постоянно растущей сложности аналитических инструментов и распределенной команды не просто возможно, но и необходимо повышать скорость поставки (T2M) и качество (Quality) выводимого в продуктив функционала. Фокус сегодняшней публикации – внедрение практик интеграционного тестирования с учетом современного аналитического стека.С практическими примерами и рекомендациями будут рассмотрены следующие аспекты:– Специфика аналитических приложений и пространство для DevOps практик– Рецепт для внедрения Continuous Integration шаг за шагом– Slim CI: оптимизируем и ускоряем процессыhttps://habr.com/ru/company/otus/blog/567916/

2 месяца назад @ t.me
Вебинар Business Intelligence 101: Развертывание и конфигурирование решенияСлайды: https://docs.google.com/presentation/d/1HEMQ4687hOdqZ47Tqumn6jmvPzKiu3H4VA5xF5R12oY/edit?usp=sharingЗапись: https://youtu.be/3agTJjGhwsI?t=405
Вебинар Business Intelligence 101: Развертывание и конфигурирование решенияСлайды: https://docs.google.com/presentation/d/1HEMQ4687hOdqZ47Tqumn6jmvPzKiu3H4VA5xF5R12oY/edit?usp=sharingЗапись: https://youtu.be/3agTJjGhwsI?t=405 Вебинар Business Intelligence 101: Развертывание и конфигурирование решенияСлайды: https://docs.google.com/presentation/d/1HEMQ4687hOdqZ47Tqumn6jmvPzKiu3H4VA5xF5R12oY/edit?usp=sharingЗапись: https://youtu.be/3agTJjGhwsI?t=405

Вебинар Business Intelligence 101: Развертывание и конфигурирование решенияСлайды: https://docs.google.com/presentation/d/1HEMQ4687hOdqZ47Tqumn6jmvPzKiu3H4VA5xF5R12oY/edit?usp=sharingЗапись: https://youtu.be/3agTJjGhwsI?t=405

2 месяца назад @ t.me
Начинаем через несколько минут! Трансляция: https://youtu.be/3agTJjGhwsIЧат: https://otus.ru/lessons/event-chat/1394/Опрос: https://forms.gle/NPzzdQvJ2JBJQQjN9
Начинаем через несколько минут! Трансляция: https://youtu.be/3agTJjGhwsIЧат: https://otus.ru/lessons/event-chat/1394/Опрос: https://forms.gle/NPzzdQvJ2JBJQQjN9

Начинаем через несколько минут! Трансляция: https://youtu.be/3agTJjGhwsIЧат: https://otus.ru/lessons/event-chat/1394/Опрос: https://forms.gle/NPzzdQvJ2JBJQQjN9

2 месяца назад @ t.me
Привет! Сегодня 15 июля в 20.00 приглашаю на вебинар.Business Intelligence 101: Развертывание и конфигурирование решения– Варианты деплоя BI-решения: SaaS, Cloud App, Docker– Конфигурация: безопасность, метаданные, уведомления– База метаданных и ее миграци
Привет! Сегодня 15 июля в 20.00 приглашаю на вебинар.Business Intelligence 101: Развертывание и конфигурирование решения– Варианты деплоя BI-решения: SaaS, Cloud App, Docker– Конфигурация: безопасность, метаданные, уведомления– База метаданных и ее миграци Привет! Сегодня 15 июля в 20.00 приглашаю на вебинар.Business Intelligence 101: Развертывание и конфигурирование решения– Варианты деплоя BI-решения: SaaS, Cloud App, Docker– Конфигурация: безопасность, метаданные, уведомления– База метаданных и ее миграци

Привет! Сегодня 15 июля в 20.00 приглашаю на вебинар.Business Intelligence 101: Развертывание и конфигурирование решения– Варианты деплоя BI-решения: SaaS, Cloud App, Docker– Конфигурация: безопасность, метаданные, уведомления– База метаданных и ее миграция– Общее устройство BI-решения и его возможностиСмотрим на примерах Metabase (Open Source), Looker.Ссылка на регистрацию: https://otus.ru/lessons/dwh/#event-1394Ссылка на youtube-трансляцию будет опубликована здесь за 5 минут до начала.

2 месяца, 1 неделя назад @ t.me
Слайды вебинара Slim CI: https://docs.google.com/presentation/d/16i51WEOGE0zRtcrRzZ02J-aky2tCG6bSk4u-WF0thX4/edit?usp=sharingЗапись вебинара: https://youtu.be/yfMWiyKpUkQ?t=371Пройдите, пожалуйста, опрос о вебинаре: https://forms.gle/takEhrXioSNmAnrN8
Слайды вебинара Slim CI: https://docs.google.com/presentation/d/16i51WEOGE0zRtcrRzZ02J-aky2tCG6bSk4u-WF0thX4/edit?usp=sharingЗапись вебинара: https://youtu.be/yfMWiyKpUkQ?t=371Пройдите, пожалуйста, опрос о вебинаре: https://forms.gle/takEhrXioSNmAnrN8

Слайды вебинара Slim CI: https://docs.google.com/presentation/d/16i51WEOGE0zRtcrRzZ02J-aky2tCG6bSk4u-WF0thX4/edit?usp=sharingЗапись вебинара: https://youtu.be/yfMWiyKpUkQ?t=371Пройдите, пожалуйста, опрос о вебинаре: https://forms.gle/takEhrXioSNmAnrN8

2 месяца, 2 недели назад @ t.me
Ссылка на чат: https://otus.ru/lessons/event-chat/1393/
Ссылка на чат: https://otus.ru/lessons/event-chat/1393/

Ссылка на чат: https://otus.ru/lessons/event-chat/1393/

2 месяца, 2 недели назад @ t.me
Начинаю: https://www.youtube.com/watch?v=yfMWiyKpUkQ
Начинаю: https://www.youtube.com/watch?v=yfMWiyKpUkQ

Начинаю: https://www.youtube.com/watch?v=yfMWiyKpUkQ

2 месяца, 2 недели назад @ t.me
Завтра проведу вебинар Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных– Кейс: место CI в аналитических приложениях– Настройка интеграционных тестов для DWH– Slim CI: оптимизируем и ускоряемВремя: 6 июля в 15:00Регистрация: https:
Завтра проведу вебинар Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных– Кейс: место CI в аналитических приложениях– Настройка интеграционных тестов для DWH– Slim CI: оптимизируем и ускоряемВремя: 6 июля в 15:00Регистрация: https: Завтра проведу вебинар Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных– Кейс: место CI в аналитических приложениях– Настройка интеграционных тестов для DWH– Slim CI: оптимизируем и ускоряемВремя: 6 июля в 15:00Регистрация: https:

Завтра проведу вебинар Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных– Кейс: место CI в аналитических приложениях– Настройка интеграционных тестов для DWH– Slim CI: оптимизируем и ускоряемВремя: 6 июля в 15:00Регистрация: https://otus.ru/lessons/dwh/#event-1393Ссылка на трансляцию будет в канале за 5 минут до начала.

2 месяца, 2 недели назад @ t.me
Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211
Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211

Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211

3 месяца, 1 неделя назад @ t.me
data будни data будни
последний пост 2 недели, 3 дня назад
Анализ вакансий из сообщества ODSребята спарсили вакансии из своего Слака и «повертели» данные с разных сторон: ⁃ количество вакансий ⁃ распределение по профессиям и уровням ⁃ динамика роста удалёнки ⁃ ну и зарплаты, конечно же (зачем же это всё затевалось
Анализ вакансий из сообщества ODSребята спарсили вакансии из своего Слака и «повертели» данные с разных сторон: ⁃ количество вакансий ⁃ распределение по профессиям и уровням ⁃ динамика роста удалёнки ⁃ ну и зарплаты, конечно же (зачем же это всё затевалось Анализ вакансий из сообщества ODSребята спарсили вакансии из своего Слака и «повертели» данные с разных сторон: ⁃ количество вакансий ⁃ распределение по профессиям и уровням ⁃ динамика роста удалёнки ⁃ ну и зарплаты, конечно же (зачем же это всё затевалось

Анализ вакансий из сообщества ODSребята спарсили вакансии из своего Слака и «повертели» данные с разных сторон: ⁃ количество вакансий ⁃ распределение по профессиям и уровням ⁃ динамика роста удалёнки ⁃ ну и зарплаты, конечно же (зачем же это всё затевалось!)плюс всё в динамике: в каждом срезе сравнивают показатели с прошлыми годами.радует, что становится больше вакансий дата аналитиков — кажется рынок начал понимать зачем нанимать кого-то ещё кроме «дата саентистов»статья с графиками:https://habr.com/ru/company/ods/blog/572264/исходные данные для исследования:https://github.com/egorborisov/jobs_article/blob/main/jobs_research.ipynb

2 недели, 3 дня назад @ t.me
в продолжение темы Data Engineer VS Data Scientistна мега-крутом дашборде Ромы Бунина и Николая Валиотти можно посмотреть динамику спроса на дата-профессии. Мне интересно сравнить нашего брата дата инженера с хайповым дата саентистом.Первое, что хочется от
в продолжение темы Data Engineer VS Data Scientistна мега-крутом дашборде Ромы Бунина и Николая Валиотти можно посмотреть динамику спроса на дата-профессии. Мне интересно сравнить нашего брата дата инженера с хайповым дата саентистом.Первое, что хочется от в продолжение темы Data Engineer VS Data Scientistна мега-крутом дашборде Ромы Бунина и Николая Валиотти можно посмотреть динамику спроса на дата-профессии. Мне интересно сравнить нашего брата дата инженера с хайповым дата саентистом.Первое, что хочется от

в продолжение темы Data Engineer VS Data Scientistна мега-крутом дашборде Ромы Бунина и Николая Валиотти можно посмотреть динамику спроса на дата-профессии. Мне интересно сравнить нашего брата дата инженера с хайповым дата саентистом.Первое, что хочется отметить — зарплаты дата инженеров на втором месте. Второе — количество вакансий больше на треть. Я бы здесь ожидал разницу побольше, но скидываю это на то, что дата саентистами называют всех подряд (т.н. термин-одеяло). Было бы правильнее искать что-то типа ML Engineer, но таких было бы ещё меньше (и большая часть без зарплат, да).Весь проект и пост в канале Ромы Бунина (зацените ещё бизнес аналитиков ;-)https://t.me/revealthedata/498

4 недели, 1 день назад @ t.me
Data Engineering на Яндекс.ПрактикумеУра! Это наконец случилось! Практикум выкатил программу для инженеров данных! Пока в предзаказ — надо успевать, чтобы попасть в первый поток.Теперь можно получить профильный курс и выпускников с релевантными навыками (я
Data Engineering на Яндекс.ПрактикумеУра! Это наконец случилось! Практикум выкатил программу для инженеров данных! Пока в предзаказ — надо успевать, чтобы попасть в первый поток.Теперь можно получить профильный курс и выпускников с релевантными навыками (я

Data Engineering на Яндекс.ПрактикумеУра! Это наконец случилось! Практикум выкатил программу для инженеров данных! Пока в предзаказ — надо успевать, чтобы попасть в первый поток.Теперь можно получить профильный курс и выпускников с релевантными навыками (я не как я — учился на аналитика, чтобы потом изучать инжиниринг данных уже на реальном проекте ¯\_(ツ)_/¯ )Сразу о главном: 80 000₽ и полгода обучения.Программа прям по-максимуму: концепции и архитектура данных, пайплайны, оркестрация, инфраструктура. Вот скопипастил полный список (хоть иди и учись заново, черт побери): 1. Знакомство с ETL / ELT, DWH / Data Lake, REST API → PostgreSQL 2. Продвинутый SQL: хранимые, тригеры, шардирование (!) …

4 недели, 1 день назад @ t.me
у ребят из dbt появился свой подкаст, назвали актуальненько — Analtycs Engineering.В первом эпизоде с Robert Chang из Airbnb, обсудили проблему управления метриками в компании. В Aribnb таких 12000 и чтобы как-то управляться они сделали систему Minerva как
у ребят из dbt появился свой подкаст, назвали актуальненько — Analtycs Engineering.В первом эпизоде с Robert Chang из Airbnb, обсудили проблему управления метриками в компании. В Aribnb таких 12000 и чтобы как-то управляться они сделали систему Minerva как

у ребят из dbt появился свой подкаст, назвали актуальненько — Analtycs Engineering.В первом эпизоде с Robert Chang из Airbnb, обсудили проблему управления метриками в компании. В Aribnb таких 12000 и чтобы как-то управляться они сделали систему Minerva как единый источник правды для всех метрик.https://podcasts.apple.com/us/podcast/the-analytics-engineering-podcast/id1574755368

1 месяц назад @ t.me
За одну минуту о том, зачем нужны дата инженеры для машинного обучения. С ГИФКАМИ!https://www.youtube.com/watch?v=efFuNYqg-YU&list=PLRKtJ4IpxJpDxl0NTvNYQWKCYzHNuy2xG
За одну минуту о том, зачем нужны дата инженеры для машинного обучения. С ГИФКАМИ!https://www.youtube.com/watch?v=efFuNYqg-YU&list=PLRKtJ4IpxJpDxl0NTvNYQWKCYzHNuy2xG

За одну минуту о том, зачем нужны дата инженеры для машинного обучения. С ГИФКАМИ!https://www.youtube.com/watch?v=efFuNYqg-YU&list=PLRKtJ4IpxJpDxl0NTvNYQWKCYzHNuy2xG

1 месяц назад @ t.me
Ищем дата инженеров в агентсво Epoch8Эпоха — агенство заказной разработки, мы помогаем клиентам работать с их данными: понимать что было (аналитика) и что будет (ML). Сейчас в штате 20 человек — до бюрократии ещё не доросли, фаундеры в прямой доступности,
Ищем дата инженеров в агентсво Epoch8Эпоха — агенство заказной разработки, мы помогаем клиентам работать с их данными: понимать что было (аналитика) и что будет (ML). Сейчас в штате 20 человек — до бюрократии ещё не доросли, фаундеры в прямой доступности,

Ищем дата инженеров в агентсво Epoch8Эпоха — агенство заказной разработки, мы помогаем клиентам работать с их данными: понимать что было (аналитика) и что будет (ML). Сейчас в штате 20 человек — до бюрократии ещё не доросли, фаундеры в прямой доступности, каждый может влиять на курс и политику компании. В клиентах как большие е-коммерсы типа Leroy Merlin и Пятёрочки, так и стартапы: например, BelkaCar или Brickit.Ищем дата инженеров в отдел аналитики. Обычно инженер сопровождает проект от начала и до конца: ⁃ приходиться разбираться с источниками данных у клиентов; ⁃ поднимать и поддерживать хранилища данных (DWH); ⁃ проектировать автономные пайплайны; ⁃ придумывать архитектуру аналитически…

1 месяц, 1 неделя назад @ t.me
Не Спарком единымза последние полгода в Эпохе поучаствовал в проектах по построению четырёх DWH для наших клиентов: 3 на BigQuery и ещё один на AWS Athena. Всё как надо — изучили источники, настроили пайплайны, собрали данные в одном месте, нарезали на сло
Не Спарком единымза последние полгода в Эпохе поучаствовал в проектах по построению четырёх DWH для наших клиентов: 3 на BigQuery и ещё один на AWS Athena. Всё как надо — изучили источники, настроили пайплайны, собрали данные в одном месте, нарезали на сло

Не Спарком единымза последние полгода в Эпохе поучаствовал в проектах по построению четырёх DWH для наших клиентов: 3 на BigQuery и ещё один на AWS Athena. Всё как надо — изучили источники, настроили пайплайны, собрали данные в одном месте, нарезали на слои, вывели на дашборды. Клиенты довольны.При этом задействовано Спарка в проектах: ноль. Обошлись как-то и без Кафки с Хадупом.Иногда кажется, что это какая-то ненастоящая дата инженерия. Но вот наш СТО скинул статью и я подуспокоился: ребята делают такие же DWH и так же обходятся без инструментов бигдаты.Со всеми тезисами согласен — мы делаем так же: облачные DWH, инжест через пайплайны на питоне с использованием готовых библиотек, широкие…

1 месяц, 2 недели назад @ t.me
Два подкаста про игры с точки зрения машинного обученияПервый — короткий рассказ как машины учились обыгрывать людей в игры: шахматы, го, Дота 2 и даже прятки.Особенно понравилась вставка про Доту с интернешнала с живыми криками комментатора. Фанфакт: пере
Два подкаста про игры с точки зрения машинного обученияПервый — короткий рассказ как машины учились обыгрывать людей в игры: шахматы, го, Дота 2 и даже прятки.Особенно понравилась вставка про Доту с интернешнала с живыми криками комментатора. Фанфакт: пере

Два подкаста про игры с точки зрения машинного обученияПервый — короткий рассказ как машины учились обыгрывать людей в игры: шахматы, го, Дота 2 и даже прятки.Особенно понравилась вставка про Доту с интернешнала с живыми криками комментатора. Фанфакт: перед матчем с Денди машина тренировалась 2500 лет игрового времени.Слушать в iTunes и OvercastВторой подкаст — уже серьёзный разговор с инженером из Google Deepmind о том что там под капотом у этого процесса и где эти навыки можно применить в реальном мире.Ссылки на подкаст в посте автора

1 месяц, 2 недели назад @ t.me
Уровни аналитиковЖеня Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития.Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (мелко
Уровни аналитиковЖеня Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития.Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (мелко

Уровни аналитиковЖеня Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития.Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (мелко разжованные а в конце просто глобальное направление). В самом начале всё равно нужны математическая база, критическое мышление и какой-то прикладной опыт программирования.Ниже надёргал абзацев из каждого раздела, рекомендую почитать целиком:---- Аналитик данных – это человек, который помогает команде: • Принимать решения более объективно, основываясь на фактах и данных (в противовес мнению, интуиции и опыту). • Искать точки роста продукта …

1 месяц, 2 недели назад @ t.me
когда 2 года назад выбирал профессию, ориентировался именно на это соотношение. Кажется, не прогадал)https://sashamikhailov.ru/blog/all/data-analyst-and-data-scientist/
когда 2 года назад выбирал профессию, ориентировался именно на это соотношение. Кажется, не прогадал)https://sashamikhailov.ru/blog/all/data-analyst-and-data-scientist/

когда 2 года назад выбирал профессию, ориентировался именно на это соотношение. Кажется, не прогадал)https://sashamikhailov.ru/blog/all/data-analyst-and-data-scientist/

1 месяц, 2 недели назад @ t.me
эмпирически-оптимальное соотноешение: 2-3 дата инженеров на одного мл-инженера. Если дата инженеров меньше, то, получается, их работу делают мл-инженеры [а могли бы модели делать что-нибудь своё МЛ-ное].https://twitter.com/dsunderhood/status/14207698580531
эмпирически-оптимальное соотноешение: 2-3 дата инженеров на одного мл-инженера. Если дата инженеров меньше, то, получается, их работу делают мл-инженеры [а могли бы модели делать что-нибудь своё МЛ-ное].https://twitter.com/dsunderhood/status/14207698580531 эмпирически-оптимальное соотноешение: 2-3 дата инженеров на одного мл-инженера. Если дата инженеров меньше, то, получается, их работу делают мл-инженеры [а могли бы модели делать что-нибудь своё МЛ-ное].https://twitter.com/dsunderhood/status/14207698580531

эмпирически-оптимальное соотноешение: 2-3 дата инженеров на одного мл-инженера. Если дата инженеров меньше, то, получается, их работу делают мл-инженеры [а могли бы модели делать что-нибудь своё МЛ-ное].https://twitter.com/dsunderhood/status/1420769858053103617

1 месяц, 2 недели назад @ t.me
когда пишу в SQL запросах GROUP BY 1, 2 вместо полного наименования колонок, меня всегда тревожила мысль, что я халавлю и недоделываю НОРМАЛЬНЫЙ КОД. Прочитал, что в dbt делают так же и успокоился: писать через «1» проще и понятнее (заскринил пример ^). Ес
когда пишу в SQL запросах GROUP BY 1, 2 вместо полного наименования колонок, меня всегда тревожила мысль, что я халавлю и недоделываю НОРМАЛЬНЫЙ КОД. Прочитал, что в dbt делают так же и успокоился: писать через «1» проще и понятнее (заскринил пример ^). Ес когда пишу в SQL запросах GROUP BY 1, 2 вместо полного наименования колонок, меня всегда тревожила мысль, что я халавлю и недоделываю НОРМАЛЬНЫЙ КОД. Прочитал, что в dbt делают так же и успокоился: писать через «1» проще и понятнее (заскринил пример ^). Ес

когда пишу в SQL запросах GROUP BY 1, 2 вместо полного наименования колонок, меня всегда тревожила мысль, что я халавлю и недоделываю НОРМАЛЬНЫЙ КОД. Прочитал, что в dbt делают так же и успокоился: писать через «1» проще и понятнее (заскринил пример ^). Если что, буду показывать эту заметку 🌚So why do I still group by 1? Well, there's a few reasons:…- 1 is a single character (and I'm lazy, OK?!).https://blog.getdbt.com/write-better-sql-a-defense-of-group-by-1/

2 месяца, 1 неделя назад @ t.me
реальный мир — единственный источник практических знаний «Как стать X?» или «Что качать, чтобы прокачаться в Y?» можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду). мне нравится подход из ми
реальный мир — единственный источник практических знаний  «Как стать X?» или «Что качать, чтобы прокачаться в Y?»  можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду).  мне нравится подход из ми реальный мир — единственный источник практических знаний «Как стать X?» или «Что качать, чтобы прокачаться в Y?» можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду). мне нравится подход из ми

реальный мир — единственный источник практических знаний «Как стать X?» или «Что качать, чтобы прокачаться в Y?» можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду). мне нравится подход из мира…

2 месяца, 3 недели назад @ t.me
реальный мир — единственный источник практических знаний«Как стать X?» или «Что качать, чтобы прокачаться в Y?»можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду).мне нравится подход из мира ста
реальный мир — единственный источник практических знаний«Как стать X?» или «Что качать, чтобы прокачаться в Y?»можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду).мне нравится подход из мира ста

реальный мир — единственный источник практических знаний«Как стать X?» или «Что качать, чтобы прокачаться в Y?»можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду).мне нравится подход из мира стартапов: любая идея — теоретическая туфта, пока не пройдёт испытание на реальных клиентах. Именно конечные клиенты — единственный источник реальных знаний. если хочешь стать инженером данных — надо найти вакансии и посмотреть что там требуется. Хоп! и уже первое открытие — везде требуются разные наборы навыков, потому что (сюрприз!) во всех компаниях свой стэк инструментов и свои обычаи. И это всё со временем меняется (быстрее, чем программ…

2 месяца, 3 недели назад @ t.me
Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим ч
Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим ч

Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим что ты умеешь». В пятницу утром получил задание — к понедельнику сделать отчёт по всем диджитал каналам трафика в компании. Руками такой отчёт делать — не то что выходных, месяца не хватит.И дальше череда событий:тут же вечером — он проходит курс по программированию на Пайтоне на Степикеутром в субботу — у него созвон с Ильёй Красинским, чтобы тот объяснил ему куда смотреть в Гугл Аналитиксе днём в субботу — такой же созвон с человеком из Я…

3 месяца назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост 2 месяца, 4 недели назад
Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит
Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит

Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратить в DMP, какие проблемы возникают в процессе разработки и как мы их решаем.🎓 Разработка платформы управления данными. Доклад Яндекса

2 месяца, 4 недели назад @ t.me
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

3 месяца, 3 недели назад @ t.me
Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели
Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели

Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели наступить. Вот какие кейсы рассмотрим.Платформа для A/B-тестирования. Во что вам обойдётся автоматизация экспериментов?Сергей Масленников, аналитик Яндекс Go, расскажет, как мы освободили тысячи аналитико-часов, разработав систему АБТ.Как внедрение дорожного графа в инфраструктуру такси помогло снизить время подачи машиныАртём Бондаренко, team-lead группы аналитики Go, поделится опытом внедрения дорожного графа прямо в сервис — вместо дор…

6 месяцев, 2 недели назад @ t.me
Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за вс
Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за вс

Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO. Highly Normilized Hybrid Model Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методо…

6 месяцев, 4 недели назад @ t.me
У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики
У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики

У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики приложений Яндекс Go. Необходимо разрабатывать стратегию развития отчётности, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Вы не будете делать все-все дашборды для подразделения, но будете внутренним центром экспертизы по визуализации и Табло внутри команды продуктовой аналитики. Я же буду помогать вам советами и менторством.Позиция уровня мидл/джун. Нужны классные навыки…

7 месяцев, 4 недели назад @ t.me
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 16 часов назад
Declarative Machine Learning Without The Operational Overhead Using Continual
Declarative Machine Learning Without The Operational Overhead Using Continual

Building, scaling, and maintaining the operational components of a machine learning workflow are all hard problems. Add the work of creating the model itself, and it's not surprising that a majority of companies that could greatly benefit from machine learning have yet to either put it into production or see the value. Tristan Zajonc recognized the complexity that acts as a barrier to adoption and created the Continual platform in response. In this episode he shares his perspective on the benefits of declarative machine learning workflows as a means of accelerating adoption in businesses that don't have the time, money, or ambition to build everything from scratch. He also discusses the tec…

16 часов назад @ dataengineeringpodcast.com
An Exploration Of The Data Engineering Requirements For Bioinformatics
An Exploration Of The Data Engineering Requirements For Bioinformatics

Biology has been gaining a lot of attention in recent years, even before the pandemic. As an outgrowth of that popularity, a new field has grown up that pairs statistics and compuational analysis with scientific research, namely bioinformatics. This brings with it a unique set of challenges for data collection, data management, and analytical capabilities. In this episode Jillian Rowe shares her experience of working in the field and supporting teams of scientists and analysts with the data infrastructure that they need to get their work done. This is a fascinating exploration of the collaboration between data professionals and scientists.

17 часов назад @ dataengineeringpodcast.com
Setting The Stage For The Next Chapter Of The Cassandra Database
Setting The Stage For The Next Chapter Of The Cassandra Database

The Cassandra database is one of the first open source options for globally scalable storage systems. Since its introduction in 2008 it has been powering systems at every scale. The community recently released a new major version that marks a milestone in its maturity and stability as a project and database. In this episode Ben Bromhead, CTO of Instaclustr, shares the challenges that the community has worked through, the work that went into the release, and how the stability and testing improvements are setting the stage for the future of the project.

1 неделя назад @ dataengineeringpodcast.com
A View From The Round Table Of Gartner's Cool Vendors
A View From The Round Table Of Gartner's Cool Vendors

Gartner analysts are tasked with identifying promising companies each year that are making an impact in their respective categories. For businesses that are working in the data management and analytics space they recognized the efforts of Timbr.ai, Soda Data, Nexla, and Tada. In this episode the founders and leaders of each of these organizations share their perspective on the current state of the market, and the challenges facing businesses and data professionals today.

1 неделя, 4 дня назад @ dataengineeringpodcast.com
Designing And Building Data Platforms As A Product
Designing And Building Data Platforms As A Product

The term "data platform" gets thrown around a lot, but have you stopped to think about what it actually means for you and your organization? In this episode Lior Gavish, Lior Solomon, and Atul Gupte share their view of what it means to have a data platform, discuss their experiences building them at various companies, and provide advice on how to treat them like a software product. This is a valuable conversation about how to approach the work of selecting the tools that you use to power your data systems and considerations for how they can be woven together for a unified experience across your various stakeholders.

2 недели, 2 дня назад @ dataengineeringpodcast.com
Presto Powered Cloud Data Lakes At Speed Made Easy With Ahana
Presto Powered Cloud Data Lakes At Speed Made Easy With Ahana

The Presto project has become the de facto option for building scalable open source analytics in SQL for the data lake. In recent months the community has focused their efforts on making it the fastest possible option for running your analytics in the cloud. In this episode Dipti Borkar discusses the work that she and her team are doing at Ahana to simplify the work of running your own PrestoDB environment in the cloud. She explains how they are optimizin the runtime to reduce latency and increase query throughput, the ways that they are contributing back to the open source community, and the exciting improvements that are in the works to make Presto an even more powerful option for all of …

2 недели, 4 дня назад @ dataengineeringpodcast.com
Do Away With Data Integration Through A Dataware Architecture With Cinchy
Do Away With Data Integration Through A Dataware Architecture With Cinchy

The reason that so much time and energy is spent on data integration is because of how our applications are designed. By making the software be the owner of the data that it generates, we have to go through the trouble of extracting the information to then be used elsewhere. The team at Cinchy are working to bring about a new paradigm of software architecture that puts the data as the central element. In this episode Dan DeMers, Cinchy's CEO, explains how their concept of a "Dataware" platform eliminates the need for costly and error prone integration processes and the benefits that it can provide for transactional and analytical application design. This is a fascinating and unconventional …

3 недели, 2 дня назад @ dataengineeringpodcast.com
Decoupling Data Operations From Data Infrastructure Using Nexla
Decoupling Data Operations From Data Infrastructure Using Nexla

The technological and social ecosystem of data engineering and data management has been reaching a stage of maturity recently. As part of this stage in our collective journey the focus has been shifting toward operation and automation of the infrastructure and workflows that power our analytical workloads. It is an encouraging sign for the industry, but it is still a complex and challenging undertaking. In order to make this world of DataOps more accessible and manageable the team at Nexla has built a platform that decouples the logical unit of data from the underlying mechanisms so that you can focus on the problems that really matter to your business. In this episode Saket Saurabh (CEO) a…

3 недели, 5 дней назад @ dataengineeringpodcast.com
Let Your Analysts Build A Data Lakehouse With Cuelake
Let Your Analysts Build A Data Lakehouse With Cuelake

Data lakes have been gaining popularity alongside an increase in their sophistication and usability. Despite improvements in performance and data architecture they still require significant knowledge and experience to deploy and manage. In this episode Vikrant Dubey discusses his work on the Cuelake project which allows data analysts to build a lakehouse with SQL queries. By building on top of Zeppelin, Spark, and Iceberg he and his team at Cuebook have built an autoscaled cloud native system that abstracts the underlying complexity.

1 месяц назад @ dataengineeringpodcast.com
Migrate And Modify Your Data Platform Confidently With Compilerworks
Migrate And Modify Your Data Platform Confidently With Compilerworks

A major concern that comes up when selecting a vendor or technology for storing and managing your data is vendor lock-in. What happens if the vendor fails? What if the technology can't do what I need it to? Compilerworks set out to reduce the pain and complexity of migrating between platforms, and in the process added an advanced lineage tracking capability. In this episode Shevek, CTO of Compilerworks, takes us on an interesting journey through the many technical and social complexities that are involved in evolving your data platform and the system that they have built to make it a manageable task.

1 месяц назад @ dataengineeringpodcast.com
Prepare Your Unstructured Data For Machine Learning And Computer Vision Without The Toil Using Activeloop
Prepare Your Unstructured Data For Machine Learning And Computer Vision Without The Toil Using Activeloop

The vast majority of data tools and platforms that you hear about are designed for working with structured, text-based data. What do you do when you need to manage unstructured information, or build a computer vision model? Activeloop was created for exactly that purpose. In this episode Davit Buniatyan, founder and CEO of Activeloop, explains why he is spending his time and energy on building a platform to simplify the work of getting your unstructured data ready for machine learning. He discusses the inefficiencies that teams run into from having to reprocess data multiple times, his work on the open source Hub library to solve this problem for everyone, and his thoughts on the vast poten…

1 месяц назад @ dataengineeringpodcast.com
Build Trust In Your Data By Understanding Where It Comes From And How It Is Used With Stemma
Build Trust In Your Data By Understanding Where It Comes From And How It Is Used With Stemma

All of the fancy data platform tools and shiny dashboards that you use are pointless if the consumers of your analysis don't have trust in the answers. Stemma helps you establish and maintain that trust by giving visibility into who is using what data, annotating the reports with useful context, and understanding who is responsible for keeping it up to date. In this episode Mark Grover explains what he is building at Stemma, how it expands on the success of the Amundsen project, and why trust is the most important asset for data teams.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Data Discovery From Dashboards To Databases With Castor
Data Discovery From Dashboards To Databases With Castor

Every organization needs to be able to use data to answer questions about their business. The trouble is that the data is usually spread across a wide and shifting array of systems, from databases to dashboards. The other challenge is that even if you do find the information you are seeking, there might not be enough context available to determine how to use it or what it means. Castor is building a data discovery platform aimed at solving this problem, allowing you to search for and document details about everything from a database column to a business intelligence dashboard. In this episode CTO Amaury Dumoulin shares his perspective on the complexity of letting everyone in the company fin…

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Adding Context And Comprehension To Your Analytics Through Data Discovery With SelectStar
Adding Context And Comprehension To Your Analytics Through Data Discovery With SelectStar

Companies of all sizes and industries are trying to use the data that they and their customers generate to survive and thrive in the modern economy. As a result, they are relying on a constantly growing number of data sources being accessed by an increasingly varied set of users. In order to help data consumers find and understand the data is available, and help the data producers understand how to prioritize their work, SelectStar has built a data discovery platform that brings everyone together. In this episode Shinji Kim shares her experience as a data professional struggling to collaborate with her colleagues and how that led her to founding a company to address that problem. She also d…

1 месяц, 3 недели назад @ dataengineeringpodcast.com
Charting A Path For Streaming Data To Fill Your Data Lake With Hudi
Charting A Path For Streaming Data To Fill Your Data Lake With Hudi

Data lake architectures have largely been biased toward batch processing workflows due to the volume of data that they are designed for. With more real-time requirements and the increasing use of streaming data there has been a struggle to merge fast, incremental updates with large, historical analysis. Vinoth Chandar helped to create the Hudi project while at Uber to address this challenge. By adding support for small, incremental inserts into large table structures, and building support for arbitrary update and delete operations the Hudi project brings the best of both worlds together. In this episode Vinoth shares the history of the project, how its architecture allows for building more …

1 месяц, 3 недели назад @ dataengineeringpodcast.com
Data Brew by Databricks Data Brew by Databricks
последний пост 3 дня, 21 час назад
Season 3E1: Disrupt: Challenge your Business Assumptions
Season 3E1: Disrupt: Challenge your Business Assumptions

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics. In this season opener, Elena Donio shares her experience using data and domain knowledge to disrupt the traditional service and sales compensation model. She also discusses how to build companies that scale, manage corporate cultural evolution, and the influence of corporate boards.See more at databricks.com/data-brew

3 дня, 21 час назад @ buzzsprout.com
Season 2E9: Data Driven Software
Season 2E9: Data Driven Software

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.We branch, version, and test our code, but what if we treated data like code? Tim Hunter joins us to discuss the open-source Data-Driven Software (DDS) package and how it leads to immense gains in collaboration and decreased runtime for data scientists at any organization.See more at databricks.com/data-brew

2 месяца назад @ buzzsprout.com
Season 2E8: Feature Engineering
Season 2E8: Feature Engineering

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Is there ever a “one-size fits all” approach for feature engineering? Find out this and more with Amanda Casari and Alice Zheng, co-authors of the Feature Engineering for Machine Learning book.See more at databricks.com/data-brew

2 месяца, 1 неделя назад @ buzzsprout.com
Season 2E7: Interpretable Machine Learning
Season 2E7: Interpretable Machine Learning

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.What does it mean for a model to be “interpretable”? Ameet Talwalkar shares his thoughts on IML (Interpretable Machine Learning), how it relates to data privacy and fairness, and his research in this field.See more at databricks.com/data-brew

2 месяца, 2 недели назад @ buzzsprout.com
Season 2E6: AutoML
Season 2E6: AutoML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Erin LeDell shares valuable insight on AutoML, what problems are best solved by it, its current limitations, and her thoughts on the future of AutoML. We also discuss founding and growing the Women in Machine Learning and Data Science (WiMLDS) non-profit.See more at databricks.com/data-brew

3 месяца назад @ buzzsprout.com
Season 2E5: ML Applications
Season 2E5: ML Applications

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Good machine learning starts with high quality data. Irina Malkova shares her experience managing and ensuring high-fidelity data, developing custom metrics to satisfy business needs, and discusses how to improve internal decision making processes.See more at databricks.com/data-brew

3 месяца, 1 неделя назад @ buzzsprout.com
Season 2E4: Hyperparameter and Neural Architecture Search
Season 2E4: Hyperparameter and Neural Architecture Search

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Liam Li is a leading researcher in the fields of hyperparameter optimization and neural architecture search, and is the author of the seminal Hyperband paper. In this session, Liam discusses the evolution of hyperparameter optimization techniques and illustrates how every data scientist can benefit from neural architecture search. See more at databricks.com/data-brew

4 месяца, 1 неделя назад @ buzzsprout.com
Season 2E3: Infrastructure for ML
Season 2E3: Infrastructure for ML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more. Adam Oliner discusses how to design your infrastructure to support ML, from integration tests to glue code, the importance of iteration, and centralized vs decentralized data science teams. He provides valuable advice for companies investing in ML and crucial lessons he’s learned from founding two companies.See more at databricks.com/data-brew

4 месяца, 2 недели назад @ buzzsprout.com
Season 2E2: Data Ethics
Season 2E2: Data Ethics

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Have you ever wondered how your purchasing behavior may reveal protected attributes? Or how data scientists and business play a role in combating bias? We discuss with Diana Pfeil recommendations to reduce bias and improve fairness, from SHAP to adversarial debiasing.See more at databricks.com/data-brew

4 месяца, 3 недели назад @ buzzsprout.com
Season 2E1: ML in Production
Season 2E1: ML in Production

For our second season, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.In the season opener, Matei Zaharia discusses how he entered the field of ML, best practices for productionizing ML pipelines, leveraging MLflow & the Lakehouse architecture for reproducible ML, and his current research in this field.See more at databricks.com/data-brew

5 месяцев назад @ databricks.com
Season 1E6: Journey of Big Data
Season 1E6: Journey of Big Data

Jules Damji and Tathagata Das guide us through their journey in big data and the evolution of data architecture in the past 30 years. They discuss some of the biggest changes in industry they’ve seen, as well as trends to look forward to in the coming years. This is a fun episode connecting all four authors of the Learning Spark, 2nd Edition book.See more at databricks.com/data-brew

7 месяцев назад @ buzzsprout.com
Season 1E5: Combining Machine Learning and MLflow with your Lakehouse
Season 1E5: Combining Machine Learning and MLflow with your Lakehouse

Ellissa Verseput, ML Engineer at Quby, joins Denny and Brooke to discuss how Quby leverages ML to extract additional value from their data lake and how they manage this process.See more at databricks.com/data-brew

8 месяцев, 2 недели назад @ buzzsprout.com
Season 1E4: BI on Data Lakes - Making it Real for Retail
Season 1E4: BI on Data Lakes - Making it Real for Retail

In this session, we discuss the lessons learned with Lara Minor, Senior Enterprise Data Manager at Columbia Sportswear, on how her team achieved a 70% reduction in pipeline creation time. This had reduced ETL workload times from four hours with previous data warehouses to minutes enabling near real-time analytics. Her team migrated from multiple legacy data warehouses, run by individual lines of business, to a single scalable, reliable, performant data lake.See more at databricks.com/data-brew

9 месяцев назад @ buzzsprout.com
Season 1E3: Demystifying Delta Lake
Season 1E3: Demystifying Delta Lake

Delta Lake is an open source storage layer that brings reliability to data lakes. Delta Lake offers ACID transactions, scalable metadata handling, and unifies streaming and batch data processing. It runs on top of your existing data lake and is fully compatible with Apache Spark APIs. For our “Demystifying Delta Lake” session, we will interview Michael Armbrust - committer and PMC member of Apache Spark™ and the original creator of Spark SQL. He currently leads the team at Databricks that designed and built Structured Streaming and Delta Lake.See more at databricks.com/data-brew

9 месяцев, 2 недели назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост 5 месяцев, 1 неделя назад
А нужна ли вам цифровая трансформация?
А нужна ли вам цифровая трансформация? А нужна ли вам цифровая трансформация?

Гость подкаста — Юра Филатов. Одна из областей его деятельности — информационный консалтинг или, иначе говоря, он помогает с трансформациями. Как-то так получилось, что подкаст вышел «исповедальным»: эмоциональным, чуть жёстким, с «иллюстрациями» и без «маркетингового налёта»:Как спутать автоматизацию с трансформацией.Когда вам не нужна трансформация на «примерах с мёдом».Почему по «государевому указу» у вас ничего не заработает.Что отвечать на «Ну давай, трансформируй нам тут всё».И какую роль здесь играет страх.

5 месяцев, 1 неделя назад @ buzzsprout.com
СКБ Контур — это надолго
СКБ Контур — это надолго СКБ Контур — это надолго

Гость подкаста — Света Аюпова из СКБ Контур. Света находит и проверяет новые бизнесы для Контура. Как-то так получилось, но Света нас убедила, что СКБ Контур — идеальное место для работы. Итак, в компании:Хорошие руководители, многие из которых работают в компании по 10 лет (как и большинство сотрудников).Равенство всех сотрудников на деле, а не на словах.Атмосфера как в казантипе, но без травы.Люди не уставшие, лица не серые.Все рано уходят домой.Много доверия, которое помогает быстро принимать решения.Как следствие, в компании малая текучка. Из СКБ Контур тяжело уходить. Да и зачем? Атмосфера приятная, как тёплый плед, а люди просто работают и растут. Например, руководитель Светы пришёл и…

5 месяцев, 3 недели назад @ buzzsprout.com
Почти распилили монолит, техчас и «латентный тимлид»
Почти распилили монолит, техчас и «латентный тимлид» Почти распилили монолит, техчас и «латентный тимлид»

Гость выпуска — Анатолий Панов. Кратко о нём:руководит разработкой всех вертикалей в Авито;пишет код только «по фану»;не собеседует инженеров;легко раскусил в Борисе латентного тимлида, когда он «собеседовался» в рубрике «Сханти Бориса» как разработчик.Поговорили про квартальные и годовые ОКR и ОКR-ревью, Performance Review, как почти распилили монолит, про техчас для новостей технического департамента, и прокачку функциональных коммьюнити.

6 месяцев, 1 неделя назад @ buzzsprout.com
Как сделать корпоративные ценности настоящими, а не пластмассовыми
Как сделать корпоративные ценности настоящими, а не пластмассовыми Как сделать корпоративные ценности настоящими, а не пластмассовыми

Корпоративные ценности — это некие убеждения и принципы, которые все должны соблюдать, вроде «быть ответственным», «двигаться вперёд» и всё такое. Но зачем их соблюдать, если непонятно откуда они взялись? Зачем кто-то когда-то их выбил на скрижалях и повесил в главном зале? Без ответа на эти вопросы желание им следовать скорее не появится — они пластмассовые, не живые. Возможно поэтому в ЦИАН сделали по-другому — ценности списали с реальных людей, один из которых побывал у нас в гостях, а всем новичкам рассказывают как они появились и зачем.Как готовили ценности, важны ли они при найме и что такое словарь «разработческих» терминов, поговорили с Анной Штенгауэр (HR BP IT) и Мишей Юматовым (р…

6 месяцев, 1 неделя назад @ buzzsprout.com
LeSS, скрам, портал и банковская гемба
LeSS, скрам, портал и банковская гемба LeSS, скрам, портал и банковская гемба

У нас в гостях Ксения Мешкова — овнер в команде Райффайзенбанк. Она занимается развитием внутреннего корпоративного портала, о котором мы всё выведали: как он появился, а главное — зачем, как помог решить проблем в коммуникациях бизнеса и разработки. Также узнали, как в банке появился скрам, аджайл и LeSS, и как проходит гемба в банке.

7 месяцев назад @ buzzsprout.com
Экосистемы и супераппы? А зачем?
Экосистемы и супераппы? А зачем? Экосистемы и супераппы? А зачем?

В гостях у нас Кирилл Гурбанов — Head of Digital Banking в МТС. Поэтому мы поговорили про всё цифровое: диджитал, стартапы, виртуальные карты Apple, про суперприложение Тинькофф Банка, про Сбер как мессенджер, экосистемы, экосистемы суперприложений и зачем это нужно. Всё как всегда. Однако, будьте готовы к тому, что внезапно в подкаст ворвётся Лада Ларгус и порвёт шаблон.

7 месяцев, 1 неделя назад @ buzzsprout.com
Как дела с внутренними коммуникациями в ВТБ?
Как дела с внутренними коммуникациями в ВТБ? Как дела с внутренними коммуникациями в ВТБ?

Что такое внутренние коммуникации? Вот я «айтишник», я открыл «Джиру» – вот мои задачки, я беру, делаю, дальше тестировщикам, всё упало — какие коммуникации? Ан нет. Написать, правильно объяснить задачу и правильно спросить «что там делать» — это всё внутренние коммуникации. Об этом мы и поговорили с Екатериной Тышковской, руководителем службы внутренних коммуникаций банка ВТБ.Что такое гибридная работа, как компаниям сохранить офисную культуру и что такое культура согласия в новом выпуске «Ничего такого».

7 месяцев, 2 недели назад @ buzzsprout.com
Зачем мне психотерапевт?
Зачем мне психотерапевт? Зачем мне психотерапевт?

Когда у нас болит живот, мы идём к врачу. Когда у нас проблемы со сном, весом, ничего не хочется, раздражение и выгорание, мы обычно терпим. Или просто не знаем, что можно обратиться к психотерапевту и станет лучше. Об этом мы и поговорили с Иваном Замесиным — предпринимателем и основателем сервиса по подбору психотерапевтов Мета. Какие мифы мешают обратиться к специалисту, когда вы точно пойдёте к психотерапевту и чем психотерапия помогла Ивану, да так, что он создал сервис Мета. Список книг, которые советовал Иван:— «How people change: relationships and neuroplasticity in psychoterapy». — «Начало бесконечности», Дэвид Дойч. — Скотт Адамс «How to Fail at Almost Everything and Still Win Big…

7 месяцев, 3 недели назад @ buzzsprout.com
Что общего у армии и ИТ-индустрии?
Что общего у армии и ИТ-индустрии? Что общего у армии и ИТ-индустрии?

Гость подкаста — Ярополк Раш, директор Scream School, где архитекторов, инженеров и мостостроителей переучивают в разработчиков игр, интерактивных и мультимедийных продуктов. Поговорили с Ярополком, почему архитекторы, инженеры и разработчики идут в gamedev, почему в России нет индустрии игр, почему человек должен быть счастливым и как с этим связана культура Netflix, а Голливуд — с дискомфортом.

8 месяцев назад @ buzzsprout.com
Запуск завтра Podcast Запуск завтра Podcast
последний пост 4 дня, 11 часов назад
Как Яндекс пережил самую крупную DDoS-атаку в истории интернета
Как Яндекс пережил самую крупную DDoS-атаку в истории интернета Как Яндекс пережил самую крупную DDoS-атаку в истории интернета

На обычный сайт может поступать около 100 запросов в секунду, а на yandex.ru утром 5 сентября обрушился 21 миллион. Случившееся Самат обсуждает с директором по безопасности Яндекса Антоном Карповым. Что такое DDoS (Distributed Denial of Service), как работает черный рынок взломов и может ли армия электрочайников стать угрозой безопасности страны. Узнать о том, как студенты меняют Практикум, можно по ссылке https://praktikum.blog/whatwedointheshadows/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_whatwedointheshadows_zapuskzavtra 10й эпизод второго сезона «Как устроен интернет и как его блокируют» https://zapuskzavtra.libsyn.com/k15wwhke3n5s Журнал «Хакер» https://xakep.ru/ 2:40 К…

4 дня, 11 часов назад @ zapuskzavtra.libsyn.com
Как в России появился каршеринг
Как в России появился каршеринг Как в России появился каршеринг

Москва — крупнейший рынок каршеринга в мире. Но еще 10 лет назад в России не было ни одного автомобиля, который можно было бы взять в краткосрочную аренду через приложение. Первыми запустить подобный сервис придумали в BelkaCar. Основательницы компании Елена Мурадова, Лориана Сардар и Екатерина Макарова пролоббировали каршеринг в Дептрансе и обошли 300 инвесторов, прежде чем привлечь первых пользователей. В этом эпизоде Елена и Лориана рассказывают Самату о том, как в Россию пришел и как развивается шеринг автомобилей. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zap…

1 неделя, 4 дня назад @ zapuskzavtra.libsyn.com
Из редакторки подкаста в редактор кода. Как филолог становится программистом
Из редакторки подкаста в редактор кода. Как филолог становится программистом Из редакторки подкаста в редактор кода. Как филолог становится программистом

Привет! Я Юля, редакторка «Запуска завтра». Я помогаю Самату брать интервью и записывать подводки, а еще я придумываю описания эпизодов. В этот раз в подкасте речь пойдет обо мне, поэтому я решила написать этот текст от первого лица. Три месяца назад я начала учиться программированию. До работы над подкастом я не интересовалась IT и даже боялась лезть в эту тему, а теперь по ночам пытаюсь валидировать формы с помощью java script. В разговоре Самат захотел узнать, как меняется моя жизнь прямо сейчас. Этот эпизод в меньшей степени о технологиях, в большей — о том, как сложно и страшно изучать новое, но как здорово, когда получается. Этот подкаст мы делаем совместно с сервисом онлайн-образован…

2 недели, 4 дня назад @ zapuskzavtra.libsyn.com
Тестирование. Зачем тыкать на 1 000 кнопок в секунду и скармливать код мутантам
Тестирование. Зачем тыкать на 1 000 кнопок в секунду и скармливать код мутантам Тестирование. Зачем тыкать на 1 000 кнопок в секунду и скармливать код мутантам

В новом эпизоде подкаста Самат разбирается, как осмысленно ломать компьютер. Он говорит с Максимом Садымом, инженером из Google и Amazon, о тестировании. Как автоматизировать UI тесты, как часто проводить нагрузочное тестирование, какие ошибки программы показывает хаос-тестирование и можно ли быть хорошим программистом, если ты не пишешь юнит-тесты? Максим рассказывает об основных видах тестирования с примерами из практики, а еще вспоминает, как пару лет не мог попасть на работу в Google. Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреоне https://www.patreon.com/zapooskzavtra Книга Cracking the …

3 недели, 4 дня назад @ zapuskzavtra.libsyn.com
Луркоморье. Как возник фольклор русского интернета
Луркоморье. Как возник фольклор русского интернета Луркоморье. Как возник фольклор русского интернета

Самат говорит с создателем Луркоморья Давидом Хомаком. Формально, о возникновении Lurkmore.to, но по сути — об истории русского интернета. Game.EXE, Башорг, Двач, LiveJournal, Linux-тачки и «пека-бояре», Роскомнадзор и Рамзан Кадыров. Давид вспоминает, как зарождался язык русскоязычных мемов, как рунет перестал быть анонимным и как государство пришло за виртуальной свободой. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или н…

1 месяц назад @ zapuskzavtra.libsyn.com
200 млн установок и 28 дней цикла. Как мужчины придумали приложение для месячных
200 млн установок и 28 дней цикла. Как мужчины придумали приложение для месячных 200 млн установок и 28 дней цикла. Как мужчины придумали приложение для месячных

У приложения Flo 41 миллион активных пользовательниц в месяц. Они живут по всему миру и следят во Flo за своим циклом: месячными и овуляцией. Самат говорит о фемтехе с техническим директором Flo Романом Бугаевым. В чем сложность предсказания месячных, зачем женщинам подписка, если есть бумажный календарик, и сложно ли мужчинам работать в компании о женском здоровье. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Вступайте в чат подкаста в телеграме! https://t.me/zapuskzavtra Подписывайтесь на наши бонусные эпизоды «Запуск ++» в Apple podcast или на патреон…

1 месяц, 1 неделя назад @ zapuskzavtra.libsyn.com
Alert! У «Запуска» появились бонусные эпизоды
Alert! У «Запуска» появились бонусные эпизоды Alert! У «Запуска» появились бонусные эпизоды

Привет! Мы запускаем серию бонусных эпизодов «Запуск ++». Дело в том, что в приложении Apple podcast появилась функция платной подписки, и мы решили ей воспользоваться. Дополнительные выпуски будут выходить по пятницам, раз в две недели. Начнем с серии о языках программирования, а дальше будем экспериментировать. В бонусных эпизодах мы хотим, с одной стороны, исследовать более узкие, но не менее интересные IT-сферы, а с другой, выйти за пределы нашей классической рамки «как устроено N». Больше обсуждать новости индустрии, компанию «Федя&Самат», вспоминать истории о возникновении технологий и рассказывать, как мы создаем подкаст (иногда на летучках происходит все самое интересное). Если у ва…

1 месяц, 3 недели назад @ zapuskzavtra.libsyn.com
Как запустить спутник в космос
Как запустить спутник в космос Как запустить спутник в космос

Жанна Медведева работает в компании Exolaunch. Она бронирует места на ракетах Роскосмоса и SpaceX и запускает на них малые аппараты для клиентов, например, для космического агентства Германии. Самат вместе с Жанной обсуждают «новый космос». За сколько можно отправить спутник на орбиту, зачем там нужен шейкер и как вообще попасть в космическую индустрию. Приходите СЕГОДНЯ на нашу открытую запись в Москве и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Это последний эпизод 4 сезона «Запуска завтра». Спасибо, что слушаете нас! Мы вернемся с новым сезоном в августе. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://clck.ru/Pfti2 S4Ep3 «Как у…

3 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как хакеры взломали Clubhouse
Как хакеры взломали Clubhouse Как хакеры взломали Clubhouse

В этом эпизоде — истории двух парней, которые украли данные у клабхауса. Александр Крушин построил на них сервис аналитики для рекламных агенств, а Дмитрий Соболев стал самым популярным пользователем русскоязычного клабхауса. Самат узнает подробности взломов у Димы и Саши, а устройство хакерских атак объясняет редактору подкаста, Юле Яковлевой. Приходите на нашу открытую запись 10 июня и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP6 «Докажи, что ты не робот. Как работают китайские мобильн…

3 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Зомби-клетки и глобальное потепление. Чем живут биотех-стартапы
Зомби-клетки и глобальное потепление. Чем живут биотех-стартапы Зомби-клетки и глобальное потепление. Чем живут биотех-стартапы

Анна и Хорческа познакомились в общаге института в подмосковном Пущине, а через пару лет встретились в научной лаборатории в Торонто. Они исследовали белок и внезапно обнаружили новый способ синтезировать адипиновую кислоту, важный компонент для производства пластмассы. Обычно адипин получают из нефти. При этом сильно загрязняется планета. А Аня и Хорческа придумали, как сделать этот процесс дешевым и экологичным. Они рассказывают Самату о том, как устроены биотехнологии и как сделать открытие на миллиард долларов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskz…

3 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Как не стать жертвой онлайн-мошенничества
Как не стать жертвой онлайн-мошенничества Как не стать жертвой онлайн-мошенничества

Самат разговаривает о мошенничестве в интернете с директором по доверию и безопасности в Авито. По каким схемам у нас крадут деньги? Что никогда нельзя делать при покупке вещей онлайн? Как программисты попадают в преступные группировки и почему поддельные сайты работают лучше, чем настоящие? Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP14 «Крутой интерфейс, а прибыли — ноль. Как устроен дизайн мобильных приложений» https://zapuskzavtra.libsyn.com/9qj9c09wmznk 1:36 Как нашему гостю пришлось переехать из-за угроз мошенников 6:00 Фишинг. Как отличить на…

4 месяца назад @ zapuskzavtra.libsyn.com
Как компьютер научился обыгрывать человека в го и StarCraft
Как компьютер научился обыгрывать человека в го и StarCraft Как компьютер научился обыгрывать человека в го и StarCraft

Компания Deepmind обучает алгоритмы искусственного интеллекта играть в игры. В 2016 году их компьютер Alpha Go победил чемпиона мира по го. Долгое время считалось, что научить машину этой игре нельзя, потому что в го важны интуиция и творческое мышление. В новом эпизоде Самат разговаривает с инженером из Google Deepmind Сергеем Бартуновым о том, как передать компьютеру человеческие способности, и где, кроме игр, это можно использовать. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S2EP4 «Железо, дата-центры и хостинги. Настоящий хардовый выпуск» https://z…

4 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как появилась Meduza и как ее признали иностранным агентом
Как появилась Meduza и как ее признали иностранным агентом Как появилась Meduza и как ее признали иностранным агентом

23 апреля 2021 года Медузу внесли в список иностранных агентов. 7 лет назад Самат участвовал в запуске Медузы, а потом проработал там техническим директором 3 года. В этом эпизоде Самат говорит о Медузе со своими бывшими коллегами. Егор Хмелев нанимал Самата на работу, а Борис Горячев стал новым техническим директором после ухода Самата. Втроём они вспоминают, как создавалось медиа, и обсуждают, как программисты обеспечивают Медузе сбор донатов, на которые она сейчас выживает. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Поддержать Медузу https://support…

4 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Все об онлайн-банкинге
Все об онлайн-банкинге Все об онлайн-банкинге

Десять лет назад, чтобы оформить карту или перевести другу деньги, нужно было идти в банковское отделение и запоминать многозначный код. Сегодня все это можно сделать через телефон. О том, как в России появился онлайн-банкинг, Самат говорит с Анастасией Усковой, бывшим генеральным директором Рокетбанка. Настя объясняет, как происходят денежные транзакции, какую роль в них принимают платежные системы и Центробанк, как создать свой банковский движок и почему в Кремниевой долине до сих пор нельзя платить через Apple Pay. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapu…

4 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Как беспилотные автомобили моделируют будущее
Как беспилотные автомобили моделируют будущее Как беспилотные автомобили моделируют будущее

Илон Маск обещает, что скоро Tesla выпустит настоящие беспилотники. Но пока что на рынке нет полностью автономных автомобилей. В их разработку вкладываются главные IT-компании в мире: Google, Amazon, и даже Apple. О беспилотных автомобилях Самат говорит с Сергеем Серебряковым. Сергей работал в Tesla, а потом перешел в сервис роботакси Cruise. Вместе с Сережей Самат разбирается, какие технологии используют, чтобы заменить водителя, и почему их все еще не хватает, чтобы мы стали ездить на беспилотниках. S2E5 «Бан для Шерон Стоун. Как работают сервисы знакомств» https://zapuskzavtra.libsyn.com/dxsbaem4943k Lex Fridman Podcast https://www.youtube.com/channel/UCSHZKyawb77ixDdsGog4iWA Этот подкас…

5 месяцев назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 2 дня, 23 часа назад
Хорошие практики построения инфраструктуры ML-моделей (level: all)
Хорошие практики построения инфраструктуры ML-моделей (level: all) Хорошие практики построения инфраструктуры ML-моделей (level: all)

В гостях у Moscow Python Podcast Data Science компании Лаборатория Касперского Дмитрий Аникин. Поговорили с Дмитрием о Python в машинном обучении, инфраструктуре моделей и многом другом. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 дня, 23 часа назад @ learnpython.podbean.com
Лицензирование Питон-приложений (level: all)
Лицензирование Питон-приложений (level: all) Лицензирование Питон-приложений (level: all)

В гостях у Moscow Python Podcast сооснователь компании Profiscope Алексей Смирнов. Поговорили с Алексеем о применении Open Source-лицензий в PyPI. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Ревью кода: https://mpccomplexity.codescoring.com Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 неделя, 5 дней назад @ learnpython.podbean.com
Разбираемся, как бороться с legacy (level: all)
Разбираемся, как бороться с legacy (level: all) Разбираемся, как бороться с legacy (level: all)

В гостях у Moscow Python Podcast Director of engineering компании Takeoff Technologies Владимир Филонов . Поговорили с Владимиром о том, откуда берется legacy и как с ним бороться и как продать бизнесу refactoring этого legacy. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 недели, 5 дней назад @ learnpython.podbean.com
в банковской сфере (level: all)
в банковской сфере (level: all) в банковской сфере (level: all)

В гостях у Moscow Python Podcast разработчик в Raiffeisen Bank Влад Лоухин. Поговорили с Владом о том, что Python делает в банке, специфике Python в банковской сфере и о многом другом. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 1 неделя назад @ learnpython.podbean.com
Про образование (level: all)
Про образование (level: all) Про образование (level: all)

В гостях у Moscow Python Podcast СТО образовательных проектов Mail.ru Дмитрий Санников. Поговорили с Дмитрием о многообразии курсов и образовательных программ в Mail.ru. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 2 недели назад @ learnpython.podbean.com
Про Data Science сообщество (level: all)
Про Data Science сообщество (level: all) Про Data Science сообщество (level: all)

В гостях у Moscow Python Podcast Senior Data Scientist компании Lamoda, организатор курсов DadaGym Петр Ермаков. Обсудили с Петром data science сообщество и ивенты . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 3 недели назад @ learnpython.podbean.com
Переход с Flask на FastAPI (level: all)
Переход с Flask на FastAPI (level: all) Переход с Flask на FastAPI (level: all)

В гостях у Moscow Python Podcast CTO и со-основатель компании Datafold Александр Морозов. Обсудили с Александром причины перехода его стартапа с Flask на FastAPI. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 2 недели назад @ learnpython.podbean.com
Как пет-проджекты помогают в самообразовании (level: all)
Как пет-проджекты помогают в самообразовании (level: all) Как пет-проджекты помогают в самообразовании (level: all)

В гостях у Moscow Python Podcast разработчик компании Klarna Игорь Масягин. Обсудили с Игорем зачем нужны пет-проджекты, их пользу и его опыт. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Подробнее про уравнение мотивации: https://m.habr.com/ru/company/lamoda/blog/504134/ Разработка в гамаке: https://youtu.be/jSPaG50FFVs Адвент-календарь программиста: https://adventofcode.com/ Книжка про word count на питоне 30 способами: https://www.goodreads.com/book/show/18266291-exercises-in-programming-style Мячики для жонглирования…

2 месяца, 3 недели назад @ learnpython.podbean.com
Путь джуна из лингвиста в разработчики (level: all)
Путь джуна из лингвиста в разработчики (level: all) Путь джуна из лингвиста в разработчики (level: all)

В гостях у Moscow Python Podcast выпускница курсов Learn Python, младший разработчик компании ПИК-Брокер Мария Имаева. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 4 недели назад @ learnpython.podbean.com
Про найм разработчиков (level: all)
Про найм разработчиков (level: all) Про найм разработчиков (level: all)

В гостях у Moscow Python Podcast сооснователь компании Geekfactor, участник программного комитета конференции Moscow Python Conf Ксения Лыжина. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца назад @ learnpython.podbean.com
в Aviasales (level: all)
в Aviasales (level: all) в Aviasales (level: all)

В гостях у Moscow Python Podcast Teamlead компании Aviasales Антон Сидоров. Обсудили с Антоном его путь в разработку, переход поискового движка с Python на Go и еще много всего интересного . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца, 2 недели назад @ learnpython.podbean.com
Боль fullstack-разработчика (level: all)
Боль fullstack-разработчика (level: all) Боль fullstack-разработчика (level: all)

В гостях у Moscow Python Podcast Teamlead компании Evrone Иван Соловьев. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца, 3 недели назад @ learnpython.podbean.com
Путь от Junior до Head QA (level: all)
Путь от Junior до Head QA (level: all) Путь от Junior до Head QA (level: all)

В гостях у Moscow Python Podcast выпускник курсов Learn Python, глава отдела тестирования компании Zipsale Татьяна Кулагина. Обсудили с Татьяной ее путь к Head QA. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца назад @ learnpython.podbean.com
Что такое RnD (level: all)
Что такое RnD (level: all) Что такое RnD (level: all)

В гостях у Moscow Python Podcast руководитель RnD разработки компании Lamoda Дмитрий Генинг. Обсудили с Дмитрием чем занимаются разработчики в RnD и конкретно в Lamoda. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца, 1 неделя назад @ learnpython.podbean.com
Сложность донесения информации до других людей (level: all)
Сложность донесения информации до других людей (level: all) Сложность донесения информации до других людей (level: all)

В гостях у Moscow Python Podcast продюсер презентаций и художник Кирилл Анастасин. Обсудили с Кириллом как говорить с другими людьми, чтобы они вас поняли. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца, 3 недели назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 3 часа назад
Podlodka #234 – Нетворкинг
Podlodka #234 – Нетворкинг Podlodka #234 – Нетворкинг

Про важность нетворкинга не рассказывает только ленивый, но вопрос «а как делать это правильно?» не теряет актуальности. В выпуске мы не только обсудили, чем нетворкинг может быть полезен и как наконец начать им заниматься, но и нырнули куда глубже участия в random coffee и беспорядочных знакомствах на afterparty очередной конференции. Про ценность социального капитала, важность эмпатии и эмоций и множество других глубоких аспектов нетворкинга нам рассказал Павел Хегай, технологический предприниматель и основатель нетворкинг сообщества Heg.ai. За прикладными темами, крутыми экспертами и, конечно, активным нетворкингом залетай в Podlodka TeamLead Crew https://podlodka.io/tlcrew (промокод tl_…

3 часа назад @ soundcloud.com
Podlodka #233 – Компьютерное зрение
Podlodka #233 – Компьютерное зрение Podlodka #233 – Компьютерное зрение

Посмотреть на изображение и понять, что на ней котик. Это такая простая задача для человека, но нужно целое направление исследований и сложных алгоритмов, чтобы с ней справился компьютер. Компьютерное зрение — что это такое, как работает и зачем нужно? Разбираемся с Артуром Кузиным из SberDevices. Решайте сложные задачи EdTech-проектов на инфраструктуре Selectel: https://slc.tl/tlkbH Выберите любую из наших конференций Podlodka Crew по ссылке https://podlodka.io/crew, и до 27 сентября успейте купить билет со скидкой по промокоду BARKHAT Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.m…

1 неделя назад @ soundcloud.com
Podlodka #232 – Чекап здоровья
Podlodka #232 – Чекап здоровья Podlodka #232 – Чекап здоровья

У нас уже было много выпусков про здоровье, но не обсуждали как системно подойти к здоровью для увеличения продолжительности жизни. Чекап – инстурмент именно для этого. Разобрали подход на какие чекапы, в каком возрасте и с как часто ходить. В гости к нам пришел Алексей Утин – сердечно-сосудистый хирург, кардиолог, Со-основатель проекта медицинских диспансеризаций SMART CheckUP. Реализуйте актуальные технологии на инфраструктуре Selectel для EdTech: https://slc.tl/JWIYc Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Face…

2 недели назад @ soundcloud.com
Podlodka #231 – Киберспорт
Podlodka #231 – Киберспорт Podlodka #231 – Киберспорт

Большинство из нас занимаются этим в качестве хобби, кто-то любит смотреть, а кто-то мечтает стать профи и построить на этом всю свою карьеру. Киберспорт — молодая, но уже очень денежная индустрия, манящая многих. Как же обстоят дела за кулисами? Сколько часов игрового стажа нужно, чтобы стать профессионалом и достаточно ли для этого лишь усердия? Как тренируются топовые киберспортсмены? Есть ли жизнь в киберспорте после 25 и можно ли жить на донаты на твиче? Артем Никулин (holy_hunter), выигравший порядка 20 сибирских офлайн и 30 онлайн турниров по Dota 2, и ездивший на MAJOR в качестве тренера team empire, погрузил нас в мир киберспорта, рассказал об устройстве киберспортивных организаций…

2 недели, 6 дней назад @ soundcloud.com
Podlodka #230 – Julia
Podlodka #230 – Julia Podlodka #230 – Julia

Много ли вы знаете языков, созданных для максимальной производительности различных вычислений? Кто-то подумает про MATLAB, кто-то вспомнит Fortran, но мы в этом выпуске поговорим о Julia. Это молодой, но очень интересный язык, с которым мы предлагаем вам познакомиться вместе с нами и Юлией Беляковой! Разверните облачный сервер с GPU в пару кликов в Selectel: https://slc.tl/Z9t89 Новый сезон конференции Podlodka iOS Crew! https://podlodka.io/ioscrew. Темы недель: «Работа с сетью» и «Совершенный код» Промокод для слушателей: JULIA Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlod…

3 недели, 6 дней назад @ soundcloud.com
Podlodka #229 – Медитация
Podlodka #229 – Медитация Podlodka #229 – Медитация

Закрой глаза, сделай глубокий вдох и включай выпуск про Медитацию. В гости к нам пришла психолог и автор подкаста «Эмоциональный Интеллигент» – Анна Проворная. Постарались поговорить про тему без булшита: какие есть исследования, как медитация влияет на наше тело, а главное, раз это инструмент, какие задачи можно им решать, а какие – нет. Управляемые кластеры Kubernetes в Selectel для динамичных проектов: https://slc.tl/cgmEz Новый конференция от команды Podlodka! Podlodka Design Crew https://podlodka.io/designcrew. Темы недель: «Редизайн» и «Взаимодействие дизайнеров и разработчиков» Промокод для слушателей: PIXEL_PERFECT Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем …

1 месяц назад @ soundcloud.com
Podlodka #228 – Зрение
Podlodka #228 – Зрение Podlodka #228 – Зрение

Известно, что большую часть времени программисты не пишут код, а читают его. Поэтому острое зрение — необходимость, чтобы не проглядеть ни одного досадного бага или архитектурной оплошности 👀 Шилова Татьяна Юрьевна - доктор медицинский наук, глав врач клиники доктора Шиловой и эксперт в комитете по охране здоровья в Госдуме рассказала все о здоровье наших глаз. Почему зрение портится? Как этот процесс предотвратить? И как восстановить уже испорченное зрение? Спойлеры: да, за компьютером долго сидеть все-таки вредно! Нет, лазерная коррекция - это сегодня уже совсем не страшно. Скорее включай выпуск и узнай еще десяток полезных инсайтов про офтальмологию! Сохраните важную информацию в Облачны…

1 месяц, 1 неделя назад @ soundcloud.com
Podlodka #227 – Статический анализ кода
Podlodka #227 – Статический анализ кода Podlodka #227 – Статический анализ кода

В этом выпуске обсуждаем статический анализ кода – инструмент, помогающий экономить тысячи часов времени разработчиков. Вместе с Алексеем Гопаченко из JetBrains разбираемся, почему статический анализ – это сильно больше, чем просто поиск ошибок в коде. Храните любые данные в гибком облачном хранилище от Selectel: https://slc.tl/o7Ojc Сегодня старт конференции Podlodka TechLead Crew: https://podlodka.io/techcrew Темы недель: “System Design” и “Качество системы”. А по промокоду “linter” приятная скидка! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t…

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #226 – Второе гражданство
Podlodka #226 – Второе гражданство Podlodka #226 – Второе гражданство

Свобода перемещения по всему миру, уменьшение налогов, возможность открытия зарубежных счетов и уверенность в завтрашнем дне – эти и многие другие преимущества можно получить, купив себе второе гражданство. Наш гость Анатолий Летаев, основатель компании Migronis, дал системный обзор всех возможных стран для покупки паспорта, стоимости этого и сопутствующих рисков. Арендуйте выделенные серверы с GPU для требовательных задач в Selectel: https://slc.tl/0KVDz Конференция Podlodka Android Crew https://podlodka.io/droidcrew, старт уже сегодня! Темы недель: “Лучшие практики Android-разработки” и “Хранение данных”. Промокод для подписчиков: PODLODKA_PREFERENCES Поддержи лучший подкаст про IT: https…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #225 – Алгоритмическая торговля и HFT
Podlodka #225 – Алгоритмическая торговля и HFT Podlodka #225 – Алгоритмическая торговля и HFT

Хранением большей части средств в инвестиционных инструментах уже никого не удивишь с одной стороны, но с другой многие придерживаются стратегий роста капитала вместе с рынком. А что если попробовать выиграть, да еще и отмасштабировать свою стратегию за счет автоматизации? В гости позвали Сергея Слукина – руководителя отдела прямого доступа к рынкам и алгоритмической торговли в Финаме. Успели поговорить и про смыслы – за счет алгоритмы зарабатывают деньги, и про технологии. С чего начинают новички и с какими сложностями сталкиваются разработчики, занимающиеся вопросом профессионально. Разверните гибкую облачную инфраструктуру в Selectel: https://slc.tl/0vPBc 1000 бонусных рублей по промокод…

2 месяца назад @ soundcloud.com
Podlodka #224 – System Design
Podlodka #224 – System Design Podlodka #224 – System Design

Спорить про архитектуру мы очень любим, поэтому пришла пора разобраться в том, как эти архитектуры создаются! System design — это не только этап интервью в FAANG. Это процесс создания архитектуры системы, которым занимаются не только бородатые Архитекторы Решений. Зачем нужен System Design (даже если вы пока "маленькие"), что в него входит, как отличить хороший System Design от плохого и какая же нотация лучше всех — все это в выпуске с Элвином Рахманкуловым, главой Mobile Competency Center в EPAM Systems. Выделенный сервер Mac Mini с процессором M1 в Selectel для iOS-разработчиков: https://slc.tl/zIZ2o Конференция про техлидство, архитектуру систем и техническое совершенство: https://podlo…

2 месяца, 1 неделя назад @ soundcloud.com
Podlodka #223 – Техническая документация
Podlodka #223 – Техническая документация Podlodka #223 – Техническая документация

Техническая документация окружает нас повсюду – по нажатию подсказки в IDE, на GitHub-странице используемой библиотеки, в коробке с новенькой умной колонкой или стулом из IKEA. Какая-то документация помогает вам решить проблемы, а какая-то – только их создает. Андрей Поляков, тимлид команды технических писателей в Kotlin, рассказал все про то, как сделать документацию полезной. Selectel — разверните IT-инфраструктуру проекта без изучения многостраничной документации: https://slc.tl/rJroW 12 июля стартует новый сезон Podlodka Frontend Crew. Подробности: https://podlodka.io/fecrew. Промокод для слушателей подкаста: PODLODKA_IS_NOT_A_FUNCTION Вакансия в команду техписателей Kotlin: https://www…

2 месяца, 2 недели назад @ soundcloud.com
Podlodka #222 – Антифрод
Podlodka #222 – Антифрод Podlodka #222 – Антифрод

Вы просто нажимаете кнопку, публикуете свой комментарий или вводите данные банковской карты. А в это время под капотом происходит сложная магия, результат которой – однозначный ответ, было ли ваше действие честным и порядочным, или имел место мошеннический злой умысел. О том, как работает эта магия, мы поговорили с Алексеем Тощаковым из команды антифрода в Яндексе. 5 июля стартует наша новая конференция про софт-скиллы для инженеров. В течение двух недель обсуждаем коммуникации и problem solving. Для слушателей подкаста скидка по промокоду DDOS24. Разверните надежную и безопасную IT-инфраструктуру своего проекта в Selectel: https://slc.tl/ZEkKu. Скидка 1000 рублей на Облачную платформу по п…

2 месяца, 3 недели назад @ soundcloud.com
Podlodka #221 – Переработка вторсырья
Podlodka #221 – Переработка вторсырья Podlodka #221 – Переработка вторсырья

С одной стороны понятно, что надо ответственно относиться к переработке отходов, с другой стороны вокруг этой темы настолько много информации. Экоактивисты говорят одно, в магазинах пишут про биоразлагаемые пакеты, государство ставит цветные контейнеры, содержимое которых ничем не отличается. С тем что из этого хайп, а что дествительно работает, мы разбирали с основательницей проекта Собиратор – Валерией Коростелёвой. 28 июня стартует конференция Podlodka Backend Crew #4. Темы недель: базы данных и чистый код в Java. Подробности на сайте https://podlodka.io/becrew, а для любимых слушателей скидка по промокоду STOPTHEWORLD. Selectel — покупка сервера еще никогда не была такой экологичной: ht…

3 месяца назад @ soundcloud.com
Podlodka #220 – Волонтерство в IT
Podlodka #220 – Волонтерство в IT Podlodka #220 – Волонтерство в IT

Наскучили однообразные рабочие задачи? Давно хотели попробовать новый стек? Или сделать что-то очень полезное? А может и то, и другое? Вместо тяжкого раздумья над идеей нового пет-проекта, предлагаем попробовать себя в ИТ-волонтерстве! А разрушить барьер неопределенности поможет наш выпуск. Вместе с Владом Лавриченко, куратором платформы IT-волонтёр, разобрались в том, какие некоммерческие организации бывают и чем они занимаются, какие задачи могут решать ИТ специалисты и какие компетенции нужны, почему волонтерить - прикольно, полезно и важно и, конечно же, как проще всего в это вкатиться. Всем добра! ❤️ Разверните проект не хуже платформы для обучения нейросетей Experion на выделенных сер…

3 месяца, 1 неделя назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 месяца назад
Диалекты и регионализмы
Диалекты и регионализмы Диалекты и регионализмы

Где находятся Курмыши? Что такое латка? И как формируются региональные диалекты?В последнем эпизоде сезона мы говорим о великом и могучем русском языке в компании двух прекрасных гостей:Борис Иомдин — кандидат филологических наук, ведущий научный сотрудник и заведующий сектором теоретической семантики Института русского языка им. В. В. Виноградова РАН, научный сотрудник Яндекса, доцент Школы лингвистики Высшей Школы Экономики.Иван Левин— лингвист, младший научный сотрудник Института русского языка им. Виноградова.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patre…

2 месяца назад @ buzzsprout.com
Алексей Шпильман live!
Алексей Шпильман live! Алексей Шпильман live!

Как «дрессируют» алгоритмы? С чем обучение с подкреплением можно смешивать, не взбалтывая? И достаточно ли одного пряника, чтоб создавать прорывные алгоритмы машинного обучения?Сегодня с нами проветривается Алексей Шпильман. Алексей заведует центром анализа данных и машинного обучения в Высшей Школе Экономики в Санкт-Петербурге и руководит лабораторией агентных систем и обучения с подкреплением в JetBrains Research.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

2 месяца, 1 неделя назад @ buzzsprout.com
Open Source из России
Open Source из России

Как и почему open source захватил мир? Что такое "заразная" лицензия? И создаются в России создают opensource-проекты мирового уровня?Сегодня с нами проветриваются:Андрей Бреслав — один из создателей языка программирования Котлин, cооснователь сервиса по подбору психологов Альтер.Станислав Кириллов, руководитель группы ML систем в Яндексе. Команда Станислава разрабатывает CatBoost и инфраструктуру для эмэльщиков. Михаил Бурцев — основатель проекта DeepPavlov.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

2 месяца, 2 недели назад @ buzzsprout.com
Сергей Нетесов live! II
Сергей Нетесов live! II

Что такое штамм? Как меняются вирусы? Почему вакцинация не только снижает нагрузку на систему здравоохранения, но и замедляет появление новых вариантов вируса?Под занавес прошлого сезона у нас в гостях был Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета. После нашей первой беседы вы просили позвать Сергея ещё. Мы прислушались!Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

2 месяца, 3 недели назад @ buzzsprout.com
Георгий Бугаков live!
Георгий Бугаков live! Георгий Бугаков live!

Со скольки лет стоит учить ребёнка программировать? Где нужно получить разрешение, чтобы начать работать программистом в четырнадцать? И чего не стоит делать родителям при воспитании детей?Сегодня с нами проветривается Георгий Бугаков. Жора уже два года работает в Skyeng, при том что в июне он закончил девятый класс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

3 месяца назад @ buzzsprout.com
Современная археология
Современная археология Современная археология

Что общего между археологом и стартапером? Почему современные археологи не раскапывают памятники до конца? Чему может научить самая древняя туфелька в мире?Сегодня с нами проветривается первооткрыватель пещеры Арени Борис Гаспарян.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

3 месяца, 1 неделя назад @ buzzsprout.com
Георгий Могелашвили
Георгий Могелашвили Георгий Могелашвили

Кто такой ментор? На каком этапе он бывает нужен техническому специалисту? И почему в Booking.com любой team lead должен получить навыки менторства?Сегодня с нами прометривается Георгий Могелашвили. Георгий работает Lead Developer в Booking.com и развивает свой проект GetMentor.Support the show (https://www.patreon.com/progulka)

3 месяца, 2 недели назад @ buzzsprout.com
Даша Золотухина live!
Даша Золотухина live! Даша Золотухина live!

Что такое райд-тех? Как интернет меняет города? И что общего между искусством и маркетингом?Сегодня с нам проветривается Даша Золотухина, которая руководит маркетингом бизнес-группе E-commerce и Ride-tech Яндекса. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

3 месяца, 3 недели назад @ buzzsprout.com
Биоразнообразие
Биоразнообразие

Как вымер странствующий голубь? В честь какой птицы называли пингвинов? И как мы все приблизили антропоцен?Сегодня по случаю мирового дня биоразнообразия с нами проветривается биолог Амирам Григоров.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

4 месяца назад @ buzzsprout.com
Тоня Самсонова live!
Тоня Самсонова live!

Почему традиционные медиа больше не работают, не только в России, но и в мире? И как создать стартап, не будучи программистом? Сегодня с нами проветривается Тоня Самсонова. Тоня основала платформу The Question, а сейчас руководит Яндекс.Кью. Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

4 месяца, 1 неделя назад @ buzzsprout.com
NFT
NFT NFT

Что такое NFT? Как и почему «выстреливает» новое цифровое искусство? Какое будущее у рынка цифровых коллекций? Сегодня с нами проветриваются три художника, соавтора проекта NFT256: • Ваваев Максим — VFX Technical Artist, основатель NFT256, Москва.• Макарюк Богдан — Designer, 3d-artist, cооснователь NFT256, Харьков.• Дмитрий Белкин — Visual artist, cооснователь NFT256, Москва. Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

4 месяца, 2 недели назад @ buzzsprout.com
Дмитрий Еврафов live!
Дмитрий Еврафов live! Дмитрий Еврафов live!

Почему спортсменам запрешено бежать марафон под музыку? Как пройти путь от приложений до приложений года для AppleWatch? И что в музыке сложнее всего генерировать нейронными сетями? Сегодня с нами проветривается Дмитрий Евграфов — композитор и один из создателей компании Endel. Не будьте такими душными, давайте лучше — проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

4 месяца, 3 недели назад @ buzzsprout.com
Трейдинг II
Трейдинг II Трейдинг II

Почему трейдинг полезен для рынков? Кто может заработать на бирже? Как машинное обучение и анализ данных сейчас применяются на финансовых рынках? С нам проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом. А в бонусный эпизод зашёл ещё • Леонид Меркин, финансовый математик, профессор Высшей экономики школы в Санкт-ПетербургеНе будьте такими душными, давайте лучше - прове…

4 месяца, 3 недели назад @ buzzsprout.com
Трейдинг I
Трейдинг I Трейдинг I

Что такое высокочастотный трейдинг? Почему физики становятся хорошими квантами? Какой датасет может стоить миллион долларов в год? Сегодня с нами проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом.Не будьте такими душными, давайте лучше - проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www…

5 месяцев назад @ buzzsprout.com
Сергей Нетесов live!
Сергей Нетесов live!

Как учёные обнаружили первый в мире вирус? Какие бывают прививки? И почему птичники — идеальные инкубаторы не только для яиц, но и для вирусов?Сегодня с нами проветривается Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

5 месяцев, 1 неделя назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост 4 месяца назад
Трудная проблема сознания. Как научить машину думать
Трудная проблема сознания. Как научить машину думать Трудная проблема сознания. Как научить машину думать

Каково написать первую программу гусиным пером в мире, где нет даже электрических лампочек, о чем мечтали отцы кибернетики, когда создавали математическую модель нейрона, и чего мы сами ждем от чипов Neuralink— в заключительном эпизоде первого сезона, где гении пьют виски на даче, макаки играют в пинг-понг без рук, роботы лечат малярию и все очень много мечтают. Этот подкаст мы делаем вместе со SberDevices

4 месяца назад @ nowyouarehere.libsyn.com
Моральная машина. Зачем нейросети совесть
Моральная машина. Зачем нейросети совесть Моральная машина. Зачем нейросети совесть

Откуда у алгоритмов загоны и предрассудки, как роботам решать дилему вагонетки, и что нейросеть понимает про семейные ценности — в эпизоде, где спящие люди тихо едут на Теслах из киберпанка в киберкоммунизм. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

4 месяца, 4 недели назад @ nowyouarehere.libsyn.com
Сам ты нейросеть. Как устроено машинное обучение
Сам ты нейросеть. Как устроено машинное обучение Сам ты нейросеть. Как устроено машинное обучение

Почему алгоритмы начали сами повторять достижения человечества, как научились предсказывать изобретения и что общего у малыша на карусели и нейросети GPT3. Этот подкаст мы делаем вместе со SberDevices Подкаст Ивана Ямщикова "Проветримся" https://www.patreon.com/progulka Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

5 месяцев, 1 неделя назад @ nowyouarehere.libsyn.com
Что чувствует эмоциональный ИИ
Что чувствует эмоциональный ИИ Что чувствует эмоциональный ИИ

Как машины читают то, что у вас на лице написано, решают дилемму покерфейса, предсказывают выгорание и учатся испытывать эмоции сами. Этот подкаст мы делаем вместе со SberDevices Эпизод подкаста "Запуск завтра" про Давида Яна https://zapuskzavtra.libsyn.com/i7pyit9e0q2o Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

5 месяцев, 3 недели назад @ nowyouarehere.libsyn.com
На человеческом уровне. Зачем мы учим машины играть
На человеческом уровне. Зачем мы учим машины играть На человеческом уровне. Зачем мы учим машины играть

В этом эпизоде мы расскажем, что может нейросеть, которая провела две тысячи лет в Доте, как четыре бота сломали прятки и почему машинам нужно самоутвержаться за счет гроссмейстеров. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

6 месяцев, 1 неделя назад @ nowyouarehere.libsyn.com
Нейросети и творчество. На что способны алгоритмы-художники
Нейросети и творчество. На что способны алгоритмы-художники Нейросети и творчество. На что способны алгоритмы-художники

В этом эпизоде мы разбираемся, зачем человеку роботы, которые могут воображать котов, писать небылицы, импровизировать в стиле Баха и писать стихи из поисковых запросов. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

6 месяцев, 3 недели назад @ nowyouarehere.libsyn.com
Вам это понравится. Как алгоритмы воспринимают человека
Вам это понравится. Как алгоритмы воспринимают человека Вам это понравится. Как алгоритмы воспринимают человека

Как машины пытаются составить портрет человека по его кликам и лайкам, какие выводы о нем делают по чеку из магазина и почему вам лучше не знать, какой вы фрукт – в новом выпуске «Вы находитесь здесь». Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

7 месяцев, 1 неделя назад @ nowyouarehere.libsyn.com
Железный характер. Как прикрутить чат-боту личность
Железный характер. Как прикрутить чат-боту личность Железный характер. Как прикрутить чат-боту личность

В этом эпизоде мы расскажем, как симуляция безумия помогает машине притворяться человеком, зачем виртуальным ассистентам сценаристы и редакторы и как два бота торговались за мячик и сломали английский язык. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

7 месяцев, 3 недели назад @ nowyouarehere.libsyn.com
Мы вас услышали. Как машина научилась понимать нашу речь
Мы вас услышали. Как машина научилась понимать нашу речь Мы вас услышали. Как машина научилась понимать нашу речь

В этом эпизоде мы расскажем, почему голосовые помощники не понимают шотландцев и чем им может помочь глухой с младенчества советский математик. Как робот находит песню, в которой вы помните только «ту-ту-ту-рум-ту-ту-рум». И правда ли, что умные колонки за нами шпионят. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

8 месяцев, 1 неделя назад @ nowyouarehere.libsyn.com
История говорящих машин. От ацтеков до Alexa
История говорящих машин. От ацтеков до Alexa История говорящих машин. От ацтеков до Alexa

В первом эпизоде мы рассказываем, как учили машину говорить так, чтоб ее можно было слушать без кринжа. Изобретатели и инженеры буквально столетиями пытались заставить машины говорить и придумали за это время самые странные звучащие объекты в истории. В этом выпуске вы услышите орущие свистки ацтеков, смех волынки с механическим ртом и песни безумных роботов. Заодно мы расскажем, чьим голосом на самом деле разговаривал Стивен Хокинг и почему запись живого диктора может звучать хуже, чем нейросеть. И почему все это ради пиццы. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; …

9 месяцев назад @ nowyouarehere.libsyn.com
Машина, которая думает, творит и орет. Трейлер подкаста об искусственном интеллекте
Машина, которая думает, творит и орет. Трейлер подкаста об искусственном интеллекте Машина, которая думает, творит и орет. Трейлер подкаста об искусственном интеллекте

В этом подкасте мы расскажем о том, как человек учит машину всему, что умеет сам: постигать, творить, общаться и нервничать. Что о нас думает умная колонка? Зачем давать роботам цифровые эмоции? Может ли нейросеть действительно понять человека? О том, куда нас ведет развитие искусственного интеллекта, и как долго нам еще идти по дороге прогресса — слушайте в подкасте «Вы находитесь здесь»

9 месяцев назад @ nowyouarehere.libsyn.com
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 1 неделя, 6 дней назад
Robot as Servant
Robot as Servant Robot as Servant

The 1980s promised robotic servants were in reach. They’d clean up our houses. Bring us drinks. Usher in an era of leisure. We didn’t get robot butlers. But if we look around, we’ll find an army of robotic servants already automating away domestic drudgery. Richard Rowland recounts the extent to which Androbot over-promised on its ability to build a robot servant. 40 years later, we still don’t have robot maids. Monroe Kennedy III walks us through the complexities of seemingly simple tasks. To make things more difficult, each attempt to build a robot had to build the hardware AND write the code from scratch. Keenan Wyrobek explains that’s why he helped write and share the Robot Operating Sy…

1 неделя, 6 дней назад @ redhat.com
Command Line Heroes Season 8: Broadcasting the Robot Revolution
Command Line Heroes Season 8: Broadcasting the Robot Revolution Command Line Heroes Season 8: Broadcasting the Robot Revolution

Robots have a special place in our imaginations. Writers, artists, directors, and more have shown how robots can change our world—for better or far, far worse. In the real world, robots seem a long way off. But are they? Season 8 of Command Line Heroes is all about the rise of the robots. They just may not be what you expect. We meet the first industrial robot, take a journey through the uncanny valley, and investigate a possible robot crime. Season 8 covers the robots that are in our midst—and the determined dreamers who bring them to life. The first episode drops September 7, 2021. Follow today and sign up for the newsletter to get the latest updates.

3 недели, 6 дней назад @ redhat.com
After the Bubble
After the Bubble After the Bubble

The Y2K bug generated a lot of fear, but all that hype fizzled when the new millennium didn’t start with a digital apocalypse. It turns out that fear was just aimed at the wrong catastrophe. While plenty were riding high on the rise of the internet beyond the Y2K scare, another disaster had been brewing since 1995—and would bring them back down. But the dot-com bubble wasn’t the end. The internet was here to stay. Not long after the turn of the millennium, the dot-com economy collapsed. Peter Relan points to the flawed business plans that fueled the dot-com bubble, and how many entrepreneurs and investors underestimated the complexity of building a business on the internet. Ernie Smith tell…

2 месяца, 3 недели назад @ commandlineheroes.simplecast.com
The World of the World Wide Web
The World of the World Wide Web The World of the World Wide Web

1995 laid the groundwork for a truly global World Wide Web. But not every country took the same path to connecting to the internet. Some resisted, wanting to create their own version. Others had to fight for access, not wanting to be left behind. And while we made huge strides in connecting the world in those early years, we still have a long way to go. Julien Mailland recounts the rollout of France’s Minitel service—how it was years ahead of the internet, but eventually lost its lead. Steve Goldstein explains what was involved in building the infrastructure to expand the NSFNET beyond the United States. Gianluigi Negro shares how China pushed for its connection, and how different it would …

3 месяца, 1 неделя назад @ redhat.com
Looking for Search
Looking for Search Looking for Search

The web was growing quickly in the ‘90s. But all that growth wasn’t going to lead to much if people couldn’t actually find any web sites. In 1995, an innovative new tool started crawling the web. And the search engine it fed opened the doors to the World Wide Web. Elizabeth Van Couvering describes trying to find websites before search engines, and how difficult it was becoming in the early ’90s to keep track of them all. Louis Monier talks about having to convince others how important search engines would become—and he showed them what a web crawler could do. Paul Cormier recounts taking the search engine from a research project to a commercial one. And Richard Seltzer wrote the book on sea…

3 месяца, 3 недели назад @ redhat.com
Shopping for the Web
Shopping for the Web Shopping for the Web

We put a lot of trust into online shopping: sharing our names, addresses, and handing over money. In return, we have faith that the purchased item appears at our doorstep in a few days or weeks. That trust didn’t come easily. In 1995, we took our first steps out of the brick and mortar store to load our digital shopping cart. Robert Spector reveals how Amazon.com’s business foundations are in data—and being early to the internet. Sandeep Krishnamurthy recounts the rise of eBay. Angela Robinson describes the technology that makes secure transactions and trustworthy e-commerce possible. Kartik Shastri shares how difficult it was to store and process consumer data. And Katie Wilson explains ho…

4 месяца назад @ redhat.com
Web UX Begins
Web UX Begins Web UX Begins

Looking at the internet in 1995 is like looking back at awkward grade school yearbooks—all the weirdness and flaws stand out in stark contrast to what it’s grown into since. And web design took awhile to become a career—but it got a big boost in 1995. When the Batman Forever website launched to promote the movie, it showed people what was possible on the web. And it forever changed what we’d expect from a website. Jay Hoffmann describes the quirky designs of the early web. Richard Vijgen explains how we went from a lack of conventions to a homogenized web. Jeffrey Zeldman recounts building the Batman Forever movie’s website—and sowing the seeds of professional web design. Jessica Helfand ou…

4 месяца, 2 недели назад @ redhat.com
A Language for the Web
A Language for the Web A Language for the Web

The Hypertext Markup Language (HTML) gave everyone a foundation for building and viewing the World Wide Web. In 1995, its standardization led to dominance. Its simplicity helped it spread. And its solid common foundation helped shape the internet. Dr. Belinda Barnet explains what kind of framework was initially needed to build and navigate the Web. Jeff Veen describes the three ingredients Tim Berners-Lee combined to create HTML: the ideal language for the Web. Gavin Nicol recounts the need to standardize the quickly-growing language. And Gretchen McCulloch points out how HTML instills an inherent bias for English speakers to develop for the web.If you want to read up on some of our researc…

5 месяцев назад @ redhat.com
From NSF to ISP
From NSF to ISP From NSF to ISP

1995 was the year that ISPs became the dominant gateway to the information superhighway. But how’d we go from ARPANET all the way to that? It turns out, none of it would have happened without a team of intrepid engineers at the University of Michigan.Marc Weber tells us how a tension between academics and the military set the next evolution of the ARPANET. Douglas Van Houweling discusses the work his MERIT team did at the University of Michigan to build the national backbone of the NSFNET. Elise Gerich, MERIT’s systems manager, talks about how they made the leap from a T1 connection to a T3 to handle traffic from their growing network. And Janet Abbate emphasizes how all this set the stage …

5 месяцев, 2 недели назад @ redhat.com
Connecting the Dot-Com
Connecting the Dot-Com Connecting the Dot-Com

The year is 1995. The internet starts going mainstream and the dot-com bubble begins its rapid inflation. But 10 years before all of this, a small team of systems administrators made a seemingly simple decision that would turn out to have a monumental impact on these events and would set the course of the internet for the foreseeable future. Dr. W. Joseph Campbell sets the stage for our season on the internet in 1995. Claire L. Evans explains how hard it was to find anything on the early internet. One team was charged with compiling that information in the early days of the ARPANET. Elizabeth “Jake” Feinler recounts being the internet’s sole librarian in those early days, and how she helped…

6 месяцев назад @ redhat.com
Command Line Heroes Season 7: Internet Class of '95
Command Line Heroes Season 7: Internet Class of '95 Command Line Heroes Season 7: Internet Class of '95

The internet’s been around for awhile now. And it’s safe to say that it’s changed much of our daily lives. But not so long ago, there were few people who realized how transformative the internet would become. Season 7 of Command Line Heroes looks back at those few who saw the internet’s early potential and forever shaped it during its most formative year: 1995. From the origins of e-commerce, to web design, to HTML, to the infrastructure holding it all together around the world, this season highlights the heroes who turned the nascent internet into the vital global network we know today. The first episode drops March 23, 2021. Subscribe today and sign up for the newsletter to get the latest…

6 месяцев, 2 недели назад @ redhat.com
Arlan Hamilton: The Investor Who's Opening Doors
Arlan Hamilton: The Investor Who's Opening Doors Arlan Hamilton: The Investor Who's Opening Doors

If you think hard work is enough to guarantee success, you haven’t been listening. All season long, we’ve profiled Black inventors who haven’t quite been given their due. Arlan Hamilton is helping reverse that trend by leveling the playing field—and changing the venture capital game.Arlan Hamilton’s story mirrors many we’ve covered this season—overcoming adversity to find success. But she’s also helping redefine what success can look like and, in the process, is helping change the broader tech industry. Janice Omadeke lays out how diversifying the VC community in turn leads to greater diversity among founders receiving funding. Ramona Ortega explains how traditional VC priorities often pass…

8 месяцев назад @ redhat.com
Gladys Perkins: The Pioneer Who Took Us To New Heights
Gladys Perkins: The Pioneer Who Took Us To New Heights Gladys Perkins: The Pioneer Who Took Us To New Heights

Is the moon made of cheese? Of course not. But can a person walk on the surface? Not too long ago, we couldn’t answer that question. But with the help of Gladys Perkins, we soon figured out that we could send a team to the moon and have them safely land on its surface. There was a time when the United States was behind the Soviets in the space race. Everyone had their sights set on the moon. Andrew Chaikin describes NASA’s disastrous Ranger missions. Erik Conway explains how complicated the trajectory calculations were—and to top it all off, why they often couldn’t be done in advance. To succeed, NASA’s new Surveyor program would need the capability to adjust trajectory mid-flight. Gladys P…

8 месяцев, 2 недели назад @ redhat.com
Roy Clay: The Entrepreneur Who Transformed an Industry
Roy Clay: The Entrepreneur Who Transformed an Industry Roy Clay: The Entrepreneur Who Transformed an Industry

Roy Clay had to chase after opportunities. But landing a promising position wasn’t the finish line. Roy Clay pushed those opportunities beyond their mandate, transforming an industry in the process.Kathy Cotton recounts how few opportunities Roy Clay had growing up—but how, later, talk of his genius helped him get his break in the tech industry. Chuck House describes how Clay’s qualifications and experience were just what Hewlett and Packard were looking for. Bill Davidow explains how Clay made his mark at HP building a department, and shaping the strategy for a revolutionary 16-bit minicomputer. And in Clay, Ken Coleman found a role model and mentor. He followed in Clay’s footsteps, and he…

9 месяцев назад @ redhat.com
Dr. Clarence Ellis: The Developer Who Helped Us Collaborate
Dr. Clarence Ellis: The Developer Who Helped Us Collaborate Dr. Clarence Ellis: The Developer Who Helped Us Collaborate

It’s not easy to learn how to use computers when you can’t actually touch them. But that’s how Dr. Clarence Ellis started his career of invention—which would ultimately lead to reimagining how we all worked with computers and each other.Martez Mott describes the “Mother of all Demos” that would inspire a generation of builders. Gary Nutt recounts working with Dr. Clarence Ellis at Xerox PARC, and the atmosphere at the coveted research lab. Chengzheng Sun and Paul Curzon explain how Operational Transformation—the project to which Dr. Ellis devoted so much time and effort—laid the foundation for the collaborative tools many of us use every day. And Delilah DeMers shares how humble her father …

9 месяцев, 2 недели назад @ redhat.com
Python Bytes Python Bytes
последний пост 5 дней, 5 часов назад
#250 skorch your scikit-learn together with PyTorch
#250 skorch your scikit-learn together with PyTorch 5 дней, 5 часов назад @ pythonbytes.fm
#249 All of Linux as a Python API
#249 All of Linux as a Python API 1 неделя, 4 дня назад @ pythonbytes.fm
#248 while True: stand up, sit down
#248 while True: stand up, sit down

**Watch the live stream:** [ ![Watch this episode on YouTube](/episodes/youtube_image/eIEGTZnsyCg) __ Play on YouTube ](https://www.youtube.com/watch?v=eIEGTZnsyCg) **About the show**

2 недели, 4 дня назад @ pythonbytes.fm
#247 Do you dare to press "."?
#247 Do you dare to press "."? 3 недели, 4 дня назад @ pythonbytes.fm
#246 Love your crashes, use Rich to beautify tracebacks
#246 Love your crashes, use Rich to beautify tracebacks

**Watch the live stream:** [ ![Watch this episode on YouTube](/episodes/youtube_image/I_F9YSiLSaI) __ Play on YouTube ](https://www.youtube.com/watch?v=I_F9YSiLSaI) **About the show**

1 месяц, 1 неделя назад @ pythonbytes.fm
#245 Fire up your Python time machine (and test some code)
#245 Fire up your Python time machine (and test some code) 1 месяц, 2 недели назад @ pythonbytes.fm
#244 vendorizing your Python podcast
#244 vendorizing your Python podcast 1 месяц, 3 недели назад @ pythonbytes.fm
#243 Django unicorns and multi-region PostgreSQL
#243 Django unicorns and multi-region PostgreSQL 2 месяца назад @ pythonbytes.fm
#242 from lib import * but less
#242 from lib import * but less 2 месяца, 1 неделя назад @ pythonbytes.fm
#241 f-yes we want some f-string tricks!
#241 f-yes we want some f-string tricks! 2 месяца, 2 недели назад @ pythonbytes.fm
#240 This is GitHub, your pilot speaking...
#240 This is GitHub, your pilot speaking... 2 месяца, 2 недели назад @ pythonbytes.fm
#239 No module named pythonbytes
#239 No module named pythonbytes 2 месяца, 4 недели назад @ pythonbytes.fm
#238 A cloud-based file system for Python and a new GUI!
#238 A cloud-based file system for Python and a new GUI! 3 месяца, 1 неделя назад @ pythonbytes.fm
#237 Separate your SQL and Python, asynchronously with aiosql
#237 Separate your SQL and Python, asynchronously with aiosql 3 месяца, 1 неделя назад @ pythonbytes.fm
#236 Fuzzy wuzzy wazzy fuzzy was faster
#236 Fuzzy wuzzy wazzy fuzzy was faster