Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 6 дней, 23 часа назад
Sisyphus and the CVE Feed: Vulnerability Management at Scale
Sisyphus and the CVE Feed: Vulnerability Management at Scale Sisyphus and the CVE Feed: Vulnerability Management at Scale

AuthorsKeziah Perez Sonder Plattner, Senior Software EngineerKadia Mashal, Engineering ManagerIntroductionEvery engineer knows that security is a never-ending problem. Until we delete all our code and move into a cottage in the woods, we have to accept that there is no such thing as 100% secure software. You could be doing everything perfectly, and a publicly known vulnerability (CVE) could emerge for the most updated version of a third party library in your infrastructure. Things are secure until they are not. Like with Sisyphus, the boulder will never reach the top of the hill.Rather than eliminating vulnerabilities, the goal of a vulnerability management program should be to quickly and …

6 дней, 23 часа назад @ medium.com
Airbnb’s Approach to Access Management at Scale
Airbnb’s Approach to Access Management at Scale Airbnb’s Approach to Access Management at Scale

How Airbnb securely manages permissions for our large team of employees, contractors, and call center staff.By: Paul BramsenIntroductionAirbnb is a company that is built on trust. An important piece of this trust comes from protecting the data that our guests and hosts have shared with us. One of the ways we do this is by following the principle of least privilege. Least privilege dictates that–in an ideal world–an employee has the exact permissions they need at the moment their job requires them. Nothing more, nothing less. Anything more introduces unnecessary risk–whether from a malicious employee, compromised laptop, or even just an honest mistake. Anything less inhibits productivity.Not…

1 неделя, 1 день назад @ medium.com
Incident Management
Incident Management Incident Management

Automated Incident Management Through SlackHow Airbnb automates incident management in a world of complex, rapidly evolving ensemble of microservices.Vlad VassilioukIncident ManagementIncidents are unforeseeable events that disrupt normal business operations and are inevitable in complex systems that must be up and running 24/7. This is why it’s important to prepare and to train people to handle incidents in a timely and organized manner. Although each incident is unique, we follow the same procedure for detection, escalation, management, and resolution of incidents.At Airbnb, we utilize a service oriented infrastructure which involves many interconnected services managed by small teams. Qu…

2 недели, 6 дней назад @ medium.com
My Journey to Airbnb — Beti Gathegi
My Journey to Airbnb — Beti Gathegi My Journey to Airbnb — Beti Gathegi

My Journey to Airbnb — Beti GathegiFrom exploring careers across continents to now helping others find their place at Airbnb.After trying a series of careers ranging from television production to university communications and marketing, Beti Gathegi works as a Senior Program Manager on the TechED (technical education) team at Airbnb. When she’s not lurking in the #bookworms Airbnb Slack channel, you can find Beti leading Bootcamp, our onboarding program for new technical hires, which takes engineers and data scientists through their first commit at Airbnb. Before this role, Beti was a recruiting program manager for Connect, Airbnb’s engineering apprenticeship program targeted at people from…

3 недели, 5 дней назад @ medium.com
How Airbnb Safeguards Changes in Production
How Airbnb Safeguards Changes in Production How Airbnb Safeguards Changes in Production

Part I: Evolution of Airbnb’s experimentation platformBy: Michael Lin, Toby Mao, Zack Loebel-BegelmanIntroductionAs Airbnb has grown to a company with over 1,200 developers, the number of platforms and channels for pushing changes to our product — and the number of daily changes we push into production — has also grown tremendously. In the face of this growth, we constantly need to scale our ability to detect errors before they reach production. However, errors inevitably slip past pre-production validation, so we also invest heavily in mechanisms to detect errors quickly when they do make it to production. In this blog post we will cover the motivations and foundations for a system for saf…

1 месяц назад @ medium.com
T-LEAF: Taxonomy Learning and EvaluAtion Framework
T-LEAF: Taxonomy Learning and EvaluAtion Framework T-LEAF: Taxonomy Learning and EvaluAtion Framework

How we applied qualitative learning, human labeling and machine learning to iteratively develop Airbnb’s Community Support Taxonomy.By: Mia Zhao, Peggy Shao, Maggie Hanson, Peng Wang, Bo ZengBackgroundTaxonomies are knowledge organization systems used to classify and organize information. Taxonomies use words to describe things — as opposed to numbers or symbols — and hierarchies to group things into categories. The structure of a taxonomy expresses how those things relate to each other. For instance, a Superhost is a type of Host and a Host is a type of Airbnb User. Taxonomies provide vital terminology control and enable downstream systems to navigate information and analyze consistent, st…

1 месяц, 3 недели назад @ medium.com
Airbnb’s Trip to Linaria
Airbnb’s Trip to Linaria Airbnb’s Trip to Linaria

Learn how Linaria, Airbnb’s newest choice for web styling, improved both developer experience and web performanceCSS is a critical component of every web application, and many solutions have evolved for how styles are written by developers and delivered to visitors. In this post we’ll take you through Airbnb’s journey from Sass to CSS-in-JS and show you why we landed on Linaria, a zero-runtime CSS-in-JS library, and the impact it has had on the developer experience and performance of Airbnb’s web app.From Sass to CSS-in-JSIn 2016, our web frontend was in a monolithic Ruby on Rails app using a combination of Sprockets, Browserify, and Sass. We had a Bootstrap-inspired internal toolkit for st…

2 месяца назад @ medium.com
Graph Machine Learning at Airbnb
Graph Machine Learning at Airbnb Graph Machine Learning at Airbnb

How Airbnb is leveraging graph neural networks to up-level our machine learningBy: Devin SoniIntroductionMany real-world machine learning problems can be framed as graph problems. On online platforms, users often share assets (e.g. photos) and interact with each other (e.g. messages, bookings, reviews). These connections between users naturally form edges that can be used to create a graph.However, in many cases, machine learning practitioners do not leverage these connections when building machine learning models, and instead treat nodes (in this case, users) as completely independent entities. While this does simplify things, leaving out information around a node’s connections may reduce …

2 месяца назад @ medium.com
Unified Payments Data Read at Airbnb
Unified Payments Data Read at Airbnb Unified Payments Data Read at Airbnb

How we redesigned payments data read flow to optimize client integrations, while achieving up to 150x performance gains.By: Ali Goksel, Yixia MaoIntroductionIn recent years, Airbnb migrated most of its backend services from a monolith to a service-oriented architecture (SOA). This industry standard architecture brings countless benefits to a company that is at the scale of Airbnb; however, it is not free of challenges. With data scattered across many services, it’s difficult to provide all the information clients need in a simple and performant way, especially for complex domains such as payments. As Airbnb grew, this problem started to crop up for many new initiatives such as host earnings…

2 месяца, 1 неделя назад @ medium.com
Faster JavaScript Builds with Metro
Faster JavaScript Builds with Metro Faster JavaScript Builds with Metro

How Airbnb migrated from Webpack to Metro and made the development feedback loop nearly instantaneous, the largest production build 50% faster, with marginal end-user runtime improvements.By: Rae LiuIntroductionIn 2018, the frontend Airbnb infrastructure relied on Webpack for JavaScript bundling which had served us well up until then; however, with our codebase almost having quadrupled in the previous year, the frontend team was noticing a significant impact on the development experience. Not only was build performance slow, but the average page refresh time for a trivial one-line code change was anywhere between 30 seconds and 2 minutes depending on the project size. In order to mitigate t…

2 месяца, 3 недели назад @ medium.com
Dynamic Kubernetes Cluster Scaling at Airbnb
Dynamic Kubernetes Cluster Scaling at Airbnb Dynamic Kubernetes Cluster Scaling at Airbnb

Authors: Evan Sheng, David MorrisonIntroductionAn important part of running Airbnb’s infrastructure is ensuring our cloud spending automatically scales with demand, both up and down. Our traffic fluctuates heavily every day, and our cloud footprint should scale dynamically to support this.To support this scaling, Airbnb utilizes Kubernetes, an open source container orchestration system. We also utilize OneTouch, a service configuration interface built on top of Kubernetes, and is described in more detail in a previous post.In this post, we’ll talk about how we dynamically size our clusters using the Kubernetes Cluster Autoscaler, and highlight functionality we’ve contributed to the sig-auto…

2 месяца, 3 недели назад @ medium.com
My Journey to Airbnb — Kamini Dandapani
My Journey to Airbnb — Kamini Dandapani My Journey to Airbnb — Kamini Dandapani

My Journey to Airbnb — Kamini DandapaniAirbnb’s VP of Engineering on why you don’t have to change your natural self to be a leaderKamini Dandapani, VP of Engineering at Airbnb, leads the Infrastructure Engineering organization, which is in many ways the backbone of the company: responsible for powering the systems that keep Airbnb running smoothly and help new products reach millions of people. With a passion for how platforms can support and sustain the business and product, Kamini developed her considerate and welcoming leadership style at eBay and LinkedIn before joining Airbnb two years ago. In addition to her Infra role, she champions diversity and belonging in the workplace and is co-…

3 месяца, 1 неделя назад @ medium.com
Continuous Delivery at Airbnb
Continuous Delivery at Airbnb Continuous Delivery at Airbnb

Jens Vanderhaeghe, Manish MaheshwariIntroductionOver the years, Airbnb’s tech stack has shifted from a monolith to 1,000+ services in our service-oriented architecture (SOA). While this migration solved our problems scaling our application architecture, it also introduced an array of new challenges.In this blog post we’ll cover the deployment challenges faced on the road to our current architecture and how we’ve solved those problems by adopting Continuous Delivery best practices on top of Spinnaker. We’ll do a deep dive into how we’ve solved such a large scale migration in a short timespan while maintaining developer productivity along the way.From Deployboard to SpinnakerDeployboard, Airb…

3 месяца, 3 недели назад @ medium.com
My Journey to Airbnb — Florian Andes
My Journey to Airbnb — Florian Andes My Journey to Airbnb — Florian Andes

My Journey to Airbnb — Florian AndesFrom building airplanes to Staff Technical Program Manager at AirbnbFlorian Andes is a Staff Technical Program Manager at Airbnb. He has over 10 years of experience that spans the software, manufacturing, and strategy consulting industry. He studied in Frankfurt, London, Singapore, and Boston, where he received a bachelor’s and MBA degree in Business and Entrepreneurship.Though it can be hard and intimidating to find your place in the “big tech” industry in Silicon Valley, Florian has relied on curiosity and openness to establish a successful career at Airbnb. Read on for Florian’s own words on working at the intersection of business and software engineer…

4 месяца назад @ medium.com
Hacking Human Connection: the Story of Awedience
Hacking Human Connection: the Story of Awedience Hacking Human Connection: the Story of Awedience

How a home-grown product helps Airbnb employees feel more connected during solitary timesIntroductionThis is the story of how Airbnb employees stayed connected during a time they had never felt more apart. In this post, you’ll learn how an idea turned into an internal product that is now a core part of how Airbnb operates.When you walk through the doors of an Airbnb office, you feel an energy that’s both inspiring and intimidating. After more than five years with the company, I explain this duality as Airbnb being both incredibly entrepreneurial and aspirational.Airbnb company meetings are no different. Brian Chesky and his team keep our all-hands meetings exciting. I know what you’re think…

4 месяца, 1 неделя назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 неделя назад
Virtual Production — A Validation Framework For Unreal Engine
Virtual Production — A Validation Framework For Unreal Engine Virtual Production — A Validation Framework For Unreal Engine

Virtual Production — A Validation Framework For Unreal EngineBy Adam Davis, Jimmy Fusil, Bhanu Srikanth and Girish BalakrishnanGame Engines in Virtual ProductionThe use of Virtual Production and real time technologies has markedly accelerated in the past few years. At Netflix, we are always thrilled to see technology enable new ways of telling stories, and the use of these techniques on some of our shows like 1899 and Super Giant Robot Brothers has given us a front row seat to this exciting evolution in filmmaking. Each production that deploys these methods is an opportunity for the crew, tech manufacturers and us–the Netflix Production Innovation team–to learn, innovate and collaborate tow…

1 неделя назад @ netflixtechblog.com
Data Mesh — A Data Movement and Processing Platform @ Netflix
Data Mesh — A Data Movement and Processing Platform @ Netflix Data Mesh — A Data Movement and Processing Platform @ Netflix

Data Mesh — A Data Movement and Processing Platform @ NetflixBy Bo Lei, Guilherme Pires, James Shao, Kasturi Chatterjee, Sujay Jain, Vlad SydorenkoBackgroundRealtime processing technologies (A.K.A stream processing) is one of the key factors that enable Netflix to maintain its leading position in the competition of entertaining our users. Our previous generation of streaming pipeline solution Keystone has a proven track record of serving multiple of our key business needs. However, as we expand our offerings and try out new ideas, there’s a growing need to unlock other emerging use cases that were not yet covered by Keystone. After evaluating the options, the team has decided to create Data…

2 недели, 1 день назад @ netflixtechblog.com
Formulating ‘Out of Memory Kill’ Prediction on the Netflix App as a Machine Learning Problem
Formulating ‘Out of Memory Kill’ Prediction on the Netflix App as a Machine Learning Problem Formulating ‘Out of Memory Kill’ Prediction on the Netflix App as a Machine Learning Problem

by Aryan Mehrawith Farnaz Karimdady Sharifabad, Prasanna Vijayanathan, Chaïna Wade, Vishal Sharma and Mike SchassbergerAim and Purpose — Problem StatementThe purpose of this article is to give insights into analyzing and predicting “out of memory” or OOM kills on the Netflix App. Unlike strong compute devices, TVs and set top boxes usually have stronger memory constraints. More importantly, the low resource availability or “out of memory” scenario is one of the common reasons for crashes/kills. We at Netflix, as a streaming service running on millions of devices, have a tremendous amount of data about device capabilities/characteristics and runtime data in our big data platform. With large …

3 недели, 5 дней назад @ netflixtechblog.com
How Netflix Content Engineering makes a federated graph searchable (Part 2)
How Netflix Content Engineering makes a federated graph searchable (Part 2) How Netflix Content Engineering makes a federated graph searchable (Part 2)

By Alex Hutter, Falguni Jhaveri, and Senthil SayeebabaIn a previous post, we described the indexing architecture of Studio Search and how we scaled the architecture by building a config-driven self-service platform that allowed teams in Content Engineering to spin up search indices easily.This post will discuss how Studio Search supports querying the data available in these indices.Data consumption from Studio Search DGSIntroductionWhen we say Content Engineering teams are interested in searching against the federated graph, the use-case is mainly focused on known-item search (a user has an item or items in mind they are trying to view or navigate to but need to use an external information …

2 месяца назад @ netflixtechblog.com
Scaling Appsec at Netflix (Part 2)
Scaling Appsec at Netflix (Part 2) Scaling Appsec at Netflix (Part 2)

By Astha Singhal, Lakshmi Sudheer, Julia KnechtThe Application Security teams at Netflix are responsible for securing the software footprint that we create to run the Netflix product, the Netflix studio, and the business. Our customers are product and engineering teams at Netflix that build these software services and platforms. The Netflix cultural values of ‘Context not Control’ and ‘Freedom and Responsibility’ strongly influence how we do Security at Netflix. Our goal is to manage security risks to Netflix via clear, opinionated security guidance, and by providing risk context to Netflix engineering teams to make pragmatic risk decisions at scale.A few years ago, we published this blog p…

2 месяца, 1 неделя назад @ netflixtechblog.com
A Survey of Causal Inference Applications at Netflix
A Survey of Causal Inference Applications at Netflix A Survey of Causal Inference Applications at Netflix

At Netflix, we want to entertain the world through creating engaging content and helping members discover the titles they will love. Key to that is understanding causal effects that connect changes we make in the product to indicators of member joy.To measure causal effects we rely heavily on AB testing, but we also leverage quasi-experimentation in cases where AB testing is limited. Many scientists across Netflix have contributed to the way that Netflix analyzes these causal effects.To celebrate that impact and learn from each other, Netflix scientists recently came together for an internal Causal Inference and Experimentation Summit. The weeklong conference brought speakers from across th…

2 месяца, 4 недели назад @ netflixtechblog.com
Evolution of ML Fact Store
Evolution of ML Fact Store Evolution of ML Fact Store

by Vivek KaushalAt Netflix, we aim to provide recommendations that match our members’ interests. To achieve this, we rely on Machine Learning (ML) algorithms. ML algorithms can be only as good as the data that we provide to it. This post will focus on the large volume of high-quality data stored in Axion — our fact store that is leveraged to compute ML features offline. We built Axion primarily to remove any training-serving skew and make offline experimentation faster. We will share how its design has evolved over the years and the lessons learned while building it.TerminologyAxion fact store is part of our Machine Learning Platform, the platform that serves machine learning needs across N…

3 месяца, 3 недели назад @ netflixtechblog.com
How Netflix Content Engineering makes a federated graph searchable
How Netflix Content Engineering makes a federated graph searchable How Netflix Content Engineering makes a federated graph searchable

By Alex Hutter, Falguni Jhaveri and Senthil SayeebabaOver the past few years Content Engineering at Netflix has been transitioning many of its services to use a federated GraphQL platform. GraphQL federation enables domain teams to independently build and operate their own Domain Graph Services (DGS) and, at the same time, connect their domain with other domains in a unified GraphQL schema exposed by a federated gateway.As an example, let’s examine three core entities of the graph, each owned by separate engineering teams:Movie: At Netflix, we make titles (shows, films, shorts etc.). For simplicity, let’s assume each title is a Movie object.Production: Each Movie is associated with a Studio…

4 месяца назад @ netflixtechblog.com
Rapid Event Notification System at Netflix
Rapid Event Notification System at Netflix Rapid Event Notification System at Netflix

By: Ankush Gulati, David GevorkyanAdditional credits: Michael Clark, Gokhan OzerIntroNetflix has more than 220 million active members who perform a variety of actions throughout each session, ranging from renaming a profile to watching a title. Reacting to these actions in near real-time to keep the experience consistent across devices is critical for ensuring an optimal member experience. This is not an easy task, considering the wide variety of supported devices and the sheer volume of actions our members perform. To this end, we developed a Rapid Event Notification System (RENO) to support use cases that require server initiated communication with devices in a scalable and extensible man…

6 месяцев назад @ netflixtechblog.com
Data pipeline asset management with Dataflow
Data pipeline asset management with Dataflow Data pipeline asset management with Dataflow

by Sam Setegne, Jai Balani, Olek GorajekGlossaryasset — any business logic code in a raw (e.g. SQL) or compiled (e.g. JAR) form to be executed as part of the user defined data pipeline.data pipeline — a set of tasks (or jobs) to be executed in a predefined order (a.k.a. DAG) for the purpose of transforming data using some business logic.Dataflow — Netflix homegrown CLI tool for data pipeline management.job — a.k.a task, an atomic unit of data transformation logic, a non-separable execution block in the workflow chain.namespace — unique label, usually representing a business subject area, assigned to a workflow asset to identify it across all other assets managed by Dataflow (e.g. security).…

6 месяцев, 1 неделя назад @ netflixtechblog.com
Demystifying Interviewing for Backend Engineers @ Netflix
Demystifying Interviewing for Backend Engineers @ Netflix Demystifying Interviewing for Backend Engineers @ Netflix

By Karen Casella, Director of Engineering, Access & Identity ManagementHave you ever experienced one of the following scenarios while looking for your next role?You study and practice coding interview problems for hours/days/weeks/months, only to be asked to merge two sorted lists.You apply for multiple roles at the same company and proceed through the interview process with each hiring team separately, despite the fact that there is tremendous overlap in the roles.You go through the interview process, do really well, get really excited about the company and the people you meet, and in the end, you are “matched” to a role that does not excite you, working with a manager and team you have no…

6 месяцев, 2 недели назад @ netflixtechblog.com
Netflix: A Culture of Learning
Netflix: A Culture of Learning Netflix: A Culture of Learning

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Colin McFarland, Mihir Tendulkar, and Travis BrooksThis is the last post in an overview series on experimentation at Netflix. Need to catch up? Earlier posts covered the basics of A/B tests (Part 1 and Part 2 ), core statistical concepts (Part 3 and Part 4), how to build confidence in a decision (Part 5), and the the role of Experimentation and A/B testing within the larger Data Science and Engineering organization at Netflix (Part 6).Earlier posts in this series covered the why, what and how of A/B testing, all of which are necessary to reap the benefits of experimentation for product development. But without a little magic,…

6 месяцев, 3 недели назад @ netflixtechblog.com
Fixing Performance Regressions Before they Happen
Fixing Performance Regressions Before they Happen Fixing Performance Regressions Before they Happen

Angus CrollNetflix is used by 222 million members and runs on over 1700 device types ranging from state-of-the-art smart TVs to low-cost mobile devices.At Netflix we’re proud of our reliability and we want to keep it that way. To that end, it’s important that we prevent significant performance regressions from reaching the production app. Sluggish scrolling or late rendering is frustrating and triggers accidental navigations. Choppy playback makes watching a show less enjoyable. Any performance regression that makes it into a product release will degrade user experience, so the challenge is to detect and fix such regressions before they ship.This post describes how the Netflix TVUI team imp…

6 месяцев, 3 недели назад @ netflixtechblog.com
Auto-Diagnosis and Remediation in Netflix Data Platform
Auto-Diagnosis and Remediation in Netflix Data Platform Auto-Diagnosis and Remediation in Netflix Data Platform

By Vikram Srivastava and Marcelo MaywormNetflix has one of the most complex data platforms in the cloud on which our data scientists and engineers run batch and streaming workloads. As our subscribers grow worldwide and Netflix enters the world of gaming, the number of batch workflows and real-time data pipelines increases rapidly. The data platform is built on top of several distributed systems, and due to the inherent nature of these systems, it is inevitable that these workloads run into failures periodically. Troubleshooting these problems is not a trivial task and requires collecting logs and metrics from several different systems and analyzing them to identify the root cause. At our s…

7 месяцев назад @ netflixtechblog.com
Experimentation is a major focus of Data Science across Netflix
Experimentation is a major focus of Data Science across Netflix Experimentation is a major focus of Data Science across Netflix

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Colin McFarland, Andy Rhines, Sophia Liu, Mihir Tendulkar, Kevin Mercurio, Veronica Hannan, Ting-Po LeeEarlier posts in this series covered the basics of A/B tests (Part 1 and Part 2 ), core statistical concepts (Part 3 and Part 4), and how to build confidence in decisions based on A/B test results (Part 5). Here we describe the role of Experimentation and A/B testing within the larger Data Science and Engineering organization at Netflix, including how our platform investments support running tests at scale while enabling innovation. The subsequent and final post in this series will discuss the importance of the culture of ex…

7 месяцев, 1 неделя назад @ netflixtechblog.com
Pinterest Engineering
последний пост 1 неделя, 5 дней назад
GPU-accelerated ML Inference at Pinterest
GPU-accelerated ML Inference at Pinterest GPU-accelerated ML Inference at Pinterest

Unlocking 16% Homefeed Engagement by Serving 100x Bigger Recommender ModelsPong Eksombatchai | Software Engineer, Advanced Technology Group; Zhiyuan Zhang | Engineering Manager, ML Serving PlatformsImage from https://unsplash.com/photos/vWgoeEYdtIYWe enabled serving 100x larger recommender models at Pinterest by transitioning our machine learning serving from CPU to GPU — increasing Homefeed Pinner engagement by 16% through a step function improvement in model quality. In this blog post, we’ll share our optimizations to achieve this at neutral cost and latency, including optimizing individual ops, consolidating memory transfers, executing static graphs on-device through CUDA Graphs, and ret…

1 неделя, 5 дней назад @ medium.com
Debugging Ad Delivery At Pinterest
Debugging Ad Delivery At Pinterest Debugging Ad Delivery At Pinterest

Nishant Roy | Engineering Manager, Ads Serving PlatformIntro & BackgroundThe Pinterest ads serving platform delivered >$2.5 billion in ad spend in 2021 from thousands of advertisers. Our customer operations team receives 600+ tickets on average every month from advertisers who are looking to understand their performance on our platform. One of the most common questions we receive is why a particular advertiser/ad campaign is not fully utilizing its budget. This question requires a deep analysis of an ad recommendation system consisting of 5+ microservices, 1M+ lines of code, and 100+ active developers, serving >90 million requests everyday. This blog describes how we built a system to swift…

1 месяц, 3 недели назад @ medium.com
Estimating Potential Audience Size of an Ad at Pinterest
Estimating Potential Audience Size of an Ad at Pinterest Estimating Potential Audience Size of an Ad at Pinterest

Chanheum (Sean) Cho | ML Engineer, Ads Intelligence; Ruixin Qiang |ML Engineer, Ads Intelligence; Keshava Subramanya |Engineering Manager, Ads IntelligenceIntroductionUnderstanding the size of the potential audience of an ad is an important consideration for an advertiser. It enables advertisers to estimate the total population who might be interested in the products or services they advertise and plan their budgets ahead of time. The Ads Intelligence team at Pinterest provides a service called Potential Audience Size in the Ads Manager, so the advertisers can understand their target audience size while they configure their ad groups. The service updates the estimate in real time as the aud…

2 месяца, 1 неделя назад @ medium.com
Improving Distributed Caching Performance and Efficiency at Pinterest
Improving Distributed Caching Performance and Efficiency at Pinterest Improving Distributed Caching Performance and Efficiency at Pinterest

Kevin Lin | Software Engineer, Storage and CachingIntroductionPinterest’s distributed caching system, built on top of open source technologies memcached and mcrouter, is a critical component of the production infrastructure stack. Pinterest’s cache-as-a-service platform is responsible for driving down application latency across the board, reducing the overall cloud cost footprint, and ensuring adherence to strict sitewide availability targets.Today, Pinterest’s memcached fleet spans over 5000 EC2 instances across a variety of instance types optimized along compute, memory, and storage dimensions. Collectively, the fleet serves up to ~180 million requests per second and ~220 GB/s of network …

3 месяца назад @ medium.com
Manas HNSW Streaming Filters
Manas HNSW Streaming Filters Manas HNSW Streaming Filters

George Wu | Software Engineer, Core Product Serving Infra; Tim Koh | Software Engineer, Core Product Serving InfraIntroductionEmbedding-based retrieval is a core center piece of our recommendations engine at Pinterest. We support a myriad of use cases, from retrieval based on content similarity to learned retrieval. It’s powered by our in-house search engine — Manas — which provides Approximate Nearest Neighbor (ANN) search as a service, primarily using Hierarchical Navigable Small World graphs (HNSW).While traditional token-based search retrieves documents on term matching on a tree of terms with logical connectives like ANDs and ORs, ANN search retrieves based on embedding similarity. Oft…

3 месяца, 1 неделя назад @ medium.com
NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest
NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest

Prabhat Agarwal | Research ScientistWatch Prabhat Agarwal’s talk from the NVIDIA GTC Conference on March 23, 2022.https://medium.com/media/c160a4c48af4ff09c6ed83e10d26a5e8/hrefTo learn more about engineering at Pinterest, check out the rest of our Engineering Blog, and visit our Pinterest Labs site. To view and apply to open opportunities, visit our Careers page.NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest was originally published in Pinterest Engineering Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

4 месяца назад @ medium.com
Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo
Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo

Jeremy King | Sr Vice Presidente, ingenieríaThis article was originally published in English. Read the English version here.Hace dos años, estaba terminando mi primer año en Pinterest como Vicepresidente Sénior. Nuestras oficinas cerraron y el trabajo y la vida, como los conocíamos, cambiaron de golpe. Al adaptarnos a los cambios drásticos a nuestro alrededor, aprendimos mucho sobre el trabajo y sobre lo que no era un lugar de trabajo. Los beneficios del trabajo flexible y nuestra capacidad de ser productivos desde cualquier lugar dieron muchas ventajas a nuestros empleos, ya que se eliminaron largos viajes al trabajo y pudimos estar mucho más presentes en los momentos importantes de nuestr…

4 месяца, 1 неделя назад @ medium.com
How Pinterest built its Trust & Safety team
How Pinterest built its Trust & Safety team How Pinterest built its Trust & Safety team

Maisy Samuelson | Head of Trust & Safety Product“Inch by inch, row by row, I’m gonna make this garden grow” — Garden Song by Peter, Paul & MarySince I started working on Trust & Safety four years ago, the team has grown quickly and learned a lot about how to protect Pinners from spam and account takeovers as well as unsafe content like nudity, self-harm, hate speech, and harassment.Back in 2017, the Trust & Safety team (like Pinterest itself) was small and spent a lot of time fighting attacks. During attacks we scrambled to figure out product nuances, where and how data was stored, wait for queries to run, write scripts to update production databases and fix issues in user accounts, all und…

4 месяца, 1 неделя назад @ medium.com
Introducing PinFlex: Pinterest’s model for the Future of Work
Introducing PinFlex: Pinterest’s model for the Future of Work Introducing PinFlex: Pinterest’s model for the Future of Work

Jeremy King | Senior Vice President, EngineeringTwo years ago, as I was closing in on my first annual “Pinniversary” as the Chief of Engineering at Pinterest, our offices closed, and work (read: life) as we knew it changed abruptly. As we all adapted to the drastic changes around us, we learned a lot about what was working and what wasn’t in the workplace. The benefits of working flexibly and our ability to be productive from anywhere empowered us to do our jobs well while eliminating long commutes and allowing us to be more present than ever before for important moments with family. We also realized the value of intentional in-person touchpoints with colleagues to build culture and drive c…

4 месяца, 2 недели назад @ medium.com
Large Scale Hadoop Upgrade At Pinterest
Large Scale Hadoop Upgrade At Pinterest Large Scale Hadoop Upgrade At Pinterest

Yongjun Zhang | Software Engineer; William Tom | Software Engineer; Shaowen Wang | Software Engineer; Bhavin Pathak | Software Engineer; Batch Processing Platform TeamPinterest’s Batch Processing Platform, Monarch, consists of more than 30 Hadoop YARN clusters with 17k+ nodes built entirely on top of AWS EC2. At the beginning of 2021, Monarch was still on Hadoop 2.7.1, which was already five years old. Because of the increasing complexity in backporting upstream changes (features and bug fixes), we decided it was time to invest in a version upgrade. We settled on Hadoop 2.10.0, which was the latest release of Hadoop 2 at the time.This article shares our experience of upgrading Monarch to Ha…

4 месяца, 2 недели назад @ medium.com
99% to 99.9% SLO: High Performance Kubernetes Control Plane at Pinterest
99% to 99.9% SLO: High Performance Kubernetes Control Plane at Pinterest 99% to 99.9% SLO: High Performance Kubernetes Control Plane at Pinterest

Shunyao Li | Software Engineer, Cloud RuntimeOver the past three years, the Cloud Runtime team’s journey has gone from “Why Kubernetes?” to “How to scale?”. There is no doubt that Kubernetes based compute platform has achieved huge success at Pinterest. We have been supporting big data processing, machine learning, distributed training, workflow engine, CI/CD, internal tools — backing up every engineer at Pinterest.Why Control Plane Latency MattersAs more and more business-critical workloads onboard Kubernetes, it is increasingly important to have a high-performance control plane that efficiently orchestrates every workload. Critical workloads such as content model training and ads reportin…

4 месяца, 4 недели назад @ medium.com
Unified PubSub Client at Pinterest
Unified PubSub Client at Pinterest Unified PubSub Client at Pinterest

Vahid Hashemian | Software Engineer, Logging PlatformJeff Xiang | Software Engineer, Logging PlatformAt Pinterest, the Logging Platform team manages the PubSub layer and provides support for clients that interact with it. At the heart of the PubSub layer, there are two main systems responsible for ingress and egress of data in motion:Apache Kafka® (Kafka hereafter)MemQOver the last several years, we have learnt through operational experience that our customers and business needs to have reduced KTLO costs, and they want the platform team to own not just the servers / service but also the client / SDK as well as the on-call associated with any issues that arise from client-server connectivit…

5 месяцев назад @ medium.com
Enviar previamente pruebas de IU en Pinterest
Enviar previamente pruebas de IU en Pinterest Enviar previamente pruebas de IU en Pinterest

Mansfield Mark | Líder de herramientas de prueba móviles, calidad de métricas y herramientas de pruebaThis article was originally published in English. Read the English version here.ResumenEn nuestros esfuerzos por cambiar a la izquierda (en los que las pruebas se hacen antes o se desplazan a la izquierda en la cronología del proyecto), en este blog se explica cómo empezamos a ejecutar un gran conjunto de pruebas de interfaz de usuario de extremo a extremo antes de cualquier asignación a nuestros repositorios de Android o iOS. Este proyecto involucró una cuidadosa coordinación de las pruebas de interfaz de usuario, la infraestructura de pruebas y la productividad del desarrollador.Después d…

5 месяцев, 1 неделя назад @ medium.com
Addressing Python Dependency Confusion at Pinterest
Addressing Python Dependency Confusion at Pinterest Addressing Python Dependency Confusion at Pinterest

Bill Prin | Software Engineer, Engineering Productivity, Python; Devin Lundberg | Software Engineer , Security Lead; and Adam Berry | Software Engineer , Engineering ProductivitySoftware supply chain is an incredibly important security topic in today’s world. In May 2021, an American oil pipeline system fell victim to a cyberattack, and with the assistance of the FBI, paid over $4.4 million dollars in ransom to the attackers in order to recover their systems.As a result, US President Joe Biden was forced to declare a state of emergency, and on May 12 issued Executive Order 14028 increasing software security standards for software supply chains. According to VentureBeat, software supply chai…

5 месяцев, 1 неделя назад @ medium.com
Presupuestos de campaña de Pinterest
Presupuestos de campaña de Pinterest Presupuestos de campaña de Pinterest

Kevin Jiang | ingeniero de software de inteligencia de anuncios; Keshava Subramanya | gerente de ingeniería de inteligencia de anuncios; and Yeming Shi | ingeniera de software de inteligencia de anunciosThis article was originally published in English. Read the English version here.IntroducciónPinterest es un motor de descubrimiento visual que ayuda a los usuarios a encontrar ideas inspiradoras. Los anunciantes usan Pinterest para conectar con los usuarios en estas búsquedas de inspiración y su objetivo es promocionar productos o servicios de manera eficiente.El equipo de Inteligencia de anuncios de Pinterest elabora productos que ayudan a los anunciantes a maximizar el valor que obtienen d…

5 месяцев, 1 неделя назад @ medium.com
Facebook
последний пост 1 неделя назад
Scaling data ingestion for machine learning training at Meta
Scaling data ingestion for machine learning training at Meta

Many of Meta’s products, such as search and language translations, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double in [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

1 неделя назад @ engineering.fb.com
Applying federated learning to protect data on mobile devices
Applying federated learning to protect data on mobile devices

What the research is: Federated learning with differential privacy (FL-DP) is one of the latest privacy-enhancing technologies being evaluated at Meta as we constantly work to enhance user privacy and further safeguard users’ data in the products we design, build, and maintain. FL-DP enhances privacy in two important ways: It allows machine learning (ML) models [...]

Read More...

The post Applying federated learning to protect data on mobile devices appeared first on Engineering at Meta.

2 месяца назад @ engineering.fb.com
VESPA: Static profiling for binary optimization
VESPA: Static profiling for binary optimization

What the research is: Recent research has demonstrated that binary optimization is important for achieving peak performance for various applications. For instance, the state-of-the-art BOLT binary optimizer developed at Meta, which is part of the LLVM Compiler Project, significantly improves the performance of highly optimized binaries produced using compilers’ most aggressive optimizations, such as profile-guided [...]

Read More...

The post VESPA: Static profiling for binary optimization appeared first on Engineering at Meta.

5 месяцев назад @ engineering.fb.com
Uber Engineering
последний пост 2 недели назад
ML Education at Uber: Program Design and Outcomes
ML Education at Uber: Program Design and Outcomes

Introduction

If you have read our previous article, ML Education at Uber: Frameworks Inspired by Engineering Principles, you have seen several examples of how Uber benefits from applying Engineering Principles to drive the ML Education Program’s content design and …

The post ML Education at Uber: Program Design and Outcomes appeared first on Uber Engineering Blog.

2 недели назад @ eng.uber.com
ML Education at Uber: Frameworks Inspired by Engineering Principles
ML Education at Uber: Frameworks Inspired by Engineering Principles

Introduction

At Uber, millions of machine learning (ML) predictions are made every second, and hundreds of applied scientists, engineers, product managers, and researchers work on ML solutions daily. Uber wins by scaling machine learning. We recognize org-wide that a …

The post ML Education at Uber: Frameworks Inspired by Engineering Principles appeared first on Uber Engineering Blog.

2 недели, 5 дней назад @ eng.uber.com
Supercharging A/B Testing at Uber
Supercharging A/B Testing at Uber

Introduction

“Immensely laborious calculations on inferior data may increase the yield from 95 to 100 percent. A gain of 5 percent, of perhaps a small total. A competent overhauling of the process of collection, or of the experimental design, may …

The post Supercharging A/B Testing at Uber appeared first on Uber Engineering Blog.

3 недели, 5 дней назад @ eng.uber.com
Uber’s Highly Scalable and Distributed Shuffle as a Service
Uber’s Highly Scalable and Distributed Shuffle as a Service

Uber is a data-driven company that heavily relies on offline and online analytics for decision-making. As Uber’s data grows exponentially every year, it’s crucial to process this data very efficiently and with minimum cost. Over the years, Apache Spark™…

The post Uber’s Highly Scalable and Distributed Shuffle as a Service appeared first on Uber Engineering Blog.

1 месяц, 1 неделя назад @ eng.uber.com
Enabling Offline Inferences at Uber Scale
Enabling Offline Inferences at Uber Scale

Introduction

At Uber we use data from user support interactions to identify gaps in our products and create better, more delightful experiences for our users. Support interactions with customers include information about broken product experiences, any technical or operational issues …

The post Enabling Offline Inferences at Uber Scale appeared first on Uber Engineering Blog.

2 месяца назад @ eng.uber.com
Uber’s Real-Time Document Check
Uber’s Real-Time Document Check

Introduction

Justification for Identity Verification

Latin America is a rich cultural region, known for its world-renowned gastronomy, its abundant biodiversity, and its welcoming population. However, socio-economic inequality has been a challenge for the region, and is generally considered a major …

The post Uber’s Real-Time Document Check appeared first on Uber Engineering Blog.

2 месяца, 1 неделя назад @ eng.uber.com
Better Load Balancing: Real-Time Dynamic Subsetting
Better Load Balancing: Real-Time Dynamic Subsetting

Overview

Subsetting is a common technique used in load balancing for large-scale distributed systems. In this blog post, we will briefly introduce Uber’s current service mesh architecture that has been powering thousands of critical microservices in Uber since 2016. We …

The post Better Load Balancing: Real-Time Dynamic Subsetting appeared first on Uber Engineering Blog.

3 месяца назад @ eng.uber.com
Presto® on Apache Kafka® At Uber Scale
Presto® on Apache Kafka® At Uber Scale

Uber’s goal is to ignite opportunity by setting the world in motion, and big data is a very important part of that. Presto® and Apache Kafka® play critical roles in Uber’s big data stack. Presto is the de …

The post Presto® on Apache Kafka® At Uber Scale appeared first on Uber Engineering Blog.

4 месяца назад @ eng.uber.com
Securing Kafka® Infrastructure at Uber
Securing Kafka® Infrastructure at Uber

Background

Uber has one of the largest deployments of Apache Kafka® in the world. It empowers a large number of real-time workflows at Uber, including pub-sub message buses for passing event data from the rider and driver apps, as …

The post Securing Kafka® Infrastructure at Uber appeared first on Uber Engineering Blog.

4 месяца, 1 неделя назад @ eng.uber.com
Uber’s Emergency Button and The Technologies Behind It
Uber’s Emergency Button and The Technologies Behind It

Safety has long been a top priority at Uber, as Uber’s CEO Dara Khosrowshahi wrote in ‘Raising the Bar on Safety’ in September 2018. In order to #StandForSafety, the team at Uber has rolled out a set of …

The post Uber’s Emergency Button and The Technologies Behind It appeared first on Uber Engineering Blog.

4 месяца, 2 недели назад @ eng.uber.com
Avoiding CPU Throttling in a Containerized Environment
Avoiding CPU Throttling in a Containerized Environment

At Uber, all stateful workloads run on a common containerized platform across a large fleet of hosts. Stateful workloads include MySQL®, Apache Cassandra®, ElasticSearch®, Apache Kafka®, Apache HDFS™, Redis™…

The post Avoiding CPU Throttling in a Containerized Environment appeared first on Uber Engineering Blog.

4 месяца, 3 недели назад @ eng.uber.com
One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™
One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™

Overview Data access restrictions, retention, and encryption at rest are fundamental security controls. This blog explains how we have built and utilized open-sourced Apache Parquet™’s finer-grained encryption feature to support all 3 controls in a unified way. In …

The post One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™ appeared first on Uber Engineering Blog.

5 месяцев, 1 неделя назад @ eng.uber.com
Introducing Ballast: An Adaptive Load Test Framework
Introducing Ballast: An Adaptive Load Test Framework

As Uber’s architecture has grown to encompass thousands of interdependent microservices, we need to test our mission-critical components at max load in order to preserve reliability. Accurate load testing allows us to validate if a set of services are working …

The post Introducing Ballast: An Adaptive Load Test Framework appeared first on Uber Engineering Blog.

5 месяцев, 2 недели назад @ eng.uber.com
Project RADAR: Intelligent Early Fraud Detection System with Humans in the Loop
Project RADAR: Intelligent Early Fraud Detection System with Humans in the Loop

Introduction

Uber is a worldwide marketplace of services, processing thousands of monetary transactions every second. As a marketplace, Uber takes on all of the risks associated with payment processing. Uber partners who use the marketplace to provide services are paid …

The post Project RADAR: Intelligent Early Fraud Detection System with Humans in the Loop appeared first on Uber Engineering Blog.

6 месяцев, 2 недели назад @ eng.uber.com
Cost Efficiency @ Scale in Big Data File Format
Cost Efficiency @ Scale in Big Data File Format

Background

Our Apache Hadoop® based data platform ingests hundreds of petabytes of analytical data with minimum latency and stores it in a data lake built on top of the Hadoop Distributed File System (HDFS). We use Apache Hudi…

The post Cost Efficiency @ Scale in Big Data File Format appeared first on Uber Engineering Blog.

6 месяцев, 3 недели назад @ eng.uber.com
Spotify Engineering Spotify Engineering
последний пост 2 месяца назад
How We Built Infrastructure to Run User Forecasts at Spotify
How We Built Infrastructure to Run User Forecasts at Spotify How We Built Infrastructure to Run User Forecasts at Spotify

TL;DR With Spotify’s rapid global expansion to more than 180 countries, it’s critical that the infrastructure of user forecasts catch up to business needs. As the business evolves, we need an infrastructure in place that can satisfy the varying needs of stakeholders across the company. To enable fast iterations and facilitate model training, we built [...]

The post How We Built Infrastructure to Run User Forecasts at Spotify appeared first on Spotify Engineering.

2 месяца назад @ engineering.atspotify.com
Say Hello to the Recipients of the 2022 Spotify FOSS Fund
Say Hello to the Recipients of the 2022 Spotify FOSS Fund Say Hello to the Recipients of the 2022 Spotify FOSS Fund

TL;DR Today we’re announcing the recipients of the first Spotify FOSS Fund. The objective of this fund is to give the independent open source projects we care about a meaningful financial sponsorship to help ensure those projects have the means to continue maintaining and maturing the code we rely on. The 2022 Spotify FOSS Fund [...]

2 месяца, 2 недели назад @ engineering.atspotify.com
Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter
Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter

Introducing Basic Pitch, Spotify’s free open source tool for converting audio into MIDI. Basic Pitch uses machine learning to transcribe the musical notes in a recording. Drop a recording of almost any instrument, including your voice, then get back a MIDI version, just like that. Unlike similar ML models, Basic Pitch is not only versatile [...]

2 месяца, 2 недели назад @ engineering.atspotify.com
The Open Future
The Open Future The Open Future

TL;DR What is the future of open source going to look like? At Spotify, we think it’s important to play an active role in helping to preserve what’s best about the community today while fostering the changes necessary for it to continue to succeed tomorrow. From increasing the impact of the projects we open source, [...]

2 месяца, 2 недели назад @ engineering.atspotify.com
Failing Forward — How We Grow from Incidents
Failing Forward — How We Grow from Incidents Failing Forward — How We Grow from Incidents

This past year, a few of us who focus on the reliability of Spotify for Artists (S4A) spent some time taking a look at the collection of incidents directly affecting S4A in 2021. We made some hypotheses, and then went to work analyzing each one to build a set of quantitative and qualitative metrics. We [...]

3 месяца, 1 неделя назад @ engineering.atspotify.com
Supporting Future Engineers: Spotify’s Partnership with The Marcy Lab School
Supporting Future Engineers: Spotify’s Partnership with The Marcy Lab School Supporting Future Engineers: Spotify’s Partnership with The Marcy Lab School

In September 2020, we had the exciting opportunity to partner with The Marcy Lab School with the hopes of creating opportunities for Fellows to: (1) interact with Spotify employees (2) receive training in how to navigate the technical interview process at Spotify and beyond, and (3) become well-versed in the Spotify Internship and Fellowship application [...]

3 месяца, 2 недели назад @ engineering.atspotify.com
Spotify Live: From Live to Recording
Spotify Live: From Live to Recording Spotify Live: From Live to Recording

Spotify Live (formerly Spotify Greenroom) is a platform that democratizes live audio streams. Creators are able to create rooms and stream live directly to fans who join the room. They can also interact directly with their fans either by text chatting in the app or bringing them up as speakers to interact by voice. But [...]

3 месяца, 3 недели назад @ engineering.atspotify.com
Announcing the Spotify FOSS Fund
Announcing the Spotify FOSS Fund Announcing the Spotify FOSS Fund

TLDR: Spotify is starting a Free and Open Source Software Fund (FOSS Fund) to pay maintainers of independent projects. This new initiative is about giving back to open source developers and is one of the ways we are investing in a more sustainable open source ecosystem for all of us. The fund will start at [...]

3 месяца, 3 недели назад @ engineering.atspotify.com
Spotify’s Player API: Your Toolkit for Controlling Spotify Programmatically
Spotify’s Player API: Your Toolkit for Controlling Spotify Programmatically Spotify’s Player API: Your Toolkit for Controlling Spotify Programmatically

In 2017, we launched the Spotify Connect Web API, a set of tools that developers could use to programmatically start, stop, and manage Spotify audio playback from the web. This post presents an overview of what you can do with the API, now called the Player API, and some background information about how it came [...]

4 месяца назад @ engineering.atspotify.com
Comparing quantiles at scale in online A/B-testing
Comparing quantiles at scale in online A/B-testing Comparing quantiles at scale in online A/B-testing

TL;DR: Using the properties of the Poisson bootstrap algorithm and quantile estimators, we have been able to reduce the computational complexity of Poisson bootstrap difference-in-quantiles confidence intervals enough to unlock bootstrap inference for almost arbitrary large samples. At Spotify, we can now easily calculate bootstrap confidence intervals for difference-in-quantiles in A/B tests with hundreds of [...]

4 месяца, 3 недели назад @ engineering.atspotify.com
Zela Taino: iOS Engineer
Zela Taino: iOS Engineer Zela Taino: iOS Engineer

Tell us more about working on Spotify Wrapped… As Tech Lead for Wrapped, I was in charge of laying out the road map for the mobile and backend engineers – as well as working with the brand, design, creative and localization teams to make sure everything went smoothly from an engineering point of view. With [...]

5 месяцев назад @ engineering.atspotify.com
Introducing Natural Language Search for Podcast Episodes
Introducing Natural Language Search for Podcast Episodes Introducing Natural Language Search for Podcast Episodes

Beyond term-based Search Until recently, Search at Spotify relied mostly on term matching. For example, if you type the query “electric cars climate impact”, Elasticsearch will return search results that contain everything that has each of those query words in its indexed metadata (like in the title of a podcast episode). However, we know users [...]

5 месяцев назад @ engineering.atspotify.com
Why We Switched Our Data Orchestration Service
Why We Switched Our Data Orchestration Service Why We Switched Our Data Orchestration Service

TL;DR Within Spotify, we run 20,000 batch data pipelines defined in 1,000+ repositories, owned by 300+ teams — daily. The majority of our pipelines rely on two tools: Luigi (for the Python folks) and Flo (for the Java folks). In 2019, the data orchestration team at Spotify decided to move away from these tools. In [...]

5 месяцев назад @ engineering.atspotify.com
Incident Report: Spotify Outage on March 8
Incident Report: Spotify Outage on March 8 Incident Report: Spotify Outage on March 8

On March 8, we experienced a global outage triggered by issues in a cloud-hosted service discovery system used at Spotify. We were made aware of issues with login at 18:12 UTC / 13:12 ET and started implementing fixes to critical systems at 18:39 UTC / 13:39 ET. This outage affected our users and we apologize [...]

5 месяцев, 1 неделя назад @ engineering.atspotify.com
Chantal Delfeld: Engineer
Chantal Delfeld: Engineer Chantal Delfeld: Engineer

7:00am My early mornings are spent running about after my children – getting them dressed, giving them breakfast and putting on their sunscreen, so they’re all ready for the day ahead. At 8am, I drive my daughter to preschool, while my mom looks after my one-year-old son – she’s been living with us since the start [...]

5 месяцев, 1 неделя назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост 1 день, 23 часа назад
Data Quality Framework in Snowflake
Data Quality Framework in Snowflake

In a traditional extract, load, and transform (ELT) or data warehouse solution, you need to ingest data into your staging area from various sources and prep the data before it can be processed further by downstream applications. If data quality is overlooked, data warehouse users will have inaccurate and incomplete data on their hands. This […]

The post Data Quality Framework in Snowflake appeared first on Snowflake.

1 день, 23 часа назад @ snowflake.com
The World of Data Collaboration for the Climate
The World of Data Collaboration for the Climate

Some say that sustainable business has gone mainstream. But others point to the classic “knowing-doing gap” as it applies to sustainability. There is a difference between goals and reports, on the one hand, and operations and results, on the other. The topic is vast and the stakes are high. But, the good news is that […]

The post The World of Data Collaboration for the Climate appeared first on Snowflake.

5 дней, 17 часов назад @ snowflake.com
Giving Back to the Community: Discover What It Takes to Be a Snowflake Data Superhero with Rajiv Gupta
Giving Back to the Community: Discover What It Takes to Be a Snowflake Data Superhero with Rajiv Gupta

With thousands of contributors, Snowflake’s Community is one of the platform’s best help and training resources. We spoke to the Community’s top-ranked contributor and experienced Data Superhero, Rajiv Gupta, to find out what drives his dedication. The Snowflake Community offers highly accessible training and resources that no amount of documentation can provide. Why? Because behind […]

The post Giving Back to the Community: Discover What It Takes to Be a Snowflake Data Superhero with Rajiv Gupta appeared first on Snowflake.

5 дней, 21 час назад @ snowflake.com
How Northmill Works with Snowflake to Deliver an Outstanding Customer Experience
How Northmill Works with Snowflake to Deliver an Outstanding Customer Experience

Bridging the gap between traditional and digital banking With traditional banks’ popularity holding firm despite record physical branch closures, neobanks have a lot to prove. We caught up with Data Engineer Zlatko Jankovic, and Head of Communications Oliver Hofmann, to understand how Swedish FinTech Northmill uses data-driven insights to blend the best of traditional, personal […]

The post How Northmill Works with Snowflake to Deliver an Outstanding Customer Experience appeared first on Snowflake.

1 неделя назад @ snowflake.com
Iceberg Tables: Powering Open Standards with Snowflake Innovations
Iceberg Tables: Powering Open Standards with Snowflake Innovations

Snowflake customers implement several different architecture patterns with Snowflake including data lakes, data warehouses, and data meshes. To do this, customers use a mix of Snowflake features, including External Tables, Snowpipe, and Data Sharing among others. We’ve seen the impact these features have, with customers finally able to drive value from data they have been […]

The post Iceberg Tables: Powering Open Standards with Snowflake Innovations appeared first on Snowflake.

1 неделя, 1 день назад @ snowflake.com
Turnkey Replication and Failover
Turnkey Replication and Failover

Data is the lifeblood of businesses. With increasing reliance on the Snowflake Data Cloud to connect data to the people and applications that need it, it’s critical to have a resilient platform to enable continuous global operations. Organizations such as Fidelity and HD Supply who spoke at Summit 2022 shared how they used Snowflake to […]

The post Turnkey Replication and Failover appeared first on Snowflake.

1 неделя, 5 дней назад @ snowflake.com
Reactions to Snowflake’s New Cybersecurity Workload
Reactions to Snowflake’s New Cybersecurity Workload

Snowflake recently announced its newest data workload, Cybersecurity, at our annual user conference Snowflake Summit. Nearly 9,000 customers, partners, prospects, and analysts packed Caesar’s Forum in Las Vegas to hear what new advancements Snowflake and our partners brought to The Data Cloud. Cybersecurity professionals, other data leaders, and industry experts were curious to learn how […]

The post Reactions to Snowflake’s New Cybersecurity Workload appeared first on Snowflake.

1 неделя, 6 дней назад @ snowflake.com
Updated SnowPro Core Certification Announcement—What to Expect
Updated SnowPro Core Certification Announcement—What to Expect

The SnowPro Core Certification demonstrates an individual’s knowledge to apply core expertise implementing and migrating to Snowflake. This certification validates a candidate’s understanding of Snowflake and how it can be used to drive business objectives. The SnowPro Core Certification has been generally available to all customers since September 2019. Snowflake continues to evolve as new […]

The post Updated SnowPro Core Certification Announcement—What to Expect appeared first on Snowflake.

2 недели, 1 день назад @ snowflake.com
The Data Cloud Is Your Most Powerful Marketing Tool
The Data Cloud Is Your Most Powerful Marketing Tool

Through data activation, modern organizations are able to unleash the power of the Snowflake Data Cloud, enabling marketers to deliver best-in-class customer experiences. Historically, the data warehouse has been the final resting point for customer data, serving as an analytics source-of-truth for data teams to run complex SQL analyses against in order to answer the […]

The post The Data Cloud Is Your Most Powerful Marketing Tool appeared first on Snowflake.

2 недели, 5 дней назад @ snowflake.com
How to Prepare Your Organization for the Next Cyber Headline Event
How to Prepare Your Organization for the Next Cyber Headline Event

Major cyber attacks such as Solarwinds, and vulnerabilities such as Log4J and Log4Shell, make press headlines more frequently than ever. These headline cyber attacks cause a frenzy within many organizations, causing an organization’s CEO and the board members to ask “How does this affect us?” and “What are we doing about it?” The reality is […]

The post How to Prepare Your Organization for the Next Cyber Headline Event appeared first on Snowflake.

2 недели, 6 дней назад @ snowflake.com
Snowflake’s New Engine and Platform Announcements
Snowflake’s New Engine and Platform Announcements

Snowflake’s Data Cloud is powered by a single engine. From day 1, we have been focusing on consistently evolving and improving this engine to allow existing workloads to run more efficiently and enable new workloads to run on Snowflake. The single engine approach translates into a single experience—from one consistent pricing model to an integrated […]

The post Snowflake’s New Engine and Platform Announcements appeared first on Snowflake.

3 недели назад @ snowflake.com
A NEW WORLD OF DATA COLLABORATION AT SNOWFLAKE SUMMIT
A NEW WORLD OF DATA COLLABORATION AT SNOWFLAKE SUMMIT

Did you hear about the massive snowstorm that hit Las Vegas this summer? That’s right—the Snowflake Summit 2022 came to town in late June, and nearly 9,000 customers and partners joined us to hear about Snowflake’s latest product enhancements and the value delivered to customers and partners. What a week it was! With the theme […]

The post A NEW WORLD OF DATA COLLABORATION AT SNOWFLAKE SUMMIT appeared first on Snowflake.

3 недели назад @ snowflake.com
How to Easily Load and Query XML Data with Snowflake (Part 2)
How to Easily Load and Query XML Data with Snowflake (Part 2)

PLEASE NOTE: This post was originally published in July 2018. It has been updated to reflect currently available products, features, and functionality. This blog post is part 2 in our 2-part series on how to easily query XML with Snowflake SQL. Picking up where we left off with Part 1, once you have the XML […]

The post How to Easily Load and Query XML Data with Snowflake (Part 2) appeared first on Snowflake.

3 недели, 1 день назад @ snowflake.com
All Your Snowflake Data Clean Room Questions Answered
All Your Snowflake Data Clean Room Questions Answered

Diverse data delivers richer experiences for customers. Layers of data—of all sizes and kinds—provide insights into customers’ profiles and preferences and how best to serve them. Traditionally bringing all that data together has been challenging, as it required copying and moving it across systems. All that required effort, and raised concerns about the ability to […]

The post All Your Snowflake Data Clean Room Questions Answered appeared first on Snowflake.

3 недели, 1 день назад @ snowflake.com
Moving Healthcare Toward True Equality
Moving Healthcare Toward True Equality

Behind every datum is a real person’s life: moving medicine toward equity The fiction that technology can, in and of itself, cure societal problems has been proven again and again to be nonsense. But it arises (like the phoenix or a zombie, depending on how charitable you care to be) with each new technological innovation. […]

The post Moving Healthcare Toward True Equality appeared first on Snowflake.

3 недели, 6 дней назад @ snowflake.com
Cloudera Cloudera
последний пост 1 неделя, 1 день назад
How to Use Apache Iceberg in CDP’s Open Lakehouse
How to Use Apache Iceberg in CDP’s Open Lakehouse

In June 2022, Cloudera announced the general availability of Apache Iceberg in the Cloudera Data Platform (CDP). Iceberg is a 100% open-table format, developed through the Apache Software Foundation, which helps users avoid vendor lock-in and implement an open lakehouse. The general availability covers Iceberg running within some of the key data services in CDP, […]

The post How to Use Apache Iceberg in CDP’s Open Lakehouse appeared first on Cloudera Blog.

1 неделя, 1 день назад @ blog.cloudera.com
Applying Fine Grained Security to Apache Spark
Applying Fine Grained Security to Apache Spark

Fine grained access control (FGAC) with Spark Apache Spark with its rich data APIs has been the processing engine of choice in a wide range of applications from data engineering to machine learning, but its security integration has been a pain point.t Many enterprise customers needi finer granularity of control, in particular at the […]

The post Applying Fine Grained Security to Apache Spark appeared first on Cloudera Blog.

2 недели назад @ blog.cloudera.com
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform

Cloudera Technology Spotlight

The post Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

1 месяц, 2 недели назад @ blog.cloudera.com
The Future of the Data Lakehouse – Open
The Future of the Data Lakehouse – Open

Cloudera customers run some of the biggest data lakes on earth. These lakes power mission critical large scale data analytics, business intelligence (BI), and machine learning use cases, including enterprise data warehouses. In recent years, the term “data lakehouse” was coined to describe this architectural pattern of tabular analytics over data in the data lake. […]

The post The Future of the Data Lakehouse – Open appeared first on Cloudera Blog.

2 месяца назад @ blog.cloudera.com
Optimizing Hive on Tez Performance
Optimizing Hive on Tez Performance

A guide to tune and troubleshoot performance of the Hive on Tez after upgrading to CDP

The post Optimizing Hive on Tez Performance appeared first on Cloudera Blog.

3 месяца, 1 неделя назад @ blog.cloudera.com
From the Ground Up: The Truth About Data Innovation
From the Ground Up: The Truth About Data Innovation

Data holds incredible untapped potential for Australian organisations across industries, regardless of individual business goals, and all organisations are at different points in their data transformation journey with some achieving success faster than others. To be successful, the use of data insights must become a central lifeforce throughout an organisation and not just reside within […]

The post From the Ground Up: The Truth About Data Innovation appeared first on Cloudera Blog.

4 месяца назад @ blog.cloudera.com
5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP)
5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP)

Please join us on March 24 for Future of Data meetup where we do a deep dive into Iceberg with CDP What is Apache Iceberg? Apache Iceberg is a high-performance, open table format, born-in-the cloud that scales to petabytes independent of the underlying storage layer and the access engine layer. By being a truly open […]

The post 5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP) appeared first on Cloudera Blog.

4 месяца, 3 недели назад @ blog.cloudera.com
Introducing Apache Iceberg in Cloudera Data Platform
Introducing Apache Iceberg in Cloudera Data Platform

Over the past decade, the successful deployment of large scale data platforms at our customers has acted as a big data flywheel driving demand to bring in even more data, apply more sophisticated analytics, and on-board many new data practitioners from business analysts to data scientists. This unprecedented level of big data workloads hasn’t come […]

The post Introducing Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

5 месяцев, 3 недели назад @ blog.cloudera.com
Make the leap to Hybrid with Cloudera Data Engineering
Make the leap to Hybrid with Cloudera Data Engineering

Introducing Cloudera Data Engineering in CDP Private Cloud 1.3

The post Make the leap to Hybrid with Cloudera Data Engineering appeared first on Cloudera Blog.

6 месяцев назад @ blog.cloudera.com
Cloudera Data Engineering 2021 Year End Review
Cloudera Data Engineering 2021 Year End Review

Since the release of Cloudera Data Engineering (CDE) more than a year ago, our number one goal was operationalizing Spark pipelines at scale with first class tooling designed to streamline automation and observability. In working with thousands of customers deploying Spark applications, we saw significant challenges with managing Spark as well as automating, delivering, […]

The post Cloudera Data Engineering 2021 Year End Review appeared first on Cloudera Blog.

7 месяцев, 4 недели назад @ blog.cloudera.com
The Rise of Unstructured Data
The Rise of Unstructured Data

Challenges and Opportunities Data Presents to AI

The post The Rise of Unstructured Data appeared first on Cloudera Blog.

9 месяцев назад @ blog.cloudera.com
The Ultimate Map to finding Halloween candy surplus
The Ultimate Map to finding Halloween candy surplus

How to use data visualization to avoid bad candy hot spots and maximize supply and demand imbalances

The post The Ultimate Map to finding Halloween candy surplus appeared first on Cloudera Blog.

9 месяцев, 3 недели назад @ blog.cloudera.com
Smart Data
последний пост 1 день, 20 часов назад
Key Reasons Businesses Are Embracing AI
Key Reasons Businesses Are Embracing AI

Businesses are evolving and searching for newer ways to accomplish their goals, hence the need for artificial intelligence (AI). AI involves building smart machines to carry out tasks that typically need human intelligence, and AI simulates human intelligence using computer systems. The two major AI types used in businesses today are reactive machines and limited […]

The post Key Reasons Businesses Are Embracing AI appeared first on SmartData Collective.

1 день, 20 часов назад @ smartdatacollective.com
Using Data Analytics to Optimize Your Cash Collection Approach
Using Data Analytics to Optimize Your Cash Collection Approach

Data analytics technology has become very important for helping companies manage their financial strategies. Companies are projected to spend nearly $12 billion on financial analytics services by 2028. There are many great benefits of using data analytics to improve financial management strategies. Many investors are using data analytics to invest in stocks. Insurance companies are […]

The post Using Data Analytics to Optimize Your Cash Collection Approach appeared first on SmartData Collective.

5 дней, 19 часов назад @ smartdatacollective.com
The Future of AI: High Quality, Human Powered Data
The Future of AI: High Quality, Human Powered Data

Artificial Intelligence (AI) has significantly altered how work is done. However, AI even has a bigger impact by enhancing human capabilities. Research conducted by the Harvard Business Review found that the interaction between machines and humans significantly improves firms’ performance. Successful collaboration between humans and machines enhances each other’s strengths, including teamwork, leadership, creativity, speed, […]

The post The Future of AI: High Quality, Human Powered Data appeared first on SmartData Collective.

5 дней, 20 часов назад @ smartdatacollective.com
AI Technology Helps Facilitate Bitcoin Trading in Djibouti
AI Technology Helps Facilitate Bitcoin Trading in Djibouti

We previously mentioned that AI has helped make bitcoin mining more popular in the UK. However, developing economies also benefit from AI as they invest more in cryptocurrencies. Djibouti is a country in Africa that is starting to become more dependent on artificial intelligence technology. A 2018 report by UNESCO shows that AI technology is […]

The post AI Technology Helps Facilitate Bitcoin Trading in Djibouti appeared first on SmartData Collective.

1 неделя назад @ smartdatacollective.com
5 AI-Powered Plugins For Your Website
5 AI-Powered Plugins For Your Website

Slightly more than a decade ago, artificial intelligence (AI) was famously used in the manufacturing industry through robots. You could use these robots in warehouses to ease product handling. However, AI and related machine learning have extended to the online space. If you’ve been monitoring your eCommerce shop using human agents, you’ll likely get overwhelmed […]

The post 5 AI-Powered Plugins For Your Website appeared first on SmartData Collective.

1 неделя, 1 день назад @ smartdatacollective.com
AI Advances Improve Collaboration of Project Management Tools
AI Advances Improve Collaboration of Project Management Tools

Around the turn of the century, most people were skeptical of the impact that artificial intelligence would have on the future workplace. Many people believed that AI technology would be a footnote in modern business practices. A 1987 article by Harvard Business Review suggested that most of the bold claims about AI would probably never […]

The post AI Advances Improve Collaboration of Project Management Tools appeared first on SmartData Collective.

1 неделя, 1 день назад @ smartdatacollective.com
How a Danish Bitcoin Trader Discovered the Wonders of Analytics
How a Danish Bitcoin Trader Discovered the Wonders of Analytics

We have talked at length about the benefits of analytics in the financial sector. Global companies are projected to spend nearly $5.9 billion on financial analytics technology this year. Most of the discussions about the role of data analytics in finance have centered around traditional financial businesses, such as insurance, mutual funds, money management and […]

The post How a Danish Bitcoin Trader Discovered the Wonders of Analytics appeared first on SmartData Collective.

1 неделя, 2 дня назад @ smartdatacollective.com
How AI Software is Changing the Future of the Automotive Industry
How AI Software is Changing the Future of the Automotive Industry

Artificial intelligence technology is changing the future of many industries. Global companies spent over $328 billion on AI last year. This figure is expected to grow as more companies recognize the potential and decide to increase the resources they dedicate to machine learning and predictive analytics tools. The automotive industry is among those investing in […]

The post How AI Software is Changing the Future of the Automotive Industry appeared first on SmartData Collective.

2 недели назад @ smartdatacollective.com
Algorithmic Trading Communities Show the Benefits of AI
Algorithmic Trading Communities Show the Benefits of AI

Artificial intelligence has led to some pivotal changes in the financial sector. Fintech companies are projected to spend over $12 billion on AI this year. A growing number of traders are taking advantage of AI technology to make more informed trading decisions. AI technology has actually changed stock market investing as we know it. There […]

The post Algorithmic Trading Communities Show the Benefits of AI appeared first on SmartData Collective.

2 недели, 1 день назад @ smartdatacollective.com
Predictive Analytics Improves Trading Decisions as Euro Rebounds
Predictive Analytics Improves Trading Decisions as Euro Rebounds

Modern investors have a difficult time retaining a competitive edge without having the latest technology at their fingertips. Predictive analytics technology has become essential for traders looking to find the best investing opportunities. Predictive analytics tools can be particularly valuable during periods of economic uncertainty. Traders can have even more difficulty identifying the best investing […]

The post Predictive Analytics Improves Trading Decisions as Euro Rebounds appeared first on SmartData Collective.

2 недели, 2 дня назад @ smartdatacollective.com
Can Predictive Analytics Help Traders Navigate Bitcoin’s Volatility?
Can Predictive Analytics Help Traders Navigate Bitcoin’s Volatility?

Bitcoin has experienced tremendous price volatility in recent months. Traders are struggling to make sense of these patterns. Fortunately, new predictive analytics algorithms can make this easier. The financial industry is becoming more dependent on machine learning technology with each passing day. Last summer, a report by Deloitte showed that more CFOs are using predictive […]

The post Can Predictive Analytics Help Traders Navigate Bitcoin’s Volatility? appeared first on SmartData Collective.

2 недели, 5 дней назад @ smartdatacollective.com
5 Vital Business Intelligence Tips All Companies Should Embrace
5 Vital Business Intelligence Tips All Companies Should Embrace

Business intelligence is an integral part of any business strategy. It helps to turn your data or objectives into something meaningful. Business intelligence software can integrate information and present it in dashboards, reports, or graphs. Sixty-four percent of BI users have felt it was very helpful. It is also essential for a business to have […]

The post 5 Vital Business Intelligence Tips All Companies Should Embrace appeared first on SmartData Collective.

3 недели, 1 день назад @ smartdatacollective.com
AI-Driven SEO is Becoming Essential for Modern Marketing
AI-Driven SEO is Becoming Essential for Modern Marketing

Artificial intelligence is one of the most disruptive forms of technology shaping the marketing profession since the dawn of the Internet. Here are some statistics on the importance of AI in marketing: 48% of marketers feel AI makes a greater difference than anything else in affecting their relationship with customers 51% of e-commerce companies use […]

The post AI-Driven SEO is Becoming Essential for Modern Marketing appeared first on SmartData Collective.

3 недели, 6 дней назад @ smartdatacollective.com
AI Technology Offers Time Management Benefits in the Workplace
AI Technology Offers Time Management Benefits in the Workplace

AI technology has become incredibly helpful for companies trying to boost productivity. There are a lot of invaluable applications that use AI to bolster efficiency, lower costs and help companies improve the quality of their products and services. According to research from Oberlo, 91% of businesses have invested in AI technology to achieve these benefits. […]

The post AI Technology Offers Time Management Benefits in the Workplace appeared first on SmartData Collective.

4 недели назад @ smartdatacollective.com
HR Analytics is the Basis of New Workforce Management Software
HR Analytics is the Basis of New Workforce Management Software

Data analytics technology has helped many employers boost productivity and increase employee morale. Markets and Markets projects that companies around the world will spend over $3.6 billion on HR analytics by 2024. The sudden interest in data analytics in the human resource management profession are obvious. McKinsey has an entire study published on the merits […]

The post HR Analytics is the Basis of New Workforce Management Software appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Knoldus
последний пост 1 неделя, 1 день назад
Liferay: Install and Setup Local DXP Instance on Windows
Liferay: Install and Setup Local DXP Instance on Windows

Reading Time: 3 minutes Prerequisites Liferay Basics- A rough idea about Liferay just to get started. If you’re a complete beginner please go through our Liferay Basics blog. Java – Java JDK 8+ is mandatory and the JAVA_HOME path should be set. Downloads Please visit this link to download the Liferay DXP Bundle. For this, you must have a Liferay account, if not please create one and log in Continue Reading

The post Liferay: Install and Setup Local DXP Instance on Windows appeared first on Knoldus Blogs.

1 неделя, 1 день назад @ blog.knoldus.com
Introduction to the Cypress Project Structure
Introduction to the Cypress Project Structure

Reading Time: 4 minutes Hi Folks,In this blog, we talk about the Cypress Project structure that is fundamentally and architecturally different from other test automation frameworks.We use this folder to store data objects or external pieces of static data that we use throughout the tests Cypress Folder Structure Let’s understand the folder structure in cypress project, it defines entire architecture and the workflow of whole system If we know Continue Reading

The post Introduction to the Cypress Project Structure appeared first on Knoldus Blogs.

1 неделя, 1 день назад @ blog.knoldus.com
What Are Transformers In NLP And It’s Advantages
What Are Transformers In NLP And It’s Advantages

Reading Time: 4 minutes NLP’s Transformer is a new architecture that aims to solve tasks sequence-to-sequence while easily handling long-distance dependencies. Computing the input and output representations without using sequence-aligned RNNs or convolutions and it relies entirely on self-attention. Lets look in detail what are transformers. The Basic Architecture In general, the Transformer model is based on the encoder-decoder architecture. The encoder is the gray rectangle on the left Continue Reading

The post What Are Transformers In NLP And It’s Advantages appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
Understanding the Rasa NLU Pipeline
Understanding the Rasa NLU Pipeline

Reading Time: 4 minutes Rasa is an open source machine learning framework for automated text and voice-based conversations. Understand messages, hold conversations, and connect to messaging channels and APIs.Today in this blog we are covering the NLU pipeline of Rasa. The goal of this guide is to explain the role components play in the Rasa NLU pipeline, and also to explain how they interact with each other. The NLU Continue Reading

The post Understanding the Rasa NLU Pipeline appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
Big Query DML Statements Technique: A small Guide
Big Query DML Statements Technique: A small Guide

Reading Time: 3 minutes In this blog we are going to learn about some of the key Big Query DML statements. Data plays an integral part in any organisation. With the data-driven nature of modern organisations, almost all businesses and their technological decisions are based on the available data. Let’s assume that we have an application distributed across multiple servers in different regions of a cloud service provider, and Continue Reading

The post Big Query DML Statements Technique: A small Guide appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
Best Approach For Resume screening by Machine Learning-Part 1
Best Approach For Resume screening by Machine Learning-Part 1

Reading Time: 3 minutes Introduction Resume screening is the process of determining whether a candidate is qualified for a role based on his or her education, experience, and other information captured on their resume. It’s a form of pattern matching between a job’s requirements and the qualifications of a candidate based on their resume. The goal of screening resumes is to decide whether to move a candidate forward – Continue Reading

The post Best Approach For Resume screening by Machine Learning-Part 1 appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
All You Need To Know About Decision Tree Algorithm
All You Need To Know About Decision Tree Algorithm

Reading Time: 5 minutes In this blog, we are going to discuss Decision Tree algorithm, a supervised algorithm which can be used to solve both regression and as well as classification problem too. A classification algorithm, in general, is a function that weighs the input features so that the output separates one class into positive values and the other into negative values. Introduction to Decision Tree Algorithm A decision tree Continue Reading

The post All You Need To Know About Decision Tree Algorithm appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
How to differentiate between Product Owner and Business Analyst Role?
How to differentiate between Product Owner and Business Analyst Role?

Reading Time: 3 minutes Roles of Product Owner and Business Analyst: Product owner and the Business analyst are the two key players in requirements gathering from the stake holders and analysis process. Role of a Product Owner: Basic intent of a product owner is to represent the customer to the development team. The key responsibility of the product owner is to manage and give the visibility to the product Continue Reading

The post How to differentiate between Product Owner and Business Analyst Role? appeared first on Knoldus Blogs.

1 неделя, 6 дней назад @ blog.knoldus.com
Introduction to Apache Camel in 5 mins
Introduction to Apache Camel in 5 mins

Reading Time: 3 minutes Apache Camel is a rule-based routing and mediation engine that provide Java object-based implementation of the Enterprise Integration Patterns using an API (or declarative Java Domain Specific Language) to configure routing and mediation rules. Enterprise Integrations are Complex as Enterprises have hundreds of applications as: complex communication pattern variety of transport such as HTTP, Queue, etc, variety of protocols such as HTTP, JMS, AMQP The Evolution Continue Reading

The post Introduction to Apache Camel in 5 mins appeared first on Knoldus Blogs.

1 неделя, 6 дней назад @ blog.knoldus.com
How to install MarkLogic in Ubuntu and start MarkLogic Server
How to install MarkLogic in Ubuntu and start MarkLogic Server

Reading Time: 3 minutes Install MarkLogic(10.0-9.4) in Ubuntu 20.04.4 : Mark-Logic Server is an Enterprise NoSQL database. It is a document-centric, transactional, search-centric, structure-aware, schema-agnostic, XQuery- and JavaScript-driven, high-performance, clustered, database server. It is an enterprise-class NoSQL database that includes a REST-enabled full-text search feature. You can use it to store, search, and query massive amounts of data and represent documents having various formats. It also exposes its core Continue Reading

The post How to install MarkLogic in Ubuntu and start MarkLogic Server appeared first on Knoldus Blogs.

1 неделя, 6 дней назад @ blog.knoldus.com
Tips to write User stories
Tips to write User stories

Reading Time: 4 minutes Before starting on tips to write user stories, let’s first understand what a User Story, who owns the User Story, the elements of the User Story, etc is. What is a User Story? A user story is the lowest unit of work in an Agile frame. It’s an end aim, not a point, expressed from the software user’s perspective. A user story is an informal, Continue Reading

The post Tips to write User stories appeared first on Knoldus Blogs.

1 неделя, 6 дней назад @ blog.knoldus.com
Music Genre Classification: Identification Of The Audio
Music Genre Classification: Identification Of The Audio

Reading Time: 4 minutes In this blog, we will discuss and build a music genre classification model to predict the genre/label of the music/song. Music Genre Classification Today we will build a Tensorflow sequential model to automatically classify different musical genres from the given input audio files. Dataset To train our ml classifier model to predict the audio’s genre/label, we will use the GTZAN Dataset.You can download the dataset Continue Reading

The post Music Genre Classification: Identification Of The Audio appeared first on Knoldus Blogs.

1 месяц, 3 недели назад @ blog.knoldus.com
A Simple Guide to Data Preprocessing in Machine Learning
A Simple Guide to Data Preprocessing in Machine Learning

Reading Time: 5 minutes Machine learning algorithms are completely data-dependent as they are the most important aspect of enabling model training. On the other hand, if you don’t understand this data before feeding it to the ML algorithm, the machine becomes useless. Simply put, you always need to provide the right data due to that preparing data in machine learning with the appropriate scale, format, and meaningful attributes for Continue Reading

The post A Simple Guide to Data Preprocessing in Machine Learning appeared first on Knoldus Blogs.

1 месяц, 3 недели назад @ blog.knoldus.com
A Complete Guide To Recurrent Neural Network
A Complete Guide To Recurrent Neural Network

Reading Time: 5 minutes Recurrent neural networks are a type of deep learning-oriented algorithm that follows a sequential approach. Neural networks always assume that each input and output is independent of all other layers. This type of neural network is recurrent neural network because it performs mathematical calculations in a sequence. Neural networks imitate the function of the human brain in the fields of AI, machine learning, and deep Continue Reading

The post A Complete Guide To Recurrent Neural Network appeared first on Knoldus Blogs.

1 месяц, 3 недели назад @ blog.knoldus.com
Complete Guide to Single Layer Perceptron with Implementation
Complete Guide to Single Layer Perceptron with Implementation

Reading Time: 4 minutes To understand the single-layer perceptron, it is important to understand the artificial neural network (ANN). An artificial neural network is an information processing system whose mechanism is inspired by the function of biological neural circuits. Artificial neural networks have many interconnected computing units. The schematic diagram of the artificial neural network is as follows. This figure shows that the hidden entity is communicating with the Continue Reading

The post Complete Guide to Single Layer Perceptron with Implementation appeared first on Knoldus Blogs.

1 месяц, 3 недели назад @ blog.knoldus.com
We Cloud Data We Cloud Data
последний пост None
Learn Data Engineering Learn Data Engineering
последний пост None
SCRIBD
последний пост 3 недели, 6 дней назад
Data and AI Summit Wrap-up
Data and AI Summit Wrap-up Data and AI Summit Wrap-up

We brought a whole team to San Francisco to present and attend this year’s Data and

AI Summit, and it was a blast! I

would consider the event a success both in the attendance to the Scribd hosted

talks and the number of talks which discussed patterns we have adopted in our

own data and ML platform.

The three talks I wrote about

previously were well received and have

since been posted to YouTube along with hundreds of other talks. Christian Williams shared some of the

work he has done developing

kafka-delta-ingest in his talk: QP Hou, Scribd Emeritus, presented on

his foundational work to ensure correctness within delta-rs during his session: R Tyler Croy co-presented with Gavin

Edgley from …

3 недели, 6 дней назад @ tech.scribd.com
Databricks Serverless
Databricks Serverless

layout: post

title: “Accelerating Looker with Databricks SQL Serverless”

tags: looker

databricks

featured

team: Core Platform

author: hamiltonh

—- We recently migrated Looker to a Databricks SQL Serverless, improving our

infrastructure cost and reducing the footprint of infrastructure we need to

worry about! “Databricks SQL” which provides a single load balanced Endpoint

for executing Spark SQL queries across multiple Spark clusters behind the

scenes. “Serverless” is an evolution of that concept, rather than running a SQL

Endpoint in our AWS infrastructure, the entirety of execution happens on the

Databricks side. With a much simpler and faster interface, queries executed in

Looker now retu…

1 месяц, 2 недели назад @ tech.scribd.com
Scribd is presenting at Data and AI Summit 2022
Scribd is presenting at Data and AI Summit 2022

We are very excited to be presenting and attending this year’s Data and AI

Summit which will be

hosted virtually and physically in San Francisco from June 27th-30th.

Throughout the course of 2021 we completed a number of really interesting

projects built around delta-rs and the

Databricks platform which we are thrilled to share with a broader audience.

In addition to the presentations listed below, a number of Scribd engineers who

are responsible for data and ML platform, machine learning systems, and more,

will be in attendance if you want to meet up and learn more about how Scribd

uses data and ML to change the way the world reads! Christian Williams will be sharing some of the

work he ha…

3 месяца, 3 недели назад @ tech.scribd.com
Data Quest
последний пост 5 дней, 5 часов назад
Why Learn SQL in 2022 (Analyzing Real Job Data)
Why Learn SQL in 2022 (Analyzing Real Job Data)

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

5 дней, 5 часов назад @ dataquest.io
How to Become a Data Scientist (Step-by-Step) in 2022
How to Become a Data Scientist (Step-by-Step) in 2022

Data scientists are in extreme demand, and for good reason — data scientists are doing everything from creating self-driving cars to automatically captioning images. If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, […]

6 дней, 5 часов назад @ dataquest.io
The Business Analyst Job Description (2022 Version)
The Business Analyst Job Description (2022 Version)

Without great insights, a business cannot succeed. Period. That’s where business analysis comes in. Business analysts help organizations determine which strategies do and don’t work. The BA is responsible for assessing business needs and making recommendations to improve operations. Although the purpose of this job is quite clear, it can be tricky to pin down […]

2 недели, 6 дней назад @ dataquest.io
Python Certification: Is It Worth It in 2022?
Python Certification: Is It Worth It in 2022?

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

1 месяц назад @ dataquest.io
Python vs. Anaconda Programming — What’s the Difference?
Python vs. Anaconda Programming — What’s the Difference?

Python is a programming language — Anaconda is a bundle of Python, other languages, and data science tools. Here’s what you need to know about the two. Python is a multi-purpose programming language that is used universally, from machine learning to website building. It uses pip (a reverse acronym for "Pip Installs Packages" or "Pip […]

1 месяц, 1 неделя назад @ dataquest.io
11 High-Paying Data Analytics Jobs (July 2022)
11 High-Paying Data Analytics Jobs (July 2022)

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

1 месяц, 2 недели назад @ dataquest.io
8 Vital Data Analyst Skills Employers Need to See
8 Vital Data Analyst Skills Employers Need to See

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

1 месяц, 3 недели назад @ dataquest.io
The Business Analyst Job Outlook in 2022
The Business Analyst Job Outlook in 2022

Business analysts are increasingly in demand as organizations turn to data to make key decisions. These job growth predictions prove it. The future isn’t set in stone, but job outlook analysts try to predict it anyway. To that end, various sources report good, if not tremendous, growth in business analysis. That also includes adjacent positions […]

1 месяц, 3 недели назад @ dataquest.io
25 Must-Know Power BI Interview Questions and Answers (2022)
25 Must-Know Power BI Interview Questions and Answers (2022)

Power BI Interview Questions: Beginner Level Let’s start with the most basic questions. Simple as they may seem to you, it’s always a good idea to be prepared with a confident, comprehensive, and concise answer for each of them. 1. What is Power BI? Power BI is a cloud-based business intelligence and data visualization software […]

3 месяца, 3 недели назад @ dataquest.io
Data Science Certificates in 2022 (Are They Worth It?)
Data Science Certificates in 2022 (Are They Worth It?)

What certificate should I get for data science? We interviewed data science recruiters about job applications and none of them cared about certificates.

3 месяца, 3 недели назад @ dataquest.io
A CEO Explains How to Learn Power BI (Step-By-Step) in 2022
A CEO Explains How to Learn Power BI (Step-By-Step) in 2022

Why learn Power BI? Microsoft Power BI is one of the most widely used data tools on the planet. 50,000 companies worldwide use Power BI to clean, transform, model, and visualize their data. Power BI usage has been growing quickly, with over 80,000 open jobs on LinkedIn. Most business analysts and data analysts use Power […]

4 месяца, 1 неделя назад @ dataquest.io
How to Write a Great Data Science Resume
How to Write a Great Data Science Resume

How can you get a data science job? It all starts with a great resume: one that frames your data analysis and data science projects in the right way.

6 месяцев, 1 неделя назад @ dataquest.io
How to Use Dataquest to Achieve Your Learning Goals
How to Use Dataquest to Achieve Your Learning Goals

Before the COVID-19 pandemic, the amount of data being produced — and collected — on a daily basis was growing at an accelerated rate. This led to an increase in demand for data scientists all around the world. With the increase in demand came the need for specialized course offerings that could teach the right […]

9 месяцев назад @ dataquest.io
Data Science Competitions You Should Participate In
Data Science Competitions You Should Participate In

It’s no secret that data professionals spend a lot of time studying theory and later practicing what they learned on their own. Because of the nature of the job, being able to demonstrate your ability to solve problems is crucial when hunting for a data science job. Data science competitions are one of the best […]

9 месяцев назад @ dataquest.io
How to Get Real-World Data Science Experience
How to Get Real-World Data Science Experience

For many up-and-coming data professionals, landing your first “real” data science job can feel like a bit of a “Catch 22.” You can’t get hired without a certain amount of professional data science experience, but you can’t get the experience without getting hired. While it may seem unreasonable for employers to expect you to have […]

9 месяцев, 3 недели назад @ dataquest.io
Infrastructure
AWS
последний пост 50 минут назад
Best practices to deploy Amazon Aurora databases with AWS CloudFormation
Best practices to deploy Amazon Aurora databases with AWS CloudFormation

Many organizations prefer infrastructure as code (IaC) for provisioning and maintaining IT infrastructure. With IaC, you can replicate DevOps practices for application code such as storing the infrastructure code in a source control system, automated testing, and automated deployment through a continuous integration and continuous delivery (CI/CD) pipeline. AWS CloudFormation is an IaC service that […]

50 минут назад @ aws.amazon.com
Announcing the launch of the model copy feature for Amazon Rekognition Custom Labels
Announcing the launch of the model copy feature for Amazon Rekognition Custom Labels

Amazon Rekognition Custom Labels is a fully managed computer vision service that allows developers to build custom models to classify and identify objects in images that are specific and unique to your business. Rekognition Custom Labels doesn’t require you to have any prior computer vision expertise. For example, you can find your logo in social […]

17 часов назад @ aws.amazon.com
Cloud-based medical imaging reconstruction using deep neural networks
Cloud-based medical imaging reconstruction using deep neural networks

Medical imaging techniques like computed tomography (CT), magnetic resonance imaging (MRI), medical x-ray imaging, ultrasound imaging, and others are commonly used by doctors for various reasons. Some examples include detecting changes in the appearance of organs, tissues, and vessels, and detecting abnormalities such as tumors and various other type of pathologies. Before doctors can use […]

18 часов назад @ aws.amazon.com
Introducing AWS Glue interactive sessions for Jupyter
Introducing AWS Glue interactive sessions for Jupyter

Interactive Sessions for Jupyter is a new notebook interface in the AWS Glue serverless Spark environment. Starting in seconds and automatically stopping compute when idle, interactive sessions provide an on-demand, highly-scalable, serverless Spark backend to Jupyter notebooks and Jupyter-based IDEs such as Jupyter Lab, Microsoft Visual Studio Code, JetBrains PyCharm, and more. Interactive sessions replace […]

19 часов назад @ aws.amazon.com
From centralized architecture to decentralized architecture: How data sharing fine-tunes Amazon Redshift workloads
From centralized architecture to decentralized architecture: How data sharing fine-tunes Amazon Redshift workloads

Amazon Redshift is a fully managed, petabyte-scale, massively parallel data warehouse that offers simple operations and high performance. It makes it fast, simple, and cost-effective to analyze all your data using standard SQL and your existing business intelligence (BI) tools. Today, Amazon Redshift has become the most widely used cloud data warehouse. With the significant […]

22 часа назад @ aws.amazon.com
Configure Hadoop YARN CapacityScheduler on Amazon EMR on Amazon EC2 for multi-tenant heterogeneous workloads
Configure Hadoop YARN CapacityScheduler on Amazon EMR on Amazon EC2 for multi-tenant heterogeneous workloads

Apache Hadoop YARN (Yet Another Resource Negotiator) is a cluster resource manager responsible for assigning computational resources (CPU, memory, I/O), and scheduling and monitoring jobs submitted to a Hadoop cluster. This generic framework allows for effective management of cluster resources for distributed data processing frameworks, such as Apache Spark, Apache MapReduce, and Apache Hive. When […]

22 часа назад @ aws.amazon.com
Single-table vs. multi-table design in Amazon DynamoDB
Single-table vs. multi-table design in Amazon DynamoDB

This is a guest post by Alex DeBrie, an AWS Hero. For people learning about Amazon DynamoDB, the idea of single-table design is one of the most mind-bending concepts out there. Rather than the relational notion of having a table per entity, DynamoDB tables often include multiple different entities in a single table. You can […]

23 часа назад @ aws.amazon.com
Customize your recommendations by promoting specific items using business rules with Amazon Personalize
Customize your recommendations by promoting specific items using business rules with Amazon Personalize

Today, we are excited to announce Promotions feature in Amazon Personalize that allows you to explicitly recommend specific items to your users based on rules that align with your business goals. For instance, you can have marketing partnerships that require you to promote certain brands, in-house content, or categories that you want to improve the […]

1 день, 18 часов назад @ aws.amazon.com
Amazon SageMaker JumpStart solutions now support custom IAM role settings
Amazon SageMaker JumpStart solutions now support custom IAM role settings

Amazon SageMaker JumpStart solutions are a feature within Amazon SageMaker Studio that allow a simple-click experience to set up your own machine learning (ML) workflows. When you launch a solution, various of AWS resources are set up in your account to demonstrate how the business problem can be solved using the pre-built architecture. The solutions […]

1 день, 21 час назад @ aws.amazon.com
Build a resilient Amazon Redshift architecture with automatic recovery enabled
Build a resilient Amazon Redshift architecture with automatic recovery enabled

Amazon Redshift provides resiliency in the event of a single point of failure in a cluster, including automatically detecting and recovering from drive and node failures. The Amazon Redshift relocation feature adds an additional level of availability, and this post is focused on explaining this automatic recovery feature. When the cluster relocation feature is enabled […]

1 день, 21 час назад @ aws.amazon.com
Intelligent document processing with AWS AI services: Part 2
Intelligent document processing with AWS AI services: Part 2

Amazon’s intelligent document processing (IDP) helps you speed up your business decision cycles and reduce costs. Across multiple industries, customers need to process millions of documents per year in the course of their business. For customers who process millions of documents, this is a critical aspect for the end-user experience and a top digital transformation […]

1 день, 22 часа назад @ aws.amazon.com
Intelligent document processing with AWS AI services: Part 1
Intelligent document processing with AWS AI services: Part 1

Organizations across industries such as healthcare, finance and lending, legal, retail, and manufacturing often have to deal with a lot of documents in their day-to-day business processes. These documents contain critical information that are key to making decisions on time in order to maintain the highest levels of customer satisfaction, faster customer onboarding, and lower […]

1 день, 22 часа назад @ aws.amazon.com
Amazon EMR on EKS gets up to 19% performance boost running on AWS Graviton3 Processors vs. Graviton2
Amazon EMR on EKS gets up to 19% performance boost running on AWS Graviton3 Processors vs. Graviton2

Amazon EMR on EKS is a deployment option that enables you to run Spark workloads on Amazon Elastic Kubernetes Service (Amazon EKS) easily. It allows you to innovate faster with the latest Apache Spark on Kubernetes architecture while benefiting from the performance-optimized Spark runtime powered by Amazon EMR. This deployment option elects Amazon EKS as […]

4 дня, 21 час назад @ aws.amazon.com
Introducing DML auditing for Amazon DocumentDB (with MongoDB compatibility)
Introducing DML auditing for Amazon DocumentDB (with MongoDB compatibility)

Amazon DocumentDB (with MongoDB compatibility) is a scalable, highly durable, and fully managed database service for operating mission-critical MongoDB workloads without having to worry about managing the underlying infrastructure. As a document database, Amazon DocumentDB makes it easy to store, query, and index JSON data. Amazon DocumentDB has added support for auditing Data Manipulation Language […]

5 дней, 1 час назад @ aws.amazon.com
AWS Glue Python shell now supports Python 3.9 with a flexible pre-loaded environment and support to install additional libraries
AWS Glue Python shell now supports Python 3.9 with a flexible pre-loaded environment and support to install additional libraries

AWS Glue is the central service of an AWS modern data architecture. It is a serverless data integration service that allows you to discover, prepare, and combine data for analytics and machine learning. AWS Glue offers you a comprehensive range of tools to perform ETL (extract, transform, and load) at the right scale. AWS Glue […]

5 дней, 16 часов назад @ aws.amazon.com
AWS
последний пост 50 минут назад
Build an air quality anomaly detector using Amazon Lookout for Metrics
Build an air quality anomaly detector using Amazon Lookout for Metrics

Today, air pollution is a familiar environmental issue that creates severe respiratory and heart conditions, which pose serious health threats. Acid rain, depletion of the ozone layer, and global warming are also adverse consequences of air pollution. There is a need for intelligent monitoring and automation in order to prevent severe health issues and in […]

5 дней, 19 часов назад @ aws.amazon.com
Build a GNN-based real-time fraud detection solution using Amazon SageMaker, Amazon Neptune, and the Deep Graph Library
Build a GNN-based real-time fraud detection solution using Amazon SageMaker, Amazon Neptune, and the Deep Graph Library

Fraudulent activities severely impact many industries, such as e-commerce, social media, and financial services. Frauds could cause a significant loss for businesses and consumers. American consumers reported losing more than $5.8 billion to frauds in 2021, up more than 70% over 2020. Many techniques have been used to detect fraudsters—rule-based filters, anomaly detection, and machine […]

5 дней, 19 часов назад @ aws.amazon.com
Build a pseudonymization service on AWS to protect sensitive data, part 1
Build a pseudonymization service on AWS to protect sensitive data, part 1

According to an article in MIT Sloan Management Review, 9 out of 10 companies believe their industry will be digitally disrupted. In order to fuel the digital disruption, companies are eager to gather as much data as possible. Given the importance of this new asset, lawmakers are keen to protect the privacy of individuals and […]

5 дней, 19 часов назад @ aws.amazon.com
Use Amazon RDS Proxy to provide access to RDS databases across AWS accounts
Use Amazon RDS Proxy to provide access to RDS databases across AWS accounts

Amazon RDS Proxy is a fully managed, highly available database proxy for Amazon Relational Database Service (Amazon RDS) that makes applications more scalable, more resilient to database failures, and more secure. With RDS Proxy, you can handle unpredictable surges in database traffic that might otherwise cause issues due to oversubscribing connections or creating new connections […]

5 дней, 22 часа назад @ aws.amazon.com
Use computer vision to measure agriculture yield with Amazon Rekognition Custom Labels
Use computer vision to measure agriculture yield with Amazon Rekognition Custom Labels

In the agriculture sector, the problem of identifying and counting the amount of fruit on trees plays an important role in crop estimation. The concept of renting and leasing a tree is becoming popular, where a tree owner leases the tree every year before the harvest based on the estimated fruit yeild. The common practice […]

6 дней, 21 час назад @ aws.amazon.com
Amazon SageMaker Automatic Model Tuning now supports SageMaker Training Instance Fallbacks
Amazon SageMaker Automatic Model Tuning now supports SageMaker Training Instance Fallbacks

Today Amazon SageMaker announced the support of SageMaker training instance fallbacks for Amazon SageMaker Automatic Model Tuning (AMT) that allow users to specify alternative compute resource configurations. SageMaker automatic model tuning finds the best version of a model by running many training jobs on your dataset using the ranges of hyperparameters that you specify for your […]

1 неделя назад @ aws.amazon.com
IPv6 addressing with Amazon RDS
IPv6 addressing with Amazon RDS

We all have our own individual identity in this world. It may be a home address or unique ID card number. But have you ever considered how you are perceived online? Generalizing, have you ever considered how complex or large a system should be to accommodate all unique identifiers around the world, considering devices also […]

1 неделя назад @ aws.amazon.com
Create Amazon SageMaker model building pipelines and deploy R models using RStudio on Amazon SageMaker
Create Amazon SageMaker model building pipelines and deploy R models using RStudio on Amazon SageMaker

In November 2021, in collaboration with RStudio PBC, we announced the general availability of RStudio on Amazon SageMaker, the industry’s first fully managed RStudio Workbench IDE in the cloud. You can now bring your current RStudio license to easily migrate your self-managed RStudio environments to Amazon SageMaker in just a few simple steps. RStudio is […]

1 неделя назад @ aws.amazon.com
How NerdWallet uses AWS and Apache Hudi to build a serverless, real-time analytics platform
How NerdWallet uses AWS and Apache Hudi to build a serverless, real-time analytics platform

This is a guest post by Kevin Chun, Staff Software Engineer in Core Engineering at NerdWallet. NerdWallet’s mission is to provide clarity for all of life’s financial decisions. This covers a diverse set of topics: from choosing the right credit card, to managing your spending, to finding the best personal loan, to refinancing your mortgage. […]

1 неделя назад @ aws.amazon.com
AWS Nitro Enclaves for secure blockchain key management: Part 3
AWS Nitro Enclaves for secure blockchain key management: Part 3

In Part 1 of this series, we gave a high-level introduction to the AWS Nitro System and explained why Nitro is well suited for flexible and secure blockchain key management workloads. In Part 2, we guided you through the steps to configure aspects like AWS Key Management Service (AWS KMS) key policies and how to […]

1 неделя, 1 день назад @ aws.amazon.com
AWS Nitro Enclaves for secure blockchain key management: Part 2
AWS Nitro Enclaves for secure blockchain key management: Part 2

In Part 1 of this series, we provided a high-level introduction to the AWS Nitro System and explained why Nitro is well suited for flexible and secure blockchain key management workloads. In this post, we guide you through the steps to configure aspects like AWS Key Management Service (AWS KMS) key policies and how to […]

1 неделя, 1 день назад @ aws.amazon.com
AWS Nitro Enclaves for secure blockchain key management: Part 1
AWS Nitro Enclaves for secure blockchain key management: Part 1

Public blockchains are used for a variety of use cases, like decentralized finance (DeFi) apps, non-fungible token (NFT) apps, or cross-border payments. Blockchains differ in their protocol and consensus design, implementation language, and smart contract capabilities. Determining how external participants can be incentivized to join a network running their own node is key in economic […]

1 неделя, 1 день назад @ aws.amazon.com
Introducing AWS Glue Flex jobs: Cost savings on ETL workloads
Introducing AWS Glue Flex jobs: Cost savings on ETL workloads

AWS Glue is a serverless data integration service that makes it simple to discover, prepare, and combine data for analytics, machine learning (ML), and application development. You can use AWS Glue to create, run, and monitor data integration and ETL (extract, transform, and load) pipelines and catalog your assets across multiple data stores. Typically, these […]

1 неделя, 1 день назад @ aws.amazon.com
Reduce security risks from IaC drift in multi-Region AWS deployments with Terraform
Reduce security risks from IaC drift in multi-Region AWS deployments with Terraform

Are your infrastructure as code (IaC) Terraform deployments on the Amazon Web Services (AWS) Cloud protected against drift? IaC drift, which can leave your data and resources exposed to security risks, is especially difficult to track down and remove in an environment that spans multiple AWS accounts and AWS Regions. You can do it though, and in this post we show you how.

1 неделя, 1 день назад @ aws.amazon.com
Forwood Safety uses Amazon QuickSight Q to extend life-saving safety analytics to larger audiences
Forwood Safety uses Amazon QuickSight Q to extend life-saving safety analytics to larger audiences

This is a guest post by Faye Crompton from Forwood Safety. Forwood provides fatality prevention solutions to organizations across the globe. At Forwood Safety, we have a laser focus on saving lives. Our solutions, which provide full content and proven methodology via verification tools and analytical capabilities, have one purpose: eliminating fatalities in the workplace. […]

1 неделя, 1 день назад @ aws.amazon.com
DBT — Data Build Tool DBT — Data Build Tool
последний пост 4 месяца назад
A Good Problem to Have…
A Good Problem to Have… A Good Problem to Have…

We're sharing how we rearchitected the dbt Cloud scheduler to keep up with customer demand. Including how we tackle distributed system problems.

4 месяца назад @ blog.getdbt.com
dbt Labs and Databricks: An expanding partnership
dbt Labs and Databricks: An expanding partnership dbt Labs and Databricks: An expanding partnership

Experiencing dbt’s workflow on the lakehouse has never been easier.

4 месяца назад @ blog.getdbt.com
The next layer of the modern data stack
The next layer of the modern data stack The next layer of the modern data stack

dbt Labs raised another round of funding– $222m at $4.2b valuation. Existing investor Altimeter led the round, with participation from Databricks, GV, Salesforce Ventures, and Snowflake. The raise will fuel our investment in building the next layer in the modern data stack.

5 месяцев, 3 недели назад @ blog.getdbt.com
February 2022: Update on recent dbt Cloud incidents
February 2022: Update on recent dbt Cloud incidents

Ongoing incidents with dbt Cloud have created slowness and lack of availability. Here is a recap of what happened and our plans to fix this.

5 месяцев, 3 недели назад @ blog.getdbt.com
The future of product at dbt Labs
The future of product at dbt Labs The future of product at dbt Labs

As of January 1, 2022 I officially stepped down from my role as Chief Product Officer at dbt Labs. We've brought on Margaret Francis as our new CPO. I'm incredibly excited to be transitioning into an individual contributor role.

6 месяцев, 2 недели назад @ blog.getdbt.com
Coalesce Replay Tracks: Sessions for the Team Preparing to Scale
Coalesce Replay Tracks: Sessions for the Team Preparing to Scale Coalesce Replay Tracks: Sessions for the Team Preparing to Scale

Four modules designed to help the established analytics engineer plan for rapid growth.

7 месяцев, 4 недели назад @ blog.getdbt.com
Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer
Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer

Four modules of curated Coalesce content for teams just beginning their analytics engineering journey.

7 месяцев, 4 недели назад @ blog.getdbt.com
dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications
dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications

Covering both dbt Labs and dbt Cloud, these certifications represent a long-standing commitment to information security and privacy.

8 месяцев назад @ blog.getdbt.com
Licensing dbt: Apache 2.0, BSL, and Proprietary
Licensing dbt: Apache 2.0, BSL, and Proprietary Licensing dbt: Apache 2.0, BSL, and Proprietary

The metrics layer generated a lot of buzz at Coalesce, prompting some exciting and important conversations. In short: the dbt Server that will make metrics accessible will be source available. This will provide users control, while enabling us to build a sustainable business.

8 месяцев, 1 неделя назад @ blog.getdbt.com
The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022
The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022 The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022

Last year we placed a big bet on foundational work — stability, reliability, and speed. 12 months, and a 600% increase in enterprise business later, we're focused on establishing dbt as the default standard for all enterprise data teams.

8 месяцев, 1 неделя назад @ blog.getdbt.com
dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed
dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed

dbt Core v1.0.0 has arrived. This major milestone enables users with production-grade workflows to safely and reliably build on top of dbt Core for years to come. Take a look at how we got here, and what's next for dbt.

8 месяцев, 1 неделя назад @ blog.getdbt.com
NEW dbt Learn courses & badging now available!
NEW dbt Learn courses & badging now available! NEW dbt Learn courses & badging now available!

dbt Labs now offers five free courses for the emerging analytics engineer. Those new to dbt will find everything they need to get started (and badged!) in our dbt Learn Fundamentals course, while seasoned users can go deeper on topics like macros, materializations, and project refactoring.

8 месяцев, 1 неделя назад @ blog.getdbt.com
Coalesce returns for year two this December
Coalesce returns for year two this December Coalesce returns for year two this December

Dec 6-10, 2021: Coalesce is back with 85 speakers, 65+ sessions, and a little razzle-dazzle. Targeting 4 time zones (EST, PST, GMT, and AEDT)—there are plenty of opportunities to join us live. Find out what’s new, what’s staying the same, and how to prepare.

9 месяцев, 1 неделя назад @ blog.getdbt.com
dbt Labs and Snowflake are building on a thriving partnership
dbt Labs and Snowflake are building on a thriving partnership dbt Labs and Snowflake are building on a thriving partnership

Exciting developments in our partnership with Snowflake.

9 месяцев, 2 недели назад @ blog.getdbt.com
Introducing Environment Variables in dbt Cloud
Introducing Environment Variables in dbt Cloud Introducing Environment Variables in dbt Cloud

Your code doesn't have to do the same thing everywhere it runs. Separate code from configuration - and set config based on context.

9 месяцев, 3 недели назад @ blog.getdbt.com
FiveTran FiveTran
последний пост 8 месяцев, 2 недели назад
New and Upcoming Data Connectors and dbt Packages
New and Upcoming Data Connectors and dbt Packages

Keep track of our data connector and dbt package releases with monthly updates.

8 месяцев, 2 недели назад @ fivetran.com
Great Place to Work® Names Fivetran One of the Best Workplaces for Parents™ in 2021
Great Place to Work® Names Fivetran One of the Best Workplaces for Parents™ in 2021 Great Place to Work® Names Fivetran One of the Best Workplaces for Parents™ in 2021

Oakland, CA — December 2, 2021 — Great Place to Work® has honored Fivetran as one of this year's Best Workplaces for Parents™. This is Fivetran’s third time being honored by Great Place to Work and the first time named to this prestigious list of workplaces for parents, ranking at #69. Earning a spot means that Fivetran is one of the best companies to work for in the country. The Best Workplaces for Parents award is based on analysis of survey responses from more than 6 million current U.S. employees. In that survey, 94% of employees said Fivetran is a great place to work, compared to 59% of employees at a typical U.S.-based company. “We are honored to be recognized by Great Place to Work t…

8 месяцев, 2 недели назад @ fivetran.com
The Data Integration Revolution: A Solution Architect’s Perspective
The Data Integration Revolution: A Solution Architect’s Perspective

Life for data professionals keeps getting better — and more interesting.

8 месяцев, 3 недели назад @ fivetran.com
Launch Fivetran Through Databricks Partner Connect
Launch Fivetran Through Databricks Partner Connect

You can now set up Fivetran data pipelines via Databricks Partner Connect. Here’s how to do it.

9 месяцев назад @ fivetran.com
New Report: Enterprises Should Avoid DIY Pipelines
New Report: Enterprises Should Avoid DIY Pipelines

A recent survey from Wakefield Research finds that when enterprises build their own data pipelines, decision-making and revenue suffer.

9 месяцев назад @ fivetran.com
Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™
Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™ Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™

Oakland, Calif., November 17, 2021 — Fivetran, the leading automated data integration provider, today announced it ranks 122 on the Deloitte Technology Fast 500™, a ranking of the 500 fastest-growing technology, media, telecommunications, life sciences, fintech, and energy tech companies in North America, now in its 27th year. Fivetran grew 1,668.93% during this period."We are honored to be recognized by Deloitte in the Technology Fast 500 list for the second year running,” said George Fraser, CEO of Fivetran. “With our recent Series D funding and acquisition of HVR, we look forward to expanding our business and product offerings to a wider array of customers and continuing our mission to m…

9 месяцев назад @ fivetran.com
10 Database Schema Best Practices
10 Database Schema Best Practices

Follow these tips to ensure that your database schema delivers maximum utility for data warehouse users, data analysts, and data scientists.

9 месяцев назад @ fivetran.com
11 Database Schema Mistakes to Avoid
11 Database Schema Mistakes to Avoid

A good database schema is indispensable for making data warehouses work. Get it wrong, and you’ll be in a world of hurt.

9 месяцев назад @ fivetran.com
Supporting Employee Philanthropy at Fivetran
Supporting Employee Philanthropy at Fivetran

When Fivetranners are moved to give back — to their own communities or the global community — Fivetran helps increase their impact.

9 месяцев назад @ fivetran.com
Condé Nast maps customer journey across global brands with Fivetran
Condé Nast maps customer journey across global brands with Fivetran

The publisher of Vogue, Vanity Fair, GQ and The New Yorker connects and monetizes trillions of data points

9 месяцев, 1 неделя назад @ fivetran.com
How to Change Minds When Data Alone Isn't Enough
How to Change Minds When Data Alone Isn't Enough

A leading researcher explains how emotion, intuition and storytelling can be more powerful than data.

9 месяцев, 1 неделя назад @ fivetran.com
Coupa accelerates its S3 Data Lake with Fivetran
Coupa accelerates its S3 Data Lake with Fivetran

The Business Spend Management company uses Fivetran’s data integration solution to better understand customer behavior on its SaaS platform

9 месяцев, 2 недели назад @ fivetran.com
The Future of Fivetran and HVR
The Future of Fivetran and HVR

Our priority is improving the experience of every customer — without compromising the features you rely on.

9 месяцев, 2 недели назад @ fivetran.com
Data Egress Cost Analysis
Data Egress Cost Analysis

Understand the impact of data transfer and egress costs across Microsoft Azure, Amazon Web Services and Google Cloud Platform.

9 месяцев, 2 недели назад @ fivetran.com
Ensuring That Fivetran Parents Have a Voice
Ensuring That Fivetran Parents Have a Voice

A new employee resource group helps parents and guardians feel comfortable asking for what they need.

9 месяцев, 2 недели назад @ fivetran.com
DataBricks DataBricks
последний пост 1 неделя, 6 дней назад
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks Optimizing Order Picking to Increase Omnichannel Profitability with Databricks

Check our new Order Picking Optimization Solution Accelerator for more details and to download the notebooks. Demand for buy-online pickup in-store (BOPIS), curbside…

The post Optimizing Order Picking to Increase Omnichannel Profitability with Databricks appeared first on Databricks.

1 неделя, 6 дней назад @ databricks.com
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks Optimizing Order Picking to Increase Omnichannel Profitability with Databricks

Check our new Order Picking Optimization Solution Accelerator for more details and to download the notebooks. Demand for buy-online pickup in-store (BOPIS), curbside…

The post Optimizing Order Picking to Increase Omnichannel Profitability with Databricks appeared first on Databricks.

1 неделя, 6 дней назад @ databricks.com
Power to the SQL People: Introducing Python UDFs in Databricks SQL
Power to the SQL People: Introducing Python UDFs in Databricks SQL

We were thrilled to announce the preview for Python User-Defined Functions (UDFs) in Databricks SQL (DBSQL) at last month’s Data and AI Summit.…

The post Power to the SQL People: Introducing Python UDFs in Databricks SQL appeared first on Databricks.

3 недели, 4 дня назад @ databricks.com
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks

This is a collaborative post from Databricks and Compass. We thank Sujoy Dutta, Senior Machine Learning Engineer at Compass, for his contributions. …

The post Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks appeared first on Databricks.

3 недели, 6 дней назад @ databricks.com
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks

This is a collaborative post from Databricks and Compass. We thank Sujoy Dutta, Senior Machine Learning Engineer at Compass, for his contributions. …

The post Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks appeared first on Databricks.

3 недели, 6 дней назад @ databricks.com
Hunting for IOCs Without Knowing Table Names or Field Labels
Hunting for IOCs Without Knowing Table Names or Field Labels

There is a breach! You are an infosec incident responder and you get called in to investigate. You show up and start asking…

The post Hunting for IOCs Without Knowing Table Names or Field Labels appeared first on Databricks.

1 месяц назад @ databricks.com
Hunting for IOCs Without Knowing Table Names or Field Labels
Hunting for IOCs Without Knowing Table Names or Field Labels

There is a breach! You are an infosec incident responder and you get called in to investigate. You show up and start asking…

The post Hunting for IOCs Without Knowing Table Names or Field Labels appeared first on Databricks.

1 месяц назад @ databricks.com
Introducing Spark Connect – The Power of Apache Spark, Everywhere
Introducing Spark Connect – The Power of Apache Spark, Everywhere Introducing Spark Connect – The Power of Apache Spark, Everywhere

At last week’s Data and AI Summit, we highlighted a new project called Spark Connect in the opening keynote. This blog post walks…

The post Introducing Spark Connect – The Power of Apache Spark, Everywhere appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
Introducing Spark Connect – The Power of Apache Spark, Everywhere
Introducing Spark Connect – The Power of Apache Spark, Everywhere Introducing Spark Connect – The Power of Apache Spark, Everywhere

At last week’s Data and AI Summit, we highlighted a new project called Spark Connect in the opening keynote. This blog post walks…

The post Introducing Spark Connect – The Power of Apache Spark, Everywhere appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
Designing a Java Connector for Delta Sharing Recipient
Designing a Java Connector for Delta Sharing Recipient Designing a Java Connector for Delta Sharing Recipient

Making an open data marketplace Stepping into this brave new digital world we are certain that data will be a central product for…

The post Designing a Java Connector for Delta Sharing Recipient appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Designing a Java Connector for Delta Sharing Recipient
Designing a Java Connector for Delta Sharing Recipient Designing a Java Connector for Delta Sharing Recipient

Making an open data marketplace Stepping into this brave new digital world we are certain that data will be a central product for…

The post Designing a Java Connector for Delta Sharing Recipient appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Introducing MLflow Pipelines with MLflow 2.0
Introducing MLflow Pipelines with MLflow 2.0 Introducing MLflow Pipelines with MLflow 2.0

Since we launched MLflow in 2018, MLflow has become the most popular MLOps framework, with over 11M monthly downloads! Today, teams of all…

The post Introducing MLflow Pipelines with MLflow 2.0 appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Introducing MLflow Pipelines with MLflow 2.0
Introducing MLflow Pipelines with MLflow 2.0 Introducing MLflow Pipelines with MLflow 2.0

Since we launched MLflow in 2018, MLflow has become the most popular MLOps framework, with over 11M monthly downloads! Today, teams of all…

The post Introducing MLflow Pipelines with MLflow 2.0 appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Connect From Anywhere to Databricks SQL
Connect From Anywhere to Databricks SQL Connect From Anywhere to Databricks SQL

Today we are thrilled to announce a full lineup of open source connectors for Go, Node.js, Python, as well as a new CLI…

The post Connect From Anywhere to Databricks SQL appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Connect From Anywhere to Databricks SQL
Connect From Anywhere to Databricks SQL Connect From Anywhere to Databricks SQL

Today we are thrilled to announce a full lineup of open source connectors for Go, Node.js, Python, as well as a new CLI…

The post Connect From Anywhere to Databricks SQL appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Mix
/r/DataEngineering
последний пост 1 час назад
Challenges using EMR Presto
Challenges using EMR Presto

Hi all - I’m considering using EMR Presto for a new project. I’ve heard the management aspect might be a hurdle. What are some of the common challenges to consider when starting a new project on EMR? submitted by /u/MeatSack_NothingMore [link] [comments]

1 час назад @ reddit.com
Is following a good Learning steps/flow?
Is following a good Learning steps/flow? Is following a good Learning steps/flow?

submitted by /u/kira2697 [link] [comments]

2 часа назад @ reddit.com
How to write up some coding standards for my team?
How to write up some coding standards for my team?

Hi all, Started working in a new team a few months ago. First thing I noticed is how every (databricks) notebook (mainly sql through (py)spark) is written in a different style. Some create a lot of temp views in each cell (more modular), others use subqueries or CTE's creating one massive query. Also, no comments in any of the code, anywhere. I want to create some coding standards for my team. Both for writing SQL, but also for Notebooks in general (e.g., creating temp views in different cells vs. one long query), but I'm not sure how to approach this. Does anyone else have experience with writing up some coding standards? How did you approach this? What is important to keep in mind? Edit: …

2 часа назад @ reddit.com
Data Transform with Pentaho
Data Transform with Pentaho

Hello everyone. I have given a task to create an ETL pipeline and I searched a guide for it. However, I met a trouble to transform a row of data. It's sales data and I want to store it in my postgresql. Unfortunately, the data classified the sales data in string due to the existance of $ and M. Can a yone help me to get rid of that $ and M? Thank you The sales date are like this: sales $24.78M $23M $12M $1M I have tried using Modified JavaScript Value by making new variable but it didn't work. Thank you submitted by /u/lesterelster [link] [comments]

3 часа назад @ reddit.com
Is data engineering valued by leadership at your company?
Is data engineering valued by leadership at your company?

At my company, it feels like while people loosely know that data is important, data engineering is still much more of an afterthought when it comes to product or software engineering. While having less executive oversight obviously can be nice at times, it also means that we aren't allocated enough resources a lot of the times. Like if I need some backend or infra support to troubleshoot or improve a data pipeline, it can take months to get what I need, for tasks that take a few days. This also shows up in the company culture as well, where data is seen a siloed group in the tech org, and left out of inclusivity initiatives. I'm sure what I described isn't uncommon, but would love to hear o…

4 часа назад @ reddit.com
For how long do you store big data in your organization?
For how long do you store big data in your organization?

What strategies do you implement in your companies, do you keep everything and forever or do you keep only aggregates and store up to N days of the raw stuff, and for how long do you think make sense to store it anyway? At the end of the day any future ML/statistical project would benefit from having access to the data and it’s hard to predict possible future data utilization. Probably the approaches will be a bit different for startups with limited budgets from FANG like organizations. I store a lot of raw level data in s3 with some of the buckets having already automatic transitions to glacier for 120 days where afterwards the data is being removed. I personally would store all the data f…

8 часов назад @ reddit.com
3 useful Updates in Google BigQuery
3 useful Updates in Google BigQuery

A few new Updates that makes BigQuery even more interesting https://christianlauer90.medium.com/3-useful-updates-in-google-bigquery-34fc55a8035 submitted by /u/Ok_Public9992 [link] [comments]

10 часов назад @ reddit.com
Need suggestions on interview preparations
Need suggestions on interview preparations

Hi everyone, I am working in the client based roles where I am working on Python, SQL, etl, shell scripting, Azure DevOps. I have got certification in GCP Data Engineer. I am looking to transition into product company. I have been getting calls from companies like Tesla, Meta, AMD, Morgan Stanley etc. I wanted some suggestions on what else should I focus during my interview preparations? submitted by /u/ck298 [link] [comments]

13 часов назад @ reddit.com
How to structure the consumption layer of your Data Warehouse
How to structure the consumption layer of your Data Warehouse

How are you structuring the consumption layer in your data warehouse? By consumption layer, I mean the tables/views that the average analyst will have access to. We are using a cloud data warehouse and we currently have mostly large flat tables with everything being joined in the ELT. I noticed some analysts are rejoining to make sure they are getting the most up-to-date data on the join. We currently do views of tables with no joins and we don't define key business metrics in the views. So something like Service Tickets is just a view of a large flat table with each ticket. Would it make sense to have a predefined view for things like the Number of Service Tickets by Account, Number of ser…

14 часов назад @ reddit.com
Is this a career I should avoid if it's not my passion?
Is this a career I should avoid if it's not my passion?

The word "passion" gets thrown around a lot these days. Do what you love. I'd like to know how many of you do it out of passion/because you love it, or simply for the paycheck? I'd especially love to hear about those who do it for the paycheck, and if it's worth it for you! Is this a career that one can get by while having other strong interests? submitted by /u/Footypajama [link] [comments]

16 часов назад @ reddit.com
Is it advantageous for Data and Analytics Engineers to learn about ML/AI?
Is it advantageous for Data and Analytics Engineers to learn about ML/AI?

So I have two options for graduate school study: 1.) Machine learning from a CS point of view - some math, mostly implementation, projects, lots of Python coding 2.) Computing systems also from a CS point of view - little math, mostly systems work, operating systems, some software engineering, little python, mostly C/C++ The more I work as an analytics engineer, the most I can see ML being more relevant as far as increasing skill sets as ML becomes more of a commodity. Thoughts? submitted by /u/Tender_Figs [link] [comments]

17 часов назад @ reddit.com
Cloud Composer DAGs development methodology
Cloud Composer DAGs development methodology

Hi everyone, Which is your Airflow/Cloud Composer DAGs development methodology? In my current company, we are starting with GCP and some initial ETLs have been developed by consultants with Cloud Composer. Considerations: We have 3 CC environments (dev, pre-prod, prod) Gitlab repo is hosted on-premises (can't host it outside, compliance reasons) We want to develop new ETLs and we are trying to define the development methodology. So far, I see these options: Develop DAGs locally using Airflow (Docker or installing in the OS) Every developer must install Docker and download the AirFlow image that matches CC's Airflow version or install AirFlow in the OS GCP SDK must be installed, to interact …

19 часов назад @ reddit.com
Recommendations for data lineage
Recommendations for data lineage

Looking for thoughts on how best to report out (dashboard or UI) the dependencies between tables & views from data source to data mart and onwards. I'm aware of the hype (& utility) of data build tool - the data lineage DAGs look great - but for someone with an existing codebase, it looks like I'd need to automate the creation of the DBT models to get the code migrated over and dependencies searchable. Any thoughts from your ends? How are you managing this currently from a programmatic standpoint? (In an ideal world, some people-process would be sufficient) submitted by /u/Mumbly_Bum [link] [comments]

19 часов назад @ reddit.com
New open-source notebook
New open-source notebook

We're currently working on a new open-source notebook to shape the future of building data pipelines. We would love for you to test out our current version in a collaborative effort to create better workflows for data scientists (and other data and machine learning professionals). Repo: https://github.com/mage-ai/mage-ai More about Mage: https://mage.ai Join our slack community: https://mage.ai/chat submitted by /u/tchungry [link] [comments]

19 часов назад @ reddit.com
Distribute a prebuilt application
Distribute a prebuilt application

Have an executable that takes an input of a video file, scans the video file, detects motion and spits out 10 seconds before the motion, entire length of motion and 10 seconds after motion. There will be other operations done after that but I’ll save it for simplicity. The executable will already utilize all cores of a given system. Have 8TB of this data in S3 and want to reduce the time that it will take. Do not want to use any type of proprietary options such as AWS Batch. submitted by /u/kur1j [link] [comments]

21 час назад @ reddit.com
Towards Data Science
последний пост 1 час назад
Python Concurrency — Multiprocessing
Python Concurrency — Multiprocessing Python Concurrency — Multiprocessing

Part 2 of the Python Concurrency series. The multiprocessing module enables us to perform genuinely parallel tasks. Yet there are many…Continue reading on Towards Data Science »

1 час назад @ towardsdatascience.com
Demystifying the Parquet File Format
Demystifying the Parquet File Format Demystifying the Parquet File Format

The default file format for any data science workflowHave you ever used pd.read_csv() in pandas? Well, that command could have run ~50x faster if you had used parquet instead of CSV.Photo by Mike Benna on UnsplashIn this post we will discuss apache parquet, an extremely efficient and well-supported file format. The post is geared towards data practitioners (ML, DE, DS) so we’ll be focusing on high-level concepts and using SQL to talk through core concepts, but links for further resources can be found throughout the post and in the comments.Without further ado, let’s dive in!Technical TLDRApache parquet is an open-source file format that provides efficient storage and fast read speed. It use…

1 час назад @ towardsdatascience.com
Machine learning: a friend or a foe for science?
Machine learning: a friend or a foe for science? Machine learning: a friend or a foe for science?

How machine learning is affecting science reproducibility and how to solve itimage by the author using DALL-E 2Reproducibility is fundamental for scientific progress, but the increasing use of machine learning is affecting it. Why reproducibility is important? Why machine learning usage has a problematic side effect? How we can solve it?Not everything shining is a diamondreplicating the results of another article. image by the author using DALL-E 2In 2016 the scientific journal Nature published the results of a survey. They asked 1,576 researchers to reply to a brief questionnaire about reproducibility in research. The results showed that more than 70% of the scientists failed to reproduce …

2 часа назад @ towardsdatascience.com
What Is the Difference Between a Data Engineer, a Data Scientist, and a Data Analyst?
What Is the Difference Between a Data Engineer, a Data Scientist, and a Data Analyst? What Is the Difference Between a Data Engineer, a Data Scientist, and a Data Analyst?

“Big Data” is a broad field that covers at least five disciplines and three job titles. While data science, data engineering, and data…Continue reading on Towards Data Science »

2 часа назад @ towardsdatascience.com
How To Print Coloured Text in The Terminal Using Python
How To Print Coloured Text in The Terminal Using Python How To Print Coloured Text in The Terminal Using Python

Printing coloured text to standard output and error with PythonContinue reading on Towards Data Science »

2 часа назад @ towardsdatascience.com
Competitive Programming & AlphaCode
Competitive Programming & AlphaCode Competitive Programming & AlphaCode

Training models to solve competitive programming challengesOverview of DeepMind’s AlphaCode shown in their paperDeepMind’s AlphaCodeDeepMind recently published a paper about how they had trained a model called AlphaCode that can take a competitive programming problem as input and then generate a solution that ranks 54% amongst those participating in these competitive programming challenges. That’s quite impressive! Here’s links to the blogpost and paper.They trained their model using lots of example challenges and solutions from lots of different websites that run these competitions. They’ve also setup a GitHub website to make this data available for others who would like to have a go at tr…

2 часа назад @ towardsdatascience.com
Explain SQL Joins the Right Way
Explain SQL Joins the Right Way Explain SQL Joins the Right Way

This article takes the perspective of someone who needs to introduce people to the concept of Joins in databases, e.g. LEFT JOIN. This can…Continue reading on Towards Data Science »

2 часа назад @ towardsdatascience.com
Connecting DBeaver to Google BigQuery
Connecting DBeaver to Google BigQuery Connecting DBeaver to Google BigQuery

By using JDBC, step by StepContinue reading on Towards Data Science »

7 часов назад @ towardsdatascience.com
Monitor Vegetation with Google Earth Engine
Monitor Vegetation with Google Earth Engine Monitor Vegetation with Google Earth Engine

Create NDVI + EVI time series apps for your favorite forestsContinue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
How to Intuit the Prosecutor’s Fallacy (and Run Better Hypothesis Tests)
How to Intuit the Prosecutor’s Fallacy (and Run Better Hypothesis Tests) How to Intuit the Prosecutor’s Fallacy (and Run Better Hypothesis Tests)

For data scientists and analysts in businessPhoto by Tingey Injury Law Firm on UnsplashThere is only a one in a million chance that the accused would match the DNA found at the crime scene. So the accused is guilty beyond reasonable doubt. Sound ok? It isn’t!Based on this evidence alone, the accused may have a good chance of being innocent and this is the logical trap described by the unintuitive but wonderfully illuminating Prosecutor’s Fallacy.When we understand this, we start to see it everywhere in advertising, the media and people’s day-to-day decision making. It also underpins a common difficulty in correctly interpreting p-values, and getting a better intuition for this brings a lot …

8 часов назад @ towardsdatascience.com
How to Explain Image Classifiers Using LIME
How to Explain Image Classifiers Using LIME How to Explain Image Classifiers Using LIME

Learn how to apply the popular explainable AI (XAI) method LIME for explaining image classifiersContinue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
Software as a Service: The Game-Changer for Small IT-Departments
Software as a Service: The Game-Changer for Small IT-Departments Software as a Service: The Game-Changer for Small IT-Departments

An Introduction to Software as a Service compared to On-Premise SolutionsContinue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
ADAS: Collision Avoidance System on Indian Cars
ADAS: Collision Avoidance System on Indian Cars ADAS: Collision Avoidance System on Indian Cars

Real-world implementation of ADAS-CAS with LIDAR-Camera Sensor Fusion, using RPi, RPLIDAR A1, Pi Cam V2, LED SHIM, NCS 2, Speaker, and battery.India accounts for only 1% of total vehicles in the world. However, World Bank’s survey reports 11% of global road death happens in India, exposing the dire need to enhance road safety. Most of the developing countries like India pose a set of challenges, unique on their own. These include chaotic traffic, outdated vehicles, lack of pedestrian lanes and zebra crossings, animals crossing the road, and the like. Needless to say, most vehicles don’t have advanced driver-assist features nor can they afford to upgrade the car for better safety.Against thi…

8 часов назад @ towardsdatascience.com
How to Use Deliberate Practice to Master the Most Challenging Concepts in Data Science
How to Use Deliberate Practice to Master the Most Challenging Concepts in Data Science How to Use Deliberate Practice to Master the Most Challenging Concepts in Data Science

Using deliberate practice to study data science will set you apart from other data scientistsContinue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
Machine Learning and Rust (Part 4): Neural Networks in Torch
Machine Learning and Rust (Part 4): Neural Networks in Torch Machine Learning and Rust (Part 4): Neural Networks in Torch

Can we use PyTorch in Rust? What are Rust bindings? What’s tch-rs? A look on neural networks in RustContinue reading on Towards Data Science »

18 часов назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 1 день назад
Monte Carlo and dbt Labs Announce Partnership to Help Analytics Engineering Teams Achieve More Reliable Data
Monte Carlo and dbt Labs Announce Partnership to Help Analytics Engineering Teams Achieve More Reliable Data Monte Carlo and dbt Labs Announce Partnership to Help Analytics Engineering Teams Achieve More Reliable Data

When it comes to trusting your data, Monte Carlo, the creator of the data observability category, and dbt Labs, creators of dbt, are better together. “Why didn’t my job run?” “What happened to this dashboard?” “Why is this column missing?” “What went wrong with my data?!” If you’ve been on the receiving end of a […]

1 день назад @ montecarlodata.com
7 Steps for Building a Successful Data Team at Your Startup
7 Steps for Building a Successful Data Team at Your Startup 7 Steps for Building a Successful Data Team at Your Startup

When you’re the first data hire at a startup, the sky’s the limit—and that can be incredibly overwhelming. Who do you hire first? What tools should you invest in? What KPIs should you measure? And much more. No matter how you cut it, you don’t have an instruction manual, and given how fast the data […]

1 день, 12 часов назад @ montecarlodata.com
Data Observability First, Data Catalog Second. Here’s Why.
Data Observability First, Data Catalog Second. Here’s Why. Data Observability First, Data Catalog Second. Here’s Why.

You can’t realize the full value of a data catalog without observability. Here’s why.

6 дней, 3 часа назад @ montecarlodata.com
A Matter of Trust
A Matter of Trust A Matter of Trust

Why data quality professionals should start measuring data uptime.

1 неделя назад @ montecarlodata.com
Data Engineers Spend Two Days Per Week Firefighting Bad Data, Data Quality Survey Says
Data Engineers Spend Two Days Per Week Firefighting Bad Data, Data Quality Survey Says Data Engineers Spend Two Days Per Week Firefighting Bad Data, Data Quality Survey Says

Check out the results from our 2022 data quality survey and benchmark your data quality practices against 300 of your peers.

1 неделя, 1 день назад @ montecarlodata.com
Monte Carlo and Databricks Partner to Help Companies Build More Reliable Data Lakehouses
Monte Carlo and Databricks Partner to Help Companies Build More Reliable Data Lakehouses Monte Carlo and Databricks Partner to Help Companies Build More Reliable Data Lakehouses

Learn more about the Monte Carlo-Databricks partnership and how it brings end-to-end data observability and data quality automation tools to the data lakehouse.

2 недели назад @ montecarlodata.com
The Data Mesh Implementation Plan at Sanne Group
The Data Mesh Implementation Plan at Sanne Group The Data Mesh Implementation Plan at Sanne Group

Sanne Group's Head of Engineering shares his data mesh implementation plan and how they plan to adopt its four key principles.

2 недели, 1 день назад @ montecarlodata.com
5 Ways To Stop Software Engineers From Breaking Your Beautiful Pipelines
5 Ways To Stop Software Engineers From Breaking Your Beautiful Pipelines 5 Ways To Stop Software Engineers From Breaking Your Beautiful Pipelines

There are virtually an unlimited number of ways bad data can enter your pipelines. It could be a bad JOIN statement, an untriggered Airflow job, or even just someone at a third-party provider who didn’t feel like hitting the send button that day. But perhaps one of the most common ways for data to break […]

2 недели, 6 дней назад @ montecarlodata.com
Using the Airflow ShortCircuitOperator to Stop Bad Data From Reaching ETL Pipelines
Using the Airflow ShortCircuitOperator to Stop Bad Data From Reaching ETL Pipelines Using the Airflow ShortCircuitOperator to Stop Bad Data From Reaching ETL Pipelines

See how to leverage the Airflow ShortCircuitOperator to create data circuit breakers to prevent bad data from reaching your data pipelines.

3 недели назад @ montecarlodata.com
Designing a More Reliable Data Mesh with Snowflake and Data Observability
Designing a More Reliable Data Mesh with Snowflake and Data Observability Designing a More Reliable Data Mesh with Snowflake and Data Observability

Here’s how Snowflake and Monte Carlo are working together to help data teams realize the potential of the data mesh with end-to-end data observability.

3 недели, 1 день назад @ montecarlodata.com
How to Measure the Impact of Your Data Team
How to Measure the Impact of Your Data Team How to Measure the Impact of Your Data Team

It’s one thing to build a data team, but how do you measure it? We spoke with Jacob Follis at Collaborative Imaging to learn more.

4 недели назад @ montecarlodata.com
Monte Carlo Achieves Snowflake Premier Partner Status to Help Companies Accelerate the Adoption of Reliable Data
Monte Carlo Achieves Snowflake Premier Partner Status to Help Companies Accelerate the Adoption of Reliable Data Monte Carlo Achieves Snowflake Premier Partner Status to Help Companies Accelerate the Adoption of Reliable Data

With over 70 mutual customers, Monte Carlo becomes the first data observability provider to achieve Snowflake Premier Partner status.

4 недели, 1 день назад @ montecarlodata.com
Is “Self-Service” Data’s Biggest Lie?
Is “Self-Service” Data’s Biggest Lie? Is “Self-Service” Data’s Biggest Lie?

Self-serve systems are a big priority for data leaders and a principle of nearly every modern data strategy, but what exactly does it mean? And is it more trouble than it’s worth?

1 месяц назад @ montecarlodata.com
How to Set KPIs for Your Data Team
How to Set KPIs for Your Data Team How to Set KPIs for Your Data Team

Six critical steps to setting the right KPIs for your data team - all while keeping a steady pulse on the needs of your business.

1 месяц назад @ montecarlodata.com
7 Key Learnings From GoCardless’ Experience Implementing Data Contracts
7 Key Learnings From GoCardless’ Experience Implementing Data Contracts 7 Key Learnings From GoCardless’ Experience Implementing Data Contracts

Learn how to implement data contracts and other data quality best practices based on the experience from senior data engineering practitioners at GoCardless.

1 месяц, 1 неделя назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 3 часа назад
https://youtu.be/wcwW8Rw7kEY
https://youtu.be/wcwW8Rw7kEY

https://youtu.be/wcwW8Rw7kEY

3 часа назад @ t.me
Wunder Fund: проект для Python разработчика 🔥Мы в wunderfund.io занимаемся высокочастотной торговлей на бирже (HFT) с 2014 года, активно используем машинное обучение. Сейчас мы торгуем на 12 биржах по всему миру и наш дневной оборот больше $4 млрд. И у нас
Wunder Fund: проект для Python разработчика 🔥Мы в wunderfund.io занимаемся высокочастотной торговлей на бирже (HFT) с 2014 года, активно используем машинное обучение. Сейчас мы торгуем на 12 биржах по всему миру и наш дневной оборот больше $4 млрд. И у нас

Wunder Fund: проект для Python разработчика 🔥Мы в wunderfund.io занимаемся высокочастотной торговлей на бирже (HFT) с 2014 года, активно используем машинное обучение. Сейчас мы торгуем на 12 биржах по всему миру и наш дневной оборот больше $4 млрд. И у нас много данных.Ищем Питон-разработчиков в команду:🛠 Вы будете разрабатывать парсеры биржевых данных и программы для надежного их сохранения. Будете развивать автоматический пайплайн ежедневной обработки этих сохраненных данных.👺 Идеальный человек хорошо знает Python. Круто, если ты уже строил пайплайны на Luigi/Airflow/etc и выкатывал их продакшн, работал с облачными платформами.👾 У нас сильная команда и развитая инженерная культура. Вот не…

5 дней, 1 час назад @ t.me
​​Исследование о виртуализации данныхВозможно, вы слышали что-нибудь о Data Mesh и Логических Хранилищах Данных? Denodo проводит исследование, направленное на изучение опыта использования систем виртуализации в России. Пройдите короткий опрос по ссылке и п
​​Исследование о виртуализации данныхВозможно, вы слышали что-нибудь о Data Mesh и Логических Хранилищах Данных? Denodo проводит исследование, направленное на изучение опыта использования систем виртуализации в России. Пройдите короткий опрос по ссылке и п

​​Исследование о виртуализации данныхВозможно, вы слышали что-нибудь о Data Mesh и Логических Хранилищах Данных? Denodo проводит исследование, направленное на изучение опыта использования систем виртуализации в России. Пройдите короткий опрос по ссылке и получите доступ к материалам про виртуализацию. В библиотеке:• технический документ, в котором рассматриваются цели интеграции, приводятся недостатки традиционных решений и раскрыты 10 ключевых фактов о виртуализации как ключевого метода, позволяющего успешно выполнять оперативную интеграцию информации из разных источников.• Кейс крупной розничной сети Albertsons, которая запустила расширенную программу анализа данных клиентов и благодаря п…

1 неделя назад @ t.me
При принятии решений в ручном режиме риск убытков возрастет до 60%. Это связано с ошибочными действиями, мошенничеством сотрудников или неправильной организацией бизнес-процессов. В результате снижается качество клиентского сервиса, возникают трудности с м
При принятии решений в ручном режиме риск убытков возрастет до 60%. Это связано с ошибочными действиями, мошенничеством сотрудников или неправильной организацией бизнес-процессов. В результате снижается качество клиентского сервиса, возникают трудности с м При принятии решений в ручном режиме риск убытков возрастет до 60%. Это связано с ошибочными действиями, мошенничеством сотрудников или неправильной организацией бизнес-процессов. В результате снижается качество клиентского сервиса, возникают трудности с м

При принятии решений в ручном режиме риск убытков возрастет до 60%. Это связано с ошибочными действиями, мошенничеством сотрудников или неправильной организацией бизнес-процессов. В результате снижается качество клиентского сервиса, возникают трудности с масштабированием бизнеса.Автоматизированная система поддержки решений Loginom Decision Maker анализирует и структурирует большие массивы данных и представляет их в удобном для принятия решений виде. Готовая система используется в качестве основы кредитного конвейера, проверки контрагентов, формирования рейтинга поставщиков, анализа единого профиля клиентов и других процессов.Преимущества Loginom Decision Maker:⚡️Формализация процесса принят…

1 неделя, 2 дня назад @ t.me
На канале IT's Tinkoff появились видео с их конференции:— Как мы строим Metadata Management— Под капотом каталога данных— Как с помощью Data Mesh разломать ваше DWH— Data-docs — как найти данные о данныхEnjoy! ☀️
На канале IT's Tinkoff появились видео с их конференции:— Как мы строим Metadata Management— Под капотом каталога данных— Как с помощью Data Mesh разломать ваше DWH— Data-docs — как найти данные о данныхEnjoy! ☀️

На канале IT's Tinkoff появились видео с их конференции:— Как мы строим Metadata Management— Под капотом каталога данных— Как с помощью Data Mesh разломать ваше DWH— Data-docs — как найти данные о данныхEnjoy! ☀️

1 неделя, 2 дня назад @ t.me
SmartData от JUG Ru Group возвращается!Конференция для дата-инженеров пройдет уже в октябре. Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие. Вы подтвер
SmartData от JUG Ru Group возвращается!Конференция для дата-инженеров пройдет уже в октябре. Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие. Вы подтвер SmartData от JUG Ru Group возвращается!Конференция для дата-инженеров пройдет уже в октябре. Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие. Вы подтвер

SmartData от JUG Ru Group возвращается!Конференция для дата-инженеров пройдет уже в октябре. Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие. Вы подтвердите свою экспертность, познакомитесь с крутыми специалистами и получите обратную связь от участников. Программный комитет поможет с подготовкой к выступлению — назначит персонального куратора, проведет ревью материала и организует репетиции.На сайте вы найдёте список тем, с которыми можно выступить. Если хотите выступить с другой темой, присылайте свои предложения — их обязательно рассмотрят.А если хотите просто поучаствовать в SmartData …

2 недели, 6 дней назад @ t.me
Устали заливать медленный код серверами? Приходите на новый сезон онлайн-конференции для backend-разработчиков Podlodka Backend Crew! Стартуем 18 июля, тема сезона – "Делаем приложения быстрее"!Всю неделю будем пристально смотреть на производительность при
Устали заливать медленный код серверами? Приходите на новый сезон онлайн-конференции для backend-разработчиков Podlodka Backend Crew! Стартуем 18 июля, тема сезона – "Делаем приложения быстрее"!Всю неделю будем пристально смотреть на производительность при

Устали заливать медленный код серверами? Приходите на новый сезон онлайн-конференции для backend-разработчиков Podlodka Backend Crew! Стартуем 18 июля, тема сезона – "Делаем приложения быстрее"!Всю неделю будем пристально смотреть на производительность приложений. Будем учиться⚡️Замерять и анализировать нагрузку⚡️Оптимизировать узкие места, не переписывая сервис с нуля⚡️Грамотно использовать многопоточность и эффективно утилизировать доступные ресурсы⚡️Ускорять все, что тормозит!Будем разбираться фундаментально, поэтому привязки к конкретному стеку и фреймворкам в программе не будет. Зато, например, будем разбираться с реактивным подходом и акторной моделью.Как всегда в Podlodka Crew все эт…

1 месяц, 1 неделя назад @ t.me
Про таймауты и внешние APIХорошей практикой при работе с внешними сервисами я считаю явное указание таймаутов ожидания соединения и ответа от хоста. Такой подход поможет избежать проблем с "зависанием" соединения и, как следствие, блокировкой процесса (для
Про таймауты и внешние APIХорошей практикой при работе с внешними сервисами я считаю явное указание таймаутов ожидания соединения и ответа от хоста. Такой подход поможет избежать проблем с "зависанием" соединения и, как следствие, блокировкой процесса (для

Про таймауты и внешние APIХорошей практикой при работе с внешними сервисами я считаю явное указание таймаутов ожидания соединения и ответа от хоста. Такой подход поможет избежать проблем с "зависанием" соединения и, как следствие, блокировкой процесса (для блокирующих соединений). На моей памяти было 2 неприятных кейса. В далёком 2015 я использовал requests для работы с сервисом поиска и бронирования ЖД билетов в Казахстане, по-умолчанию в requests нет таймаута и ожидание может превратиться в бесконечность. Всё было хорошо до тех пор пока у внешнего сервиса не начались проблемы, и он перестал отвечать на запросы. Все worker-процессы ушли в бесконечное ожидание, и мой сервис перестал принима…

1 месяц, 3 недели назад @ t.me
Хех, тут новый релиз Luigi нарисовался — https://github.com/spotify/luigi/releases/tag/3.1.0В интернетах народ уже давно похоронил этот замечательный фреймворк, апеллирует народ в основном к тому, что, мол, давно не было обновлений. А обновлять то там особ
Хех, тут новый релиз Luigi нарисовался — https://github.com/spotify/luigi/releases/tag/3.1.0В интернетах народ уже давно похоронил этот замечательный фреймворк, апеллирует народ в основном к тому, что, мол, давно не было обновлений. А обновлять то там особ

Хех, тут новый релиз Luigi нарисовался — https://github.com/spotify/luigi/releases/tag/3.1.0В интернетах народ уже давно похоронил этот замечательный фреймворк, апеллирует народ в основном к тому, что, мол, давно не было обновлений. А обновлять то там особо нечего, он простой и работает без сбоев. У меня, например, Luigi вот уже много лет бэкапит все сайты и складывает на S3.

1 месяц, 4 недели назад @ t.me
Доклады с Airflow Summit 2022 подъехали: https://bit.ly/3mzyl9T
Доклады с Airflow Summit 2022 подъехали: https://bit.ly/3mzyl9T

Доклады с Airflow Summit 2022 подъехали: https://bit.ly/3mzyl9T

2 месяца, 1 неделя назад @ t.me
Подготовил конспект статьи от Shopify о сетапе Airflow на 10 тысяч DAG'ов со 150 тысячами запусков в день. Сэкономит вам время на прочтении и поможет освежить в памяти в будущем.#briefly #airflow Airflow: scaling out recommendations by Shopifyhttps://teleg
Подготовил конспект статьи от Shopify о сетапе Airflow на 10 тысяч DAG'ов со 150 тысячами запусков в день. Сэкономит вам время на прочтении и поможет освежить в памяти в будущем.#briefly #airflow Airflow: scaling out recommendations by Shopifyhttps://teleg

Подготовил конспект статьи от Shopify о сетапе Airflow на 10 тысяч DAG'ов со 150 тысячами запусков в день. Сэкономит вам время на прочтении и поможет освежить в памяти в будущем.#briefly #airflow Airflow: scaling out recommendations by Shopifyhttps://telegra.ph/Airflow-scaling-out-recommendations-by-Shopify-06-03What's inside:— Cloud Storage vs Network File System.— Metadata retention policy.— Manifest file.— Consistent distribution of load.— Concurrency management.— Using different execution environments.Origin: Lessons Learned From Running Apache Airflow at Scale

2 месяца, 2 недели назад @ t.me
​​🔥Как изменится Spark и работа дата-инженера в новых реалиях?📅Приглашаем 14 июня в 20:00 мск на бесплатный вебинар «Дата инженер и Spark в новых реалиях»📚На вебинаре мы ответим на вопросы:✔️ Как изменятся источники и получатели данных, объемы данных, язык
​​🔥Как изменится Spark и работа дата-инженера в новых реалиях?📅Приглашаем 14 июня в 20:00 мск на бесплатный вебинар «Дата инженер и Spark в новых реалиях»📚На вебинаре мы ответим на вопросы:✔️ Как изменятся источники и получатели данных, объемы данных, язык

​​🔥Как изменится Spark и работа дата-инженера в новых реалиях?📅Приглашаем 14 июня в 20:00 мск на бесплатный вебинар «Дата инженер и Spark в новых реалиях»📚На вебинаре мы ответим на вопросы:✔️ Как изменятся источники и получатели данных, объемы данных, языки для ETL, кластера, облака и IDE?✔️ Насколько будет востребован дата-инженера на рынке и к чему нужно быть готовым?💎А также обсудим open source технологии и примеры миграционных проектов.👉🏻Регистрация на вебинар: https://otus.pw/ZUfD/

2 месяца, 3 недели назад @ t.me
​​📌 Интересно развиваться как инженер данных? 31 мая начинаются занятия на онлайн-курсе «Data Engineer» в OTUS. 🚀 Курс поможет разработчикам и администраторам СУБД научиться работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными
​​📌 Интересно развиваться как инженер данных? 31 мая начинаются занятия на онлайн-курсе «Data Engineer» в OTUS. 🚀 Курс поможет разработчикам и администраторам СУБД научиться работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными

​​📌 Интересно развиваться как инженер данных? 31 мая начинаются занятия на онлайн-курсе «Data Engineer» в OTUS. 🚀 Курс поможет разработчикам и администраторам СУБД научиться работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями. ✅ Через 3 месяца вы сможете использовать инструменты обработки данных, адаптировать датасеты и отвечать за архитектуру данных в компании. 💻 На курсе вас ждет интенсивная практика: примеры внедрений, разбор типичных ошибок и отработка навыков на виртуальных стендах Yandex.Cloud.🔥 Пройдите вступительный тест, чтобы успеть записаться в группу

2 месяца, 3 недели назад @ t.me
Планируете переезд или остаётесь в России?Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов.Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия
Планируете переезд или остаётесь в России?Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов.Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия

Планируете переезд или остаётесь в России?Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов.Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия нужны разработчикам.

3 месяца назад @ t.me
​​🚀 Готовы сделать первый шаг к карьере дата-инженера?23 и 24 мая в 20:00 пройдет открытый интенсив Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен. Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Whee
​​🚀 Готовы сделать первый шаг к карьере дата-инженера?23 и 24 мая в 20:00 пройдет открытый интенсив Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен. Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Whee

​​🚀 Готовы сделать первый шаг к карьере дата-инженера?23 и 24 мая в 20:00 пройдет открытый интенсив Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен. Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Wheely.✅ На интенсиве мы рассмотрим следующие темы:✔️ Extract-Load через SaaS решения. Возможности готовых сервисов, их надежность и ограничения.✔️ Extract-Load через API-вызовы, обращения к СУБД и CDC — оптимальные способы реализации.✔️ Автоматизация выгрузки, повторные попытки (retries), получение уведомлений в Slack (notifications) с помощью Airflow.✔️ Накопление истории выгрузок и организация Data Lake в S3 перед DWH.👉 Проходите вступитель…

3 месяца назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 2 часа назад
Приглашаем на вебинар «Отток клиентов. Тихая смерть омниканальной стратегии. Обратная сторона LTV». 📆 25 августа (четверг) в 17:00 МСК.На вебинаре узнаете, как снизить отток и вообще работать с базой, сокращая затраты и увеличивая прибыль, а также соберёте
Приглашаем на вебинар «Отток клиентов. Тихая смерть омниканальной стратегии. Обратная сторона LTV». 📆 25 августа (четверг) в 17:00 МСК.На вебинаре узнаете, как снизить отток и вообще работать с базой, сокращая затраты и увеличивая прибыль, а также соберёте

Приглашаем на вебинар «Отток клиентов. Тихая смерть омниканальной стратегии. Обратная сторона LTV». 📆 25 августа (четверг) в 17:00 МСК.На вебинаре узнаете, как снизить отток и вообще работать с базой, сокращая затраты и увеличивая прибыль, а также соберёте инсайты из разных сфер.У микрофонов:⚡️ Максим Мозговой, директор и управляющий партнер компании SegmentValue.Ex-директор по CRM и аналитике Wargaming, GameHouse, Сбербанк, МТС, Промсвязьбанк, Wildberries, Lamoda, IVI.⚡️ Стас Розен, основатель агентства Dau Relationship MarketingEx-Head of Digital&CRM в Pernod Ricard Rouss. Развивал программы лояльности в Philips, работал с ключевыми клиентами в агентствах Actis Wunderman и Progression (GE…

2 часа назад @ t.me
Lakehouse: A New Generation of Open Platforms that UnifyData Warehousing and Advanced Analytics - paper 2021 года про архитектуру LakehouseПост про обзор Lakehouse paper. The paper tries to motivate introduction of Lakehouse by high engineering efforts req
Lakehouse: A New Generation of Open Platforms that UnifyData Warehousing and Advanced Analytics - paper 2021 года про архитектуру LakehouseПост про обзор Lakehouse paper. The paper tries to motivate introduction of Lakehouse by high engineering efforts req

Lakehouse: A New Generation of Open Platforms that UnifyData Warehousing and Advanced Analytics - paper 2021 года про архитектуру LakehouseПост про обзор Lakehouse paper. The paper tries to motivate introduction of Lakehouse by high engineering efforts required to maintain “Data Lake” + EDW tandem (that is caused by data lake misuse for cost cutting EDW license), EDW data staleness (which was solved by CDC long ago), EDW lack of advanced analytics support (every EDW vendor provides them), unstructured data processing needs (you don’t want unstructured data inside your EDW). But the actual motivation is the willingness of Databricks to position their solution as a competitor in the cloud EDW…

2 часа назад @ t.me
Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉 Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения. Чему можно научиться посл
Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉 Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения. Чему можно научиться посл

Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉 Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения. Чему можно научиться после практики по гайду:1️⃣ Работать с сырыми данными, предобратывать их (это изи)2️⃣ Представлять в виде пригодных данных для анализа (посложнее, но задачка уровня джун+)3️⃣ Подбирать модели и корректно оценивать их по метрикам (а вот и хардкор)Из моделей разбираются:- модель на основе catboost- модель на основе линейной регрессии- коэффициентная модель- модель на основе экстраполяции логарифмомДля кого полезно? Маркетинг менеджеры, продакты,…

10 часов назад @ t.me
Новости из мира аналитики:Building Modern Data Teams - собрали много материала по этой теме в одном месте.Airflow's Problem - популярный пост про судьбу Airflow и его туманное будущееDatabricks usage and cost analysis - пример анализа стоимости DatabricksT
Новости из мира аналитики:Building Modern Data Teams - собрали много материала по этой теме в одном месте.Airflow's Problem - популярный пост про судьбу Airflow и его туманное будущееDatabricks usage and cost analysis - пример анализа стоимости DatabricksT

Новости из мира аналитики:Building Modern Data Teams - собрали много материала по этой теме в одном месте.Airflow's Problem - популярный пост про судьбу Airflow и его туманное будущееDatabricks usage and cost analysis - пример анализа стоимости DatabricksThe Evolution of Transformation Layer Architecture in 99 Group (DBT, Airflow and Kubernetes) - обзор аналитического решения в компании 99 Group4 Must-Have Tests for Your Apache Kafka CI/CD with GitHub Actions - будет полезно, если вы используете KafkaA Framework to Understand How Low-Quality Data Hurts Business Performance - Reporting Data at Criteo: How to Measure at Scale - архитектура аналитического решения в CriteoHarvard Data Science C…

11 часов назад @ t.me
В Google podcast есть подкасты, больше про карьеру, чем про данные. https://podcasts.google.com/feed/aHR0cHM6Ly9hbmNob3IuZm0vcy84MGIwMzJkOC9wb2RjYXN0L3Jzcw
В Google podcast есть подкасты, больше про карьеру, чем про данные. https://podcasts.google.com/feed/aHR0cHM6Ly9hbmNob3IuZm0vcy84MGIwMzJkOC9wb2RjYXN0L3Jzcw В Google podcast есть подкасты, больше про карьеру, чем про данные. https://podcasts.google.com/feed/aHR0cHM6Ly9hbmNob3IuZm0vcy84MGIwMzJkOC9wb2RjYXN0L3Jzcw

В Google podcast есть подкасты, больше про карьеру, чем про данные. https://podcasts.google.com/feed/aHR0cHM6Ly9hbmNob3IuZm0vcy84MGIwMzJkOC9wb2RjYXN0L3Jzcw

13 часов назад @ t.me
Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, п
Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, п

Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, про то, как все устроено и с какими проблемами сталкиваются DE и команды.А еще взгляды автора совпадали на некоторые аспекты и процессы совпадали с моими, приятно осозновать, что я практики, до которых я дошел самостоятельно или научился у других, оказываются, и правда хорошие. Спасибо моим учителям =)А теперь из прикольного: у ребят в datatalks.club в слаке есть канал book-of-the-week, где эту неделю автор книги отвечает на все вопросы. Со…

19 часов назад @ t.me
Отличная картинка. Только вместо ERP и CSV можно использовать хранилище данных. Пользователи мега креативны и найдут способ создать одинаковый показатель с разной логикой и результатом, даже если уже такой есть.И это будет не их вина. Это проблема отсутств
Отличная картинка. Только вместо ERP и CSV можно использовать хранилище данных. Пользователи мега креативны и найдут способ создать одинаковый показатель с разной логикой и результатом, даже если уже такой есть.И это будет не их вина. Это проблема отсутств Отличная картинка. Только вместо ERP и CSV можно использовать хранилище данных. Пользователи мега креативны и найдут способ создать одинаковый показатель с разной логикой и результатом, даже если уже такой есть.И это будет не их вина. Это проблема отсутств

Отличная картинка. Только вместо ERP и CSV можно использовать хранилище данных. Пользователи мега креативны и найдут способ создать одинаковый показатель с разной логикой и результатом, даже если уже такой есть.И это будет не их вина. Это проблема отсутствия правильной документации, инструмента для отображения документации и on-boarding тренингов. Хотя нет, даже при наличии всего этого, все равно придумают чего-нить (и никому не скажут)

1 день, 1 час назад @ t.me
Интересный путь у товарища
Интересный путь у товарища

Интересный путь у товарища

1 день, 22 часа назад @ t.me
Очень классная статья - Cloud-native Computing, Workloads, and Elasticity - про экономию в облаках. Казалось бы, если у нас есть кластер для ETL и он будет тратить X денег за 7 часов, то если мы удвоим кластер, то будем платить 2X за 7 часов. Но в облаке б
Очень классная статья - Cloud-native Computing, Workloads, and Elasticity - про экономию в облаках. Казалось бы, если у нас есть кластер для ETL и он будет тратить X денег за 7 часов, то если мы удвоим кластер, то будем платить 2X за 7 часов. Но в облаке б

Очень классная статья - Cloud-native Computing, Workloads, and Elasticity - про экономию в облаках. Казалось бы, если у нас есть кластер для ETL и он будет тратить X денег за 7 часов, то если мы удвоим кластер, то будем платить 2X за 7 часов. Но в облаке будет работать по другому. При удвоении мощности, наш ETL процесс закончится как минимум в 2 раза быстрей, то есть мы заплатим 2X/2=X. Та же цена, но в 2 раза быстрей. И там можно дальше. Все благодаря преимуществам облака и тарификации за работающие ресурсы.Я конечно утрирую немного, но в статье смысл про это, от ветерана MPP платформ Rob Klopp (Greenplum, Hana)

5 дней, 21 час назад @ t.me
Пока вы учите Python, SQL, Airflow и другие полезные ништячки на работе, я прохожу sexual harassment тренинг с элементами сериала 90х. Вот один из вопросов: (google сделал перевод для вас)Несколько сотрудниц офиса являются друзьями на Facebook. Однажды ноч
Пока вы учите Python, SQL, Airflow и другие полезные ништячки на работе, я прохожу sexual harassment тренинг с элементами сериала 90х. Вот один из вопросов: (google сделал перевод для вас)Несколько сотрудниц офиса являются друзьями на Facebook. Однажды ноч

Пока вы учите Python, SQL, Airflow и другие полезные ништячки на работе, я прохожу sexual harassment тренинг с элементами сериала 90х. Вот один из вопросов: (google сделал перевод для вас)Несколько сотрудниц офиса являются друзьями на Facebook. Однажды ночью дома одна из женщин публикует рейтинг «Лучших мужских задниц в моем офисе», зная, что она дружит на Facebook только с сотрудницами, которые не обидятся. Когда это видит друг друга друга, он чувствует себя униженным, потому что он занял последнее место. Он сообщает об этом как о сексуальных домогательствах.Это сексуальные домогательства?Вопрос конечно серьезный и даже очень полезный для некоторых, но в Канаде тут с этим не шутят, за неуд…

6 дней, 20 часов назад @ t.me
18 августа пройдет вебинар «Как внедрить сквозную аналитикуи связать маркетинг с продажами» от Adventum и Звук (ex. СберЗвук) 📊На вебинаре вы узнаете:▪️ Что такое сквозная и что нужно для ее настройки▪️ Какие проблемы закрывает сквозная на примере Звука▪️
18 августа пройдет вебинар «Как внедрить сквозную аналитикуи связать маркетинг с продажами» от Adventum и Звук (ex. СберЗвук) 📊На вебинаре вы узнаете:▪️ Что такое сквозная и что нужно для ее настройки▪️ Какие проблемы закрывает сквозная на примере Звука▪️ 18 августа пройдет вебинар «Как внедрить сквозную аналитикуи связать маркетинг с продажами» от Adventum и Звук (ex. СберЗвук) 📊На вебинаре вы узнаете:▪️ Что такое сквозная и что нужно для ее настройки▪️ Какие проблемы закрывает сквозная на примере Звука▪️

18 августа пройдет вебинар «Как внедрить сквозную аналитикуи связать маркетинг с продажами» от Adventum и Звук (ex. СберЗвук) 📊На вебинаре вы узнаете:▪️ Что такое сквозная и что нужно для ее настройки▪️ Какие проблемы закрывает сквозная на примере Звука▪️ Как можно кастомизировать дашборд на примере ЗвукаКогда: 18 августа, четверг, в 14:00 МСКРегистрируйтесь по ссылке: https://analytics.adventum.ru/events/skvoznaya-dlya-zvuka/#реклама

1 неделя назад @ t.me
FAANG компании отслеживают интересные метрики - Revenue per employee и Free cash flow per employee. Согласно статье Why Mark Zuckerberg and Sundar Pichai Are Worried About Productivity эффективность труда падает, и как говорит Цукенберг Realistically, ther
FAANG компании отслеживают интересные метрики - Revenue per employee и Free cash flow per employee. Согласно статье Why Mark Zuckerberg and Sundar Pichai Are Worried About Productivity эффективность труда падает, и как говорит Цукенберг Realistically, ther FAANG компании отслеживают интересные метрики - Revenue per employee и Free cash flow per employee. Согласно статье Why Mark Zuckerberg and Sundar Pichai Are Worried About Productivity эффективность труда падает, и как говорит Цукенберг Realistically, ther

FAANG компании отслеживают интересные метрики - Revenue per employee и Free cash flow per employee. Согласно статье Why Mark Zuckerberg and Sundar Pichai Are Worried About Productivity эффективность труда падает, и как говорит Цукенберг Realistically, there are probably a bunch of people at the company who shouldn’t be here.Как вам такой подход? Я знаю, что такой подход хорошо работает на уровень зарплаты (total compensation), и поэтому там такие высокие зарплаты, а вот наоборот, искать взаимосвязь между производительностью конкретного инженера и доходом компании это может обернуться "охотой на ведьм". Возможно причины в неудачных long term решениях. А так то, кому сейчас легко?😆

1 неделя назад @ t.me
11 августа состоится Alfa Data Science MeetUp#2 📟Участие бесплатное, необходимо зарегистрироваться на сайте, чтобы получить ссылку на онлайн-трансляцию. Темы и спикеры:🖲 Развитие клиентской базы: моделирование LTV и прогноз будущих доходов- Сергей Королёв
11 августа состоится Alfa Data Science MeetUp#2 📟Участие бесплатное, необходимо зарегистрироваться на сайте, чтобы получить ссылку на онлайн-трансляцию.  Темы и спикеры:🖲 Развитие клиентской базы: моделирование LTV и прогноз будущих доходов- Сергей Королёв 11 августа состоится Alfa Data Science MeetUp#2 📟Участие бесплатное, необходимо зарегистрироваться на сайте, чтобы получить ссылку на онлайн-трансляцию. Темы и спикеры:🖲 Развитие клиентской базы: моделирование LTV и прогноз будущих доходов- Сергей Королёв

11 августа состоится Alfa Data Science MeetUp#2 📟Участие бесплатное, необходимо зарегистрироваться на сайте, чтобы получить ссылку на онлайн-трансляцию. Темы и спикеры:🖲 Развитие клиентской базы: моделирование LTV и прогноз будущих доходов- Сергей Королёв, Middle Data Scientist Альфа-Банк🖲 Uplift-моделирование в ценообразовании кредитных продуктов- Максим Коматовский, Junior Data Scientist Альфа-Банк🖲 Совершенный код расчёт- Максим Cтаценко, Team Lead/Senior DWH Developer в Яндекс🖲 Побеждаем смещение распределения в задаче нейросетевого кредитного скоринга- Алексей Фирстов, Senior Data Scientist Альфа-БанкМитап пройдет в интерактивном формате, вопросы спикерам приветствуются, авторы лучших …

1 неделя, 1 день назад @ t.me
Databricks VSCode Extension https://blog.gbrueckl.at/2022/08/databricks-vscode-extension-release-v1-0/
Databricks VSCode Extension https://blog.gbrueckl.at/2022/08/databricks-vscode-extension-release-v1-0/

Databricks VSCode Extension https://blog.gbrueckl.at/2022/08/databricks-vscode-extension-release-v1-0/

1 неделя, 1 день назад @ t.me
Новый игрок в BI был замечен на рынке после недавних инвестиций в 12млн от знающих толк в data людейMost BI tools are thin applications with no г engine of their own, and only as fast as the database they sit atop. Rill, on the other hand, is a thick appli
Новый игрок в BI был замечен на рынке после недавних инвестиций в 12млн от знающих толк в data людейMost BI tools are thin applications with no г engine of their own, and only as fast as the database they sit atop. Rill, on the other hand, is a thick appli

Новый игрок в BI был замечен на рынке после недавних инвестиций в 12млн от знающих толк в data людейMost BI tools are thin applications with no г engine of their own, and only as fast as the database they sit atop. Rill, on the other hand, is a thick application that comes with its own embedded in-memory OLAP engine (DuckDB in Rill Developer, and Apache Druid in Rill Cloud). This is the not-so-secret reason why our dashboards offer incredibly high performance,” the company wrote in a blog post announcing the funding.https://techcrunch-com.cdn.ampproject.org/c/s/techcrunch.com/2022/08/04/rill-wants-to-rethink-bi-dashboards-with-embedded-database-and-instant-ux/amp/Посмотрим как пойдёт у них

1 неделя, 1 день назад @ t.me
Left Join Left Join
последний пост 4 часа назад
Жара (не только) в Акапулько "Облачность переменная, ветер тёплый северо-западный. Ну, кому-то будет ясно, кому-то не очень. Погода в Питере меняется с космической скоростью, а вместе с ней, между прочим, и настроение. Так что для стабилизации эмоций дышит
Жара (не только) в Акапулько "Облачность переменная, ветер тёплый северо-западный. Ну, кому-то будет ясно, кому-то не очень. Погода в Питере меняется с космической скоростью, а вместе с ней, между прочим, и настроение. Так что для стабилизации эмоций дышит

Жара (не только) в Акапулько "Облачность переменная, ветер тёплый северо-западный. Ну, кому-то будет ясно, кому-то не очень. Погода в Питере меняется с космической скоростью, а вместе с ней, между прочим, и настроение. Так что для стабилизации эмоций дышите глубже и оставайтесь на нашей волне". Если вы не понимаете, при чем здесь метеорологическая сводка от Маши Емельяновой из фильма Питер FM, то не переживайте, это все еще аналитический телеграм-канал. Сейчас я все объясню.Америка и Европа очень сильно пострадали от жары этим летом. Естественно, это породило новую волну споров о глобальном потеплении: люди строят догадки и утверждают или отрицают, что частота и интенсивность волн тепла уве…

4 часа назад @ t.me
Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉 Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения. Чему можно научиться посл
Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉 Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения. Чему можно научиться посл

Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉 Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения. Чему можно научиться после практики по гайду:1️⃣ Работать с сырыми данными, предобратывать их (это изи)2️⃣ Представлять в виде пригодных данных для анализа (посложнее, но задачка уровня джун+)3️⃣ Подбирать модели и корректно оценивать их по метрикам (а вот и хардкор)Из моделей разбираются:- модель на основе catboost- модель на основе линейной регрессии- коэффициентная модель- модель на основе экстраполяции логарифмомДля кого полезно? Маркетинг менеджеры, продакты,…

8 часов назад @ t.me
🚀 Ищем спикеров для нового сезона подкаста Data Heroes 👾 Хотите принять участие в записи нашего подкаста? Есть предложение!Если вы студент или выпускник иностранного вуза по специальности Data Science или любой смежной (онлайн или оффлайн), то будем рады у
🚀 Ищем спикеров для нового сезона подкаста Data Heroes 👾 Хотите принять участие в записи нашего подкаста? Есть предложение!Если вы студент или выпускник иностранного вуза по специальности Data Science или любой смежной (онлайн или оффлайн), то будем рады у

🚀 Ищем спикеров для нового сезона подкаста Data Heroes 👾 Хотите принять участие в записи нашего подкаста? Есть предложение!Если вы студент или выпускник иностранного вуза по специальности Data Science или любой смежной (онлайн или оффлайн), то будем рады услышать вашу историю в подкасте Data Heroes. Скорее пишите моей коллеге @Milanchezaa с кратким резюме: где учились/учитесь, какая специальность, формат занятий онлайн/оффлайн. Мы ищем наших новых героев! 🦸 P.S. Если у вас есть знакомые с подходящим кейсом или вы просто хороший человек с телеграм-каналом, то мы будем благодарны за репост! 🤖

2 дня, 6 часов назад @ t.me
🔩 TOR – несгибаемый гвоздь среди анонимизирующих браузеров 🚨Наверняка вы, как минимум, слышали про анонимный браузер TOR и в этом нет ничего странного. Его обсуждают и изучают экономисты, исследователи теневой экономики, а также им пользуются все, кто хоче
🔩 TOR – несгибаемый гвоздь среди анонимизирующих браузеров 🚨Наверняка вы, как минимум, слышали про анонимный браузер TOR и в этом нет ничего странного. Его обсуждают и изучают экономисты, исследователи теневой экономики, а также им пользуются все, кто хоче

🔩 TOR – несгибаемый гвоздь среди анонимизирующих браузеров 🚨Наверняка вы, как минимум, слышали про анонимный браузер TOR и в этом нет ничего странного. Его обсуждают и изучают экономисты, исследователи теневой экономики, а также им пользуются все, кто хочет получить доступ на определенный сайт при отсутствии легальной возможности это сделать. Конечно, за браузером следует дурная слава, ведь доступ на сайты по продаже наркотиков осуществлялся именно через него, однако сейчас это не главная цель его использования в России.🧅 Короткая заметка, если вы не слышали про TORTOR («The Onion Router») – это популярный анонимизирующий браузер, принцип работы которого напоминает принципы работы VPN-серви…

2 дня, 8 часов назад @ t.me
👥 Хрупкое доверие в современном мире (и причем тут теория игр?) 💸Многие исследования показывают, что уровень доверия к окружающим падает каждый год. 📚 Причем тут теория игр?Если в университете вам преподавали теорию игр, то вы наверняка знаете, что эта нау
👥 Хрупкое доверие в современном мире (и причем тут теория игр?) 💸Многие исследования показывают, что уровень доверия к окружающим падает каждый год. 📚 Причем тут теория игр?Если в университете вам преподавали теорию игр, то вы наверняка знаете, что эта нау

👥 Хрупкое доверие в современном мире (и причем тут теория игр?) 💸Многие исследования показывают, что уровень доверия к окружающим падает каждый год. 📚 Причем тут теория игр?Если в университете вам преподавали теорию игр, то вы наверняка знаете, что эта наука помогает понять и формализовать разные типы межличностного взаимодействия в разных условиях. В реальной жизни точно такие же примеры найти сложно и в каждом взаимодействии происходит смешение разных моделей, однако, это лучший инструмент из доступных. Итак, основой многих моделей ТИ являются стратегии правды и обмана, лени и добросоветстности. Самыми важными в таких играх являются условия: количество взаимодействий, доступ к информации,…

5 дней, 6 часов назад @ t.me
Все что может понадобиться в работе над проектомСпешим поделиться классным приложением Whimsical. С его помощью можно рисовать класные флоучарты, вести менеджмент задач по проектам и создавать черновики для верстки веб-сайтов. Если последнее нужно далеко н
Все что может понадобиться в работе над проектомСпешим поделиться классным приложением Whimsical. С его помощью можно рисовать класные флоучарты, вести менеджмент задач по проектам и создавать черновики для верстки веб-сайтов. Если последнее нужно далеко н

Все что может понадобиться в работе над проектомСпешим поделиться классным приложением Whimsical. С его помощью можно рисовать класные флоучарты, вести менеджмент задач по проектам и создавать черновики для верстки веб-сайтов. Если последнее нужно далеко не всем, то первые два пункта пригодятся любому, особенно аналитику данных. Оставляйте реакции ❤️, если вы пользуетесь флоучартами и рассказывайте в комментариях, какой инструмент вам нравится.Если вы не используете флоучарты и не вполне понимаете зачем они нужны, то вот два примера:◽️ Как Slack принимает решение об отправке уведомления◽️ Как устроена прокрастинация

1 неделя назад @ t.me
🛤 MidJourney и почему о ней скоро все заговорят? Сегодня мы хотим вам рассказать про новую модель для генерации изображений – MidJourney. Подробно об идее создания, процессе обучения и результатах основатель MidJourney Дэвид Хольц рассказал в интервью The
🛤 MidJourney и почему о ней скоро все заговорят? Сегодня мы хотим вам рассказать про новую модель для генерации изображений – MidJourney. Подробно об идее создания, процессе обучения и результатах основатель MidJourney Дэвид Хольц рассказал в интервью The

🛤 MidJourney и почему о ней скоро все заговорят? Сегодня мы хотим вам рассказать про новую модель для генерации изображений – MidJourney. Подробно об идее создания, процессе обучения и результатах основатель MidJourney Дэвид Хольц рассказал в интервью The Verge, а у нас – коротко о главном.🤔 Что в ней особенного?Если некоторые из моделей, о которых мы рассказывали, были заточены под фотореализм или графический дизайн, то MidJourney в большей степени вдохновляется произведениями искусства. К тому же, разработчики MidJourney провернули нечто необычное – создали одно из самых больших комьюнити в Discord, которое одновременно дает доступ к использованию модели и предоставляет пространство для о…

1 неделя, 2 дня назад @ t.me
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🎨 Куда пропали все краски жизни?Вы тоже заметили, что многие окружающие нас вещи стали менее яркими? Статистика это подтверждает.В недавнем треде автор (The Cultural Tutor) собр
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🎨 Куда пропали все краски жизни?Вы тоже заметили, что многие окружающие нас вещи стали менее яркими? Статистика это подтверждает.В недавнем треде автор (The Cultural Tutor) собр

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🎨 Куда пропали все краски жизни?Вы тоже заметили, что многие окружающие нас вещи стали менее яркими? Статистика это подтверждает.В недавнем треде автор (The Cultural Tutor) собрал множество аргументов, которые показывают динамику цветового разнообразия вещей. Например, цветные машины сейчас составляют меньше трети от всех машин. Действительно, если вы посмотрите на случайную парковку по пути на работу – черные, белые и серые машины будут заметно преобладать. Если говорить про дизайн интерьеров, то затяжной культ минимализма, белых стен и пастельных расцветок тоже внесли свою лепту в снижение яркости. Даже дизайн …

2 недели, 1 день назад @ t.me
🤔 Valiotti Analytics нужен копирайтер на английском языке 👨🏻‍💻Аудитория этого канала – наша гордость, ведь среди вас мы уже неоднократно находили совершенно незаменимых профессионалов своего дела. Сейчас мы в процессе расширения команды контента и маркетин
🤔 Valiotti Analytics нужен копирайтер на английском языке 👨🏻‍💻Аудитория этого канала – наша гордость, ведь среди вас мы уже неоднократно находили совершенно незаменимых профессионалов своего дела. Сейчас мы в процессе расширения команды контента и маркетин

🤔 Valiotti Analytics нужен копирайтер на английском языке 👨🏻‍💻Аудитория этого канала – наша гордость, ведь среди вас мы уже неоднократно находили совершенно незаменимых профессионалов своего дела. Сейчас мы в процессе расширения команды контента и маркетинга и нам нужен младший копирайтер. Поэтому, если вы хотели поработать вместе с нами, сегодня вновь ваш шанс 🥳Поэтому мы открываем вакансию:👨‍💻 Junior CopywriterЧто от вас требуется?🤓 Умение писать тексты на английском и русском языке👅 Знание английского языка не ниже В2 (Upper Intermediate +)👬 Готовность работать в команде, обсуждать результаты работы, вносить правки💻 Желание разбираться в аналитической работе и писать об этом📝 Ответственн…

2 недели, 2 дня назад @ t.me
Everyday Data Science за полцены 🤑Вау, к нам в телеграм-канал зашел автор технической части интерактивного курса, о котором мы подробно рассказали выше, Jim Fisher! Он заметил неожиданный (и приятный) трафик из Telegram и решил разобраться, кто за этим сто
Everyday Data Science за полцены 🤑Вау, к нам в телеграм-канал зашел автор технической части интерактивного курса, о котором мы подробно рассказали выше, Jim Fisher! Он заметил неожиданный (и приятный) трафик из Telegram и решил разобраться, кто за этим сто

Everyday Data Science за полцены 🤑Вау, к нам в телеграм-канал зашел автор технической части интерактивного курса, о котором мы подробно рассказали выше, Jim Fisher! Он заметил неожиданный (и приятный) трафик из Telegram и решил разобраться, кто за этим стоит...Помимо респекту нашему теплому комьюнити, он дал всем нашим подписчикам промокод на 50% скидку по привычному нам промокоду LEFTJOIN. Если вы уже успели купить курс, то можно быстро оформить возврат и оплатить вновь уже со скидкой. 🚨 Скидка действует всего несколько дней, а также, оплата возможна только через зарубежную карту. Понимаем, что это предложение интересно не всем, однако, если у вас есть желание и возможность – от всей души …

3 недели назад @ t.me
🍋 Data Science для жизни (и не только)Я регулярно изучаю, какие курсы запускаются по всевозможным смежным c аналитикой направлениям. Конечно, большинство курсов похожи друг на друга и частично повторяют самую базовую информацию, однако, среди них есть и на
🍋 Data Science для жизни (и не только)Я регулярно изучаю, какие курсы запускаются по всевозможным смежным c аналитикой направлениям. Конечно, большинство курсов похожи друг на друга и частично повторяют самую базовую информацию, однако, среди них есть и на

🍋 Data Science для жизни (и не только)Я регулярно изучаю, какие курсы запускаются по всевозможным смежным c аналитикой направлениям. Конечно, большинство курсов похожи друг на друга и частично повторяют самую базовую информацию, однако, среди них есть и настоящие бриллианты: например, Everyday Data Science. 🤔 Что особенного в этом курсе?Курс платный, но первую главу под названием "Когда жизнь преподносит тебе лимоны..." можно пройти без всяких регистраций и смс. Самое крутое, что, полагаю, будет лейтмотивом всего курса – это простые жизненные примеры, которые помогают увидеть и понять закономерности и сложные концепции. Например, в первой главе можно погрузиться в крайне нужное сейчас при т…

3 недели назад @ t.me
Мои коллеги на удаленке: работают на пляжеЯ:#мем
Мои коллеги на удаленке: работают на пляжеЯ:#мем

Мои коллеги на удаленке: работают на пляжеЯ:#мем

3 недели, 2 дня назад @ t.me
🤔 Печенье, которого не существует 🍪Давно не рассказывали, что там новенького в мире AI-моделей для генерации изображений, пора исправляться!🆕 Что новенького?Разработчики обучили четыре модели StyleGAN2 (Generative adversarial network) для генерации изображ
🤔 Печенье, которого не существует 🍪Давно не рассказывали, что там новенького в мире AI-моделей для генерации изображений, пора исправляться!🆕 Что новенького?Разработчики обучили четыре модели StyleGAN2 (Generative adversarial network) для генерации изображ

🤔 Печенье, которого не существует 🍪Давно не рассказывали, что там новенького в мире AI-моделей для генерации изображений, пора исправляться!🆕 Что новенького?Разработчики обучили четыре модели StyleGAN2 (Generative adversarial network) для генерации изображений еды. Код, оптимизированный для обучения TPU, а также предварительно обученные модели находятся в открытом доступе. Результаты весьма интересные (и реалистичные), вы даже можете попробовать сгенерировать изображения сами в этом Collab-ноутбуке. 💸 Почему просто не использовать DALL-E 2?Авторы шутят, что они бедные и не хотят тратиться, но есть и более аргументированное объяснение. Дело в том, что диффузионные и авторегрессионные модели …

3 недели, 2 дня назад @ t.me
🤿 Глубокое погружение в визуализацию данных 🌊Недавно прочитал объемную книжку Hands-On Data Visualization про визуализацию данных. Чтобы сэкономить вам время, структурировал самые полезные главы из книги в этом посте. ▪Суперский список ресурсов по поиску д
🤿 Глубокое погружение в визуализацию данных 🌊Недавно прочитал объемную книжку Hands-On Data Visualization про визуализацию данных. Чтобы сэкономить вам время, структурировал самые полезные главы из книги в этом посте. ▪Суперский список ресурсов по поиску д

🤿 Глубокое погружение в визуализацию данных 🌊Недавно прочитал объемную книжку Hands-On Data Visualization про визуализацию данных. Чтобы сэкономить вам время, структурировал самые полезные главы из книги в этом посте. ▪Суперский список ресурсов по поиску датасетов▪ Классная глава про очистку данных и про функцию Smart Cleanup в Google▪Инструмент Tabula для извлечения таблиц из pdf ▪Инструмент Open Refine: мощная вещь для очистки данных, которую я изучал в Georgia Tech▪Важные правила построения графиков: ▪Клевые мануалы по созданию чартов в DataWrapper▪Полезные принципы дизайна таблиц▪Серия мануалов по созданию графиков на Chart.js▪Любопытная глава по определению лжи на графиках▪Как лгать с …

3 недели, 5 дней назад @ t.me
🖥 Кто может объяснить работу кода лучше, чем машина? 🤔На сегодняшний момент одно из самых крутых применений языковой AI-модели GPT-3 — создание объяснений того, как работает код. Суть в том, что вы можете подать на вход модели блок кода, написанный на Pyth
🖥 Кто может объяснить работу кода лучше, чем машина? 🤔На сегодняшний момент одно из самых крутых применений языковой AI-модели GPT-3 — создание объяснений того, как работает код. Суть в том, что вы можете подать на вход модели блок кода, написанный на Pyth

🖥 Кто может объяснить работу кода лучше, чем машина? 🤔На сегодняшний момент одно из самых крутых применений языковой AI-модели GPT-3 — создание объяснений того, как работает код. Суть в том, что вы можете подать на вход модели блок кода, написанный на Python, JavaScipt, SQL или другом языке, и попросить объяснить его, а также задавать вопросы, в духе "Что делает эта функция?"🔮 Конечно, как у использования любой другой модели, у GPT-3 есть важные нюансы: вам нужно хорошо разбираться в вопросах кодинга, работе AI-моделей и эффективности выполнения команд по времени и памяти, чтобы проверять и понимать полученные объяснения, а также, чтобы подмечать некоторые неточности. Несмотря на это, GPT-3…

4 недели, 1 день назад @ t.me
SQLite на практике SQLite на практике
последний пост 2 месяца, 4 недели назад
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для

Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для аналитики» для выпускников «окошек» и «на практике».Так что если вы:— успешно решили все задачки в «SQLite на практике» (скидка 500₽),— или получили сертификат с отличием в «Оконные функции SQL» (скидка 500₽),— и хотите пройти «SQLite для аналитики»,то присылайте ссылку на свой Степик-профиль мне @nalgeon, чтобы получить промо-код.

2 месяца, 4 недели назад @ t.me
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v

Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v.employer_id join area as a on a.id = v.area_idТеперь хочется запускать запросы по сводным данным. Есть три способа это сделать:1) Common Table Expression (CTE)2) Представление (view)3) Временная таблица (temporary table)CTE я описывал в отдельной заметке, не буду повторяться. Важно, что CTE каждый раз вычисляется заново, так что если наш сводный select не особо быстрый — запросы по нему будут тормозить.Представление — это такой именованный…

3 месяца назад @ t.me
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11,
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11,

JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11, "action": "login", "details": { "ip": "192.168.0.1" }}Или пополнение счета:{ "timestamp": "2022-05-15T09:32:00Z", "object": "account", "object_id": 12, "action": "deposit", "details": { "amount": "1000", "currency": "USD" }}Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON. Заводите таблицу events с единственным полем value:select value from events;{"timestamp":"2022-05-15T09:31:00Z",...{"timestamp":"2022-05-15T09:32…

3 месяца назад @ t.me
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:se
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:se

Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:select id, salary*0.87 as net_salaryfrom employees;А чтобы не таскать везде эти вычисления, удобно создать виртуальный столбец.В общем виде синтаксис такой:alter table ТАБЛИЦАadd column СТОЛБЕЦ ТИП as (ВЫРАЖЕНИЕ);Для зарплат будет так:alter table employeesadd column net_salary real as ( salary*0.87);После этого столбец можно использовать в запросах точно так же, как обычные столбцы:select id, net_salaryfrom employees;Виртуальные столбцы не хранятся в …

3 месяца, 1 неделя назад @ t.me
Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J —
Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J —

Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и тогда многострочный запрос редактируется одним куском!

4 месяца назад @ t.me
История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в ка
История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в ка

История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в каталоге пользователя и называется .sqlite_history. Он текстовый, так что можно просматривать хоть в редакторе. Если хотите сохранить в другом месте — укажите полный путь в переменной окружения SQLITE_HISTORY.История записывается в файл при штатном выходе из консоли, так что если «моргнет» электричество или еще что — команды, выполненные с последнего запуска sqlite3, потеряются.Конечно, запись истории — не единственная фича консоли. Например…

4 месяца назад @ t.me
Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экс
Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экс

Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экспорт данных.— Типы данных в SQLite.— Работа с JSON.В планах и другие модули, посвященные специфике SQLite.Курс пока бесплатный, но это не навсегда.Записывайтесь, если хотите прокачать понимание SQLite и не боитесь командной строки:SQLite на практике

5 месяцев, 1 неделя назад @ t.me
ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление
ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление

ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление против Украины и ее граждан. Это преступление против мира.Если вы против войны — не молчите, заявите об этом. Необязательно выходить на улицу под дубинки полицейских. Напишите вашему депутату. Если ведете соцсети — напишите там. Подпишите петицию.Сейчас кто молчит — одобряет. Не молчите.Позволит ли конкретно ваш одинокий голос остановить войну? Конечно, нет. Руководству страны плевать на любые петиции. Но он поможет другим увидеть, что они…

5 месяцев, 3 недели назад @ t.me
Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а
Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а

Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а дату-время как 2022-01-27 19:30:15. Иногда добавляют еще миллисекунды: 2022-01-27 19:30:15.123.Стандарт включает кучу нюансов, но основные формы записи именно такие.Дата при этом хранится в SQLite как текст. Занимает 12 байт (без времени), 21 байт (до секунд) или 25 байт (с миллисекундами).➕ Человекочитаемая дата➕ Удобно сравнивать ('2021-12-30' < '2022-01-27')➖ Неудобно считать разницу между датами➖ Занимает много местаUnix TimeUnix Time…

6 месяцев, 3 недели назад @ t.me
Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии
Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии

Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии 3.37.2. И включил пачку стандартных расширений вроде R*Tree. А в планах еще приделать все расширения из sqlean, вот тогда заживем вообще.https://sqlime.org/

7 месяцев назад @ t.me
Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем
Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем

Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем с 12:15.https://we.fo/1604736632P.S. Поскольку к записи мы специально не готовились, звучу я как из ведра. Но если потерпеть минуту, вы привыкнете 😁

7 месяцев назад @ t.me
Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NU
Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NU

Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NULL — пустое значение.Пока ничего необычного (только типов маловато по сравнению с другими СУБД).А как вам такое:SQLite может хранить данные любого типа — вне зависимости от того, какой тип указан на столбце.Хотите записать число 3.14 в integer-поле? Пожалуйста (и никакого округления). Или, может быть, 'привет' в поле типа real? Без проблем.Дело в том, что SQLite хранит тип не только на столбце, но и на каждом значении в таблице. Именно поэ…

7 месяцев, 1 неделя назад @ t.me
Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person->'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enha
Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person-&gt;'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enha

Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person->'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enhancements.md

7 месяцев, 1 неделя назад @ t.me
Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенны
Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенны

Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенных функций по сравнению с PostgreSQL или Oracle.К счастью, авторы заложили в SQLite механизм расширений, на котором можно сделать почти все что угодно. В результате интернет заполнен обрывочными расширениями, которые добавляют функцию-другую.Мне хотелось большой системности.Так появился проект sqlean — в нем я собираю вместе недостающие в SQLite функции, распределяю их по модулям, рефакторю код, пишу тесты и документацию. Получается что-то …

7 месяцев, 2 недели назад @ t.me
Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-9981
Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-9981

Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-998138191

7 месяцев, 4 недели назад @ t.me
Datalytics Datalytics
последний пост 4 часа назад
Новые быстрые IT-курсы от ПрактикумаОсвоить новую профессию теперь можно на буткемпах — новых программах длительностью от 2 до 5 месяцев. Курсы подойдут тем, у кого нет опыта в программировании или анализе данных, но есть желание и время, чтобы интенсивно
Новые быстрые IT-курсы от ПрактикумаОсвоить новую профессию теперь можно на буткемпах — новых программах длительностью от 2 до 5 месяцев. Курсы подойдут тем, у кого нет опыта в программировании или анализе данных, но есть желание и время, чтобы интенсивно Новые быстрые IT-курсы от ПрактикумаОсвоить новую профессию теперь можно на буткемпах — новых программах длительностью от 2 до 5 месяцев. Курсы подойдут тем, у кого нет опыта в программировании или анализе данных, но есть желание и время, чтобы интенсивно

Новые быстрые IT-курсы от ПрактикумаОсвоить новую профессию теперь можно на буткемпах — новых программах длительностью от 2 до 5 месяцев. Курсы подойдут тем, у кого нет опыта в программировании или анализе данных, но есть желание и время, чтобы интенсивно учитьсяНа буткемпах от Практикума можно стать аналитиком данных, фронтенд-разработчиком, специалистом по Data Science или инженером по тестированию.Особенности коротких программ:- Еженедельное планирование с наставником- Наставник на связи весь день.В течение ~8 учебных часов можете писать наставнику любые вопросы по заданиям.- Вебинары каждую неделю.Разберёте сложные темы, получите помощь с проектами и ответы на вопросы.- Помощь с трудоус…

4 часа назад @ t.me
В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова. Ребята расширили стек и добавили дата-аналитику. Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon),
В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова. Ребята расширили стек и добавили дата-аналитику.  Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon), В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова. Ребята расширили стек и добавили дата-аналитику. Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon),

В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова. Ребята расширили стек и добавили дата-аналитику. Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon), Денис Нечитайло (Head of Product Analytics Ozon) и Сергей Юдин (COO Яндекс Кью). Обсудили, где пролегает граница между дата-сайентистами и дата-аналитиками, поговорили о том, что нужно дата-сайентисту и что пригодится аналитику данных, рассказали, откуда взялась мода на дата-сайентистов (спойлер: по одной изверсий, из-за этой статьи «Дата-сайентист – самая сексуальная профессия»). Послушать можно тут: 🎧Яндекс🎧Apple🎧Google

1 день, 6 часов назад @ t.me
Наткнулся на замечательную подборку шаблонов d3.js у ObservableНапример, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело касто
Наткнулся на замечательную подборку шаблонов d3.js у ObservableНапример, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело касто Наткнулся на замечательную подборку шаблонов d3.js у ObservableНапример, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело касто

Наткнулся на замечательную подборку шаблонов d3.js у ObservableНапример, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело кастомизируется под ваши данные, достаточно только загрузить таблицу с количеством пользователей в разбивке по когортам и отчетным периодамА ещё есть аналогичный шаблон, но с Retention по сегментам

1 день, 7 часов назад @ t.me
Хочешь писать код чище, ревьюить объективнее, деплоить быстрее? Тогда подписывайся на канал Just code IT — сообщество по программированию Там ты найдешь обсуждения тонкостей языков, алгоритмов, ИБ, компиляторов, обзоры ретро-игр, и прочий лоу-левел и ха
Хочешь писать код чище, ревьюить объективнее, деплоить быстрее? Тогда подписывайся на канал Just code IT — сообщество по программированию Там ты найдешь обсуждения тонкостей языков, алгоритмов, ИБ, компиляторов, обзоры ретро-игр, и прочий лоу-левел и ха

Хочешь писать код чище, ревьюить объективнее, деплоить быстрее? Тогда подписывайся на канал Just code IT — сообщество по программированию Там ты найдешь обсуждения тонкостей языков, алгоритмов, ИБ, компиляторов, обзоры ретро-игр, и прочий лоу-левел и хай-тек. Нам, например, зашел обзор любительских ОС с GUI, почитайте.

5 дней, 1 час назад @ t.me
Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.Выглядит удобно как гибридный инстр
Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.Выглядит удобно как гибридный инстр Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.Выглядит удобно как гибридный инстр

Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.Выглядит удобно как гибридный инструмент, и для тех кто напишет код сам, и для тех кому угодно не в виде кода, и для тех кто поправит за вторыми, то что они не могут сами.Наступает время гибридных инструментов!Ссылки:[1] https://hex.tech/blog/introducing-no-code-cells#datatools #sql #python

5 дней, 7 часов назад @ t.me
Многих молодых аналитиков, и не только их, работа с исследованиями уводит в темные дебри поиска проблем, планирования, итераций, выводов, а про презентацию результатов и вовсе забывают. Самое досадное случается, когда все потраченные усилия уходят «в стол»
Многих молодых аналитиков, и не только их, работа с исследованиями уводит в темные дебри поиска проблем, планирования, итераций, выводов, а про презентацию результатов и вовсе забывают. Самое досадное случается, когда все потраченные усилия уходят «в стол»

Многих молодых аналитиков, и не только их, работа с исследованиями уводит в темные дебри поиска проблем, планирования, итераций, выводов, а про презентацию результатов и вовсе забывают. Самое досадное случается, когда все потраченные усилия уходят «в стол». И это далеко не редкость для бизнеса.В последнем кейсе на Хабре аналитик из Delivery Club поделился подходом их команды по работе с исследованиями. Из статьи вы узнаете, почему так важен подготовительный этап, а в конце вас ждет чек-лист основных действий.

6 дней, 5 часов назад @ t.me
Ищете, как увеличить отказоустойчивость и масштабируемость ваших приложений? Значит, вам пора узнать о Yandex Database — реляционной СУБД, разработанной в Яндексе. Приходите на вебинар, где мы расскажем, как начать работу с YDB в Yandex Cloud.Встреча будет
Ищете, как увеличить отказоустойчивость и масштабируемость ваших приложений? Значит, вам пора узнать о Yandex Database — реляционной СУБД, разработанной в Яндексе. Приходите на вебинар, где мы расскажем, как начать работу с YDB в Yandex Cloud.Встреча будет Ищете, как увеличить отказоустойчивость и масштабируемость ваших приложений? Значит, вам пора узнать о Yandex Database — реляционной СУБД, разработанной в Яндексе. Приходите на вебинар, где мы расскажем, как начать работу с YDB в Yandex Cloud.Встреча будет

Ищете, как увеличить отказоустойчивость и масштабируемость ваших приложений? Значит, вам пора узнать о Yandex Database — реляционной СУБД, разработанной в Яндексе. Приходите на вебинар, где мы расскажем, как начать работу с YDB в Yandex Cloud.Встреча будет полезна:✅ разработчикам; ✅ архитекторам информационных систем;✅ всем, кто ищет оптимальные инструменты для управления данными.➡️ Регистрация

1 неделя, 1 день назад @ t.me
📊 Python — один из самых популярных языков программирования, который используется во многих сферах, в том числе анализе данных. Хотите научиться писать скрипты для аналитики? Начните обучение на открытом уроке 🗓 3 августа в 20:00 мск в OTUS. На занятии мы
📊 Python — один из самых популярных языков программирования, который используется во многих сферах, в том числе анализе данных. Хотите научиться писать скрипты для аналитики? Начните обучение на открытом уроке 🗓 3 августа в 20:00 мск в OTUS. На занятии мы 📊 Python — один из самых популярных языков программирования, который используется во многих сферах, в том числе анализе данных. Хотите научиться писать скрипты для аналитики? Начните обучение на открытом уроке 🗓 3 августа в 20:00 мск в OTUS. На занятии мы

📊 Python — один из самых популярных языков программирования, который используется во многих сферах, в том числе анализе данных. Хотите научиться писать скрипты для аналитики? Начните обучение на открытом уроке 🗓 3 августа в 20:00 мск в OTUS. На занятии мы рассмотрим синтаксис Python, разберем его основы и расскажем об инструментах анализа данных, чтобы у вас сложилось общее понимание того, с чем каждый день работают аналитики данных. Занятие проведет Роман Козлов, аналитик Big Data.👉🏻 Регистрируйтесь на занятие — https://otus.pw/MjgI/Не упустите возможность оценить материалы онлайн-курса «Python для аналитики» и познакомиться с преподавателем. Программа ориентирована на маркетологов, аналит…

2 недели, 2 дня назад @ t.me
📈Пост про новый курс по бизнес-анализу, который меня попросил выложить автор канала Data Study. Слово Даниилу 🔈:Меня зовут Даниил, работаю Ведущим Аналитиком, а также являюсь автором канала Data Study.Последние 3 месяца я особенно много времени выделяю для
📈Пост про новый курс по бизнес-анализу, который меня попросил выложить автор канала Data Study. Слово Даниилу 🔈:Меня зовут Даниил, работаю Ведущим Аналитиком, а также являюсь автором канала Data Study.Последние 3 месяца я особенно много времени выделяю для

📈Пост про новый курс по бизнес-анализу, который меня попросил выложить автор канала Data Study. Слово Даниилу 🔈:Меня зовут Даниил, работаю Ведущим Аналитиком, а также являюсь автором канала Data Study.Последние 3 месяца я особенно много времени выделяю для своего образовательного контентаЯ занимаюсь полноценным курсом по бизнес-анализу✅ 8 теоретических занятий (бизнес-анализ + развитие soft-skills) ✅ 6 практических занятий в формате решения и разбора бизнес-кейсов (пример настоящего проекта) Помимо тем по бизнес-анализу сделан большой акцент на soft навыки аналитиков, которые многие забывают улучшать.Я посмотрел рынок доступных курсов и понял, что я хочу сделать по-другомуБольшинство курсов…

2 недели, 6 дней назад @ t.me
Курс «Английский для IT-профессий» от Яндекс ПрактикумаДля тех, кто хочет изменить свою профессиональную жизнь и работать в международной команде.Обучение построено не вокруг абстрактной теории, а вокруг рабочих ситуаций и полезных для карьеры навыков:✋Сте
Курс «Английский для IT-профессий» от Яндекс ПрактикумаДля тех, кто хочет изменить свою профессиональную жизнь и работать в международной команде.Обучение построено не вокруг абстрактной теории, а вокруг рабочих ситуаций и полезных для карьеры навыков:✋Сте Курс «Английский для IT-профессий» от Яндекс ПрактикумаДля тех, кто хочет изменить свою профессиональную жизнь и работать в международной команде.Обучение построено не вокруг абстрактной теории, а вокруг рабочих ситуаций и полезных для карьеры навыков:✋Сте

Курс «Английский для IT-профессий» от Яндекс ПрактикумаДля тех, кто хочет изменить свою профессиональную жизнь и работать в международной команде.Обучение построено не вокруг абстрактной теории, а вокруг рабочих ситуаций и полезных для карьеры навыков:✋Стендапы. Подготовитесь обсуждать задачи, задавать вопросы и просить о помощи.👨‍💻 Работа с заказчиками. Научитесь презентовать решения, говорить про баги и фичи.📣 Митапы. Сможете понимать на слух доклады и выступать сами.😎 Собеседования. Научитесь рассказывать про свой опыт, понимать вопросы и тактично переспрашивать.👯 Неформальное общение с коллегами. Сможете рассказать о своих интересах, опыте, планах на будущее.💻 Код-ревью. Сможете описать…

3 недели назад @ t.me
В последнее время этот телеграм-канал живёт странной жизнью: посты появляются не часто. Всему причина то, что сфера моих профессиональных интересов сместилась из аналитики в сторону управления. Забрасывать канал я не планирую, но пока думаю о том как его п
В последнее время этот телеграм-канал живёт странной жизнью: посты появляются не часто. Всему причина то, что сфера моих профессиональных интересов сместилась из аналитики в сторону управления. Забрасывать канал я не планирую, но пока думаю о том как его п

В последнее время этот телеграм-канал живёт странной жизнью: посты появляются не часто. Всему причина то, что сфера моих профессиональных интересов сместилась из аналитики в сторону управления. Забрасывать канал я не планирую, но пока думаю о том как его переформатироватьИ на этом фоне я решил завести заумный канал в Телеграме про сложные системы, их структуру, управление и прочую «системщину». С уклоном в междисциплинарные исследования, поэтому будет не только про столько про технологии, но и про общество, экономику (в т.ч. поведенческую), антропологию, психологию, безмасштабные сети, теорию управленияВот ссылка на первый содержательный пост

3 недели назад @ t.me
Большой гайд по статистическим тестам от команды VKhttps://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f
Большой гайд по статистическим тестам от команды VKhttps://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f

Большой гайд по статистическим тестам от команды VKhttps://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f

3 недели назад @ t.me
Знание Python, Bl и дашборды - must have в сфере аналитикиМного теории, ещё больше практики — всё направлено на то, чтобы ты освоил профессию аналитика данных. Аналитик помогает увидеть точки роста бизнеса.Курс Профессия «Аналитика данных» от Moscow Digita
Знание Python, Bl и дашборды - must have в сфере аналитикиМного теории, ещё больше практики — всё направлено на то, чтобы ты освоил профессию аналитика данных. Аналитик помогает увидеть точки роста бизнеса.Курс Профессия «Аналитика данных» от Moscow Digita Знание Python, Bl и дашборды - must have в сфере аналитикиМного теории, ещё больше практики — всё направлено на то, чтобы ты освоил профессию аналитика данных. Аналитик помогает увидеть точки роста бизнеса.Курс Профессия «Аналитика данных» от Moscow Digita

Знание Python, Bl и дашборды - must have в сфере аналитикиМного теории, ещё больше практики — всё направлено на то, чтобы ты освоил профессию аналитика данных. Аналитик помогает увидеть точки роста бизнеса.Курс Профессия «Аналитика данных» от Moscow Digital School поможет тебе не только с нуля овладеть всеми важными для аналитика навыками, но и научит мыслить абстрактно, видеть за метриками и показателями смысл, а главное - находить взаимосвязи и строить гипотезы.Для чего именно тебе нужна профессия аналитик данных? Данные — ключевой ресурс для бизнеса: их используют в IT, ритейле, финансах, здравоохранении, маркетинге.Тебе подойдет этот курс если ты: хочешь освоить новую профессию, а также…

3 недели, 6 дней назад @ t.me
Идея для лета — нырнуть в Data Science с головойСтаньте специалистом по Data Science и приручите алгоритмы под свои амбициозные цели: от решения бизнес-задач до развития медицинских технологий. На курсе Яндекс Практикума вы можете за 8 месяцев изучить Pyth
Идея для лета — нырнуть в Data Science с головойСтаньте специалистом по Data Science и приручите алгоритмы под свои амбициозные цели: от решения бизнес-задач до развития медицинских технологий. На курсе Яндекс Практикума вы можете за 8 месяцев изучить Pyth Идея для лета — нырнуть в Data Science с головойСтаньте специалистом по Data Science и приручите алгоритмы под свои амбициозные цели: от решения бизнес-задач до развития медицинских технологий. На курсе Яндекс Практикума вы можете за 8 месяцев изучить Pyth

Идея для лета — нырнуть в Data Science с головойСтаньте специалистом по Data Science и приручите алгоритмы под свои амбициозные цели: от решения бизнес-задач до развития медицинских технологий. На курсе Яндекс Практикума вы можете за 8 месяцев изучить Python, SQL, машинное обучение и визуализацию данных — необходимый минимум для работы младшим специалистом.Пять «П» — преимущества обучения в Практикуме:— Помощь с трудоустройством: 78% выпускников находят работу в течение 4 месяцев после окончания курса.— Портфолио: 16 проектов на основе реальных задач бизнеса и диплом о профессиональной переподготовке.— Поддержка: преподаватели, наставники, кураторы и ревьюры помогают пройти обучение.— Практ…

1 месяц назад @ t.me
Тренинг Russian BI vs Power BI. 23 июля в МосквеЧто ждёт Power BI в России? Стоит ли его изучать/внедрять или же пора подыскивать ему замену? 23 июля в Москве будет очный тренинг Алексея Колоколова, на котором за 1 день вы научитесь строить дашборд в Power
Тренинг Russian BI vs Power BI. 23 июля в МосквеЧто ждёт Power BI в России? Стоит ли его изучать/внедрять или же пора подыскивать ему замену? 23 июля в Москве будет очный тренинг Алексея Колоколова, на котором за 1 день вы научитесь строить дашборд в Power

Тренинг Russian BI vs Power BI. 23 июля в МосквеЧто ждёт Power BI в России? Стоит ли его изучать/внедрять или же пора подыскивать ему замену? 23 июля в Москве будет очный тренинг Алексея Колоколова, на котором за 1 день вы научитесь строить дашборд в Power BI уровня топ корпораций. И попрактикуетесь на отечественном BI. ЧТО БУДЕТ: 1. Лучшие практики бизнес-дашбордов. Для заказчика не имеет значения платформа, ему нужны удобные и понятные отчеты. Алексей поделится принципами, которые одинаково работают во всех BI-системах. 2. Продвинутая визуализация и интерактивные сценарии в Power BI.Многие продолжают развивать на нем аналитику. А тем, у кого импортозамещение - будет образец, чего хотеть о…

1 месяц назад @ t.me
Труба данных Труба данных
последний пост 23 часа назад
Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, п
Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, п

Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, про то, как все устроено и с какими проблемами сталкиваются DE и команды.А еще взгляды автора совпадали на некоторые аспекты и процессы совпадали с моими, приятно осозновать, что я практики, до которых я дошел самостоятельно или научился у других, оказываются, и правда хорошие. Спасибо моим учителям =)А теперь из прикольного: у ребят в datatalks.club в слаке есть канал book-of-the-week, где эту неделю автор книги отвечает на все вопросы. Со…

23 часа назад @ t.me
О чем в кризис надо говорить? Правильно, о зарплатах.На самом деле я не очень люблю эти корпоративные отчеты. Мне всегда кажется, что они совсем мимо моей картины мира (как по описанию, так и по зарплатам, например). Однако это хороший способ высунуть нос
О чем в кризис надо говорить? Правильно, о зарплатах.На самом деле я не очень люблю эти корпоративные отчеты. Мне всегда кажется, что они совсем мимо моей картины мира (как по описанию, так и по зарплатам, например). Однако это хороший способ высунуть нос

О чем в кризис надо говорить? Правильно, о зарплатах.На самом деле я не очень люблю эти корпоративные отчеты. Мне всегда кажется, что они совсем мимо моей картины мира (как по описанию, так и по зарплатам, например). Однако это хороший способ высунуть нос из своего пузыря и узнать, а как еще этот мир видят и, возможно, твой менеджер, потенциально, ведь компании покупают эти отчеты. И не смотря на то, что я не люблю эти отчеты, я решил посмотреть, что тут выдали ребята из Harnham. Полные отчеты приложены к посту, чтобы вам не пришлось регистрироваться, чтобы их скачать. Несколько наблюдений из отчетов:- Отчеты называются “Data & Analytics Salary Guide 2022” и вот Top-5 технологий из EU отчет…

5 дней, 8 часов назад @ t.me
В очередной раз про хороших инженеров…В мой последний поход в подкаст я говорил о том, как инженерам расти по зарплате / грейдам / whatever внутри компании или, как говорится, “за всё хорошее против всего плохого”.После этого выпуска мне в личку пришли нес
В очередной раз про хороших инженеров…В мой последний поход в подкаст я говорил о том, как инженерам расти по зарплате / грейдам / whatever внутри компании или, как говорится, “за всё хорошее против всего плохого”.После этого выпуска мне в личку пришли нес

В очередной раз про хороших инженеров…В мой последний поход в подкаст я говорил о том, как инженерам расти по зарплате / грейдам / whatever внутри компании или, как говорится, “за всё хорошее против всего плохого”.После этого выпуска мне в личку пришли несколько человек и задали вопрос: “Собственно, а как ты берешь на себя больше ответственности? Еще один пайплайн поддерживаешь? А потом еще базенку берешь деплоить и мониторить? Так на это все времени не хватит!”Здесь есть маленький секрет: кроме классических “возьму на себя дополнительной работы, буду по ночам Spark деплоить”, есть другой подход. Выглядит он примерно следующим образом:- Находим раздражающую вас вещь: деплой приложения, запу…

1 неделя, 2 дня назад @ t.me
SmartData - конференция для Дата Инженеров.“О нееет, реклама! А говорил, что не продашься! И вообще ты самый последний, кто запостил эту новость, все с тобой понятно!”А вот и нет! С ребятами из JUG мы знакомы давно и никаких денег за рекламу единственной в
SmartData - конференция для Дата Инженеров.“О нееет, реклама! А говорил, что не продашься! И вообще ты самый последний, кто запостил эту новость, все с тобой понятно!”А вот и нет! С ребятами из JUG мы знакомы давно и никаких денег за рекламу единственной в

SmartData - конференция для Дата Инженеров.“О нееет, реклама! А говорил, что не продашься! И вообще ты самый последний, кто запостил эту новость, все с тобой понятно!”А вот и нет! С ребятами из JUG мы знакомы давно и никаких денег за рекламу единственной в РФ конфы для дата инженеров я не собирался брать.Ребята открыли CFP - Call For Papers - то есть можно подавать заявки на доклады. Если помните, какое-то время назад я делал опрос про то, о чем написать. Тогда победил всеми любимый DBT. И если вы думаете, что я забил, то ни-фи-га. Я не только не забил, но даже почти притащил DBT в компанию. Осталось презентовать и раскатить 😋 (мы честно, в связи с нагрузкой, презентацию переносили аж полто…

1 неделя, 5 дней назад @ t.me
https://www.linkedin.com/posts/chad-sanderson_im-very-happy-to-unveil-the-semantic-warehouse-activity-6958091220157964288-JSXjI'm very happy to unveil The Semantic Warehouse - the culmination of years of work, thinking, and trial-and-error on how to solve
https://www.linkedin.com/posts/chad-sanderson_im-very-happy-to-unveil-the-semantic-warehouse-activity-6958091220157964288-JSXjI'm very happy to unveil The Semantic Warehouse - the culmination of years of work, thinking, and trial-and-error on how to solve https://www.linkedin.com/posts/chad-sanderson_im-very-happy-to-unveil-the-semantic-warehouse-activity-6958091220157964288-JSXjI'm very happy to unveil The Semantic Warehouse - the culmination of years of work, thinking, and trial-and-error on how to solve

https://www.linkedin.com/posts/chad-sanderson_im-very-happy-to-unveil-the-semantic-warehouse-activity-6958091220157964288-JSXjI'm very happy to unveil The Semantic Warehouse - the culmination of years of work, thinking, and trial-and-error on how to solve some of the biggest data problems at Convoy. It incorporates best practices espoused by Bill Inmon for robust, scalable Warehouse design built for the Cloud as an abstraction of the Modern Data Stack with Data Modeling at its core.Вот такой вот цитатой встретил меня утром сегодня LinkedIn. Очередная концепция построения хранилища и вокруг, сколько их уже у нас там? Data Warehouse, Data Lake. Data Lakehouse, Data Fabric, Data Mesh и так дал…

2 недели, 6 дней назад @ t.me
https://blog.bytebytego.com/Я как-то ранее писал про Gergely Orosz (aka Венгр) с его очень хорошей рассылкой The Pragmatic Engineer. Судя по статистике Substack, его подписка самая популярная среди Tech категории. Однако у него появился серьезный конкурент
https://blog.bytebytego.com/Я как-то ранее писал про Gergely Orosz (aka Венгр) с его очень хорошей рассылкой The Pragmatic Engineer. Судя по статистике Substack, его подписка самая популярная среди Tech категории. Однако у него появился серьезный конкурент https://blog.bytebytego.com/Я как-то ранее писал про Gergely Orosz (aka Венгр) с его очень хорошей рассылкой The Pragmatic Engineer. Судя по статистике Substack, его подписка самая популярная среди Tech категории. Однако у него появился серьезный конкурент

https://blog.bytebytego.com/Я как-то ранее писал про Gergely Orosz (aka Венгр) с его очень хорошей рассылкой The Pragmatic Engineer. Судя по статистике Substack, его подписка самая популярная среди Tech категории. Однако у него появился серьезный конкурент: ByteByteGo. Ребята довольно детально, с картинками, рассказывают как устроены сложные системы. Для понимания System Design - отличное чтиво, вмеру простое, вмеру погруженное. Примеры рассматриваемых тем:- What happens when you swipe a credit card?- SOAP vs REST vs GraphQL vs RPC detailed comparison- Top caching strategies- и т.д[email protected]

3 недели назад @ t.me
Так, я тут буквально недавно кидал статью про то, что проблемы с данными есть у всех. И костыли есть у всех, причем иногда целая фабрика костылей.Ты такой сидишь и думаешь: “Блин, ну это только у нас так! У других все нормально!”. А вот и нет. Вот пример с
Так, я тут буквально недавно кидал статью про то, что проблемы с данными есть у всех. И костыли есть у всех, причем иногда целая фабрика костылей.Ты такой сидишь и думаешь: “Блин, ну это только у нас так! У других все нормально!”. А вот и нет. Вот пример с

Так, я тут буквально недавно кидал статью про то, что проблемы с данными есть у всех. И костыли есть у всех, причем иногда целая фабрика костылей.Ты такой сидишь и думаешь: “Блин, ну это только у нас так! У других все нормально!”. А вот и нет. Вот пример систематических проблем по всей индустрии:- “Наша инфраструктура для данных ерунда!” - Кажется, что вы используете неправильные тулы и вообще ваша DWH тормозит. На деле большие компании имеют свойство закидывать проблему людьми и ресурсами, поэтому у них работает.- “А кто за эту табличку отвечает?” - Первыми по башке прилетает всегда дата команде: “А что за херня у вас с данными?”. А то, что поставщик данных, из соседней команды, льющий все…

3 недели, 2 дня назад @ t.me
Часто-заголядывающая рубрика в моем бложике - про карьеру.Читая книжку Staff Engineer, зашел к автору в блог и наткнулся на клевую заметку про карьерные решения. Актуально в текущих условиях “кризиса”.- Во-первых, вы же знаете, что сейчас рецессия, кризис,
Часто-заголядывающая рубрика в моем бложике - про карьеру.Читая книжку Staff Engineer, зашел к автору в блог и наткнулся на клевую заметку про карьерные решения. Актуально в текущих условиях “кризиса”.- Во-первых, вы же знаете, что сейчас рецессия, кризис,

Часто-заголядывающая рубрика в моем бложике - про карьеру.Читая книжку Staff Engineer, зашел к автору в блог и наткнулся на клевую заметку про карьерные решения. Актуально в текущих условиях “кризиса”.- Во-первых, вы же знаете, что сейчас рецессия, кризис, и не только в мире, но и в айтишке. Хоть дебаты идут, “а вообще мы в рецессии?” и “А сколько она продлится?”, статистика говорит о том, что такие события длятся ±15 месяцев. То есть ориентируемся на конец 2023 года. Что мы можем с этим сделать?- На любой позиции можно сделать приоритетом деньги, “скорость и режим работы”, собственное обучение, престиж или работу с людьми. Возможно, если вам сейчас комфортно, стоит сфокусироваться на обуче…

3 недели, 5 дней назад @ t.me
https://www.youtube.com/playlist?list=PLTPXxbhUt-YVWi_cf2UUDc9VZFLoRgu0lDatabricks выкатили видео с Data + AI Summit 2022. в США.В плейлисте по ссылке >300 (!) сессий. Доклады на всевозможные темы: от классических “How to test your ETL pipelines” до экз
https://www.youtube.com/playlist?list=PLTPXxbhUt-YVWi_cf2UUDc9VZFLoRgu0lDatabricks выкатили видео с Data + AI Summit 2022. в США.В плейлисте по ссылке &gt;300 (!) сессий. Доклады на всевозможные темы: от классических “How to test your ETL pipelines” до экз

https://www.youtube.com/playlist?list=PLTPXxbhUt-YVWi_cf2UUDc9VZFLoRgu0lDatabricks выкатили видео с Data + AI Summit 2022. в США.В плейлисте по ссылке >300 (!) сессий. Доклады на всевозможные темы: от классических “How to test your ETL pipelines” до экзотических “Sound Data Engineering in Rust”@ohmydataengineer

4 недели назад @ t.me
https://clck.ru/sJ4eMТинькофф проводит очередной митап по работа с данными, 21 июля. В этот раз следующие темы:Под капотом каталога данныхЭто доклад самих ребят про их Data Detective - каталог данных. Расширенная и дополненная версия доклада с Хайлоада htt
https://clck.ru/sJ4eMТинькофф проводит очередной митап по работа с данными, 21 июля. В этот раз следующие темы:Под капотом каталога данныхЭто доклад самих ребят про их Data Detective - каталог данных. Расширенная и дополненная версия доклада с Хайлоада htt

https://clck.ru/sJ4eMТинькофф проводит очередной митап по работа с данными, 21 июля. В этот раз следующие темы:Под капотом каталога данныхЭто доклад самих ребят про их Data Detective - каталог данных. Расширенная и дополненная версия доклада с Хайлоада https://highload.ru/foundation/2022/abstracts/8105Как с помощью Data Mesh разломать ваше DWHЯндекс GO про модную и хайповую тему. Послушать стоит потому, чтобы понимать, а нужно ли вам вообще это внедрять или “да ну его нафиг!”Как мы строим Metadata ManagementЕще один доклад от ребят и девчат из Т. На этот раз про метаданныеData-docs — как найти данные о данныхНаконец, Авито, тоже про каталоги данных и документацию данных.В общем, 3 из 4 тем …

1 месяц назад @ t.me
Datacamp (это вот эти https://www.datacamp.com/) с 18 по 24 июля делает все свои курсы открытыми и бесплатными.Даже карточку привязывать не надо.Если есть время, то можно успеть пройти какой-нибудь из из курсов@ohmydataengineer
Datacamp (это вот эти https://www.datacamp.com/) с 18 по 24 июля делает все свои курсы открытыми и бесплатными.Даже карточку привязывать не надо.Если есть время, то можно успеть пройти какой-нибудь из из курсов@ohmydataengineer Datacamp (это вот эти https://www.datacamp.com/) с 18 по 24 июля делает все свои курсы открытыми и бесплатными.Даже карточку привязывать не надо.Если есть время, то можно успеть пройти какой-нибудь из из курсов@ohmydataengineer

Datacamp (это вот эти https://www.datacamp.com/) с 18 по 24 июля делает все свои курсы открытыми и бесплатными.Даже карточку привязывать не надо.Если есть время, то можно успеть пройти какой-нибудь из из курсов@ohmydataengineer

1 месяц назад @ t.me
https://medium.com/miro-engineering/our-journey-to-data-engineering-monitoring-c14d6ff20351О! Моя любимая тема - monitoring & observability. Я был шокирован, когда распрашивал людей о том, что и как они мониторят в части данных. Чаще всего ответ был: “
https://medium.com/miro-engineering/our-journey-to-data-engineering-monitoring-c14d6ff20351О! Моя любимая тема - monitoring &amp; observability. Я был шокирован, когда распрашивал людей о том, что и как они мониторят в части данных. Чаще всего ответ был: “

https://medium.com/miro-engineering/our-journey-to-data-engineering-monitoring-c14d6ff20351О! Моя любимая тема - monitoring & observability. Я был шокирован, когда распрашивал людей о том, что и как они мониторят в части данных. Чаще всего ответ был: “Да там у девопсов настроены алерты!”. Дай боже половина людей имела уведомления в Slack о том, что у них упал какой-то пайплайн.Поэтому если вы думаете начать, наконец-то!, мониторить свои data-компоненты, вот прекрасная статья о том, как это сделали в [email protected]

1 месяц назад @ t.me
https://blog.dataminded.com/why-rising-cloud-costs-are-the-silent-killers-of-data-platforms-52a98b371f28Статья хоть и написана людьми ради продвижения своего продукта, однако в целом, очень правдивая. Snowflake, Databricks и все остальные платформы наглядн
https://blog.dataminded.com/why-rising-cloud-costs-are-the-silent-killers-of-data-platforms-52a98b371f28Статья хоть и написана людьми ради продвижения своего продукта, однако в целом, очень правдивая. Snowflake, Databricks и все остальные платформы наглядн

https://blog.dataminded.com/why-rising-cloud-costs-are-the-silent-killers-of-data-platforms-52a98b371f28Статья хоть и написана людьми ради продвижения своего продукта, однако в целом, очень правдивая. Snowflake, Databricks и все остальные платформы наглядно нам показывают, как быстро можно раздуть свой бюджет на овердофига тысяч долларов.Несколько раз уже видел, как казалось бы несложные платформы и относительно простые ETL (а еще и интеграции всякие и другие cloud решения) очень быстренько кушают годовой бюджет.Потому что что? Правильно, долгое время нам позволяли закидывать проблемы деньгами, вместо того, чтобы сразу делать нормально[email protected]

1 месяц, 1 неделя назад @ t.me
ООООО! Гартнер выкатил “свежий” обзор текущих технологий и подходов в работе с данными, и это, если честно, очень смешно.Самые забавные моменты, что мне бросились в глаза:Data Mesh is obsolete. То у меня все лидеры мнений в линкедине постят про Data Mesh и
ООООО! Гартнер выкатил “свежий” обзор текущих технологий и подходов в работе с данными, и это, если честно, очень смешно.Самые забавные моменты, что мне бросились в глаза:Data Mesh is obsolete. То у меня все лидеры мнений в линкедине постят про Data Mesh и ООООО! Гартнер выкатил “свежий” обзор текущих технологий и подходов в работе с данными, и это, если честно, очень смешно.Самые забавные моменты, что мне бросились в глаза:Data Mesh is obsolete. То у меня все лидеры мнений в линкедине постят про Data Mesh и

ООООО! Гартнер выкатил “свежий” обзор текущих технологий и подходов в работе с данными, и это, если честно, очень смешно.Самые забавные моменты, что мне бросились в глаза:Data Mesh is obsolete. То у меня все лидеры мнений в линкедине постят про Data Mesh и Data Fabric, а то половина из этого, оказывается, уже устарела, даже не зайдя на хайп, а вторая летит в трубу.Data Stewardship тоже устарело. Кхм, а не вы ли продвигали кровавому энтерпрайзу, что вам надо заводить Data Stewards?Data Observability в самом начале пути..Половина технологий - вообще какой-то странный набор хайпослов, ничего не имеющих общего с реальностью.Поэтому, как только вам ваш CDO начинает задвигать что-то в стиле “Мы в…

1 месяц, 1 неделя назад @ t.me
https://habr.com/ru/post/671058/И еще одна тема для жаркого спора про то, как выглядит хороший инженер. В последнем выпуске подкаста я вскольз затрагивал эту тему: чем больше вы вовлекаетесь в продукт, тем больше вас ценят и если это правильно использовать
https://habr.com/ru/post/671058/И еще одна тема для жаркого спора про то, как выглядит хороший инженер. В последнем выпуске подкаста я вскольз затрагивал эту тему: чем больше вы вовлекаетесь в продукт, тем больше вас ценят и если это правильно использовать

https://habr.com/ru/post/671058/И еще одна тема для жаркого спора про то, как выглядит хороший инженер. В последнем выпуске подкаста я вскольз затрагивал эту тему: чем больше вы вовлекаетесь в продукт, тем больше вас ценят и если это правильно использовать, то вам за это больше платят.Я поддерживаю автора статьи за позицию “product engineer” - ты работаешь на благо продукта и гордись тем, что ты делаешь. Всегда старайся сделать это лучше и выгодней для продукта и компании.Однако, в комментах есть люди (да и среди моих читателей тоже), которые придерживаются позиции “Моя хата с краю, дайте мне тикет нормально описанный, я отвечаю лишь за код, а все остальное - проблемы других людей”. Тоже ва…

1 месяц, 1 неделя назад @ t.me
enthusiastech enthusiastech
последний пост 6 часов назад
Сегодня хотел бы поговорить о широко распространенной СУБД Greenplum и, в частности, о Platform Extension Framework (PXF) - расширении, с помощью которого открываются почти неограниченные возможности интеграции с множеством внешних систем и форматов данных
Сегодня хотел бы поговорить о широко распространенной СУБД Greenplum и, в частности, о Platform Extension Framework (PXF) - расширении, с помощью которого открываются почти неограниченные возможности интеграции с множеством внешних систем и форматов данных

Сегодня хотел бы поговорить о широко распространенной СУБД Greenplum и, в частности, о Platform Extension Framework (PXF) - расширении, с помощью которого открываются почти неограниченные возможности интеграции с множеством внешних систем и форматов данных.В этой публикации Вас ждет:– Основные возможности PXF, конфигурация, способы оптимизации.– Организация Extract - Load с помощью PXF (Data Lake / OLTP).– Объединение локальных и внешних таблиц в запросах (Federated queries).– Запись данных во внешние системы (Clickhouse).Читать на Хабр →#pipelines #ELT #dwh #greenplum #pxf

6 часов назад @ t.me
A very useful and handy implementation of Load step from ELT acronym.Use this example to build your own Extract - Load solution and take into account all the possible outcomes and issues you may face in advance:– Handling duplicate rows (even when uniquene
A very useful and handy implementation of Load step from ELT acronym.Use this example to build your own Extract - Load solution and take into account all the possible outcomes and issues you may face in advance:– Handling duplicate rows (even when uniquene

A very useful and handy implementation of Load step from ELT acronym.Use this example to build your own Extract - Load solution and take into account all the possible outcomes and issues you may face in advance:– Handling duplicate rows (even when uniqueness constraint is not enforced)– Coping with DELETEs on source side (hard deletes)– Allowing data inspection and time travel with metadata attributes– Examples for Amazon Redshift, Google BigQuery, Snowflakehttps://docs.hevodata.com/data-loading/loading-data-to-warehouse/#elt #pipelines

2 недели, 2 дня назад @ t.me
Слайды моего доклада с [dbt meetup]Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя#meetup
Слайды моего доклада с [dbt meetup]Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя#meetup

Слайды моего доклада с [dbt meetup]Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя#meetup

2 месяца назад @ t.me
Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt. Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds: – dbt + Clickhouse: кластер, версионировани
Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt. Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds: – dbt + Clickhouse: кластер, версионировани

Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt. Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds: – dbt + Clickhouse: кластер, версионирование…

2 месяца назад @ t.me
Мой доклад стартует в 19.05:Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя
Мой доклад стартует в 19.05:Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя

Мой доклад стартует в 19.05:Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя

2 месяца назад @ t.me
Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt.Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds:– dbt + Clickhouse: кластер, версионирование да
Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt.Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds:– dbt + Clickhouse: кластер, версионирование да

Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt.Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds:– dbt + Clickhouse: кластер, версионирование данных и другие сложности реализации– Data Quality в Modern Data Stack– Зрелость dbt-проекта. Есть, куда расти?– dbt в etl-командах: снимаем типовые боли байтовозовСлоты фиксированы по времени, можно подключаться на любой доклад. После каждого доклада есть время на вопросы-ответы и общение.Ссылка на ютуб придет как обычно перед началом митапа. До встречи 😉https://space307.team/dbtmeetup

2 месяца назад @ t.me
Жизнь на болотахИли когда лягушки активизируются во время вебинара#humor
Жизнь на болотахИли когда лягушки активизируются во время вебинара#humor

Жизнь на болотахИли когда лягушки активизируются во время вебинара#humor

2 месяца, 2 недели назад @ t.me
Привет! Сегодня продолжаем – 2 часть вебинара: Extract - Load как сервис и как собственное решение. Поиск баланса и дзен – 1. In-house EL + LIVE MaestroQA + Airflow – 2. Гибридные подходы + LIVE Airbyte – 3. Жизнь после EL – Transform & Deliver – dbt
Привет! Сегодня продолжаем – 2 часть вебинара: Extract - Load как сервис и как собственное решение. Поиск баланса и дзен – 1. In-house EL + LIVE MaestroQA + Airflow – 2. Гибридные подходы + LIVE Airbyte – 3. Жизнь после EL – Transform &amp; Deliver – dbt

Привет! Сегодня продолжаем – 2 часть вебинара: Extract - Load как сервис и как собственное решение. Поиск баланса и дзен – 1. In-house EL + LIVE MaestroQA + Airflow – 2. Гибридные подходы + LIVE Airbyte – 3. Жизнь после EL – Transform & Deliver – dbt + Looker…

2 месяца, 3 недели назад @ t.me
Привет! Сегодня продолжаем – 2 часть вебинара:Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– 1. In-house EL + LIVE MaestroQA + Airflow– 2. Гибридные подходы + LIVE Airbyte– 3. Жизнь после EL – Transform & Deliver – dbt + Loo
Привет! Сегодня продолжаем – 2 часть вебинара:Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– 1. In-house EL + LIVE MaestroQA + Airflow– 2. Гибридные подходы + LIVE Airbyte– 3. Жизнь после EL – Transform &amp; Deliver – dbt + Loo

Привет! Сегодня продолжаем – 2 часть вебинара:Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– 1. In-house EL + LIVE MaestroQA + Airflow– 2. Гибридные подходы + LIVE Airbyte– 3. Жизнь после EL – Transform & Deliver – dbt + LookerОпыт production pipelines, взвесим, сравним плюсы и минусы.Ссылка на YouTube-трансляцию: https://youtu.be/hoqM7gfqQNg

2 месяца, 3 недели назад @ t.me
Запустил трансляцию, присоединяйтесь!https://www.youtube.com/watch?v=AN__n3xefv8
Запустил трансляцию, присоединяйтесь!https://www.youtube.com/watch?v=AN__n3xefv8

Запустил трансляцию, присоединяйтесь!https://www.youtube.com/watch?v=AN__n3xefv8

2 месяца, 3 недели назад @ t.me
Привет! Сегодня и завтра 23-24 мая в 20.00 приглашаю на вебинар из 2-х частей (интенсив).Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– SaaS решения и их ограничения– Выгрузки через API-вызовы – оптимальные способы реализации– Г
Привет! Сегодня и завтра 23-24 мая в 20.00 приглашаю на вебинар из 2-х частей (интенсив).Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– SaaS решения и их ограничения– Выгрузки через API-вызовы – оптимальные способы реализации– Г Привет! Сегодня и завтра 23-24 мая в 20.00 приглашаю на вебинар из 2-х частей (интенсив).Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– SaaS решения и их ограничения– Выгрузки через API-вызовы – оптимальные способы реализации– Г

Привет! Сегодня и завтра 23-24 мая в 20.00 приглашаю на вебинар из 2-х частей (интенсив).Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– SaaS решения и их ограничения– Выгрузки через API-вызовы – оптимальные способы реализации– Гибридные подходы– Автоматизация выгрузки, retries, notifications с помощью Airflow– Накопление истории и организация Data Lake в S3 перед DWHРассмотрим опыт построения production pipelines, взвесим плюсы и минусы, сделаем выводы.Ссылка на регистрацию: https://otus.ru/lessons/data-engineer/#event-2024Ссылка на YouTube-трансляцию будет опубликована здесь за 5 минут до начала.

2 месяца, 3 недели назад @ t.me
[RU] Вебинар – End-to-End решение для аналитики на примере источника MaestroQA– Extract-Load через API-вызовы и автоматизация в Airflow– Трансформация данных с dbt: обогащение, дедупликация, суррогатные ключи, приведение типов– Моделирование метрик в Looke
[RU] Вебинар – End-to-End решение для аналитики на примере источника MaestroQA– Extract-Load через API-вызовы и автоматизация в Airflow– Трансформация данных с dbt: обогащение, дедупликация, суррогатные ключи, приведение типов– Моделирование метрик в Looke

[RU] Вебинар – End-to-End решение для аналитики на примере источника MaestroQA– Extract-Load через API-вызовы и автоматизация в Airflow– Трансформация данных с dbt: обогащение, дедупликация, суррогатные ключи, приведение типов– Моделирование метрик в Looker BI: слой доступа, визуализация, drill-downСлайды вебинара: https://docs.google.com/presentation/d/1K72UiPjy1ljVRKieLPQdeilC75zZ2N4QszH_XKhR3kM/edit?usp=sharing

2 месяца, 3 недели назад @ t.me
Одна из самых важных идей заключается в том, что заказчик, кем бы он ни был (Manager, Product Owner, CEO), почти никогда не ставит задачу в инженерных терминах:— Налить 100500 гигабайт в Хранилище— Добавить multithreading в код— Написать супероптимальный з
Одна из самых важных идей заключается в том, что заказчик, кем бы он ни был (Manager, Product Owner, CEO), почти никогда не ставит задачу в инженерных терминах:— Налить 100500 гигабайт в Хранилище— Добавить multithreading в код— Написать супероптимальный з Одна из самых важных идей заключается в том, что заказчик, кем бы он ни был (Manager, Product Owner, CEO), почти никогда не ставит задачу в инженерных терминах:— Налить 100500 гигабайт в Хранилище— Добавить multithreading в код— Написать супероптимальный з

Одна из самых важных идей заключается в том, что заказчик, кем бы он ни был (Manager, Product Owner, CEO), почти никогда не ставит задачу в инженерных терминах:— Налить 100500 гигабайт в Хранилище— Добавить multithreading в код— Написать супероптимальный запрос— Создать 15 dbt-моделейЗа любой инженерной задачей стоит решение конкретных бизнес-проблем. Для нас это:— Прозрачность Customer Support (фиксируем все оценки, инциденты)— Результативность на ладони (отслеживаем динамику показателей во времени)— Отчитываемся о KPI команд поддержки (агрегирующие показатели по командам, городам, странам и т.д.)— Получаем обратную связь и исправляем ошибки (идентификация слабых/проблемных мест и быстрый …

3 месяца назад @ t.me
Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности
Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности

Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности в рамках конкретной прикладной задачи.В этой публикации:— Что значит решение End-to-End и в чем его ценность?— Организация Extract & Load данных из асинхронного API MaestroQA— Моделирование витрин данных с помощью dbt— Поставка ценности для пользователей с помощью LookerЧитать на Хабр →#pipelines #ELT #dwh #modeling #bi

3 месяца назад @ t.me
Новая публикация на Хабр ⬇️⬇️⬇️
Новая публикация на Хабр ⬇️⬇️⬇️

Новая публикация на Хабр ⬇️⬇️⬇️

3 месяца назад @ t.me
data будни data будни
последний пост 1 неделя, 5 дней назад
Как минимум это интересно: GoogleDocs научились ходить в BigQueryВроде логичная интеграция: есть неограниченное хранилище и интерфейс к данным, к которому все привыкли; осталось только соединить одно с другим.(если учесть, что BQ тарифицирует за чтение дан
Как минимум это интересно: GoogleDocs научились ходить в BigQueryВроде логичная интеграция: есть неограниченное хранилище и интерфейс к данным, к которому все привыкли; осталось только соединить одно с другим.(если учесть, что BQ тарифицирует за чтение дан

Как минимум это интересно: GoogleDocs научились ходить в BigQueryВроде логичная интеграция: есть неограниченное хранилище и интерфейс к данным, к которому все привыкли; осталось только соединить одно с другим.(если учесть, что BQ тарифицирует за чтение данных, то продакты Гугла должны быть довольны: проще читать данные → больше подключений → больше профит!)https://support.google.com/docs/answer/9703000Я попробовал по-быстрому зайти и открыть какой-то публичный датасет — например какие-то данные Википедии. Можно увидеть что к IP 68.39.174.238 приписано 12455 уникальный айди страниц. Осталось получить от data steward ссылку на data catalog, чтобы проследить data lineage и узнать что за данные…

1 неделя, 5 дней назад @ t.me
Самое вкусное это конечно V2: Советы, ссылки и всяческая польза.Я на себя взяла смелость оформить в двух вариантах: вот этим постом, тут чуть сокращенно и следующим также в телеграфе. На вкус и цвет как говорится.“…Как попасть в ЯндексВсем доступный путь -
Самое вкусное это конечно V2: Советы, ссылки и всяческая польза.Я на себя взяла смелость оформить в двух вариантах: вот этим постом, тут чуть сокращенно и следующим также в телеграфе. На вкус и цвет как говорится.“…Как попасть в ЯндексВсем доступный путь -

Самое вкусное это конечно V2: Советы, ссылки и всяческая польза.Я на себя взяла смелость оформить в двух вариантах: вот этим постом, тут чуть сокращенно и следующим также в телеграфе. На вкус и цвет как говорится.“…Как попасть в ЯндексВсем доступный путь - это откликнуться на вакансию на официальном сайте Яндекса. Но вы сами понимаете, сколько людей туда откликается каждый день, поэтому шансы, что именно ваше резюме заметят и выделят - наверное не очень высокие.Более реальный вариант - найти знакомого в Яндексе и попросить себя порекомендовать. Этот способ хотя бы сразу приведет к общению с рекрутером, а это уже половина успеха.Еще один путь - участвовать в маркетинговых мероприятиях типа O…

2 недели назад @ t.me
Юля собрала полезные советы для собирающихся в Яндекс П.С.: подписывайтесь на Юлю — там весело (а не то что тут)
Юля собрала полезные советы для собирающихся в Яндекс П.С.: подписывайтесь на Юлю — там весело (а не то что тут)

Юля собрала полезные советы для собирающихся в Яндекс П.С.: подписывайтесь на Юлю — там весело (а не то что тут)

2 недели назад @ t.me
Spotify Engineering Culture беглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь! Часть 1 https://youtu.be/Yvfz4HGtoPc Часть 2 https://yout…
Spotify Engineering Culture  беглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь!  Часть 1 https://youtu.be/Yvfz4HGtoPc Часть 2 https://yout… Spotify Engineering Culture беглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь! Часть 1 https://youtu.be/Yvfz4HGtoPc Часть 2 https://yout…

Spotify Engineering Culture беглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь! Часть 1 https://youtu.be/Yvfz4HGtoPc Часть 2 https://yout…

2 недели, 1 день назад @ t.me
Spotify Engineering Cultureбеглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь!Часть 1 https://youtu.be/Yvfz4HGtoPcЧасть 2 https://youtu.be/v
Spotify Engineering Cultureбеглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь!Часть 1 https://youtu.be/Yvfz4HGtoPcЧасть 2 https://youtu.be/v

Spotify Engineering Cultureбеглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь!Часть 1 https://youtu.be/Yvfz4HGtoPcЧасть 2 https://youtu.be/vOt4BbWLWQwмного можно применять к работе и инженеров данных: у нас тоже есть команды, цели, релизы и гильдии. Да мы практически software engineers ^_^ ==[=====> Минимальная организационная единица — автономный сквад из 6 человек. Внутри сквада люди сами решают как делать, как взаимодействовать.Офис утроен под сквады: рабочие места рядом + место для обсуждения со стенами-досками для письма.Хотя сквады автономные и сами выбирают цели, они до…

2 недели, 1 день назад @ t.me
2. Семён Осипов про работу и рост инженера данныхНадо брать ответственность самому, а не ждать пока «всё само́»: сначала чинишь код вокруг себя, потом переходишь на следующий уровень и уже чинишь процессы.Про рост зарплаты: первым делом договариваешься с л
2. Семён Осипов про работу и рост инженера данныхНадо брать ответственность самому, а не ждать пока «всё само́»: сначала чинишь код вокруг себя, потом переходишь на следующий уровень и уже чинишь процессы.Про рост зарплаты: первым делом договариваешься с л

2. Семён Осипов про работу и рост инженера данныхНадо брать ответственность самому, а не ждать пока «всё само́»: сначала чинишь код вокруг себя, потом переходишь на следующий уровень и уже чинишь процессы.Про рост зарплаты: первым делом договариваешься с лидом о встрече через Х месяцев, потом приходишь на неё готовый с результатами своей работы с прошедший период. Повторить итерацию.Получился хороший разговор с правильным подходом, как ведущие пошутили «за всё хорошее против всего плохого». Полезно.iTunes, Overcast, YoutubeКанал Семёна про инжиниринг

1 месяц, 1 неделя назад @ t.me
послушал два подкаста на схожую тему — про профессиональный путь в дата-отрасли:1. Валерий Бабушкин про технический путьКулстори из рабочих будней про командировки по колхозам и молокозаводам. Плотный график разных проектов с жёсткими сроками и требованиям
послушал два подкаста на схожую тему — про профессиональный путь в дата-отрасли:1. Валерий Бабушкин про технический путьКулстори из рабочих будней про командировки по колхозам и молокозаводам. Плотный график разных проектов с жёсткими сроками и требованиям

послушал два подкаста на схожую тему — про профессиональный путь в дата-отрасли:1. Валерий Бабушкин про технический путьКулстори из рабочих будней про командировки по колхозам и молокозаводам. Плотный график разных проектов с жёсткими сроками и требованиям по точности расчётов даёт +100 к опыту.Помимо когнитивной нагрузки полезно уметь выдерживать и физическую. Например, шесть часов последовательных собесов в Фейсбук. Про мэтчинг грейдов между компаниями: когда миддлы из Х5 или Яндекса идут синьорами-хедами в другие компании; или мега-синьор из вне тянет в Х5 только джуна.Про общую оценку кадров в Х5: 10 профильных докладов на последнем Датафесте (видео от мая 2021) как итог работы Валерия …

1 месяц, 1 неделя назад @ t.me
Нужен ли английский разработчикам?Чтобы серьёзно обсудить этот вопрос в Moscow Python позвали двух филологов (Youtube, iTunes и Overcast)Недавно столкнулся с кейсом «зачем нужен английский». Даже не для того, чтобы читать документацию или статьи в оригинал
Нужен ли английский разработчикам?Чтобы серьёзно обсудить этот вопрос в Moscow Python позвали двух филологов (Youtube, iTunes и Overcast)Недавно столкнулся с кейсом «зачем нужен английский». Даже не для того, чтобы читать документацию или статьи в оригинал

Нужен ли английский разработчикам?Чтобы серьёзно обсудить этот вопрос в Moscow Python позвали двух филологов (Youtube, iTunes и Overcast)Недавно столкнулся с кейсом «зачем нужен английский». Даже не для того, чтобы читать документацию или статьи в оригинале. Ещё на несколько уровней ниже: Как. Называть. Переменные.Разбираем с приятелем его код на Джанго для курсовой работы. Вроде всё работает, но собрано из разных частей. Надо понять КАК оно работает. Доходим до стандартной функции get_or_create — название вроде говорит само за себя. Спрашиваю его «что происходит в этом кусочке?», в ответ задумчивость. И тут до меня доходит, что не все умеют читать на английском. Тогда я его прошу перевести…

1 месяц, 1 неделя назад @ t.me
Продолжаю наблюдать за синьорами в их естественной среде обитания (в надежде когда-то тоже стать большим и взрослым). Очередной пример различия в наших подходах:Я, когда у меня не работает таск: наверное я что-то не так делаю, 2 часа изучают документацию,
Продолжаю наблюдать за синьорами в их естественной среде обитания (в надежде когда-то тоже стать большим и взрослым). Очередной пример различия в наших подходах:Я, когда у меня не работает таск: наверное я что-то не так делаю, 2 часа изучают документацию,

Продолжаю наблюдать за синьорами в их естественной среде обитания (в надежде когда-то тоже стать большим и взрослым). Очередной пример различия в наших подходах:Я, когда у меня не работает таск: наверное я что-то не так делаю, 2 часа изучают документацию, пробую по-разному, потом спрашиваю совета у коллег. Не исключено, что в результате у меня будут лапки.Синьор, когда у него не работает: приносит ишью в разработку инструмента «тут ваш таск падает, вот логи, вот контекст; а давайте сделаем так, чтобы он падал пораньше? а не в самом конце, когда проработал два с лишним часа». (И ещё сразу прикладывает пулл-реквест с нужной доработкой, типа «посмотрите я тут начал делать» =)

1 месяц, 2 недели назад @ t.me
Работа идёт только вперёд →→→В книге «проект „Феникс“» был эпизод когда гуру рассказывал о правильной работе завода. Он говорил, что продукция должна двигаться только в одну сторону: со склада сырья до отгрузки конечной продукции. С той мыслью, что всякие
Работа идёт только вперёд →→→В книге «проект „Феникс“» был эпизод когда гуру рассказывал о правильной работе завода. Он говорил, что продукция должна двигаться только в одну сторону: со склада сырья до отгрузки конечной продукции. С той мыслью, что всякие

Работа идёт только вперёд →→→В книге «проект „Феникс“» был эпизод когда гуру рассказывал о правильной работе завода. Он говорил, что продукция должна двигаться только в одну сторону: со склада сырья до отгрузки конечной продукции. С той мыслью, что всякие доработки и брак ломают этот процесс — когда деталь возвращается назад, это замедляет всю работу.Ощутил эту мудрость в деле. Делали оперативный слой данных в ДВХ: сущность, мета, загрузчик, релиз, бекфил → и погнали к следующей сущности. В итоге подготовили слой, чтобы прорастить нужные колонки в большую витрину.В витрине внесли новый код в уже имеющееся SQL-полотно на две тысячи строк. Запускаем в прод, всё вроде норм. Потом приходят поль…

1 месяц, 2 недели назад @ t.me
Вакансии аналитиков март-май 2022Количество вакансий аналитиков относительно прошлого года упало не на много, всего на 14%. Но по сравнению с предыдущими тремя месяцами сократилось на более значительную цифру в 27%. Это можно было бы списать на сезонность
Вакансии аналитиков март-май 2022Количество вакансий аналитиков относительно прошлого года упало не на много, всего на 14%. Но по сравнению с предыдущими тремя месяцами сократилось на более значительную цифру в 27%. Это можно было бы списать на сезонность Вакансии аналитиков март-май 2022Количество вакансий аналитиков относительно прошлого года упало не на много, всего на 14%. Но по сравнению с предыдущими тремя месяцами сократилось на более значительную цифру в 27%. Это можно было бы списать на сезонность

Вакансии аналитиков март-май 2022Количество вакансий аналитиков относительно прошлого года упало не на много, всего на 14%. Но по сравнению с предыдущими тремя месяцами сократилось на более значительную цифру в 27%. Это можно было бы списать на сезонность и меньшую активность весной. Она и вправду есть, но в прошлом году весной вакансий в сумме было больше, чем зимой. Зарплаты относительно прошлого года выросли на приличные 20%. И рынок при этом всё ещё перегрет — на одно активное резюме на сайте приходится в среднем две вакансии.В разбивке по срезам просели все типы вакансий, кроме удалённых. Таких стало на 16% больше даже с учетом отступающего ковида. Больше всего упали позиции младших ан…

2 месяца, 2 недели назад @ t.me
Marc Lamberti написал короткий и понятный пост про путь данных из источников к Data Mart через Data Lake.а Руслан Фатхутдинов перевёл его. Получилось интересно.
Marc Lamberti написал короткий и понятный пост про путь данных из источников к Data Mart через Data Lake.а Руслан Фатхутдинов перевёл его. Получилось интересно. Marc Lamberti написал короткий и понятный пост про путь данных из источников к Data Mart через Data Lake.а Руслан Фатхутдинов перевёл его. Получилось интересно.

Marc Lamberti написал короткий и понятный пост про путь данных из источников к Data Mart через Data Lake.а Руслан Фатхутдинов перевёл его. Получилось интересно.

3 месяца, 1 неделя назад @ t.me
Хочешь научиться — попробуй научить В этот раз я решил не записываться студентом на новый курс от Практикума (двух, пожалуй, хватит). Вместо этого зашёл с «черного хода» и записался туда ревьюером — буду проверять домашки у студентов. С уважением и немно
Хочешь научиться — попробуй научить В этот раз я решил не записываться студентом на новый курс от Практикума (двух, пожалуй, хватит). Вместо этого зашёл с «черного хода» и записался туда ревьюером — буду проверять домашки у студентов. С уважением и немно

Хочешь научиться — попробуй научить В этот раз я решил не записываться студентом на новый курс от Практикума (двух, пожалуй, хватит). Вместо этого зашёл с «черного хода» и записался туда ревьюером — буду проверять домашки у студентов. С уважением и немного…

3 месяца, 2 недели назад @ t.me
#подкаст про работу программистом в ГуглеПослушал интервью Ларисы Агарковой — менеджера и техлида уровня 6 в Гугле.- Про автоматические алерты: ни один тикет не игнорится; должно быть действие — либо решать проблему, либо менять правило генерации тикета.-
#подкаст про работу программистом в ГуглеПослушал интервью Ларисы Агарковой — менеджера и техлида уровня 6 в Гугле.- Про автоматические алерты: ни один тикет не игнорится; должно быть действие — либо решать проблему, либо менять правило генерации тикета.-

#подкаст про работу программистом в ГуглеПослушал интервью Ларисы Агарковой — менеджера и техлида уровня 6 в Гугле.- Про автоматические алерты: ни один тикет не игнорится; должно быть действие — либо решать проблему, либо менять правило генерации тикета.- Онкол всегда два человека: даже если вдруг один недоступен, второй должен оперативно отреагировать.- Если обсуждать проблемы в личке, то вокруг этого человека формируется Silo (замкнутая автономная экспертиза). Когда этот человек уйдет, и экспертиза тоже уйдет вместе с ним. Поэтому нужна документация на все действия (и обсуждение проблем через публичные каналы связи).- Работа в «рекламах» (Ads) учит налаживать процессы по стабильности. Есл…

3 месяца, 2 недели назад @ t.me
В соседний отдел «внедрения запрещенных технологий» ищут коллегу, кто будет помогать прикручивать всякие распространённые штуки типа Flink и Spark к внутренним велосипедам Яндекса. Вижу тут два жирных плюса: ⁃ работать с известными «открытыми» инструментам
В соседний отдел «внедрения запрещенных технологий» ищут коллегу, кто будет помогать прикручивать всякие распространённые штуки типа Flink и Spark к внутренним велосипедам Яндекса. Вижу тут два жирных плюса: ⁃ работать с известными «открытыми» инструментам

В соседний отдел «внедрения запрещенных технологий» ищут коллегу, кто будет помогать прикручивать всякие распространённые штуки типа Flink и Spark к внутренним велосипедам Яндекса. Вижу тут два жирных плюса: ⁃ работать с известными «открытыми» инструментами отрасли инженерии данных; ⁃ работать в Яндексе: крутые технологии, куча данных, высокая экспертиза, толковые люди.Такое пересечение не часто встретишь =)То есть работа не про написание пайплайнов, как у «обычного» инженера данных, а именно про инструменты для написания пайплайнов. В описании пишут, что ищут разработчика с опытом инженерии данных, но, может, подойдёт и сильный инженер с опытом промышленной разработки:> Нам нужны сильные р…

3 месяца, 2 недели назад @ t.me
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 3 дня, 13 часов назад
Bringing Automation To Data Labeling For Machine Learning With Watchful
Bringing Automation To Data Labeling For Machine Learning With Watchful

Data engineers have typically left the process of data labeling to data scientists or other roles because of its nature as a manual and process heavy undertaking, focusing instead on building automation and repeatable systems. Watchful is a platform to make labeling a repeatable and scalable process that relies on codifying domain expertise. In this episode founder Shayan Mohanty explains how he and his team are bringing software best practices and automation to the world of machine learning data preparation and how it allows data engineers to be involved in the process.

3 дня, 13 часов назад @ dataengineeringpodcast.com
Collecting And Retaining Contextual Metadata For Powerful And Effective Data Discovery
Collecting And Retaining Contextual Metadata For Powerful And Effective Data Discovery

Data is useless if it isn't being used, and you can't use it if you don't know where it is. Data catalogs were the first solution to this problem, but they are only helpful if you know what you are looking for. In this episode Shinji Kim discusses the challenges of data discovery and how to collect and preserve additional context about each piece of information so that you can find what you need when you don't even know what you're looking for yet.

3 дня, 14 часов назад @ dataengineeringpodcast.com
Useful Lessons And Repeatable Patterns Learned From Data Mesh Implementations At AgileLab
Useful Lessons And Repeatable Patterns Learned From Data Mesh Implementations At AgileLab

Data mesh is a frequent topic of conversation in the data community, with many debates about how and when to employ this architectural pattern. The team at AgileLab have first-hand experience helping large enterprise organizations evaluate and implement their own data mesh strategies. In this episode Paolo Platter shares the lessons they have learned in that process, the Data Mesh Boost platform that they have built to reduce some of the boilerplate required to make it successful, and some of the considerations to make when deciding if a data mesh is the right choice for you.

1 неделя, 4 дня назад @ dataengineeringpodcast.com
Optimize Your Machine Learning Development And Serving With The Open Source Vector Database Milvus
Optimize Your Machine Learning Development And Serving With The Open Source Vector Database Milvus

The optimal format for storage and retrieval of data is dependent on how it is going to be used. For analytical systems there are decades of investment in data warehouses and various modeling techniques. For machine learning applications relational models require additional processing to be directly useful, which is why there has been a growth in the use of vector databases. These platforms store direct representations of the vector embeddings that machine learning models rely on for computing relevant predictions so that there is no additional processing required to go from input data to inference output. In this episode Frank Liu explains how the open source Milvus vector database is impl…

1 неделя, 4 дня назад @ dataengineeringpodcast.com
What "Data Lineage Done Right" Looks Like And How They're Doing It At Manta
What "Data Lineage Done Right" Looks Like And How They're Doing It At Manta

Data lineage is the roadmap for your data platform, providing visibility into all of the dependencies for any report, machine learning model, or data warehouse table that you are working with. Because of its centrality to your data systems it is valuable for debugging, governance, understanding context, and myriad other purposes. This means that it is important to have an accurate and complete lineage graph so that you don't have to perform your own detective work when time is in short supply. In this episode Ernie Ostic shares the approach that he and his team at Manta are taking to build a complete view of data lineage across the various data systems in your organization and the useful ap…

2 недели, 2 дня назад @ dataengineeringpodcast.com
Interactive Exploratory Data Analysis On Petabyte Scale Data Sets With Arkouda
Interactive Exploratory Data Analysis On Petabyte Scale Data Sets With Arkouda

Exploratory data analysis works best when the feedback loop is fast and iterative. This is easy to achieve when you are working on small datasets, but as they scale up beyond what can fit on a single machine those short iterations quickly become long and tedious. The Arkouda project is a Python interface built on top of the Chapel compiler to bring back those interactive speeds for exploratory analysis on horizontally scalable compute that parallelizes operations on large volumes of data. In this episode David Bader explains how the framework operates, the algorithms that are built into it to support complex analyses, and how you can start using it today.

2 недели, 2 дня назад @ dataengineeringpodcast.com
Writing The Book That Offers A Single Reference For The Fundamentals Of Data Engineering
Writing The Book That Offers A Single Reference For The Fundamentals Of Data Engineering

Data engineering is a difficult job, requiring a large number of skills that often don't overlap. Any effort to understand how to start a career in the role has required stitching together information from a multitude of resources that might not all agree with each other. In order to provide a single reference for anyone tasked with data engineering responsibilities Joe Reis and Matt Housley took it upon themselves to write the book "Fundamentals of Data Engineering". In this episode they share their experiences researching and distilling the lessons that will be useful to data engineers now and into the future, without being tied to any specific technologies that may fade from fashion.

3 недели, 2 дня назад @ dataengineeringpodcast.com
Re-Bundling The Data Stack With Data Orchestration And Software Defined Assets Using Dagster
Re-Bundling The Data Stack With Data Orchestration And Software Defined Assets Using Dagster

The current stage of evolution in the data management ecosystem has resulted in domain and use case specific orchestration capabilities being incorporated into various tools. This complicates the work involved in making end-to-end workflows visible and integrated. Dagster has invested in bringing insights about external tools' dependency graphs into one place through its "software defined assets" functionality. In this episode Nick Schrock discusses the importance of orchestration and a central location for managing data systems, the road to Dagster's 1.0 release, and the new features coming with Dagster Cloud's general availability.

3 недели, 2 дня назад @ dataengineeringpodcast.com
Making The Total Cost Of Ownership For External Data Manageable With Crux
Making The Total Cost Of Ownership For External Data Manageable With Crux

There are extensive and valuable data sets that are available outside the bounds of your organization. Whether that data is public, paid, or scraped it requires investment and upkeep to acquire and integrate it with your systems. Crux was built to reduce the total cost of acquisition and ownership for integrating external data, offering a fully managed service for delivering those data assets in the manner that best suits your infrastructure. In this episode Crux CTO Mark Etherington discusses the different costs involved in managing external data, how to think about the total return on investment for your data, and how the Crux platform is architected to reduce the toil involved in managin…

1 месяц назад @ dataengineeringpodcast.com
Joe Reis Flips The Script And Interviews Tobias Macey About The Data Engineering Podcast
Joe Reis Flips The Script And Interviews Tobias Macey About The Data Engineering Podcast

Data engineering is a large and growing subject, with new technologies, specializations, and "best practices" emerging at an accelerating pace. This podcast does its best to explore this fractal ecosystem, and has been at it for the past 5+ years. In this episode Joe Reis, founder of Ternary Data and co-author of "Fundamentals of Data Engineering", turns the tables and interviews the host, Tobias Macey, about his journey into podcasting, how he runs the show behind the scenes, and the other things that occupy his time.

1 месяц назад @ dataengineeringpodcast.com
Charting the Path of Riskified's Data Platform Journey
Charting the Path of Riskified's Data Platform Journey

Building a data platform is a journey, not a destination. Beyond the work of assembling a set of technologies and building integrations across them, there is also the work of growing and organizing a team that can support and benefit from that platform. In this episode Inbar Yogev and Lior Winner share the journey that they and their teams at Riskified have been on for their data platform. They also discuss how they have established a guild system for training and supporting data professionals in the organization.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Maintain Your Data Engineers' Sanity By Embracing Automation
Maintain Your Data Engineers' Sanity By Embracing Automation

Building and maintaining reliable data assets is the prime directive for data engineers. While it is easy to say, it is endlessly complex to implement, requiring data professionals to be experts in a wide range of disparate topics while designing and implementing complex topologies of information workflows. In order to make this a tractable problem it is essential that engineers embrace automation at every opportunity. In this episode Chris Riccomini shares his experiences building and scaling data operations at WePay and LinkedIn, as well as the lessons he has learned working with other teams as they automated their own systems.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
The View From The Lakehouse Of Architectural Patterns For Your Data Platform
The View From The Lakehouse Of Architectural Patterns For Your Data Platform

The ecosystem for data tools has been going through rapid and constant evolution over the past several years. These technological shifts have brought about corresponding changes in data and platform architectures for managing data and analytical workflows. In this episode Colleen Tartow shares her insights into the motivating factors and benefits of the most prominent patterns that are in the popular narrative; data mesh and the modern data stack. She also discusses her views on the role of the data lakehouse as a building block for these architectures and the ongoing influence that it will have as the technology matures.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Be Confident In Your Data Integration By Quickly Validating Matching Records With data-
Be Confident In Your Data Integration By Quickly Validating Matching Records With data-

The perennial challenge of data engineers is ensuring that information is integrated reliably. While it is straightforward to know whether a synchronization process succeeded, it is not always clear whether every record was copied correctly. In order to quickly identify if and how two data systems are out of sync Gleb Mezhanskiy and Simon Eskildsen partnered to create the open source data-diff utility. In this episode they explain how the utility is implemented to run quickly and how you can start using it in your own data workflows to ensure that your data warehouse isn't missing any records from your source systems.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Bring Geospatial Analytics Across Disparate Datasets Into Your Toolkit With The Unfolded Platform
Bring Geospatial Analytics Across Disparate Datasets Into Your Toolkit With The Unfolded Platform

The proliferation of sensors and GPS devices has dramatically increased the number of applications for geospatial technologies, and the need to analyze and understand related datasets. In order to reduce the friction involved in aggregating disparate data sets that share geographic similarities the Unfolded team built a platform that supports working across raster, vector, and tabular data in a single system. In this episode Isaac Brodsky explains how the Unfolded platform is architected, their experience joining the team at Foursquare, and how you can start using it for analyzing your spatial data today.

1 месяц, 3 недели назад @ dataengineeringpodcast.com
Data Brew by Databricks Data Brew by Databricks
последний пост 2 месяца, 1 неделя назад
Season 4E6: Professional Athletes
Season 4E6: Professional Athletes

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Shayna Powless and Eli Ankou, professional cyclist for L39ion of Los Angeles and defensive tackle for the Buffalo Bills, respectively, provide valuable insight on how professional athletes leverage data to improve their performance and how they combine their passion for sports with the Dreamcatcher Foundation.See more at databricks.com/data-brew

2 месяца, 1 неделя назад @ buzzsprout.com
Season 4E5: Public Health: Education, Access, and Policy
Season 4E5: Public Health: Education, Access, and Policy

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Matt Willis, Marin County Public Health Officer, shares the three pillars of public health: education, access, and policy, and the critical role data plays in addressing the COVID-19 pandemic & opioid epidemic. See more at databricks.com/data-brew

3 месяца, 1 неделя назад @ buzzsprout.com
Season 4E4: 1283 Days of Running (and Counting)
Season 4E4: 1283 Days of Running (and Counting)

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Running the length of the US every year, Alexandra Matthiesen shares her motivational secrets for running 1,283 consecutive days (and counting!) and redefining physical and mental limits. See more at databricks.com/data-brew

4 месяца назад @ buzzsprout.com
Last Man Standing
Last Man Standing

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Winner of the infamous Last Man Standing race (running 246 miles in 59 hours), Guillaume merges the world of competitive long-distance running with data science to push the boundaries of body and mind. See more at databricks.com/data-brew

4 месяца, 2 недели назад @ buzzsprout.com
Season 4E2: NBA Analytics
Season 4E2: NBA Analytics

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Alexander Powell chronicles the evolution of sports analytics and how professional sports teams use data as a competitive advantage. See more at databricks.com/data-brew

5 месяцев, 1 неделя назад @ buzzsprout.com
Season 4E1: Reducing Injury & Increasing Retention of Industrial Athletes
Season 4E1: Reducing Injury & Increasing Retention of Industrial Athletes

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Globally, 38,000 people get hurt on the job every hour. In the United States alone, over $250 billion dollars is spent on workplace injury annually. Sean Petterson, founder and CEO of StrongArm Tech, discusses the role of wearable devices to reduce workplace injury and increase retention of industrial athletes. See more at databricks.com/data-brew

5 месяцев, 3 недели назад @ buzzsprout.com
Season 3E6: Open Source
Season 3E6: Open Source

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.For our season 3 finale, Nithya Ruff discusses the open-source ecosystem, ways to contribute to open-source projects (hint: it’s not just about the code), and how businesses can balance community and company interests. With 95% of open-source contributions coming from men, Nithya also educates us on how to improve diversity & inclusion in the open-source community.See more at databricks.com/data-brew

9 месяцев, 3 недели назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост 7 месяцев, 4 недели назад
Про специфику бизнеса и IT в Ozon, изменения в структуре IT за три года, людях и росте внутри компании
Про специфику бизнеса и IT в Ozon, изменения в структуре IT за три года, людях и росте внутри компании Про специфику бизнеса и IT в Ozon, изменения в структуре IT за три года, людях и росте внутри компании

Заключительный выпуск первого сезона. Ведущие — Паша Притчин и Лиза Швец, гость — Антон Степаненко, СТО Ozon.Антон рассказал о той части бизнеса, которая скрыта от глаз обычных пользователей, почему склады Ozon — это своего рода производство и как в целом выглядит компания с точки зрения IT и бизнеса. Поговорили о бурном росте IT-направления со 120 до 2000 человек за три года и кто в компании помогает ему всем этим управлять.Книги, которые рекомендует Антон:- «Выживают только параноики», автор Эндрю Гроув;- «Экстремальное программирование: планирование» авторы Кент Бек, Мартин Фаулер;- «Искусство войны», автор Сунь-Цзы.

7 месяцев, 4 недели назад @ dodoctotalks.mave.digital
Про вертикали и горизонтали в матричной структуре, стратегии планирования, agile-подходы и роль проводника между бизнесом и IT
Про вертикали и горизонтали в матричной структуре, стратегии планирования, agile-подходы и роль проводника между бизнесом и IT Про вертикали и горизонтали в матричной структуре, стратегии планирования, agile-подходы и роль проводника между бизнесом и IT

Гость 11-го выпуска — Владимир Малов, СТО «Утконоса». Поговорили о том, что вдохновляет в работе, почему люди важнее технологий и какие приёмы использовать, чтобы подружить бизнес и разработку.Владимир рассказал о матричной структуре компании, стратегиях планирования, agile-подходах, OKR и открытости, благодаря которой команды понимают, как они влияют на результаты бизнеса.А чтобы оставаться в контексте и быть в курсе того, как меняется IT, он порекомендовал читать не книги, а блоги и каналы IT-компаний, в том числе наш и канал U:tech.

8 месяцев назад @ dodoctotalks.mave.digital
Про карьеру, специфику фудтех-бизнеса, микросервисы, облачные системы и факапы
Про карьеру, специфику фудтех-бизнеса, микросервисы, облачные системы и факапы Про карьеру, специфику фудтех-бизнеса, микросервисы, облачные системы и факапы

В начале десятого выпуска Егор Герасимчук, СТО компании Dots Platform, вспомнил об одном забавном случае, который привёл его в фудтех-разработку. Рассказал, как появилась их облачная платформа для автоматизации процессов заказа и доставки еды, как она устроена, почему нельзя экономить на серверах и какие факапы случаются в работе.Книги, которые рекомендует Егор:«Думай медленно... решай быстро», автор Даниэль Канеман;«Эссенциализм. Путь к простоте», автор Грег МакКеон;«Выбор. О свободе и внутренней силе человека», автор Эдит Ева Эгер;«Источник», автор Айн Рэнд;«Проект “Феникс“. Роман о том, как DevOps меняет бизнес к лучшему», авторы Ким Джин, Бер Кевин.

8 месяцев, 1 неделя назад @ dodoctotalks.mave.digital
Про структуру команд разработки, онбординг СТО, школу тимлидов, объективные метрики для developers experience
Про структуру команд разработки, онбординг СТО, школу тимлидов, объективные метрики для developers experience Про структуру команд разработки, онбординг СТО, школу тимлидов, объективные метрики для developers experience

Гость девятого выпуска — Виталий Леонов, СТО в Skyeng. Он недавно пришёл в компанию и поделился тем, как проходил онбординг и погружение в задачи. Рассказал о структуре команд бизнеса и разработки, о проблемах найма и как они сейчас решаются.Поговорили о том, как автономность и свобода действий влияет на уровень ответственности и к каким результатам приводит, почему для СТО важно говорить с разработчиками на одном языке и как сильные тимлиды помогают командам быть сплочённей и эффективней.Книги, которые рекомендует Виталий:«Неизбежно. 12 технологических трендов, которые определяют наше будущее», автор Кевин Келли;«Критическое мышление. Анализируй, сомневайся, формируй свое мнение», автор То…

8 месяцев, 2 недели назад @ dodoctotalks.mave.digital
Про различия роли СТО в России и США, доверие, работу с фрилансерами и переход на микросервисы
Про различия роли СТО в России и США, доверие, работу с фрилансерами и переход на микросервисы Про различия роли СТО в России и США, доверие, работу с фрилансерами и переход на микросервисы

Дмитрий Чистяков, гость восьмого выпуска, работает СТО в компании Rx2Go, которая занимается доставкой медикаментов в США.Дима рассказал об особенностях бизнеса, опыте работы СТО в России и Америке, на каких задачах ему приходится сейчас фокусироваться и насколько он вовлечён в код. Поговорили о разных подходах к найму разработчиков и напоследок обсудили сложности распила монолита при переходе на микросервисы.

8 месяцев, 3 недели назад @ dodoctotalks.mave.digital
Про ответственность, делегирование, техлидство в двух разных командах и решение сложных задач
Про ответственность, делегирование, техлидство в двух разных командах и решение сложных задач Про ответственность, делегирование, техлидство в двух разных командах и решение сложных задач

Гость седьмого выпуска — Роман Бобрешов из Vivid Money, техлид сразу двух разных продуктовых команд.Он рассказал о том, как справляется с этой ролью, как подходит к решению глобальных технических задач и в чём видит главный вызов своей работы.Книги, которые рекомендует почитать Роман:«Site Reliability Engineering. Надёжность и безотказность как в Google», авторы Бетси Бейер, Дженнифер Петофф, Крис Джоунс;«45 татуировок менеджера», автор Максим Батырёв;«Первые 90 дней», автор Майкл Уоткинс;«Джедайские техники», автор Максим Дорофеев;«Никогда-нибудь», «Это норм!», автор Елена Резанова.

9 месяцев назад @ dodoctotalks.mave.digital
Про неожиданный поворот в карьере, решение проблем, матричную структуру и бесшовные релизы
Про неожиданный поворот в карьере, решение проблем, матричную структуру и бесшовные релизы Про неожиданный поворот в карьере, решение проблем, матричную структуру и бесшовные релизы

В шестом выпуске подкаста решили не скромничать и поговорить о себе. Паша позвал Лизу Швец и Сашу Андронова, который однажды, неожиданно для самого себя, стал СТО Додо Пиццы. Заставили его вспомнить, как это было и что он делал в этой роли.Саша рассказал, как в начале приходилось решать проблемы, не понимая их приоритет. Поговорили о росте компании, переходе к матричной структуре и какую пользу от этого получили. Сверили ощущения Саши и Паши по распилу монолита. В конце выпуска узнали, что Саша любит читать про футбол и биографии выдающихся людей, но пару книг для начинающих СТО все-таки может посоветовать:«Проект “Феникс“. Роман о том, как DevOps меняет бизнес к лучшему», авторы Ким Джин, …

9 месяцев, 1 неделя назад @ dodoctotalks.mave.digital
Про интуицию, майндмэпы, ответственность в неопределённости, сложности жизни с двумя языками разработки, баланс между хаосом и порядком
Про интуицию, майндмэпы, ответственность в неопределённости, сложности жизни с двумя языками разработки, баланс между хаосом и порядком Про интуицию, майндмэпы, ответственность в неопределённости, сложности жизни с двумя языками разработки, баланс между хаосом и порядком

Гость пятого выпуска — Геворг Петросян, СТО Profi.ru. Он поделился историей о своём пути из мобильного разработчика в СТО. Рассказал, как менялся уровень ответственности в управленческих ролях, про майндмэпы в стратегическом планировании, важность обратной связи от команд и почему порядок — не всегда хорошо.Книги, которые рекомендует Геворг:«12 правил жизни: противоядие от хаоса», автор Джордан Питерсон;«Homo Deus. Краткая история будущего», автор Харари Юваль Ной;«Никаких правил. Уникальная культура Netflix», авторы Эрин Мейер, Рид Хастингс;«Антихрупкость. Как извлечь выгоду из хаоса», автор Нассим Николас Талеб;«Практика интегральной жизни», авторы Кен Уилбер, Терри Паттен.

9 месяцев, 2 недели назад @ dodoctotalks.mave.digital
Про роль техлида в ЦИАН, продуктоориентированность разработчиков, гильдии и важность софтскиллов
Про роль техлида в ЦИАН, продуктоориентированность разработчиков, гильдии и важность софтскиллов Про роль техлида в ЦИАН, продуктоориентированность разработчиков, гильдии и важность софтскиллов

Про роль техлида в ЦИАН, продуктоориентированность разработчиков, гильдии и важность софтскиллов.Евгений Пешков, гость четвёртого выпуска, рассказал о новой для себя роли технического руководителя в ЦИАН. О том, какие цели перед ним стоят, как обратная связь помогает оценивать собственную эффективность, кто следит за качеством кода и почему это не он сам.В конце выпуска поговорили о важных вещах для будущего и начинающего СТО: какие навыки развивать, почему управлять нужно учиться системно и как выстраивать отношения с командой.И традиционный список «что почитать»:«Agile-менеджмент. Лидерство и управление командами», автор Юрген Аппело (Management 3.0: Leading Agile Developers, Developing A…

9 месяцев, 3 недели назад @ dodoctotalks.mave.digital
Запуск завтра Podcast Запуск завтра Podcast
последний пост 6 дней, 9 часов назад
Доверенное железо. Как работает аппаратное шифрование
Доверенное железо. Как работает аппаратное шифрование Доверенное железо. Как работает аппаратное шифрование

Опрос для слушателей: https://form.typeform.com/to/e4324Qbq Продолжаем говорить о криптографии. В этом эпизоде Сергей Агафьин из компании КриптоПро рассказывает о физических носителях, оберегающих нашу информацию. Разбираемся, как создают и взламывают «флешки» с секретными ключами, магнитные карты и огромные модули безопасности, установленные в банках по всему миру. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум: https://clck.ru/Pfti2 Рекомендации от Сергея: Книги по смарт-картам, например: «Смарт-карты. Настольная книга разработчика», авторы Т.М. Юргенсен и С.Б. Гатери Книга «Cryptographic engineering», автор Брюс Шнайер Конференции: Black Hat, CCC.de, РусК…

6 дней, 9 часов назад @ zapuskzavtra.libsyn.com
«Ваше подключение не защищено». Разбираемся в шифровании
«Ваше подключение не защищено». Разбираемся в шифровании «Ваше подключение не защищено». Разбираемся в шифровании

Если мы будем хранить наши переписки, пароли и номера банковских карт в исходном виде, их обязательно перехватят злоумышленники, поэтому данные в интернете шифруются. Но и с передачей зашифрованных сообщений есть проблема — нам нужно быть уверенными в том, что получатель тот, за кого себя выдаёт. Для этого используется развесистая инфраструктура с сертификатами и удостоверяющими центрами. В этом эпизоде Евгений Алексеев, начальник отдела криптографических исследований из компании КриптоПро, рассказывает, как работает шифрование, почему каждая страна стремится создать собственный криптографический алгоритм и почему до сих пор нет гарантированного способа защитить свою информацию. Курсы с инт…

1 неделя, 6 дней назад @ zapuskzavtra.libsyn.com
Как сделан крупнейший сервис по поиску жилья
Как сделан крупнейший сервис по поиску жилья Как сделан крупнейший сервис по поиску жилья

Циан — это IT-команда из 250+ человек и 20 миллионов пользователей, ищущих квартиры ежемесячно. Вместе с техническим директором Алексеем Чекановым разбираемся, благодаря чему компания стала главным игроком на российском рынке недвижимости, как Циан защищает клиентов от мошенников и в чем сложности разработки сервиса такого масштаба. Школы наставников и ревьюеров Яндекс Практикума: https://practicum.yandex.ru/job/?utm_source=pr&utm_medium=podcast&utm_campaign=pr_podcast_job_zapuskzavtra Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Связаться: [email protected]

2 недели, 6 дней назад @ zapuskzavtra.libsyn.com
Окно в веб. Как работает браузер
Окно в веб. Как работает браузер Окно в веб. Как работает браузер

30 лет назад ученые из CERN (Европейский Центр ядерных исследований) придумали помещать в текстовый документ ссылки на другие текстовые документы. Из этого вырос первый браузер, а потом и современный веб. Как работает программа, отображающая весь интернет, и кто занимается разработкой этого масштабного проекта? Рассказывает Роман «Кукуц» Иванов, project-менеджер в команде Яндекс Браузера. Партнёр этого эпизода — компания Яндекс. Вместе с сотрудниками Яндекса мы продолжаем разбираться, как устроены популярные сервисы и технологии. Слушайте наши прошлые совместные выпуски про голосового помощника Алису, поисковые системы, маркетплейсы и другие IT-продукты. Почитать больше про браузеры: https:…

3 недели, 1 день назад @ zapuskzavtra.libsyn.com
Как хирургия становится роботической
Как хирургия становится роботической Как хирургия становится роботической

Робот DaVinci — это Tesla в мире медицины. Благодаря 3D-окулярам хирурги видят операционное поле так, как никогда раньше, а «руки» робота помогают делать сверхточные разрезы и меньше травмировать ткани. Вместе с оперирующим врачом Давидом Камаловым разбираемся, как машины встают на место медицинских ассистентов и позволяют проводить почти бескровные операции. Посмотреть, как работает робот: https://youtu.be/QksAVT0YMEo Акция от Яндекса: каждый студент, который зарегистрируется по специальной ссылке и купит курс до 31 июля (кроме английского) получит подарок. Ссылка: https://clck.ru/sJwRs Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться в Apple Podcasts на Ли…

3 недели, 6 дней назад @ zapuskzavtra.libsyn.com
Как научить алгоритм торговать на бирже
Как научить алгоритм торговать на бирже Как научить алгоритм торговать на бирже

На бирже постоянно что-то происходит, и делать достоверные прогнозы на длинной дистанции умеют немногие. Но чтобы успешно торговать и зарабатывать, это необязательно. Гость сегодняшнего эпизода Эмиль Лернер рассказывает, как его компания создаёт боты для высокочастотной торговли, умеющие за миллисекунды совершать сделки, и как написать алгоритм, приносящий деньги. Регистрация на бесплатный вебинар «Как стать разработчицей» от Яндекс Практикума: https://practicum.yandex.ru/promo/events/girls-developing Фонд Эмиля: https://wunderfund.io Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться в Apple Podcasts на Либо/Либо+, куда включены эпизоды «Запуск++»: https://cl…

1 месяц назад @ zapuskzavtra.libsyn.com
Как и зачем биотехнологи меняют геномы растений
Как и зачем биотехнологи меняют геномы растений Как и зачем биотехнологи меняют геномы растений

Изменить участок ДНК, чтобы томаты были вкуснее или вырастить горох, который подойдёт для растительного мяса — такие задачи решает биотехнологическая компания Plastilin. Ее CEO Дмитрий Медведев рассказывает, как с помощью генной инженерии появляются новые сорта растений, позволяющие эффективно использовать посевные площади, и почему не стоит бояться генетической модификации. Подробности о курсах по мобильной разработке от Яндекс Практикума: — Android https://clck.ru/rpsyJ — iOS https://clck.ru/rpsu9 Книжная рекомендация от Димы: «Сумма биотехнологии. Руководство по борьбе с мифами о генетической модификации растений, животных и людей», Александр Панчин Шоу Сергея Мезенцева: — Эпизод с Алекс…

1 месяц, 1 неделя назад @ zapuskzavtra.libsyn.com
Смарт-контракты. Как устроены договоры, которые невозможно не исполнить
Смарт-контракты. Как устроены договоры, которые невозможно не исполнить Смарт-контракты. Как устроены договоры, которые невозможно не исполнить

Любая сделка, даже с самым надёжным контрагентом, несёт в себе риски. Смарт-контракт помогает обеспечить безопасность договора — его невозможно неправильно истрактовать или повлиять на ход его исполнения. Эта спасительная технология работает с помощью блокчейна. Подробно о ее реализации и подводных камнях Самату рассказал Денис Васин, техдир Waves Enterprise. Бесплатный курс «Подготовка к алгоритмическому собеседованию» от Яндекс Практикума: https://clck.ru/reaUP Книжные рекомендации: «Mastering Bitcoin: Programming the Open Blockchain» и «Mastering Ethereum: Building Smart Contracts and DApps», автор Андреас Антонопулос «How To DeFi»: https://landing.coingecko.com/how-to-defi «How to NFT»:…

1 месяц, 2 недели назад @ zapuskzavtra.libsyn.com
Как работает аппарат МРТ
Как работает аппарат МРТ Как работает аппарат МРТ

МРТ — способ увидеть тело человека изнутри по слоям. В этом эпизоде Андрей Манжурцев, специалист по томографам, рассказывает, как это возможно и на каких принципах построена эта сложнейшая медицинская технология. Разбираемся, что происходит с ядрами водорода внутри пациента, как МРТ может стать еще эффективнее для врачей и почему так мало компаний занимаются производством МРТ-машин. Новый бесплатный курс Яндекс Практикума по основам Go: https://clck.ru/rbeTP Подкаст «Любить нельзя воспитывать» с Димой Зицером: https://podcast.ru/1622007687 Книжная рекомендация от Андрея: Эварт Блинк «Основы магнитно-резонансной томографии» Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQ…

1 месяц, 3 недели назад @ zapuskzavtra.libsyn.com
«Хакер». Как появилось культовое медиа для айтишников
«Хакер». Как появилось культовое медиа для айтишников «Хакер». Как появилось культовое медиа для айтишников

В конце 90-х журнал «Хакер» стал для многих проводником в мир технологий. Подростки скупали все тиражи в ларьках и зачитывались хулиганскими статьями о взломах (и Самат тоже!). В этом эпизоде основатель журнала Дмитрий Агарунов вспоминает, как он с командой создал контркультурный проект, показавший всем, что IT — это круто. Курс Яндекс Практикума по математике для анализа данных: https://clck.ru/qkAVb Первый номер «Хакера»: https://xakep.ru/issues/xa/001/ Статьи по рекомендации гостя: https://xakep.ru/2022/02/11/china-smartphones-spy/ https://xakep.ru/2022/01/12/log4hell/ Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Связаться: [email protected] Редакторка — Маш…

2 месяца назад @ zapuskzavtra.libsyn.com
Как производятся ноутбуки
Как производятся ноутбуки Как производятся ноутбуки

Когда в 2008 году Стив Джобс презентовал первый MacBook Air от Apple, публика пришла в восторг — ноутбук был тонкий, легкий и стильный. Сейчас этим уже никого не увидишь, и ноутбуки заменили для большинства из нас стационарные компьютеры. Но как производители смогли уместить все составляющие и функционал громоздких десктопов в маленькую коробочку? Разбираемся вместе с Борисом Миттельбергом — программистом из компании Google, который участвует в разработке высокопроизводительных ноутбуков. Подробности про два курса от Яндекс Практикума, на которых можно обучиться на тестировщика с нуля: https://clck.ru/py7AL Почитать о хромбуках: https://www.google.com/chromebook/ Сайт с обзорами и сравнения…

2 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Приватность в Интернете. Как обезопасить себя от утечек
Приватность в Интернете. Как обезопасить себя от утечек Приватность в Интернете. Как обезопасить себя от утечек

Вы удивитесь, сколько всего о вас знают компании. Google, например, хранит все данные о пользователях за последние 20 лет. При этом беспроигрышного варианта хранения информации просто не существует — неминуемо случаются утечки и в сеть попадают персональные данные миллионов людей, чем, конечно, пользуются мошенники. В этом эпизоде Самат говорит с Кори Доктороу, активистом в области цифрового права и автором научно-фантастических книг. Кори рассказал, что могут делать компании, чтобы не допускать утечек, и как пользователям обезопасить себя в интернете. Ссылка на курс от Яндекс Практикума «Тестирование веб-сервисов на Python»: https://practicum.yandex.ru/qa-automation-web-python/?utm_source=…

2 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Как происходит обмен медицинскими данными
Как происходит обмен медицинскими данными Как происходит обмен медицинскими данными

Тысячи медицинских учреждений обособленно собирают и хранят огромный массив информации. Как они могут удобно общаться между собой? Николай Рыжиков из Health Samurai рассказал, как информационные системы в медицине становятся интероперабельными и как в этом помогают протоколы передачи данных, а ещё поделился опытом перевода целого региона России на современный стандарт FHIR. 30 мая с 17:00 день открытых дверей программирования от Яндекс Практикума https://yandexpraktikum.timepad.ru/event/2042646/utm_source=pr&utm_medium=content&utm_campaign=pr_content_dod30may2022_zapuskzavtra 6:10 В чем проблема бумажных медицинских карт 11:50 Как в России устроен рынок медицинских информационных систем 20:…

2 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Как электронная почта появилась у каждого российского пользователя
Как электронная почта появилась у каждого российского пользователя Как электронная почта появилась у каждого российского пользователя

Mail.ru сейчас — IT-гигант, не нуждающийся в представлении. Наш гость Алексей Кривенков был сооснователем этой компании в 1998 году и рассказал Самату, как они разрабатывали свой главный продукт — электронную почту. Лёша вспомнил, какие сложности нужно было решить, чтобы сделать удобный веб-сервис для пользователей, только что узнавших про существование интернета, и как Mail.ru стал главным почтовым ящиком рунета. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Подписаться на бонусные эпизоды «Запуск++» в телеграме: https://t.me/+N_AopnXC0dBkMGQy Связаться:…

3 месяца назад @ zapuskzavtra.libsyn.com
Как учить английский
Как учить английский Как учить английский

Обучение иностранному языку сильно отличается от написания кода, но и в работе с лексикой и грамматикой есть свои методологии и системы. О них Самату рассказывает Юлия Беймлина. Юля давно преподает английский айтишникам и понимает, на какие аспекты иностранного языка технарям стоит обратить больше всего внимания. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум. В мае Практикум запускает бета-версию курса английского для разработчиков. Если вы работает в IT больше года и владеете языком на уровне Pre-Intermediate или Intermediate, вы можете стать бета-тестером. Для участия оставьте заявку https://forms.yandex.ru/surveys/13180326.1befeb0dc98f6fff455dcaa49c6f92f…

4 месяца назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 3 дня, 6 часов назад
Про Хакатоны (level: all)
Про Хакатоны (level: all) Про Хакатоны (level: all)

В гостях у Moscow Python Podcast Lead of HR Community Skolkovo Алиса Цапкова. Обсудили с Алисой зачем нужны хакатоны, советы и лайфхаки участникам хакатонов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Skolkovo Hack 2022: https://codenrock.com/contests/skolkovo-hack-2022 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за руб…

3 дня, 6 часов назад @ learnpython.podbean.com
Из разработки в DevOps (level: all)
Из разработки в DevOps (level: all) Из разработки в DevOps (level: all)

В гостях у Moscow Python Podcast Python Senior DevOps компании CLS Global Игорь Перепелицын. Обсудили с Игорем его путь в разработке, GitOps и как деплоиться без Kubernetes. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

2 недели, 5 дней назад @ learnpython.podbean.com
CI/CD и культура DevOps (level: all)
CI/CD и культура DevOps (level: all) CI/CD и культура DevOps (level: all)

В гостях у Moscow Python Podcast Python Team Lead компании Райффайзенбанк Денис Аникин. Обсудили с Денисом какие способы деплоя Python приложения в прод сейчас есть. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geek…

3 недели, 2 дня назад @ learnpython.podbean.com
Redis, сова и глобус (level: all)
Redis, сова и глобус (level: all) Redis, сова и глобус (level: all)

В гостях у Moscow Python Podcast Python CTO проекта Speechki Павел Мальцев. Поговорили с Павлом о том, как и когда использовать Redis, какие там есть структуры данных и когда они будут полезны. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж…

1 месяц, 1 неделя назад @ learnpython.podbean.com
L и DataOps (level: all)
L и DataOps (level: all) L и DataOps (level: all)

В гостях у Moscow Python Podcast Python ML и DataOps lead компании Gett Семён Осипов. Поговорили с Семёном о его пути в разработке и что такое ML и DataOps и зачем он нужен. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

1 месяц, 2 недели назад @ learnpython.podbean.com
Английский для разработчиков (level: all)
Английский для разработчиков (level: all) Английский для разработчиков (level: all)

В гостях у Moscow Python Podcast Python руководитель команды методистов на курсе Английский для разработчиков компании Яндекс.Практикум Маруся Горина и Python разработчик Лариса Петрова. Обсудили с Марусей и Ларисой какой уровень английского нужен разработчику. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week)…

1 месяц, 3 недели назад @ learnpython.podbean.com
Путь от джуна до тимлида (level: all)
Путь от джуна до тимлида (level: all) Путь от джуна до тимлида (level: all)

В гостях у Moscow Python Podcast Python Team lead компании VK Group Юрий Орлов. Обсудили с Юрием его путь в программировании от джуна до тимлида. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/internatio…

2 месяца назад @ learnpython.podbean.com
Как быть техлидом (level: senior)
Как быть техлидом (level: senior) Как быть техлидом (level: senior)

В гостях у Moscow Python Podcast Python руководитель группы разработки компании MTS AI Сурен Хоренян. Поговорили с Суреном о том, как быть техлидом и не мешать разработчикам. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

2 месяца, 1 неделя назад @ learnpython.podbean.com
Инсайды с конференций (level: all)
Инсайды с конференций (level: all) Инсайды с конференций (level: all)

В гостях у Moscow Python Podcast Python специалист по решению сложных технологических задач Александр Боргардт. Обсудили с Александром зачем устраивают конференции и как получить от них максимум пользы. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https:/…

2 месяца, 3 недели назад @ learnpython.podbean.com
Domain Driven Design (level: all)
Domain Driven Design (level: all) Domain Driven Design (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки компании МЕДСИ Digital Николай Фоминых. Обсудили с Николаем, что такое DDD, зачем оно нужно и как применяют в МЕДСИ. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Merge: https://Mergeconf.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа пом…

3 месяца назад @ learnpython.podbean.com
Про генерацию кода (level: all)
Про генерацию кода (level: all) Про генерацию кода (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки компании Магнит Антон Огородников. Обсудили с Антоном, как в Магните используют генерацию кода из OpenAPI спецификации, сбор метрик и как обстоят дела с генерацией кода в Python и Go. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://c…

3 месяца, 2 недели назад @ learnpython.podbean.com
Из проектирования в разработчики (level: all)
Из проектирования в разработчики (level: all) Из проектирования в разработчики (level: all)

В гостях у Moscow Python Podcast Python QA-инженер компании Genesys Юрий Польников. Обсудили с Юрием его путь из инженера в сфере строительства и преподавателя в разработчики. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Index-tech: https://index-tech.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа по…

4 месяца назад @ learnpython.podbean.com
Data Science в Кухне на районе (level: all)
Data Science в Кухне на районе (level: all) Data Science в Кухне на районе (level: all)

В гостях у Moscow Python Podcast Python Data Scientists компании Кухня на районе Кирилл Малев и Сергей Макарин. Ведущие выпуска — Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

4 месяца, 1 неделя назад @ learnpython.podbean.com
Что нужно знать разработчику помимо разработки (level: all)
Что нужно знать разработчику помимо разработки (level: all) Что нужно знать разработчику помимо разработки (level: all)

В гостях у Moscow Python Podcast Python ведущий разработчик компании Monite Богдан Евстратенко. Обсудили с Богданом CI/CD, Kubernetes и нужно ли сейчас знать это разработчику, собеседования в IT и бизнес подход к решению задач. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Index-tech: https://index-tech.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russi…

6 месяцев назад @ learnpython.podbean.com
Про утечку мозгов и эйджизм в IT (level: all)
Про утечку мозгов и эйджизм в IT (level: all) Про утечку мозгов и эйджизм в IT (level: all)

В гостях у Moscow Python Podcast Python IT-рекрутер и руководитель компании INDEX Анна Атрошкина. Поговорили с Анной о идеальном возрасте разработчика и существует ли он и о том, почему происходит утечка мозгов и возможно ли с этим что-то сделать. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.py…

6 месяцев, 1 неделя назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 2 дня, 4 часа назад
Podlodka #281 – Коучинг
Podlodka #281 – Коучинг Podlodka #281 – Коучинг

Почему ты думаешь, что прослушивание выпуска про коучинг будет тебе полезно? Что ты ожидаешь по окончанию выпуска? Что из себя представляет коуч-сессия и чем этот инструмент может быть полезен в повседневной жизни? Чем коучинг отличается от задавания бесконечной серии вопросов? На эти и другие вопросы нам помогла ответить профессиональный трансформационный коуч Карина Дозорнова. Регистрируйтесь и используйте объектное хранилище Selectel для хранения неструктурированных данных. Первый месяц — бесплатно: https://slc.tl/3u8ux Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Tel…

2 дня, 4 часа назад @ soundcloud.com
Podlodka #280 – Тестирование умных устройств
Podlodka #280 – Тестирование умных устройств Podlodka #280 – Тестирование умных устройств

Когда речь заходит об умных устройствах и голосовых помощниках, стандартными инструментами и практиками тестирования уже не обойтись. Сложности начинаются еще на этапе набора сценариев для тестирования: существует далеко не один способ попросить Алису включить любимый трек с утра. А что уж говорить об оценке результатов — например, как оценить качество рассказанного колонкой анекдота? 🤡 В этом выпуске вместе с инженером по тестированию в команде Алисы Клавдией Осенниковой разбираемся, как тестируются многокомпонентные системы со сложной структурой бекендов и какие неочевидности есть в тестировании умных девайсов. Заполняйте заявку и получите скидку 25% на год использования инфраструктуры Se…

1 неделя, 2 дня назад @ soundcloud.com
Podlodka #279 – Тьюринг-полнота
Podlodka #279 – Тьюринг-полнота Podlodka #279 – Тьюринг-полнота

В мире разработки есть несколько понятий, которые постоянно всплывают в разговорах, но при этом лишь единицы действительно хорошо понимают их значение. Полнота по Тьюрингу – одно из таких понятий. К счастью, наш гость, Виталий Брагилевский, один из тех, кто и понимает, и может отлично объяснить! Посмотреть вакансии в финтех-компании Точка: https://tchk.me/xTsmeq Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Ж…

2 недели, 2 дня назад @ soundcloud.com
Podlodka #278 – Технический PR
Podlodka #278 – Технический PR Podlodka #278 – Технический PR

Зачем компании проводят у себя митапы, уговаривают разработчиков выступать и писать статьи? Как работает технический PR? Обо всем этом поговорили с руководителем техпиара Авито Михаилом Клюевым. Оставляйте заявку на сайте Selectel и экономьте на штатных DevOps-инженерах: https://slc.tl/8j5a4 Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла, Катя Петрова Полезные ссылки:

State of Dev…

3 недели, 2 дня назад @ soundcloud.com
Podlodka #277 – Менеджеры очередей
Podlodka #277 – Менеджеры очередей Podlodka #277 – Менеджеры очередей

Очереди – один из ключевых компонентов архитектуры приложений с асинхронной бизнес-логикой. Они помогают сглаживать пиковую нагрузку на сервисы, строить надежные распределенные по географии системы, и писать независимые друг от друга компоненты системы. Владимир Перепелица, архитектор и продакт-менеджер из Tarantool, провел отличную экскурсию в мир очередей – рассказал про существующие топологии, их плюсы и минусы, работу менеджеров очередей под капотом и кучу кейсов того, как строить архитектуру системы на базе очередей. Точка — финтех компания, в которой ты будешь свободен в решениях и счастлив жить и работать где угодно. Погнали? https://tchk.me/pBaxju Приходи на новый сезон Podlodka Bac…

1 месяц назад @ soundcloud.com
Podlodka #276 – Разработка API
Podlodka #276 – Разработка API Podlodka #276 – Разработка API

Вечно можно наблюдать за тем, как горит огонь, течёт вода и за тем, как разработчики ругаются по поводу спеки нового API метода. Существует ли API, которым всем удобно пользоваться, а его автора не хочется застрелить при необходимости обновления? Если да, то как добиться того же у себя на проекте? Искали ответ на этот вопрос, плавали по слоям абстракций и пытались устроить холивар про REST с Сергеем Константиновым, проработавшим 9 лет в API Яндекс.Карт и выпустившим книгу про построение API. Оставляйте заявку на сайте и передайте Selectel задачи по настройке и обслуживанию IT-инфраструктуры: https://slc.tl/y6p2n Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши л…

1 месяц, 1 неделя назад @ soundcloud.com
Podlodka #275 – Распознавание музыки
Podlodka #275 – Распознавание музыки Podlodka #275 – Распознавание музыки

А со скольки нот угадаешь мелодию ты? В выпуск про распознавание музыки позвали руководителя группы анализа медиаданных Яндекса Евгения Крофто. Поговорили про то как слышат и узнают музыку алгоритмы. Разобрали старое решение десятилетней давности и сравнили его с новым подходом на сиамских нейросетях. «Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России в рейтинге Data Insight 2021 года. А в этом году компания стала самой быстрорастущей сетью РФ в категории non-food в рейтинге INFOLine Retail Russia TOP-100. Вакансии в IT команду https://career.habr.com/companies/goldapple/vacancies Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комм…

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #274 – Зубы
Podlodka #274 – Зубы Podlodka #274 – Зубы

Мы записали огромный выпуск с разбором самых стыдных вопросов про стоматологию: как правильно чистить зубы, чем элайнеры лучше брекетов, в какую страну надо ехать за имплантами и многих других. Разбираться со здоровьем, эстетикой и гигиеной ротовой полости нам помогал Артем Газаров, владелец сети клиник “Белая радуга”. Для всех слушателей выпуска скидка 5% на услуги клиники до конца июля по промокоду PODLODKA. Регистрируйтесь в Selectel и разворачивайте инфраструктуру для хранения персональных данных даже с максимальным уровнем защищенности: https://slc.tl/a1j7t Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #273 – Оценки не нужны
Podlodka #273 – Оценки не нужны Podlodka #273 – Оценки не нужны

Продолжаем нести знамя борьбы с карго-культом, и на сей раз под раздачу попали оценки сроков. Действительно, какая разница, какой срок назвать, если делать все равно всегда дольше? Вместе с Виталием Шароватовым посвятили выпуск поискам истины! Яндекс Банк ищет ребят на интересные задачи в небольшой, но технологичный финтех-стартап. Не тот стартап, где переработки — награда за энтузиазм. И не тот финтех, «где карту получали, туда и идите». А дружелюбный и продвинутый продукт с небольшой командой, но большими планами: https://fintech.yandex.ru/?utm_source=telegram&utm_campaign=podlodka Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в ме…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #272 – Мобильные архитектуры
Podlodka #272 – Мобильные архитектуры Podlodka #272 – Мобильные архитектуры

Заходят как-то продакт Котлина, автор книги VIPER, любитель Java, developer advocate, iOS Тимлид команды ecomm «ВКонтакте» в бар и… НАЧИНАЮТ СПОРИТЬ ПРО МОБИЛЬНЫЕ АРХИТЕКТУРЫ 🤡 Мы, конечно, давно уже не мобильных подкаст, но свои корни надо помнить. В этом выпуске вместе с тем самым JonFir (Евгений Елчев) пытаемся разобраться, зачем мобильщики напридумывали себе кучу архитектур и есть ли между ними хоть какая-то разница. MVC, MVVM, MVI, VIPER, Redux, UDF, Ribs и другие всеми любимые аббревиатуры, а также легкий налет “Пробоины”! Регистрируйтесь и разворачивайте надежную инфраструктуру для хранения персональных данных клиентов в Selectel: https://slc.tl/h9u80 Промокод -500р на iOS Crew: Mode…

2 месяца назад @ soundcloud.com
Podlodka #271 – Налоговое резидентство
Podlodka #271 – Налоговое резидентство Podlodka #271 – Налоговое резидентство

Большинство из вас привыкло не особо задумываться о налогах. Это либо 13%, которые платит за вас работодатель, либо налог за деятельность ИП, который платите вы сами по очень простому алгоритму. Но все становится сильно сложнее, когда вы сталкиваетесь с вопросами налогового резидентства и нюансами взаимодействия систем налогообложения разных стран. Дмитрий Хахаев из Buzko.Legal, один из авторов “Налогового путеводителя для цифровых кочевников” провел для наших слушателей ликбез по основным вопросам, связанным с налоговым резидентством. Точка — финтех компания, в которой ты будешь свободен в решениях и счастлив жить и работать где угодно. Погнали?

https://tchk.me/pBaxju Поддержи лучший подка…

2 месяца, 1 неделя назад @ soundcloud.com
Podlodka #270 – Похудение
Podlodka #270 – Похудение Podlodka #270 – Похудение

Похудение ассоциируется с жесткими диетами на пророщенной пшенице и сельдерее. Гость выпуска – врач психотерапевт и диетолог Сергей Обложко, рассказал о способах достичь цели без насилия над собой. В выпуске разобрали мифы и нетрадиционные способы похудения, а также влияние таких факторов, как спорт и сон на процесс. Оставляйте заявку на бесплатный перенос инфраструктуры проекта в Selectel: https://slc.tl/5j53u Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https:…

2 месяца, 2 недели назад @ soundcloud.com
Podlodka #269 – Интернет-реклама
Podlodka #269 – Интернет-реклама Podlodka #269 – Интернет-реклама

Разбираемся в нюансах интернет-рекламы! Какие разновидности рекламы бывают, за что платят рекламодатели и как работают рекламные аукционы? Выясняем вместе с Андреем Мищенко из Яндекса. ЖК «Светлый мир «Станция «Л»…» — современный комплекс комфорт‐класса. Если вы мечтали жить в уютном, зеленом ЖК, где есть все для комфортной жизни и развития — это то, что вам нужно! Узнайте больше о ЖК, ценах на квартиры и планировках на сайте: https://station-l.ru Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/…

2 месяца, 3 недели назад @ soundcloud.com
Podlodka #268 – Формальные методы и верификация программ
Podlodka #268 – Формальные методы и верификация программ Podlodka #268 – Формальные методы и верификация программ

Мечтаете, чтобы ваше ПО было сверх надежным, но грустите, ведь даже самый большой набор тестов не гарантирует 100% работоспособность кода на всех кейсах? На помощь придут верификация ПО с помощью формальных методов! Опишем спецификацию на программу с помощью математических языков и докажем какие-нибудь ее свойства. Не обещаем, что будет просто, но точно будет интересно! Вместе с профессором Национального Университета Сингапура Ильей Сергеем разобрали верификацию не только на простых задачах, но и в проектах огромной кодовой базой и распределенными вычислениями. Обсудили истории успеха из реальных проектов, основные сложности этого подхода и направления активных исследований применения форма…

3 месяца назад @ soundcloud.com
Podlodka #267 – Кодеки
Podlodka #267 – Кодеки Podlodka #267 – Кодеки

Разработка кодеков – это целая вселенная, о которой многие совсем ничего не знают. Чтобы разобраться, мы позвали в гости Дмитрия Ватолина, который с 2003 года руководит крупнейшим в мире сравнением кодеков. В выпуске мы говорим про то, как устроена архитектура кодеков, какие идеи стоят за их различными компонентами, как оценивается их эффективность, и как выглядит будущее сжатия файлов. Поддержи лучший подкаст про IT:

https://boosty.to/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaP…

3 месяца, 1 неделя назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 месяца, 1 неделя назад
Эмоции и личность
Эмоции и личность

Это тринадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 1 неделя назад @ buzzsprout.com
Другие люди
Другие люди

Это двенадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 1 неделя назад @ buzzsprout.com
Внимание и эмоции
Внимание и эмоции

Это одиннадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 1 неделя назад @ buzzsprout.com
Эмоции стоиков
Эмоции стоиков

Это десятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 1 неделя назад @ buzzsprout.com
Ощущения и эмоции
Ощущения и эмоции

Это девятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 1 неделя назад @ buzzsprout.com
Будущее
Будущее

Это восьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 1 неделя назад @ buzzsprout.com
Благодарность
Благодарность

Это седьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 1 неделя назад @ buzzsprout.com
Могло быть хуже
Могло быть хуже

Это шестая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 2 недели назад @ buzzsprout.com
Внимание к деталям
Внимание к деталям

Это пятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 2 недели назад @ buzzsprout.com
Стоические боги
Стоические боги

Это четвёртая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 2 недели назад @ buzzsprout.com
Человек и время
Человек и время

Это третья часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 2 недели назад @ buzzsprout.com
Немного про стоицизм
Немного про стоицизм

Это вторая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

2 месяца, 2 недели назад @ buzzsprout.com
Немного про медитацию
Немного про медитацию

Это первая часть небольшого набора упражнений, посвящённых медитации и стоической философии.Support the show

2 месяца, 2 недели назад @ buzzsprout.com
Наука на ночь
Наука на ночь Наука на ночь

Как один мальчик отказался ходить по струнке? Как одна девочка плохо себя вела и попала в историю?Новый Год — самое время для сказок, историй и тостов! Мы решили прочитать вам пару историй из книги «Наука на ночь», которую пишут Ксюша и Иван, а заодно создать новогоднее настроение всей командой подкаста.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

7 месяцев, 2 недели назад @ buzzsprout.com
Речевые технологии
Речевые технологии

Как машинное обучение помогает учиться людям? Что делает робота милым, а что пугающим? И почему речевые ассистенты совсем недавно заговорили мужскими голосами?Сегодня с нами проветриваются: Анна Дёгтева - лингвист, антрополог, разработчица голосовых интерфейсовСоня Терпугова - она делает стартап SmallTalk2.me - AI помощник в разговорном английском, а до этого около 8 лет работала в ЯндексеНе будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

7 месяцев, 3 недели назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 2 месяца, 2 недели назад
All Together Now
All Together Now All Together Now

Our show is all about heroes making great strides in technology. But in InfoSec, not every hero expects to ride off into the sunset. In our series finale, we tackle vulnerability scans, how sharing information can be a powerful tool against cyber crime, and why it’s more important than ever for cybersecurity to have more people, more eyes, and more voices, in the fight.Wietse Venema gives us the story of SATAN, and how it didn’t destroy the world as expected. Maitreyi Sistla tells us how representation helps coders build things that work for everyone. And Mary Chaney shines a light on how hiring for a new generation can prepare us for a bold and brighter future.If you want to read up on som…

2 месяца, 2 недели назад @ redhat.com
Invisible Intruders
Invisible Intruders Invisible Intruders

What began as a supposed accounting error landed Cliff Stoll in the midst of database intrusions, government organizations, and the beginnings of a newer threat—cyber-espionage. This led the eclectic astronomer-cum-systems administrator to create what we know today as intrusion detection. And it all began at a time when people didn’t understand the importance of cybersecurity. This is a story that many in the infosec community have already heard, but the lessons from Stoll’s journey are still relevant. Katie Hafner gives us the background on this unbelievable story. Richard Bejtlich outlines the “honey pot” that finally cracked open the international case. And Don Cavender discusses the imp…

3 месяца назад @ redhat.com
Ruthless Ransomers
Ruthless Ransomers Ruthless Ransomers

It’s a strange situation when someone can hold something hostage from halfway around the world. It’s tragic when your own pictures and files are remotely encrypted. But when it’s a hospital’s system? Ransomware becomes a problem about life or death. Eddy Willems recounts his involvement in defeating an early ransomware attack that targeted AIDS researchers. At the time, there was a way to discover the encryption key. But as Moti Yung warned, asymmetric encryption would change everything. In the years since, ransomware attacks have become much more popular—thanks in part to the rise of cryptocurrencies. While criminals think it’s an anonymous way to collect payment, Sheila Warren tells us th…

3 месяца, 2 недели назад @ redhat.com
Menace in the Middle
Menace in the Middle Menace in the Middle

All communication leaves the possibility for crossed wires. And as we become more connected, there’s a chance for those with ill intentions to steal our information and meddle in our daily lives—with devastating results. Smriti Bhatt breaks down the complexity behind machine-in-the-middle attacks. Johannes Ullrich tells us why we shouldn’t always trust that free WiFi. And the “father of SSL” Taher Elgamal notes that while cryptography can address the increasingly sophisticated nature of malware, there are no safe bets in security.If you want to read up on some of our research on machine in the middle attacks, you can check out all our bonus material over at redhat.com/commandlineheroes.Foll…

4 месяца назад @ redhat.com
Dawn of the Botnets
Dawn of the Botnets Dawn of the Botnets

Overwhelming numbers are scary—even in the best of circumstances. You can plan for them, build up your defenses, and do everything imaginable to prepare. But when that horde of zombies hits, their sheer numbers can still cause devastation. Botnets are digital zombie hordes. Jamie Tomasello recounts the scale of the Bredolab botnet—and the many malicious kinds of missions it carried out. Martijn Grooten explains how botnets work, and why they can be so difficult to permanently dismantle. And Darren Mott shares some of the successes the FBI had in rounding up some of the world’s most prolific bot herders.If you want to read up on some of our research on botnets, you can check out all our bonu…

4 месяца, 2 недели назад @ redhat.com
Lurking Logic Bombs
Lurking Logic Bombs Lurking Logic Bombs

Logic bombs rarely have warning sounds. The victims mostly don’t know to expect one. And even when a logic bomb is discovered before it’s triggered, there isn’t always enough time to defuse it. But there are ways to stop them in time. Paul Ducklin recounts the race to defuse the CIH logic bomb—and the horrible realization of how widespread it was. Costin Raiu explains how logic bombs get planted, and all the different kinds of damage they can do. And Manuel Egele shares some strategies for detecting logic bombs before their conditions are met.If you want to read up on some of our research on logic bombs, you can check out all our bonus material over at redhat.com/commandlineheroes. Follow a…

4 месяца, 4 недели назад @ redhat.com
Terrifying Trojans
Terrifying Trojans Terrifying Trojans

Sometimes a fun game, a friendly email, or an innocuous link can be the most convenient place for an enemy to hide. And its prey is none the wiser—until it strikes. The trojan horse uses many layers of deception to do damage. The ingenuity of these attacks keeps an alarming pace with the technology we use every day. But as long as we stick to trusted sites and sources, we can better the odds against those who use our trusting nature against us. Steve Weisman tells us about how trojans still keep security professionals on the defensive. Josephine Wolff details how these attacks have evolved, and keep evolving, to catch victims off guard. And Yanick Franantonio takes on the new frontier for t…

5 месяцев, 1 неделя назад @ redhat.com
Relentless Replicants
Relentless Replicants Relentless Replicants

Computer viruses and worms haunt the internet. They worm their way into a system, replicate, and spread again. It’s a simple process—with devastating consequences. But there’s a whole industry of people that rose up to fight back. Craig Schmugar recalls how he and his team responded to MyDoom, one of the fastest-spreading worms ever. Dr. Nur Zincir-Heywood reveals the inner workings of viruses and worms, and how they draw their names from the world of biology. And security expert Mikko Hypponen shares advice on avoiding malware. But he also warns that we’re in an arms race against malware developers.If you want to read up on some of our research on viruses and worms, you can check out all o…

5 месяцев, 3 недели назад @ redhat.com
Command Line Heroes Season 9: The Horrors of Malware
Command Line Heroes Season 9: The Horrors of Malware Command Line Heroes Season 9: The Horrors of Malware

Malware haunts us all. Viruses, worms, trojan horses, and the harm they do often corrupts the promise of the internet. But the world of computing continues to grow. Though it’s changed us forever, malware hasn’t stopped us from connecting. Season 9 of Command Line Heroes is the culmination of the show. We focus on security and the people who, every day, face the monsters of the digital world. They disinfect computers from viruses, defuse logic bombs, and dismantle botnets. But they can’t do it alone. It’ll take all of us working together to make the world a safer place.The first episode drops February 22, 2022. Subscribe today and sign up for the newsletter to get the latest updates.

6 месяцев, 1 неделя назад @ redhat.com
Robot as Vehicle
Robot as Vehicle Robot as Vehicle

Self-driving cars are seemingly just around the corner. These robots aren’t quite ready for the streets. For every hyped-up self-driving showcase, there’s a news story about its failure. But the good news is that we get closer every year. Alex Davies steers us through the history of autonomous vehicles. Alex Kendall maps the current self-driving landscape. And Jason Millar takes us under the hood of these robots’ computers to better understand how they make decisions.If you want to read up on some of our research on self-driving cars, you can check our all our bonus material over at redhat.com/commandlineheroes. Follow along with the episode transcript.

8 месяцев назад @ redhat.com
Robot as Threat
Robot as Threat Robot as Threat

When a robot goes bad, who is responsible? It’s not always clear if the user or the manufacturer is liable when a robot leaves the lot. Human behavior can be complex—and often contradictory. Asking machines to interpret that behavior is quite the task. Will it one day be possible for a robot to have its own sense of right and wrong? And barring robots acting of their own accord, whose job is it to make sure their actions can’t be hijacked? AJung Moon explains the ethical ramifications of robot AI. Ryan Gariepy talks about the levels of responsibility in robotic manufacturing. Stefanie Tellex highlights security vulnerabilities (and scares us, just a little). Brian Gerkey of Open Robotics di…

8 месяцев, 2 недели назад @ redhat.com
Humans as Robot Caretakers
Humans as Robot Caretakers Humans as Robot Caretakers

HitchBOT was an experiment in stewardship: A small, rudimentary robot unable to move on its own, depending on the kindness of passersby to help it along its journey. Until it met an untimely end. Trust is a two-way street, and because robots are not powered by their own moral code, they rely on humans to supply both empathy and support. Dr. Frauke Zeller shares HitchBOT’s origin story. Eli Schwartz recounts his heartbreak upon learning what happened in Philadelphia. Dr. Julie Carpenter analyzes why it all went down. And Georgia Guthrie epitomizes the outpouring of sympathy that followed. Together, they tell a layered story about humans, and how we respond to robots. With HitchBOT, we find a…

9 месяцев назад @ redhat.com
Robot as Body
Robot as Body Robot as Body

For years, prosthetic technology focused on form over function, on masking lost limbs, rather than agency and usability. But things are changing. Innovations in robotics are giving more people more options, with lower thresholds of entry—and lower price tags, too. Tilly Lockey takes us through her journey with prosthetic arms. Brian Schulz gives some history of mechanical prosthetics, and what it means for people to reach embodiment with their devices. Tyler Hayes talks about the software that made advancements in assistive technology possible. Charlie Kemp discusses his work building universal robot interfaces, and how they can benefit everyone. And Henry and Jane Evans explain how robots …

9 месяцев, 2 недели назад @ redhat.com
From Compiler: Do We Want A World Without Technical Debt?
From Compiler: Do We Want A World Without Technical Debt? From Compiler: Do We Want A World Without Technical Debt?

Who says tech talk has to be boring? On Compiler, we dig into tech topics big, small, and strange. We talk to people who know the code, and bring their perspectives back to you. Intrigued? Here's a preview episode.Software development teams often reach a crossroads. Should they perform maintenance and address bug issues, or add new features to satisfy users? The former isn’t as exciting, but sometimes the most important work is invisible to those who reap the benefits. For now, the project has been released, and everyone wants to celebrate. But there’s an elephant in the room, one that teams can ignore—at least, for a while. In this episode of Compiler, we unpack the concept of technical de…

9 месяцев, 3 недели назад @ redhat.com
Python Bytes Python Bytes
последний пост 1 день, 8 часов назад
#297 I AM the documentation
#297 I AM the documentation 1 день, 8 часов назад @ pythonbytes.fm
#296 pip: Constrain your excitement
#296 pip: Constrain your excitement 1 неделя, 1 день назад @ pythonbytes.fm
#295 Flutter + Python GUI Apps?
#295 Flutter + Python GUI Apps? 1 неделя, 6 дней назад @ pythonbytes.fm
#294 Specializing Adaptive Interpreters in Full Color
#294 Specializing Adaptive Interpreters in Full Color 3 недели, 1 день назад @ pythonbytes.fm
#293 And if I pull this open source Jenga block...
#293 And if I pull this open source Jenga block... 4 недели назад @ pythonbytes.fm
#292 Thursday, it's always a Thursday
#292 Thursday, it's always a Thursday 1 месяц, 1 неделя назад @ pythonbytes.fm
#291 Wait, you have how many licenses?!?
#291 Wait, you have how many licenses?!? 1 месяц, 1 неделя назад @ pythonbytes.fm
#290 Sentient AI? If so, then what?
#290 Sentient AI? If so, then what? 1 месяц, 2 недели назад @ pythonbytes.fm
#289 Textinator is coming for your text, wherever it is
#289 Textinator is coming for your text, wherever it is 1 месяц, 3 недели назад @ pythonbytes.fm
#288 Performance benchmarks for Python 3.11 are amazing
#288 Performance benchmarks for Python 3.11 are amazing 2 месяца назад @ pythonbytes.fm
#287 Surprising ways to use Jupyter Notebooks
#287 Surprising ways to use Jupyter Notebooks 2 месяца, 1 неделя назад @ pythonbytes.fm
#286 Unreasonable f-strings
#286 Unreasonable f-strings 2 месяца, 2 недели назад @ pythonbytes.fm
#285 Where we talk about UIs and Python
#285 Where we talk about UIs and Python 2 месяца, 3 недели назад @ pythonbytes.fm
#284 Spicy git for Engineers
#284 Spicy git for Engineers 3 месяца назад @ pythonbytes.fm
#283 The sports episode
#283 The sports episode 3 месяца, 1 неделя назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 1 день, 9 часов назад
Kubernetes Troubleshooting with Itiel Shwartz and Lee Atchison
Kubernetes Troubleshooting with Itiel Shwartz and Lee Atchison

Cloud native applications utilizing microservice architectures has grown into one of the most popular application architectural patterns in recent years. The value of leveraging dynamic cloud resources, along with the flexibility and scalability of microservice architectures, creates a strong paradigm that’s hard to miss. The strong adoption of Kubernetes has strengthened the pattern enormously. The

The post Kubernetes Troubleshooting with Itiel Shwartz and Lee Atchison appeared first on Software Engineering Daily.

1 день, 9 часов назад @ softwareengineeringdaily.com
Permissions and Access-control with Or Weis
Permissions and Access-control with Or Weis

Permissions are Hard! And they are becoming harder as we move more into the Cloud-native ecosystem. If we go back in time to the point where it was just a single monolith that you were building on your own. You’ll probably have a framework to manage the permissions for you. But when you are working

The post Permissions and Access-control with Or Weis appeared first on Software Engineering Daily.

1 день, 13 часов назад @ softwareengineeringdaily.com
Cloud-native Authorization with Tim Hinrichs
Cloud-native Authorization with Tim Hinrichs

Enabling authorization policies across disparate cloud-native environments such as containers, microservices and modern application delivery infrastructure is complex and can be a roadblock for software engineering teams. Open Policy Agent, or OPA, is an open, declarative, policy-as-code approach to authorization that reduces security and compliance burden for engineering teams. Business context is translated into declarative

The post Cloud-native Authorization with Tim Hinrichs appeared first on Software Engineering Daily.

1 неделя, 1 день назад @ softwareengineeringdaily.com
Faking Data Using Tonic.ai with Ian Coe and Adam Kamor
Faking Data Using Tonic.ai with Ian Coe and Adam Kamor

Ian Coe CEO Adam Kamor Head of Engineering Companies that gather data about their users have an ethical obligation and legal responsibility to protect the personally identifiable information in their dataset. Ideally, developers working on a software application wouldn’t need access to production data. Yet without high-quality example data, many technology groups stumble on avoidable

The post Faking Data Using Tonic.ai with Ian Coe and Adam Kamor appeared first on Software Engineering Daily.

1 неделя, 5 дней назад @ softwareengineeringdaily.com
Faking Data Using Tonic.ai with Ian Coe and Adam Kamor
Faking Data Using Tonic.ai with Ian Coe and Adam Kamor

Ian Coe CEO Kamor Adam Head of Engineering Companies that gather data about their users have an ethical obligation and legal responsibility to protect the personally identifiable information in their dataset. Ideally, developers working on a software application wouldn’t need access to production data. Yet without high-quality example data, many technology groups stumble on avoidable

The post Faking Data Using Tonic.ai with Ian Coe and Adam Kamor appeared first on Software Engineering Daily.

1 неделя, 6 дней назад @ softwareengineeringdaily.com
Kubernetes Troubleshooting with Itiel Shwartz and Lee Atchison
Kubernetes Troubleshooting with Itiel Shwartz and Lee Atchison

Cloud native applications utilizing microservice architectures have grown into one of the most popular application architectural patterns in recent years. The value of leveraging dynamic cloud resources, along with the flexibility and scalability of microservice architectures, creates a strong paradigm that’s hard to miss. The strong adoption of Kubernetes has strengthened the pattern enormously. The

The post Kubernetes Troubleshooting with Itiel Shwartz and Lee Atchison appeared first on Software Engineering Daily.

2 недели, 2 дня назад @ softwareengineeringdaily.com
Kong API Platform with Marco Palladino Holiday Repeat
Kong API Platform with Marco Palladino Holiday Repeat

Originally published January 4, 2019 When a user makes a request to a product like The New York Times, that request hits an API gateway. An API gateway is the entry point for an external request. An API gateway serves several purposes: authentication, security, routing, load balancing, and logging. API gateways have grown in popularity

The post Kong API Platform with Marco Palladino Holiday Repeat appeared first on Software Engineering Daily.

2 недели, 4 дня назад @ softwareengineeringdaily.com
Couchbase Architecture with Ravi Mayuram
Couchbase Architecture with Ravi Mayuram

Couchbase is a distributed NoSQL cloud database. Since its creation, Couchbase has expanded into edge computing, application services, and most recently, a database-as-a-service called Capella. Couchbase started as an in-memory cache and needed to be rearchitected to be a persistent storage system. In this episode, We interviewed Ravi Mayuram, SVP Products, and Engineering at Couchbase.

The post Couchbase Architecture with Ravi Mayuram appeared first on Software Engineering Daily.

2 недели, 6 дней назад @ softwareengineeringdaily.com
Arrow Infrastructure with Wes McKinney
Arrow Infrastructure with Wes McKinney

Apache Arrow defines a language-independent columnar memory format for flat and hierarchical data, organized for efficient analytic operations on modern hardware like CPUs and GPUs. The Arrow memory format also supports zero-copy reads for lightning-fast data access without serialization overhead. Wes McKinney is the CEO of Ursa Computing, a new startup working on accelerated computing

The post Arrow Infrastructure with Wes McKinney appeared first on Software Engineering Daily.

3 недели, 1 день назад @ softwareengineeringdaily.com
Salary Negotiation with Haseeb Qureshi
Salary Negotiation with Haseeb Qureshi

Originally published on July 11, 2016. Negotiation is an important skill for software engineers. The salary you negotiate at the beginning of your job could be a difference of tens of thousands of dollars over the course of an engineer’s career, but intimidating recruiters and exploding offers scare many engineers from negotiating at all. Today,

The post Salary Negotiation with Haseeb Qureshi appeared first on Software Engineering Daily.

3 недели, 4 дня назад @ softwareengineeringdaily.com
Remix with Ryan Florence
Remix with Ryan Florence

Remix is a full stack web framework that lets you focus on the user interface and work back through web fundamentals to deliver a fast, slick, and resilient user experience that deploys to any Node.js server and even non-Node.js environments at the edge like Cloudflare Workers. In this episode, we interviewed Ryan Florence, co-founder at

The post Remix with Ryan Florence appeared first on Software Engineering Daily.

3 недели, 4 дня назад @ softwareengineeringdaily.com
Remix with Ryan Florence
Remix with Ryan Florence

Remix is a full stack web framework that lets you focus on the user interface and work back through web fundamentals to deliver a fast, slick, and resilient user experience that deploys to any Node.js server and even non-Node.js environments at the edge like Cloudflare Workers. In this episode, we interviewed Ryan Florence, co-founder at

The post Remix with Ryan Florence appeared first on Software Engineering Daily.

3 недели, 6 дней назад @ softwareengineeringdaily.com
Continuous Profiling using eBPF with Frederic Branczyk
Continuous Profiling using eBPF with Frederic Branczyk

Profiling has been a part of the software engineering toolbox since the 1970s, but it was long regarded to be too high in overhead, so it was only done ad hoc. The problem with profiling that way is that you never catch the moment in time where for example an incident happened. Continuous profiling is

The post Continuous Profiling using eBPF with Frederic Branczyk appeared first on Software Engineering Daily.

1 месяц назад @ softwareengineeringdaily.com
Zigi with Nir Benson
Zigi with Nir Benson

Zigi is an AI-powered personal assistant for developers. By managing your dev workflow and handling all your mundane, non-programming tasks across multiple apps directly from Slack, Zigi helps you focus on code creation and innovation. Zigi connects to all your cloud tools, such as Jira, Github, and your calendar, in order to get a 360°

The post Zigi with Nir Benson appeared first on Software Engineering Daily.

1 месяц назад @ softwareengineeringdaily.com
WorkOS with Michael Grinich
WorkOS with Michael Grinich

Enterprise-grade authentication is often an essential ingredient to virtually all applications in today’s world. However, companies often have a hard time understanding the value of that authentication especially during the early stages of product development. And hardening of an application is often left as an afterthought. Add enterprise-level requirements such as single sign-on and two-factor

The post WorkOS with Michael Grinich appeared first on Software Engineering Daily.

1 месяц, 1 неделя назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 1 месяц назад
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства

Контент — сложный и часто неблагодарный труд, но что-то толкает людей становиться авторами. И дело не только в амбициях — если бы контент не приносил технарям пользу, постов на Хабре бы на порядок меньше. Так какие бенефиты может выжать хороший автор из своего аккаунта? Стоит ли признаваться работодателю, что в свободное время пишешь о технологиях? И есть ли вариант остаться в разработке, если к написанию кода уже подостыл? Спойлер: есть, становитесь деврелами. 1:00 Наши гости: Елена Кабанец, руководитель HR-бренда Сбера, и Григорий Петров, деврел компании Еврон. 1:15 Путь в деврелы начинается со статей? Личный опыт гостя. 4:40 Как Сбер находит авторов внутри команды и мотивирует их писать …

1 месяц назад @ soundcloud.com
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности

Кто-то называет прогресс движением по кругу, кто-то заменой одних неприятностей другими, а кто-то считает его законом природы. В IT это чувствуется особенно сильно — и в этом выпуске мы обсудим, какой путь прошла фронтенд-разработка. Вспомним, когда вообще появился этот термин, что было до него, поностальгируем о кроссбраузерности и узнаем, смог бы senior десятилетней давности сойти сегодня за джуна. Ностальгировали с опытными фронтендерами: Максимом Ореховым, руководителем центра компетенций по разработке веб-приложений в Промсвязьбанке, и Евгением Дмитриевым, руководителем разработки дизайн-системы ivi. Запись онлайна от 07/07. 1:24 Опыт гостей: первое вхождение во фронтэнд. 2:21 Эпоха ве…

1 месяц назад @ soundcloud.com
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно

Важен ли вуз для карьеры?.. Однажды в начале 2000-х сисадмин одного регионального оператора связи три дня не мог починить биллинг. Ошибка была очень странной: в некоторых блоках упорно лезла дата 1970-01-01. Сисадмин искал причины повсюду, от формата даты и до взлома, пока не пришёл главный инженер — и не объяснил. Уходя, он посмотрел на окончившего биофак сисадмина, сложил пальцы, сотряс ими и произнёс: «Это база!». Сисадмин был отправлен на курсы — а фраза стала мемной. В этом выпуске мы поговорили о базе. Практика решает, но без теоретического фундамента не достичь высот. Мы обсудили, чего не понимают студенты-технари, с какими навыками студенту идти на первую работу, как совместить её с…

3 месяца, 3 недели назад @ soundcloud.com
Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию
Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию

Искушённые хабраюзеры кривят губы при виде чересчур простого контента. «Это всё для джунов и домохозяек, где наш технохардкор?» Но разве простота и доступность автоматически делают текст плохим? Разобраться в этом нам помогли выпускающий редактор контент-студии Хабра Михаил Зоберн и Стас Щетинников, директор по развитию одного из IT-департаментов в Сбере. 2:40 Вспоминаем Хабр, который “торт”. Действительно ли раньше было лучше

10:40 Письма Мартину Алексеевичу: разбираем популярные посты 2010 года

18:40 Почему сейчас минусуют крутые тексты (и почему мы считаем, что они крутые)

20:20 Хабр-2022: что в трендах, что в топах. Аналогия с книжным магазином

24:00 Литературные опусы айтишников для ай…

6 месяцев, 3 недели назад @ soundcloud.com
Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков
Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков

Однажды ты понял, как снизить затраты на продукт и улучшить его качество. Но идея так и осталась идеей: задача затерялась, а ты превратился в механического исполнителя тикетов из Jira. Мириться с этим нельзя: надо организовать работу так, чтобы инициатива разработчиков не гасла, подобно искрам на снегу.

Чтобы разобраться в этом вопросе, мы побеседовали с нашими гостями о том, как разработчики могут влиять на развитие продукта, как не потеряться в завале идей и в чем главная ошибка Совы – эффективного менеджера. Ответить на эти вопросы нам помогли: - Сергей Лавренев, руководитель по развитию продуктов из департамента по развитию онлайн-сервисов банка «Хоум Кредит», - Роман Хазеев, заместител…

7 месяцев, 3 недели назад @ soundcloud.com
Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах
Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах

Кто-то при слове Agile вспоминает мемы, кто-то вечный статус «в раннем доступе» у игр, кто-то — постоянные спринты. Мы заглянем чуть глубже и с помощью наших гостей узнаем, когда Agile эффективен, а когда нет; можно ли пренести Agile на личную жизнь — и постараемся понять, почему раньше без него можно было обойтись, а теперь нет. В нашей виртуальной студии вместе с scrum-мастером Анатолием Кукаевым из Промсвязьбанка и директором продуктовой разработки PropellerAds Анатолием Ивановым мы обсудили:

1:00 Любимые шутки про Agile. Объясняем, почему это смешно

3:40 Agile в реальной жизни на примерах: где это применимо и как работает

11:50 Почему гибкие методики Agile так актуальны в быстро меняюще…

7 месяцев, 4 недели назад @ soundcloud.com
Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе
Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе

В этом выпуске мы обсудили, как перейти от монолита к микросервисной архитектуре и построить свою платформу с теми, кто встал на этот путь. Рассказываем, как микросервисная архитектура меняет организацию команд, какие технические вызовы создает и что может дать своя платформа для микросервисов.

Гости:

Александр Тяпков, заместитель технического директора по вопросам backend-разработки в онлайн-кинотеатре IVI,

Артем Желтак, руководитель backend-разработки в inDriver. 1:10 С чем на бытовом уровне сравнить распил монолита на микросервисы. Наводим порядок в гараже, покупаем теннисные мячи в магазине теннисных мячей

3:50 Распил неизбежен? Немного драматические истории перехода на микросервисы

7:4…

8 месяцев назад @ soundcloud.com
Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности
Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности

Настраивать и контролировать процессы в IT-компании не проще, чем пилить код. Преуспеть в этом помогает DevOps, естественным продолжением которого в сфере информационной безопасности стал DevSecOps. О нём и поговорим. Вместе с нашими гостями мы рассмотрели Ивана-царевича как модель угрозы; обсудили, как быть на шаг впереди злоумышленников; как сложить слово «безопасность» из процессов, инструментов и знаний; какая главная цель DevSecOps, как перейти к нему от DevOps и с чего надо начиать внедрение и изучение этих практик. Мы взглянули на вопрос с двух сторон: реализации на практике и разработки инструментов. В этом нам помогли Алексей Бабенко, лидер команды тестирования безопасности приложе…

8 месяцев, 1 неделя назад @ soundcloud.com
Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source
Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source

Открытый код или коробочное решение? Open Source — вот он, бери и делай, только допиливать нужно будет самому. С другой стороны, коробки — проверенный временем вариант, хотя и дорого. В этом выпуске вебкаста Хабр ПРО обсудим, какой из подходов может стать мейнстримом, как выбрать подходящую под цели бизнеса лицензию и какие условия должны быть соблюдены, чтобы открытый код был безопасным. Участники:

Андрей Аврамчук, ведущий, Хабр;

Сергей Елин, тимлид ERLANG-разработчиков Osnova;

Роман Шеховцов, корпоративный архитектор Центра развития финансовых технологий Россельхозбанка. 1:15 Разница между открытым и свободным ПО

4:15 Насколько критичен выбор лицензии, какие критерии надо рассмотреть в пе…

8 месяцев, 2 недели назад @ soundcloud.com
Хабр ПРО // Митап о микросервисах: отвечаем на вопросы с Хабр Q&A
Хабр ПРО // Митап о микросервисах: отвечаем на вопросы с Хабр Q&A Хабр ПРО // Митап о микросервисах: отвечаем на вопросы с Хабр Q&A

Сколько нужно DevOps, чтобы выкрутить одну лампочку? В этом выпуске мы ответили на этот и другие более практические вопросы о работе с микросервисами, которые наши пользователи оставляют на Хабр Q&A. Обсуждаем, в чём разница между микросервисами и сервисами, какие технологии нужны для микросервисов, где их разворачивать, как хранить исходный код и отслеживать жизнь микросервиса. Мы разобрали эти вопросы с двух точек зрения: self-hosting и работы с облачными сервисами. Наши гости: Денис Рылеев, руководитель направления автоматизации в Россельхозбанке, и Михаил Чугунов, системный инженер компании ЕПАМ, занимающийся внедрением DevOps-практик в облачных решениях AWS.

1:05 Вечные вопросы: скольк…

8 месяцев, 3 недели назад @ soundcloud.com
Хабр ПРО // Трудно быть богом: как строить стек в хаосе устаревающих технологий
Хабр ПРО // Трудно быть богом: как строить стек в хаосе устаревающих технологий Хабр ПРО // Трудно быть богом: как строить стек в хаосе устаревающих технологий

Сцилла и Харибда современной разработки: с одной стороны, приложения должны быть стабильными и цельными, с другой — надо использовать актуальные инструменты. Приходится балансировать между усложнением разработки и устареванием стека. В этом выпуске мы обсудили, как держать равновесие. Мы пригласили тех, кто определяет развитие технической части приложений. Разработчики расскажут, как выстраивать технический стек, как далеко можно прогнозировать в нашем изменчивом мире и являются ли микросервисы серебряной пулей. Кирилл Маканков, руководитель направления мобильной разработки малого и среднего бизнеса в ПСБ, расскажет, какие проблемы ему приходится решать при планировании технического стека, …

9 месяцев назад @ soundcloud.com
Хабр ПРО // Return 2011: iOS-сеньоры представляют, какими бы они были джунами в 2021-м
Хабр ПРО // Return 2011: iOS-сеньоры представляют, какими бы они были джунами в 2021-м Хабр ПРО // Return 2011: iOS-сеньоры представляют, какими бы они были джунами в 2021-м

Десять лет назад на прилавках появилась новинка от Apple — iPhone 4S, и два друга — Илья и Руслан — решили заняться iOS-разработкой. Прошло время. Илья Меркулов теперь Head of Mobile в FUNCORP, а Руслан Курмакаев переехал в Сиэтл и стал Senior iOS Developer в Facebook. Мы устроили телемост Москва—Сиэтл и в прямом эфире обсудили с Ильёй и Русланом, как бы те начали свой карьерный путь в 2021 году. Выбрали бы они iOS-разработку? С чего бы начали изучение технологий? Как развивалась бы их карьера и каких ошибок они бы избежали? 1:00 Каково было начинать карьеру в iOS-разработке десять лет назад

6:20 Точки роста джуна: фиксим баги, учим английский, читаем книги

11:00 Вредные привычки и особенно…

9 месяцев, 1 неделя назад @ soundcloud.com
Хабр ПРО // Баффер в IT-команде: обсуждаем, чему сеньор может поучиться у джуна
Хабр ПРО // Баффер в IT-команде: обсуждаем, чему сеньор может поучиться у джуна Хабр ПРО // Баффер в IT-команде: обсуждаем, чему сеньор может поучиться у джуна

IT — как Зазеркалье: чтобы оставаться на месте, надо идти, чтобы двигаться — бежать. В IT-компаниях это понимают, и потому одни разработчики учат других. В этот выпуск Хабр Про мы пригласили тех, кто вращает круговорот знаний, и вместе с ними обсудили обмен опытом через теорию и через практику. Настя Артамонова, главный специалист по обучению в Мир Plat.Form, рассказала, как митапы развивают технических специалистов и как внутреннее обучение становится ступенькой к внешним курсам (но не всегда). А Олег Миронов, руководитель Центра Компетенций АО «Флант», объяснил, как учить на боевых проектах и как тимлиды становятся кураторами для джунов. Содержание: 2:00 Обучение внутри компаний: теоретич…

9 месяцев, 3 недели назад @ soundcloud.com
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 1 неделя, 5 дней назад
Саша Ларьяновский: визионер и оптимист EdTech (и не только)
Саша Ларьяновский: визионер и оптимист EdTech (и не только) Саша Ларьяновский: визионер и оптимист EdTech (и не только)

-=Выпуск 68=- Трёп про образование и технологии в нем, про визионерство и немножко про жизнь с давним другом и одним из тех, кто еще с прошлого века строил и продолжает строить интернет в разных местах, в разных компаниях, на разных должностях — но всегда с душой. Ссылки по теме: Упомянутый в разговоре — если хочется его регулярно почитывать

1 неделя, 5 дней назад @ sebrant.chat
Ваня Ямщиков три года спустя
Ваня Ямщиков три года спустя Ваня Ямщиков три года спустя

-=Выпуск 67=- Трёп в своем идеальном виде — про всё на свете, куда язык заведёт: про науку, машинное обучение, генеративное искусство, очеловечивание алгоритмов, климатический кризис и странности наших мозгов. Ссылочки на тему упомянутого в выпуске (и ) Текст Лёши Тихонова Лев Манович

1 месяц, 2 недели назад @ sebrant.chat
Кому в метавселенной жить хорошо
Кому в метавселенной жить хорошо Кому в метавселенной жить хорошо

-=Выпуск 66=- Аудиоверсия моего открывающего доклада на конференции CodeFest-12 28 мая 2022 в Новосибирске: слегка отредактированная аудиодорожка презентации обрамлена моими уже домашними комментариями. Ссылки по теме: , сооснователями Мастерской-15, исследователями метавселенной Подкаст про то, (пока ее не опошлили)

2 месяца, 2 недели назад @ sebrant.chat
Неизбежность сложного мира
Неизбежность сложного мира Неизбежность сложного мира

-=Выпуск 65=- Сумбурный треп о том, как квантовая физика сделала возможными современные информационные технологии и привнесла в них свойственные квантовому миру сложности и странности — и всё это еще до появления квантового компьютера, который сложности добавит с избытком. Немного истории науки, немного технооптимизма, немного метавселенной — зимний согревающий коктейль образца 2022 года.

6 месяцев, 1 неделя назад @ sebrant.chat
Итоги-2021 и вытекающие Прогнозы-2022
Итоги-2021 и вытекающие Прогнозы-2022 Итоги-2021 и вытекающие Прогнозы-2022

-=Выпуск 64=- Как положено под Новый год, смесь итогов и прогнозов — благо они друг с другом всегда связаны. Выпуск записан во время отпуска в Калифорнии, потому содержит немного местного колорита. А темы, конечно, предсказуемые: автономный транспорт, климатическая повестка, метавселенная и прилегающие к ней вопросы. С 2022 годом, дорогие мои слушатели!

7 месяцев, 2 недели назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 1 час назад
Clock-Bound Wait
Clock-Bound Wait Clock-Bound Wait

Amber has its clock lagging at 1; which means that when Alice reads the latest value, it delivers the value 'Before Dawn'.

Both Alice and Bob can ask server Green for the latest version timestamp of the key they are trying to read.

If the difference betweeen clocks is very small, write requests can wait without adding a great deal of overhead.

In the Alice and Bob example mentioned above the write operation storing the [email protected], will wait until all the clocks in the cluster are at 2.

While Philip is updating the title, Bob's read request is handled by server Blue.

1 час назад @ martinfowler.com
Advocate, educator, and authorial stance
Advocate, educator, and authorial stance Advocate, educator, and authorial stance

This leads me to a different stance to take as an author, one that I’ll call the trade-off stance.

The trade-offs stance isn't the only way to take an educator’s role.

Another stance, which I call the merits stance, is to explain the merits of the new technique without comparing it to alternatives at all.

A good example of the merits stance is Kent Beck’s original book on Extreme Programming.

The merits stance is much less comprehensive than a trade-offs stance, but that shouldn't deter writers from taking it.

4 недели, 1 день назад @ martinfowler.com
Legacy Displacement: Revert to Source
Legacy Displacement: Revert to Source Legacy Displacement: Revert to Source

Legacy systems often act as integration hubs, ingesting source data to pass on to downstream systems. A new downstream system can decouple itself from legacy by finding the source of data to the legacy and integrating directly to that instead. Ian Cartwright, Rob Horn, and James Lewis describe this Revert to Source pattern, explaining that this part of legacy displacement often also allows a new system to take advantage of upgrades to source data that the legacy had neglected.

more…

1 месяц, 1 неделя назад @ localhost:1963
Product Backlog Building Canvas
Product Backlog Building Canvas Product Backlog Building Canvas

Writing stories with PBBThe book goes into more detail about the process of building product backlogs, including a step-by-step guide to building a Product Backlog Building canvas.

In PBB Canvas, you first identify, understand, and prioritize the features, then detail them in product backlog items.

Identify the PBIs Product Backlog Items (PBIs) are elements that make up the product backlog.

You fill the I want to section, the action, with the post-it on the Product Backlog Items block of the PBB canvas.

For this story it's ´perform the publication of work´section, the action, with the post-it on the Product Backlog Items block of the PBB canvas.

2 месяца назад @ martinfowler.com
Agile Book Club interview on Refactoring
Agile Book Club interview on Refactoring

James Shore's Art of Agile Development is my favorite single-volume book on agile software development. A reason for that is its serious emphasis on the technical practices that are essential to making it work effectively. James and I discuss the role of refactoring for software development, the nature of design changes we see, and how to break down big changes into small pieces.

more…

3 месяца, 3 недели назад @ jamesshore.com
How I use Twitter
How I use Twitter How I use Twitter

A couple of recent conversations about Twitter were nudging me into writing about how I use Twitter even before The Muskover developed.

Twitter has become an important part of my online life, and my online life is a big part of what I do.

Twitter makes it easy for me to avoid them if I don't bother reading (or making) replies.

Where I find Twitter most useful is that it allows me to precisely follow individual accounts who tweet things I like to hear about.

I'm not a fan of Musk's public interactions, but it's too early to judge what effect the takeover will have on Twitter.

3 месяца, 3 недели назад @ martinfowler.com
photostream 128
photostream 128 photostream 128

Heian-jingu Shrine

Kyoto, Japan (2004)

3 месяца, 4 недели назад @ martinfowler.com
Transitional Architecture
Transitional Architecture Transitional Architecture

To allow this interplay between legacy and new, we need to build and evolve Transitional Architecture that supports this collaboration as it changes over time.

Each of the different paths a team could take will be enabled by, or require different Transitional Architecture to be put in place.

Remember that part of using a Transitional Architecture is removing it when it's no longer needed.

But a Transitional Architecture delivers value in a couple of ways, and this value should be compared to the cost of building it.

The second value of a Transitional Architecture is how it can reduce the risk of legacy displacement.

4 месяца, 3 недели назад @ martinfowler.com
Investing in the hiring process
Investing in the hiring process Investing in the hiring process

How did you get into the bottleneck?

Invariably, by then the initial team has taken on a lot.

More often than not however, indicators lag, and before anyone has had a chance to prioritize hiring, growth is bottlenecked by both capacity and capability.

We frequently hear stories where new hires are not aligned with the founders and initial team, so the hiring investment doesn’t help with the bottleneck.

How do we recognize the signs that the talent bottleneck is coming?

5 месяцев назад @ martinfowler.com
How to get out of the talent bottleneck
How to get out of the talent bottleneck How to get out of the talent bottleneck

How did you get into the bottleneck?

Invariably, by then the initial team has taken on a lot.

More often than not however, indicators lag, and before anyone has had a chance to prioritize hiring, growth is bottlenecked by both capacity and capability.

We frequently hear stories where new hires are not aligned with the founders and initial team, so the hiring investment doesn’t help with the bottleneck.

How do we recognize the signs that the talent bottleneck is coming?

5 месяцев назад @ martinfowler.com
How scaleups get constrained by talent
How scaleups get constrained by talent How scaleups get constrained by talent

How did you get into the bottleneck?

Invariably, by then the initial team has taken on a lot.

More often than not however, indicators lag, and before anyone has had a chance to prioritize hiring, growth is bottlenecked by both capacity and capability.

We frequently hear stories where new hires are not aligned with the founders and initial team, so the hiring investment doesn’t help with the bottleneck.

How do we recognize the signs that the talent bottleneck is coming?

5 месяцев, 1 неделя назад @ martinfowler.com
How to get out of the tech debt bottleneck
How to get out of the tech debt bottleneck How to get out of the tech debt bottleneck

The most common scaling bottleneck we encounter is technical debt — startups regularly state that tech debt is their main impediment to growth.

The startup team attributes it to technical debt incurred due to a lack of technical investment during their growth phase.

It’s important to say that prudent technical debt is healthy and desired, especially in the initial phases of a startup’s journey.

Company A got itself into a technical debt bottleneck that paralyzed the company.

To explore how to create the right balance, we are going to examine the different types of technical debt:Typical types of debt: Technical debt is an ambiguous term, often regarded as purely code-related.

5 месяцев, 1 неделя назад @ martinfowler.com
Bottlenecks of Scaleups: How did you get tech debt?
Bottlenecks of Scaleups: How did you get tech debt? Bottlenecks of Scaleups: How did you get tech debt?

The most common scaling bottleneck we encounter is technical debt — startups regularly state that tech debt is their main impediment to growth.

The startup team attributes it to technical debt incurred due to a lack of technical investment during their growth phase.

It’s important to say that prudent technical debt is healthy and desired, especially in the initial phases of a startup’s journey.

Company A got itself into a technical debt bottleneck that paralyzed the company.

To explore how to create the right balance, we are going to examine the different types of technical debt:Typical types of debt: Technical debt is an ambiguous term, often regarded as purely code-related.

5 месяцев, 1 неделя назад @ martinfowler.com
Using the Four Key Metrics to assess an infrastructure platform
Using the Four Key Metrics to assess an infrastructure platform Using the Four Key Metrics to assess an infrastructure platform

However once your organisation has reached a certain size, it might no longer be efficient to have your teams building their own infrastructure.

By building infrastructure platforms you can save time for product teams, reduce your cloud spend and increase the security and rigour of your infrastructure.

For these reasons, more and more execs are finding the budget to spin up separate teams to build platform infrastructure.

Luckily we have been through the ups and downs of building infrastructure platforms and have put together some essential steps to ensure platform success!

Measure the important stuff An article about Building Better Infrastructure Platforms would not be complete without a …

6 месяцев, 1 неделя назад @ martinfowler.com
Communicating the technical vision of an infrastructure platform
Communicating the technical vision of an infrastructure platform Communicating the technical vision of an infrastructure platform

An Infrastructure Platform provides common cloud components for teams to build upon and use to create their own solutions.

By building infrastructure platforms you can save time for product teams, reduce your cloud spend and increase the security and rigour of your infrastructure.

For these reasons, more and more execs are finding the budget to spin up separate teams to build platform infrastructure.

Luckily we have been through the ups and downs of building infrastructure platforms and have put together some essential steps to ensure platform success!

No matter your reason for building an infrastructure platform, this should be your aim!

6 месяцев, 1 неделя назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 1 неделя, 5 дней назад
JSON Lines
JSON Lines JSON Lines

На днях оценил формат JSON Lines.

Это такой CSV на стероидах:Например:

1 неделя, 5 дней назад @ antonz.ru
Многозначительное многоточие в Python
Многозначительное многоточие в Python Многозначительное многоточие в Python

Не самая известная штука в Python — многоточие:Это рабочий код.

В питоне ... (он же Ellipsis ) — реальный объект, который можно использовать в коде.

Ellipsis — единственный экземпляр типа EllipsisType (аналогично тому, как None — единственный экземпляр типа NoneType ):Авторы Python в основном используют ... , чтобы показать, что у типа, метода или функции отсутствует реализация — как в примере с fly() .

И в тайп-хинтах:

2 месяца, 2 недели назад @ antonz.ru
Летающая свинья, или протоколы в Python
Летающая свинья, или протоколы в Python Летающая свинья, или протоколы в Python

Допустим, вы написали утилиту, которая отправляет что угодно в полет:Ну, то есть не прям все что угодно.

Очень удобно — одной функцией запускаем и голубя Френка, и самолет, и даже Супермена:Не то чтобы наши герои особо успешно справлялись с задачей, но запуск на них работает.

Дать понять, что параметр thing в launch() — это не любой объект, а обязательно летающая хреновина с методом fly() .

Если вы привыкли избегать типов, то обойдетесь именем переменной или комментарием к функции:Почему бы и нет.

Беда в том, что чем сложнее код, тем чаще сбоит «описательный» подход.

2 месяца, 2 недели назад @ antonz.ru
Случайные числа и последовательности в Python
Случайные числа и последовательности в Python Случайные числа и последовательности в Python

Там намного больше, чем просто randint()

2 месяца, 3 недели назад @ antonz.ru
Временные таблицы в SQLite
Временные таблицы в SQLite Временные таблицы в SQLite

Временные таблицы в SQLiteБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать.

Представление работает как CTE, но к нему можно обращаться как к обычной таблице и не повторять каждый раз подзапрос.

Как и CTE, представление тоже вычисляется на лету.

-- 1) create once create temp table combined_temp as select v . * , e . name , a . name from vacancy as v join employer as e on e . id = v . employer_id join area as a on a . id = v . area_id ; -- 2) use everywhere select ... from combined_temp where ... group by ... order by ...Технически, SQLite хранит временные таблицы в специальной temp -базе.

Она лежит в отдельном файле на диске и видна только тому соединени…

3 месяца назад @ antonz.ru
JSON и виртуальные столбцы в SQLite
JSON и виртуальные столбцы в SQLite JSON и виртуальные столбцы в SQLite

У вычисляемых столбцов есть еще одно чрезвычайно полезное применение.

Допустим, вы решили вести журнал событий, которые происходят в системе.

События бывают разных типов, у каждого свой набор полей.

Например, вход в систему:Или пополнение счета:Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON.

Заводите таблицу events с единственным полем value :И выбираете события по конкретному объекту:

3 месяца назад @ antonz.ru
Компактные объекты в Python
Компактные объекты в Python Компактные объекты в Python

Питон — объектный язык.

Это здорово и удобно, пока не придется создать 10 млн объектов в памяти, которые благополучно ее и съедят.

Поговорим о том, как уменьшить аппетит.

Допустим, есть у вас простенький объект «питомец» с атрибутами «имя» (строка) и «стоимость» (целое).

Интуитивно кажется, что самое компактное предоставление — в виде кортежа:Замерим, сколько займет в памяти один такой красавчик:

3 месяца назад @ antonz.ru
Новости стандартной библиотеки Python
Новости стандартной библиотеки Python Новости стандартной библиотеки Python

17 модулей с новыми фичами и доработками.

3 месяца, 1 неделя назад @ antonz.ru
Вычисляемые столбцы в SQLite
Вычисляемые столбцы в SQLite Вычисляемые столбцы в SQLite

Чтобы не повторять сложные выражения в каждом запросе.

3 месяца, 1 неделя назад @ antonz.ru
Постраничный итератор в Python
Постраничный итератор в Python Постраничный итератор в Python

Тут и пригодится постраничный итератор!

Будем продолжать, пока исходная последовательность не закончится:def paginate ( iterable , page_size ): page = [] for item in iterable : page .

append ( item ) if len ( page ) == page_size : yield page page = [] yield pagereader = fetch_toys () page_size = 10_000 for page in paginate ( reader , page_size ) process_batch ( page )Реализация рабочая, но есть проблемка.

А вот практически — да, если перенести как можно больше действий из кода на питоне в библиотечный код на си.

Чтобы не писать такой обход каждый раз с нуля, удобно использовать универсальный постраничный итератор.

3 месяца, 2 недели назад @ antonz.ru
Многострочные запросы в консоли SQLite
Многострочные запросы в консоли SQLite Многострочные запросы в консоли SQLite

Как отредактировать большой запрос за один раз

3 месяца, 3 недели назад @ antonz.ru
Закешировать результат вычислений в Python
Закешировать результат вычислений в Python Закешировать результат вычислений в Python

Предположим, написали вы функцию, которая возвращает емейл пользователя:Одна беда: функция find_by_id() лезет в уж-ж-жасно медленную легаси-систему:Если 100 раз вызвать get_user_email(42) — будет 100 медленных запросов.

Хотя по уму хватило бы и одного.

Что ж, давайте приделаем простенький кеш:

3 месяца, 4 недели назад @ antonz.ru
История команд SQLite
История команд SQLite История команд SQLite

Помогает найти запрос, чтобы не вводить заново.

4 месяца назад @ antonz.ru
Гибкие типы данных в SQLite
Гибкие типы данных в SQLite Гибкие типы данных в SQLite

Почему sqlite называют «джаваскриптом в мире баз данных».

7 месяцев, 1 неделя назад @ antonz.ru
Все расширения для SQLite
Все расширения для SQLite Все расширения для SQLite

Регулярки, статистика, файлы и еще 100+ функций.

7 месяцев, 2 недели назад @ antonz.ru